教导智能体逐步绘制矢量素描 Teaching an Agent to Sketch One Part at a Time
通过部分级标注和过程奖励强化学习，实现逐步生成可编辑的矢量素描
前置知识
矢量图形（Vector Graphics）
矢量图形使用数学方程（如贝塞尔曲线）来表示图像，由路径、形状和属性组成。与位图图像不同，矢量图形可以无限缩放而不失真，每个元素都是独立的对象，可以单独编辑。在素描场景中，路径通常表示为SVG格式，使用命令如M（移动）、C（三次贝塞尔曲线）和L（直线）来定义笔画轨迹。
本文的核心任务就是生成矢量格式的素描，而不是像素级图像。理解矢量图形的表示方式对于理解模型如何输出和渲染素描至关重要，因为模型直接生成SVG路径命令。
强化学习中的GRPO算法
GRPO（Group Relative Policy Optimization）是一种强化学习算法，通过采样多个轨迹（一组）来计算平均奖励作为基线，避免了训练额外的价值函数近似模型。它计算优势函数并使用带截断的比率目标进行策略更新，类似PPO，但计算效率更高。
本文的创新点是提出了多轮过程奖励GRPO，利用素描生成过程中的中间状态来提供密集的信用分配。理解GRPO的基本原理对于理解本文如何改进标准算法以适应多轮生成任务至关重要。
贝塞尔曲线（Bezier Curves）
贝塞尔曲线是计算机图形学中常用的参数曲线，由控制点定义。三次贝塞尔曲线使用四个点：起点、终点和两个控制点。在SVG中，C命令后跟随8个坐标值表示两个控制点和终点的坐标。这是平滑曲线的标准表示方式。
本文生成的素描路径使用三次贝塞尔曲线表示，模型输出的就是这些曲线的坐标参数。理解贝塞尔曲线的数学表示有助于理解模型输出的格式以及如何渲染生成可视化结果。
研究动机
现有的文本到矢量素描生成方法面临两个主要问题。首先，大多数方法如Sketch-RNN、BezierSketch、SketchODE和ChiroDiff等都是一次性生成整个素描，忽略了素描创作过程中的渐进性和逐步性。这使得生成的素描难以进行局部编辑，因为笔画没有按照语义分组到有意义的部分中。其次，现有的部分感知方法如SketchAgent依赖于闭源的视觉语言模型（如Claude Sonnet），不仅难以适应特定领域或风格，而且只能生成简单的图标式输出，空间定位准确率较低。虽然一些基于测试时优化的方法如CLIPDraw、DiffSketcher和AutoSketch可以提供更高的视觉质量，但它们同时优化所有笔画，不提供渐进的部分级控制，并且需要较长的推理时间。
本文的目标是本文的目标是开发一个能够逐步生成矢量素描的系统，每次生成一个部分，并且支持基于文本指令的局部编辑。具体而言，系统应该能够根据文本描述生成高质量、结构合理的素描，其中每个部分都可以独立地被删除、替换或修改。此外，生成过程应该是可控的，用户可以在任何中间阶段探索多个选择，然后再继续生成其他部分。为了实现这一目标，需要解决数据稀缺问题，因为收集大量由专业人士创建的高质量部分标注矢量素描数据既昂贵又难以扩展。
与已有工作不同的是，本文的独特切入角度是从数据入手，认识到现有方法缺乏部分级语义结构标注是关键瓶颈。与直接改进模型架构不同，作者提出了一个通用的、可扩展的自动标注管道，可以将任何矢量素描数据集分解为语义部分，并为每个部分分配路径。这使得大规模部分标注数据集的创建成为可能。此外，本文的创新还在于训练策略：结合监督微调和多轮过程奖励强化学习，利用生成过程中的中间状态提供密集的视觉反馈，从而弥合训练时看到的预言机中间状态和推理时模型自己生成状态之间的分布差距。
核心方法
本文方法包含两个核心组件：自动部分标注管道和两阶段训练框架。首先，标注管道通过多阶段过程将矢量素描分解为语义部分：初步分解、批评与改进、路径分配、路径批评与改进以及标题生成。这个过程使用视觉语言模型（VLM）来产生部分描述和路径分配，同时使用相同的VLM来批评这些分配并提出改进建议。然后，利用生成的ControlSketch-Part数据集训练VLM智能体，采用两阶段框架：监督微调（SFT）教会模型正确的输出格式和单轮素描策略，多轮过程奖励GRPO训练通过中间视觉奖励优化视觉质量。整个训练过程使用Qwen3-VL-30B-A3B作为骨干模型，并通过LoRA进行参数高效的微调。
本文的核心创新点有两个：一是通用的可扩展自动部分标注管道，二是多轮过程奖励GRPO算法。标注管道的创新在于它采用多阶段、自我批评的机制，而不是直接输出最终结果。VLM既扮演创作者的角色（提出部分分解和路径分配），又扮演批评者的角色（诊断问题并提出改进建议），通过诊断可视化（颜色编码的素描和部分描述）帮助VLM更好地理解对应关系。训练方面的创新是将GRPO扩展到多轮设置，并使用过程级奖励（在每个步骤计算渲染与真实参考之间的相似度）而不是仅仅使用最终结果奖励，这使得模型能够在生成过程中获得密集的反馈，实现精确的信用分配。
方法步骤详情
自动标注管道包含七个步骤。步骤1-3处理部分分解：初步分解时，VLM基于渲染的素描图像提出一组语义部分；批评阶段，VLM审计当前部分集合并返回结构化的问题列表；如果需要修订，则执行改进步骤。步骤4-6处理路径分配：基于改进后的部分、SVG文本和渲染，VLM为每个路径分配一个部分标签；路径批评阶段使用诊断可视化（左边面板显示颜色标记的部分标签和描述，右边面板显示颜色编码的素描）来帮助VLM识别不正确的路径分配；然后执行路径改进。步骤7使用VLM基于改进后的部分生成简短的整体标题。训练阶段，SFT使用交叉熵损失，数据增强通过随机采样最多20个部分排列来实现。RL阶段使用多轮过程奖励GRPO，组大小为8，奖励是DreamSim视觉相似度和路径计数的加权和。
技术新颖性
本文的技术新颖性体现在多个方面。首先，这是首个提出通用的、可扩展的VLM基础自动部分标注管道的工作，该管道可以应用于任何矢量素描数据集，不需要人工标注。管道的多阶段、自我批评设计有效地解决了VLM难以遵循复杂任务中所有规则的问题。其次，多轮过程奖励GRPO算法是新颖的，它利用生成过程中每个中间状态的可用真实参考来计算精确的奖励，而不是仅在最后步骤计算奖励。这种密集的信用分配机制使模型能够在多轮决策过程中学习得更好。第三，本文将部分级语义结构明确引入到文本到矢量素描生成任务中，并支持基于文本的局部编辑，这是之前的方法无法做到的。最后，控制素描生成过程的一个部分一个部分的方式使输出更加可控和可解释，用户可以在任何阶段干预生成过程。
实验结果
实验结果表明，本文的完整模型（SFT + RL）在所有评估指标上都优于基线方法。在Long-CLIP余弦相似度指标上，本文方法达到0.301，超过SFT-only变体（0.288）、SketchAgent（0.283）、Gemini 3.1 Pro（0.281）和SDXL+SwiftSketch（0.250）。GT值为0.325，随机基线为0.186，这表明虽然仍有提升空间，但本文方法显著优于其他方法。用户研究提供了更有力的证据：与SketchAgent比较时，83.1%的参与者更偏好本文方法的步骤质量，70%更偏好最终质量；与Gemini 3.1 Pro比较时，77.5%偏好本文方法的最终质量；与SDXL+SwiftSketch比较时，66.1%偏好本文方法。消融研究验证了多轮过程奖励GRPO的有效性：使用Qwen2.5-VL-3B的实验显示，单轮RL的Long-CLIP得分为0.281，多轮结果奖励为0.286，而本文的多轮过程奖励达到0.298，证明多轮公式和密集过程级奖励都对最终性能有重要贡献。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本到矢量素描生成（整体质量） | Long-CLIP余弦相似度 | 0.301 | SketchAgent: 0.283, Gemini 3.1 Pro: 0.281 | 相对SketchAgent提升6.4% |
| 文本到矢量素描生成（用户偏好） | 用户选择比例（vs SketchAgent） | 70% | SketchAgent: 30% | 提升40个百分点 |
| 多轮过程奖励消融（过程vs结果奖励） | Long-CLIP余弦相似度（Qwen2.5-VL-3B） | 0.298（多轮过程奖励） | 0.286（多轮结果奖励） | 相对提升4.2% |
局限与改进
作者在论文中承认了一些局限性。首先，虽然多轮过程奖励GRPO改善了性能，但SFT训练和推理之间的分布差距仍然存在，模型在自己生成的中间状态上可能表现不如在真实参考状态上。其次，数据集仅包含15个对象类别，虽然模型在训练过程中不使用类别标签，但数据多样性可能仍然有限。第三，评估指标Long-CLIP可能与人类审美判断不完全一致，尽管用户研究支持了客观指标的有效性。我观察到的一些额外局限性包括：推理速度可能较慢，因为需要多轮生成和渲染；模型可能难以处理非常复杂的对象或大量部分（数据集限制为2-5个部分）；以及在极端编辑场景（如完全删除并重新生成整个部分）下的性能尚未充分评估。
独立分析的弱点
本文方法存在一些可以改进的弱点。首先，模型的推理效率有待提高，因为每个部分都需要单独生成和渲染，对于包含许多部分的复杂素描，这可能成为瓶颈。改进方向可以是并行生成独立部分，或使用更轻量级的渲染引擎。其次，部分分解的质量高度依赖VLM的能力，虽然多阶段批评机制有帮助，但在复杂场景下仍可能产生不合理的部分分解。未来可以引入更精细的部分表示，如层次化部分结构或部分之间的关系建模。第三，评估指标主要集中在视觉保真度和用户偏好，但对素描的功能性（如后续可用于CAD或矢量编辑软件）和可编辑性的评估不足。可以设计专门的评估任务来测试局部编辑的实际效果。最后，模型在处理非常长或复杂的文本提示时的能力有限，这可以通过改进长文本理解或引入层次化提示机制来解决。
未来方向
作者提出的未来工作方向包括将ControlSketch-Part数据集和训练框架作为研究资源发布，以促进结构化多轮过程的研究。基于本文成果可以延伸的方向包括：将部分级语义扩展到其他图形生成任务，如图标、插画或UI设计；探索更复杂的多模态交互，如手势指导、语音指令或草图到素描的转换；开发层次化部分表示，支持嵌套的部分结构；研究更高效的强化学习算法，减少训练时间和计算成本；将方法应用于真实世界的设计工作流程，与专业设计师协作测试其实用性。另一个有前景的方向是结合3D生成，使用类似的部分分解策略来生成3D模型或动画。还可以探索条件更丰富的生成，如风格控制、情绪表达或艺术家的个人风格迁移。
复现评估
复现本文方法的难度属于中等偏上。作者计划发布ControlSketch-Part数据集，这是一个重要贡献，包含35000张素描的部分级标注。使用的骨干模型Qwen3-VL-30B-A3B是开源的，但训练需要大量计算资源。SFT训练在5400步、批大小128、学习率为2e-4的条件下进行，RL训练需要额外的1000步，批大小为8，组大小为8，学习率为3e-6。使用Thinking Machines Lab的Tinker平台进行训练，这表明需要专用硬件。代码细节在补充材料中提供，包括伪代码。奖励模型DreamSim是预训练的ensemble模型，可以直接使用。主要的复现挑战包括：获取足够的计算资源（训练30B参数模型）、实现多轮过程奖励GRPO的细节（如有效性验证、轨迹终止条件）、以及复现自动标注管道（需要Gemini 3.0 Pro API访问）。虽然有详细的描述，但完全复现可能需要与作者联系获取补充材料或代码。
论文图表
表1展示了不同消融配置下的平均Long-CLIP分数，使用Qwen2.5-VL-3B模型进行控制实验。表中包含三种配置：Single-turn RL（单轮RL）得分为0.281，Multi-turn outcome-reward（多轮结果奖励）得分为0.286，Multi-turn process-reward（本文的多轮过程奖励）得分为0.298。单轮RL基线将整个素描过程视为单一完成，仅在最终渲染上计算终端奖励。多轮结果奖励GRPO基线使用最终渲染的奖励来计算所有步骤的优势。本文的多轮过程奖励GRPO设置在每个步骤使用中间状态奖励，对演化的画布进行密集信用分配。结果显示多轮GRPO设置优于单轮GRPO，而过程奖励优于结果奖励。
这个表对理解论文的消融研究至关重要。它提供了量化证据，证明本文提出的两个创新点（多轮公式和密集过程级奖励）都对最终性能有重要贡献。读者可以清楚地看到，从单轮到多轮（0.281到0.286）有提升，从结果奖励到过程奖励（0.286到0.298）有更大的提升。这支持了论文的核心论点，即利用生成过程中的中间状态提供密集视觉反馈是有效的。这个表还展示了控制实验的设计，使用较小的模型（Qwen2.5-VL-3B而不是Qwen3-VL-30B-A3B）来隔离变量。