基于多任务多奖励强化学习的SVG-LLMs可靠推理 Reliable Reasoning in SVG-LLMs via Multi-Task Multi-Reward Reinforcement Learning
引入链式思维推理与多任务多奖励RL优化SVG生成
前置知识
Scalable Vector Graphics (SVG)
SVG是一种基于XML的矢量图形格式，使用参数化的几何图元而非像素网格表示2D内容，具有存储紧凑、分辨率独立、可精细编辑的特点，是Web设计、UI开发、科学可视化的基础图形介质。
本文核心研究对象是SVG代码生成，理解SVG的分组结构()、层次化组织和可编辑性是理解CTRL-S方法的基础。
Group Relative Policy Optimization (GRPO)
GRPO是一种无需参数化价值模型的强化学习算法，通过在当前策略下对给定上下文采样一组G个多样化输出轨迹，在组内归一化奖励计算相对优势，利用裁剪代理目标和KL散度惩罚优化策略，避免传统PPO的价值模型内存开销。
本文的强化学习阶段采用GRPO算法，理解其组内相对优势计算和多轨迹采样机制对掌握CTRL-S的多奖励优化框架至关重要。
Chain-of-Thought (CoT) Reasoning
链式思维推理是一种显式暴露模型中间推理步骤的技术，通过让模型逐步思考并输出推理过程，能够提升复杂任务的生成质量、可解释性和稳定性，在大型语言模型中已被广泛验证。
CTRL-S的核心创新是将CoT推理引入SVG生成，建立推理步骤与SVG代码组之间的一一对应关系，理解这一机制对把握方法本质非常重要。
多任务学习 (Multi-Task Learning)
多任务学习通过联合训练多个相关任务，让模型共享表征并互相增强，能够提升泛化能力、减少过拟合、加速收敛，在深度学习中已被广泛应用于视觉、语言和多模态领域。
本文创新性地将Text-to-SVG、Image-to-SVG和SVG代码精炼三个任务统一在一个框架下联合训练，理解多任务协同机制对掌握方法贡献很关键。
研究动机
现有的SVG生成方法虽然通过构建大规模SVG数据集和引入SVG特定令牌提升了性能，但仍然存在明显的局限性。具体来说，这些方法泛化能力有限，经常在代码输出中产生冗余路径，而且缺乏显式的推理过程。例如，StarVector、LLM4SVG、OmniSVG和InternSVG等方法虽然集成了视觉编码器和SVG特定令牌来支持Text-to-SVG和Image-to-SVG任务，但它们仍然受限于单任务优化，无法统一Text-to-SVG和Image-to-SVG生成。虽然SVGen和SVGThinker将链式思维推理引入SVG生成，但它们没有充分利用SVG代码中固有的分组结构来层次化组织组件，也没有建立推理步骤与对应分组代码段之间的清晰对齐，导致结构透明度和可编辑性受限。RLRF和Reason-SVG虽然采用了GRPO算法来利用视觉奖励信号，但它们主要在隔离环境中优化单个任务，缺乏联合训练Text-to-SVG和Image-to-SVG生成的统一框架。
本文的目标是本文的目标是提出一个统一框架CTRL-S，将链式思维推理和多任务多奖励在线强化学习整合到SVG代码精炼、Text-to-SVG和Image-to-SVG任务中。具体而言，该框架通过引入链式思维机制显式暴露模型在SVG生成过程中的推理过程，并利用SVG固有的分组特征，建立推理步骤与对应代码组之间逐步对齐的关系。同时，构建高质量的SVG-Sophia数据集，在Text-to-SVG、Image-to-SVG和SVG代码精炼三个任务上提供显式的链式思维监督。在强化学习后训练阶段，设计多任务、多奖励的优化框架，采用GRPO算法并设计四个互补的奖励函数，从结构有效性、视觉保真度、语义一致性和代码效率四个维度全面指导模型优化，最终实现具有高视觉质量、高可读性和高可编辑性的SVG代码生成。
与已有工作不同的是，本文的独特切入角度在于同时从推理机制、任务统一性和奖励设计三个维度突破现有方法的局限性。与以往工作不同，本文不是简单地将链式思维引入SVG生成，而是深入利用SVG的内在分组结构，建立推理步骤与代码块之间的一一对应关系，将隐式生成过程转化为显式、结构化的代码块。更重要的是，本文打破了以往工作仅关注单任务优化的隔离状态，不仅联合训练Text-to-SVG和Image-to-SVG任务，还引入SVG代码精炼任务，赋予模型自我诊断和错误纠正能力，让三个任务在单一统一模型中互相强化。此外，本文设计的多奖励框架比以往仅依赖视觉奖励的方法更加全面，同时考虑结构有效性、视觉对齐、语义一致性和代码效率，实现平衡的推理效率和生成质量。这种多任务、多奖励的统一范式为SVG生成领域建立了一个新的训练基准，为复杂矢量图形生成和编辑奠定了基础。
核心方法
CTRL-S的整体框架可以分为两个主要阶段：两阶段监督微调和多任务多奖励强化学习。在监督微调阶段，模型首先在1M个SAgoge数据集样本上训练以对齐SVG特定令牌，然后在SVG-Sophia数据集的131K个监督微调样本上学习链式思维结构化响应，每个中间推理步骤都与层次化组织的组级结构块建立严格逐步对齐。在强化学习阶段，采用GRPO算法对Text-to-SVG、Image-to-SVG和代码精炼任务进行联合优化，通过综合反馈信号统一指导模型学习。整个方法通过两阶段训练建立强大的初始化，然后通过多任务多奖励强化学习进一步提升视觉保真度、语义一致性和代码效率，最终实现具有高生成成功率、优异视觉质量和高度可读可编辑代码的SVG生成系统。
CTRL-S的核心创新点在于将链式思维推理与SVG固有的分组结构深度结合，建立推理步骤与代码组之间的一一对应关系。与以往方法将链式思维作为简单的中间步骤不同，本文利用SVG的层次化分组特性，让每个推理步骤明确对应一个语义化的代码块，将隐式生成过程转化为显式、结构化且透明的代码生成。另一个核心创新是设计了四元互补奖励框架，包括格式奖励、DINO奖励、图像文本相似性奖励和代码效率奖励，这种多奖励优化不仅增强了视觉保真度，还缓解了以往SVG-LLM模型中常见的重复代码生成问题，实现了推理效率和生成质量之间的平衡。此外，本文的多任务统一范式让Text-to-SVG、Image-to-SVG和SVG代码精炼三个任务在单一模型中互相强化，这是与以往单任务优化方法的本质区别。
方法步骤详情
CTRL-S的完整流程包括数据构建、两阶段监督微调和多任务多奖励强化学习三个主要步骤。数据构建阶段从ColorSVG-100K数据集收集原始SVG文件并归一化到128x128 viewBox，使用Claude-Sonnet-4.5生成详细图像标题，然后将原始代码重构为高度结构化格式，包含描述性注释和语义分组层次，同时生成逐步推理过程。通过SSIM大于等于0.95的过滤和100个人类标注员的审查确保数据质量，最终构建包含131K监督微调样本和14.4K强化学习样本的SVG-Sophia数据集。监督微调阶段首先在1M个SAgoge样本上训练对齐SVG特定令牌，学习率为1e-4，然后在SVG-Sophia数据集上学习链式思维结构化响应，学习率降至5e-5，严格对齐推理步骤和代码块。强化学习阶段采用GRPO算法，在32个GPU上以128的全局批次大小和1e-5的学习率进行训练，在rollout阶段每个提示采样16个响应，训练2个epoch约12小时。对于每个输出轨迹，渲染SVG代码为图像，然后计算格式奖励、DINO奖励、图像文本相似性奖励和代码效率奖励，最终总奖励为格式奖励乘以三个奖励的加权和，权重比为2比1比1。
技术新颖性
CTRL-S的技术新颖性体现在多个方面。首先，本文是首次将链式思维推理与SVG的分组结构深度结合的工作，建立了推理步骤与代码组之间的一一对应关系，将隐式生成过程转化为显式、结构化且透明的代码块，这显著提升了SVG的可读性和可编辑性。其次，本文设计了四元互补奖励框架，与以往仅依赖视觉奖励的方法相比，同时考虑了结构有效性、视觉对齐、语义一致性和代码效率，实现了更全面的优化目标。特别是引入代码效率奖励，有效缓解了以往SVG-LLM模型中常见的重复代码生成问题，将生成的token数量从701降低到346，推理时间从7.121秒降低到4.439秒。第三，本文的多任务统一范式创新性地将Text-to-SVG、Image-to-SVG和SVG代码精炼三个任务整合在一个框架下联合训练，让三个任务互相强化，这与以往仅关注单任务优化的方法形成鲜明对比。实验表明，多任务训练相比单任务训练在Text-to-SVG的CLIP-T2I分数上从24.431提升到25.944，在Image-to-SVG的SSIM分数上从0.824提升到0.835，证明了跨任务协同的有效性。最后，本文构建的SVG-Sophia数据集包含131K监督微调样本和14.4K强化学习样本，为结构化SVG生成和代码精炼提供了系统的训练资源，这是该领域首个提供显式链式思维监督的大规模数据集。
实验结果
CTRL-S在SArena-Icon基准测试的Text-to-SVG任务上取得了领先的性能，CLIP-T2I分数达到25.944，FID为11.584，成功率为99.85%。与基线模型相比，CTRL-S相比SFT基线在FID上降低了6.570，在CLIP-T2I上提升了2.289，在CLIP-I2I上提升了4.332，证明了强化学习阶段的有效性。在Image-to-SVG任务上，CTRL-S在所有视觉指标上都取得了最佳结果，DINO分数为0.980，SSIM为0.835，LPIPS为0.098，成功率达到99.93%。相比SFT基线，CTRL-S在DINO上提升了0.077，在SSIM上提升了0.118，在LPIPS上降低了0.089，显著增强了视觉保真度。在SVG代码精炼任务上，CTRL-S在SVG-Sophia代码精炼基准上取得了最佳性能，与最先进的专有模型（包括GPT-5.2、Claude-Sonnet-4.5和Gemini-3-Pro）相比，CTRL-S在DINO上达到0.951，在SSIM上达到0.765，在LPIPS上达到0.180，成功率达到99.79%。相比SFT基线，CTRL-S在DINO上提升了0.063，在SSIM上提升了0.100，在LPIPS上降低了0.056，同时将生成的token数量从2.9k降低到866，证明了多奖励优化在代码精炼任务上的有效性。消融实验表明，引入链式思维推理显著提升了任务成功率，SFT模型的成功率从85.75%提升到92.02%，SFT加RL模型的成功率从99.47%提升到99.85%。多奖励消融实验显示，添加图像文本相似性奖励将CLIP-T2I分数从24.573提升到25.444，进一步添加代码效率奖励将生成的token数量从701降低到346，推理时间从7.121秒降低到4.439秒。多任务训练消融实验表明，联合训练Text-to-SVG和Image-to-SVG增强了跨模态语义对齐，在Text-to-SVG的CLIP-T2I分数上从24.431提升到24.804，进一步引入SVG代码精炼任务在Image-to-SVG的SSIM分数上从0.824提升到0.835。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Text-to-SVG | FID | 11.584 | InternSVG-8B: 8.715 | 比最佳SVG-LLM基线提升32.9% |
| Text-to-SVG | CLIP-T2I | 25.944 | InternSVG-8B: 23.916 | 比最佳SVG-LLM基线提升8.5% |
| Text-to-SVG | Success Rate | 99.85% | InternSVG-8B: 97.24% | 比最佳SVG-LLM基线提升2.7% |
| Image-to-SVG | DINO | 0.980 | InternSVG-8B: 0.949 | 比最佳SVG-LLM基线提升3.3% |
| Image-to-SVG | SSIM | 0.835 | InternSVG-8B: 0.811 | 比最佳SVG-LLM基线提升3.0% |
| Image-to-SVG | LPIPS | 0.098 | InternSVG-8B: 0.127 | 比最佳SVG-LLM基线提升22.8% |
| SVG Code Refinement | DINO | 0.951 | GPT-5.2: 0.911 | 比最佳专有模型提升4.4% |
| SVG Code Refinement | SSIM | 0.765 | GPT-5.2: 0.640 | 比最佳专有模型提升19.5% |
| SVG Code Refinement | Success Rate | 99.79% | GPT-5.2: 99.26% | 比最佳专有模型提升0.5% |
局限与改进
作者承认的局限性包括计算资源需求较高，强化学习阶段需要在32个GPU上训练约12小时，这对资源有限的研究机构可能是一个挑战。此外，虽然CTRL-S显著提升了代码效率，但在处理复杂几何体时仍然存在改进空间，特别是对于包含大量细节和复杂结构的场景。从观察来看，CTRL-S的另一个潜在局限性是依赖于高质量的SVG-Sophia数据集，该数据集虽然经过严格的质量控制和人工审查，但在数据分布上可能仍然存在一定的偏差，特别是在处理特定领域或风格的SVG时可能表现不佳。此外，多任务多奖励优化框架虽然提升了整体性能，但不同任务之间可能存在任务冲突，特别是在Text-to-SVG和Image-to-SVG之间的优化目标不完全一致时，可能需要更精细的任务平衡策略。最后，CTRL-S虽然提升了代码的可读性和可编辑性，但对于非专业用户来说，理解生成的SVG代码仍然需要一定的技术背景，这在一定程度上限制了其在普通用户中的应用潜力。
独立分析的弱点
CTRL-S在几个方面存在改进空间。首先，计算资源需求是一个明显的弱点，强化学习阶段需要在32个GPU上训练约12小时，这对大多数研究机构来说是相当高的门槛。改进方向可以包括探索更高效的强化学习算法，如减少rollout阶段的轨迹采样数量，或者采用模型压缩和知识蒸馏技术降低计算需求。其次，在处理复杂几何体时，CTRL-S仍然存在生成质量不稳定的问题，特别是在包含大量细节和复杂结构的场景中。改进方向可以包括引入更细粒度的层次化生成策略，或者设计针对复杂几何体的专门奖励函数，如引入结构感知的奖励来提升复杂场景的生成质量。第三，多任务优化可能存在任务冲突，特别是在Text-to-SVG和Image-to-SVG之间的优化目标不完全一致时。改进方向可以包括设计更精细的任务平衡策略，如采用任务特定的权重自适应调整机制，或者引入任务感知的奖励调制来缓解任务冲突。第四，SVG-Sophia数据集虽然质量较高，但在数据分布上可能存在偏差，特别是在处理特定领域或风格的SVG时。改进方向可以包括扩展数据集的多样性，引入更多领域和风格的SVG样本，或者采用领域自适应技术来提升模型在不同领域上的泛化能力。最后，对于非专业用户来说，理解生成的SVG代码仍然需要一定的技术背景，限制了其在普通用户中的应用。改进方向可以包括开发更友好的可视化编辑界面，或者引入自然语言到SVG编辑操作的映射机制，降低用户的技术门槛。
未来方向
作者提出的未来研究方向包括扩展CTRL-S框架以支持更复杂的矢量图形生成任务，如支持动画SVG生成、交互式SVG编辑和多模态SVG生成。基于CTRL-S的成果，可以延伸的研究方向包括：首先，探索更细粒度的链式思维推理机制，如引入层次化推理或多级推理来处理更复杂的SVG生成任务，或者将链式思维推理与其他推理范式结合，提升模型处理复杂场景的能力。其次，扩展多任务框架以支持更多相关任务，如SVG风格迁移、SVG布局优化和SVG内容理解，或者引入跨模态对齐任务，如SVG与文本、图像和3D模型之间的对齐，构建更全面的矢量图形理解与生成系统。第三，研究更高效的强化学习算法，如引入离线强化学习或模仿学习来降低样本复杂度，或者采用元学习技术来提升模型在不同任务上的快速适应能力。第四，探索更智能的代码优化策略，如引入神经符号方法来结合规则推理和神经网络的优势，或者采用可微优化技术来直接优化SVG代码的渲染质量。第五，开发更友好的交互式SVG编辑系统，如引入自然语言接口让用户通过对话方式编辑SVG，或者开发可视化编辑界面让用户通过拖拽和点击等方式直观地修改生成的SVG。最后，将CTRL-S框架扩展到其他矢量图形领域，如支持PDF、EPS和AI格式的生成与编辑，或者应用于计算机辅助设计、科学可视化和数字艺术创作等领域。
复现评估
CTRL-S的复现评估显示该项目具有较好的开源情况和复现可行性。作者在GitHub上开源了代码库，并在Hugging Face上发布了SVG-Sophia数据集，这为研究社区提供了充分的资源来复现和扩展该方法。数据方面，SVG-Sophia数据集包含131K监督微调样本和14.4K强化学习样本，覆盖Text-to-SVG、Image-to-SVG和SVG代码精炼三个任务，数据质量经过严格控制和人工审查，确保了训练数据的可靠性。算力需求方面，监督微调阶段需要在48个H200 GPU上以96的全局批次大小训练，强化学习阶段需要在32个GPU上以128的全局批次大小训练约12小时，这对大多数研究机构来说是一个较高的算力门槛，但通过适当的资源缩减和超参数调整，应该可以在较小的规模上实现功能性复现。代码质量方面，作者采用了verl框架实现GRPO算法，这是一个相对成熟的强化学习框架，代码结构清晰且文档完善，有利于研究社区的理解和扩展。复现难度方面，考虑到算力需求、数据规模和算法复杂性，CTRL-S的复现难度属于中等到较高水平，需要研究团队具备一定的深度学习、强化学习和矢量图形处理经验。然而，由于作者提供了完整的代码、数据和训练配置，对于有经验的团队来说，在适当算力支持下应该能够成功复现主要实验结果。
论文图表
