对齐文本、代码与视觉：面向文本到可视化的多目标强化学习框架 Aligning Text, Code, and Vision: A Multi-Objective Reinforcement Learning Framework for Text-to-Visualization
首个用强化学习优化文本到可视化生成的框架，通过多目标奖励提升图表质量
前置知识
Text-to-Visualization (Text2Vis)
Text2Vis是一个将自然语言查询转换为数据可视化图表的任务。给定一个表格数据和用户的自然语言问题，系统需要生成可执行的Python代码（通常使用Matplotlib等库）来创建相应的图表，同时还要生成简洁的文本答案。这个任务需要模型同时理解自然语言、处理表格数据、编写代码并生成美观的可视化图表，是一个典型的多模态任务。
理解Text2Vis任务的复杂性是理解本文研究动机的前提，因为传统方法难以同时优化多个质量维度
Group Relative Policy Optimization (GRPO)
GRPO是由DeepSeek-R1提出的一种可扩展的策略梯度方法，它通过群组相对优势来消除对学习型价值函数的需求。对于每个输入提示，策略会生成一组G个候选输出，计算每个输出的奖励，然后在组内进行标准化得到优势估计。相比PPO需要训练一个价值网络来估计优势，GRPO通过组内奖励标准化直接计算优势，这在长序列场景中更为高效和实用。
GRPO是本文采用的核心RL算法，理解其工作原理是理解本文技术路线的关键
多目标强化学习奖励
多目标强化学习奖励是指同时考虑多个优化目标的奖励函数设计方法。在Text2Vis场景中，需要同时优化三个维度：文本答案的正确性（Rtext）、代码的可执行性和意图匹配（Rcode）、以及生成图表的可视化质量（Rvis）。最终奖励是这三个维度的加权组合R = αRtext + βRcode + γRvis，其中权重参数通过网格搜索确定为(α=0.5, β=0.25, γ=0.25)。这种设计能够捕捉到传统SFT损失函数无法捕捉的执行后反馈信号。
多目标奖励是本文的核心创新，解决了现有方法只能优化单一指标的问题
监督微调 (Supervised Fine-Tuning, SFT)
监督微调是一种通过最小化token级别的负对数似然损失来训练模型的方法。在Text2Vis任务中，SFT通过模仿参考输出来提高代码的语法和结构正确性，从而提升代码的可执行性。然而，SFT无法优化执行后的质量指标，如图表的视觉清晰度、语义对齐程度等，因为传统的token级损失函数无法提供关于这些质量维度的反馈信号。这是本文提出RL方法的根本原因。
理解SFT的局限性是理解为什么需要引入RL方法的关键
执行后反馈 (Post-Execution Feedback)
执行后反馈是指在生成的代码被实际执行并渲染出可视化图表后才能获得的质量评估信号。与代码生成中可以通过执行成功与否来验证功能正确性不同，数据可视化的质量需要在渲染后才能评估，包括图表的可读性、标签清晰度、颜色对比度、布局合理性、以及是否与用户查询语义对齐等多个维度。这些反馈只能通过视觉语言模型(VLM)对渲染后的图表进行评估来获得。
执行后反馈是本文方法论的核心创新点，解决了传统SFT无法优化视觉质量的问题
研究动机
当前Text-to-Visualization系统面临的核心问题是现有方法无法同时优化多个质量维度。首先，闭源模型如GPT-4o虽然能生成功能性的代码，但生成的图表常常缺乏语义对齐和清晰度。在Text2Vis基准测试中，GPT-4o的图表可读性得分仅为3.32（满分5分），图表正确性得分仅为3.30，最终通过率仅为30%。其次，开源模型表现更差，小型到中型模型（7B-14B）经常生成不可执行或视觉质量差的输出。以Qwen2.5-14B为例，其代码执行成功率仅为78%，答案匹配率仅为29%，最终通过率仅为14%。更关键的是，监督微调(SFT)虽然可以提高代码可执行性（从78%提升到87%），但对可视化质量的提升微乎其微（可读性从3.12提升到3.42，正确性从2.94提升到3.28），这表明token级损失函数无法捕捉执行后的视觉质量反馈信号。
本文的目标是本文的具体目标是开发第一个专门针对Text2Vis任务的强化学习框架，通过引入执行后的多模态反馈来联合优化文本准确性、代码有效性和可视化质量。具体而言，作者希望：(1) 将代码执行成功率从78%提升到95%以上；(2) 显著提升图表的可读性和正确性得分；(3) 使开源模型能够达到甚至超越GPT-4o等闭源模型的性能；(4) 验证该框架在跨域数据集上的泛化能力；(5) 证明该方法在不同模型规模（7B和14B）和不同架构（Qwen和Llama）上的通用性。
与已有工作不同的是，本文的独特切入角度在于首次将执行后的多模态反馈整合到强化学习训练循环中。现有方法存在三个关键缺口：第一，SFT方法虽然能提高代码可执行性，但其损失函数无法捕捉视觉质量和语义对齐等执行后质量指标；第二，现有的RL方法如DeepSeek-R1和SWE-RL主要依赖单一模态的反馈（如代码执行成功或数值正确性），而Text2Vis需要同时优化文本、代码和视觉三个维度；第三，现有的LLM/VLM评估器主要用于事后基准测试，而非模型优化。本文通过设计一个两阶段奖励系统（格式奖励确保结构有效性，复合多模态奖励提供细粒度质量反馈），并利用GRPO算法的群组相对优势估计来实现高效的策略优化，填补了这些空白。
核心方法
RL-Text2Vis的整体思路可以分为三个层次来理解。从直觉层面看，传统方法就像教学生画画只看草稿是否整洁（SFT的token级损失），而RL-Text2Vis则让学生画完后看成品的效果并给予反馈（执行后视觉反馈）。技术路线层面，框架采用GRPO算法作为核心优化器，对于每个输入查询，策略模型生成G=8个候选输出，每个输出包含文本答案和可视化代码。然后通过一个两阶段奖励系统评估这些输出：第一阶段检查输出格式是否符合要求的JSON结构，第二阶段使用三个专门的评估模型（文本评估器、代码评估器、视觉评估器）分别评估文本正确性、代码质量（可执行性和意图匹配）和图表质量（可读性和正确性）。最后通过组内标准化计算优势估计，更新策略模型。架构层面，训练使用Qwen2.5-7B-Instruct作为基础策略模型，Qwen2.5-7B作为文本和代码奖励的评估器，Qwen2.5-VL-7B作为视觉奖励的评估器，并使用一个冻结的Qwen2.5-7B-Instruct作为参考模型来计算KL散度正则化。
本文的核心创新点在于设计了一个新颖的多目标奖励函数，它首次将执行后的多模态反馈整合到RL训练中。与已有方法的本质区别体现在三个层面：第一，与SFT相比，RL-Text2Vis的奖励函数不是基于token级的交叉熵损失，而是基于三个后验质量指标——文本答案是否正确（由LLM评估器判断）、代码是否可执行且意图匹配（通过实际执行验证）、图表是否清晰且语义对齐（由VLM评估器判断）。第二，与现有的单模态RL方法如CodeRL（只关注代码执行成功）或ChartGPT（只关注图表生成）相比，RL-Text2Vis同时优化三个维度，并通过加权组合R = 0.5Rtext + 0.25Rcode + 0.25Rvis来平衡它们的重要性。第三，与DPO等偏好学习方法相比，GRPO通过群组相对优势估计避免了对成对偏好数据的依赖，并且通过PPO风格的裁剪和KL正则化确保训练稳定性。这种多目标、执行后、多模态的奖励设计是Text2Vis任务所独有的，因为可视化质量只能在代码执行并渲染后才能评估。
方法步骤详情
RL-Text2Vis的方法步骤如下：步骤1：输入准备。对于每个训练样本，输入包含自然语言查询和表格数据，输出格式要求是包含两个字段的JSON对象：answer（简短文本答案）和code（以plt.show()结尾的可执行Python可视化脚本）。步骤2：策略生成。策略模型πθ（如Qwen2.5-7B-Instruct）基于输入生成G=8个候选输出{y1, y2, ..., yG}，每个输出都是一个完整的JSON响应。步骤3：格式奖励评估（Stage 1）。检查每个输出是否符合要求的JSON结构，不符合的输出获得奖励0并被排除出后续优化，这一步防止策略向无效生成漂移。步骤4：复合奖励计算（Stage 2）。对于通过格式检查的输出，计算三个维度的奖励：Rtext（文本正确性，由LLM评估器评估，0-1分）、Rcode（代码奖励，包含可执行性Iexec和意图匹配Iintent两部分，各占50%权重，取值{0, 0.5, 1}）、Rvis（可视化质量，由VLM评估器评估可读性和正确性，归一化到[0,1]后平均）。步骤5：奖励加权组合。计算最终奖励R = 0.5Rtext + 0.25Rcode + 0.25Rvis，权重通过网格搜索确定。步骤6：优势估计。在每个G大小的组内进行奖励标准化，计算优势Âi = (ri - r̄)/σr，其中r̄和σr是组内奖励的均值和标准差。步骤7：策略更新。使用GRPO目标函数进行更新，包含PPO风格的重要性采样比裁剪（ε控制裁剪边界）和对参考策略的KL散度惩罚（β控制正则化强度），确保训练稳定。
技术新颖性
RL-Text2Vis在技术上具有多项新颖之处。首先，它是第一个将强化学习应用于Text2Vis任务的框架，开创了用执行后反馈优化可视化生成的新范式。其次，多目标奖励设计创新性地整合了三种不同模态的反馈信号——文本反馈（LLM评估）、代码反馈（执行验证+LLM评估）、视觉反馈（VLM评估），这在现有RL方法中是独一无二的。第三，GRPO的应用具有创新性，通过群组相对优势估计消除了对价值网络的需求，这对于Text2Vis这种需要长序列生成且关键指标只能在执行后评估的任务特别适用。第四，奖励的分阶段设计（格式奖励+复合奖励）既保证了输出的结构有效性，又提供了细粒度的质量反馈，避免了策略漂移。第五，评估器的选择和配置也具有创新性：使用与策略模型同系列但不同规模的模型作为评估器（如7B策略用7B评估器，14B策略用14B评估器），并在200个样本上验证了评估器间的一致性（Pearson r=0.85-0.97），确保了奖励信号的可靠性。最后，加权策略的网格搜索（α∈{0.3,0.4,0.5,0.6}, β∈{0.2,0.25,0.3}）为后续研究提供了实用的调参指导。
实验结果
RL-Text2Vis在多个基准测试上取得了显著的改进。在Text2Vis基准测试（in-domain）上，RL-Text2Vis-14B模型相比其零样本基线，图表可读性从3.12提升到4.10（提升31.4%），图表正确性从2.94提升到4.03（提升37.1%），代码执行成功率从78%提升到97%（提升24.4%），答案匹配率从29%提升到35%（提升20.7%），最终通过率从14%提升到29%（提升107%）。更令人瞩目的是，RL-Text2Vis-14B在图表质量指标上超越了GPT-4o：可读性4.10 vs 3.32（提升23.5%），正确性4.03 vs 3.30（提升22.1%）。在VIS-Eval（out-of-domain）基准上，RL-Text2Vis-7B将代码执行成功率从57%提升到72%，图表可读性从1.50提升到2.50，正确性从0.69提升到1.37。在NVBench上，RL-Text2Vis-7B将代码执行成功率从75%提升到93%，可读性从2.64提升到3.47，正确性从2.34提升到3.28。消融实验表明，多目标奖励的组合效果最优，去除任何单一奖励成分都会导致性能下降，这验证了联合优化三个维度的有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Text2Vis (in-domain) - 图表可读性 | Readability (1-5 scale) | 4.10 | Qwen2.5-14B Zero-Shot: 3.12, GPT-4o: 3.32 | 相比零样本基线提升31.4%，相比GPT-4o提升23.5% |
| Text2Vis (in-domain) - 图表正确性 | Correctness (1-5 scale) | 4.03 | Qwen2.5-14B Zero-Shot: 2.94, GPT-4o: 3.30 | 相比零样本基线提升37.1%，相比GPT-4o提升22.1% |
| Text2Vis (in-domain) - 代码执行成功率 | Code Exec. Success (%) | 97% | Qwen2.5-14B Zero-Shot: 78%, Qwen2.5-14B SFT: 87% | 相比零样本基线提升24.4%，相比SFT提升11.5% |
| Text2Vis (in-domain) - 最终通过率 | Final Pass Rate (%) | 29% | Qwen2.5-14B Zero-Shot: 14%, GPT-4o: 30% | 相比零样本基线提升107%，接近GPT-4o水平 |
| NVBench (out-of-domain) - 代码执行成功率 | Code Exec. Success (%) | 93% | Qwen2.5-7B Zero-Shot: 75% | 提升24% |
| NVBench (out-of-domain) - 图表正确性 | Correctness (1-5 scale) | 3.28 | Qwen2.5-7B Zero-Shot: 2.34 | 提升40.2% |
局限与改进
本文存在以下几个重要局限性：首先，14B模型虽然能获得最佳质量，但需要显著更多的计算资源和内存（在6×H100 80GB GPU上训练约50小时），对于资源受限的组织，7B变体是更实用和经济的选择。其次，作者未能训练更大的骨干网络（如32B或72B）以验证更大规模的效果，尽管从3B→7B→14B的扩展实验已显示一致的改进趋势。第三，虽然方法在跨域基准上展示了泛化能力，但在高度专业化领域（如医疗或金融可视化）的鲁棒性尚未得到测试。第四，研究仅关注静态可视化，扩展到交互式或多视图可视化分析是重要的未来方向。第五，奖励权重的确定依赖于网格搜索，可能不是全局最优解，且在不同任务或数据分布下可能需要重新调整。第六，评估器本身的偏差可能影响训练效果，尽管作者进行了跨评估器一致性验证，但VLM对图表质量的评估仍有主观性。
独立分析的弱点
RL-Text2Vis在以下几个方面存在可改进的弱点：第一，奖励权重的确定方式（网格搜索）较为粗糙，可能不是全局最优。改进建议：可以引入自适应权重调整机制，根据训练过程中各指标的进展动态调整α、β、γ的值，或者使用帕累托优化方法来处理多目标问题。第二，当前的视觉奖励评估依赖于VLM的单次评估，可能存在评估噪声。改进建议：可以引入多个VLM评估器的集成，或者使用人类反馈进行校准，提高评估的稳定性和准确性。第三，生成8个候选输出增加了推理成本，且在小规模模型（3B）上改进有限。改进建议：可以研究动态调整生成数量的策略，或者使用更高效的采样方法如束搜索。第四，当前方法仅支持静态可视化，无法处理交互式图表。改进建议：可以扩展奖励函数来评估交互元素的质量，或者将框架适配到支持交互式的可视化库。
未来方向
基于本文的研究成果，未来工作可以在以下几个方向展开：第一，作者提到扩展到更大的模型规模（32B、72B）是有前景的方向，因为从3B→7B→14B的扩展已显示一致的改进趋势。第二，将框架扩展到交互式或多视图可视化分析，这需要设计新的奖励函数来评估交互质量。第三，在高度专业化领域（医疗、金融、科学计算）进行验证和适配，可能需要领域特定的评估标准。第四，研究更高效的RL训练方法，减少对大量采样输出的依赖，降低计算成本。第五，探索人类在循环中的RL训练，引入真实用户的反馈来进一步提升可视化质量。第六，将多目标RL奖励框架应用到其他多模态生成任务，如文本到图表的数据故事讲述、文本到3D可视化等。第七，研究奖励权重的自动化调整方法，如基于强化学习的元学习来动态优化权重分配。
复现评估
本文的复现评估如下：开源情况方面，作者已在GitHub上公开了代码（https://github.com/vis-nlp/RL-Text2Vis），这为复现提供了良好基础。数据方面，使用的是公开的Text2Vis基准测试数据集，包含test1（1,749样本）用于RL优化和test2（236样本）用于评估，以及VIS-Eval（2,524查询）和NVBench（7,247任务）用于泛化测试。算力方面，7B模型需要4×A100 80GB GPU（约25小时），14B模型需要6×H100 80GB GPU（约50小时），这对大多数研究机构是可负担的。评估器方面，使用开源的Qwen2.5系列模型作为奖励评估器，降低了对外部API的依赖。难度方面，GRPO算法的实现相对复杂但已有成熟框架支持，多目标奖励的设计需要仔细调参但作者提供了详细的网格搜索结果。总体而言，该研究的复现难度中等，主要挑战在于计算资源和奖励权重的调优。
论文图表
展示了Text2Vis任务的一个具体示例。图中包含一个数据表格和用户问题，对比了基线模型Qwen2.5-14B-Instruct和本文RL-Text2Vis-14B的生成结果。基线模型虽然生成了可运行的可视化代码，但图表没有与查询对齐（显示了可再生能源数量的增长而不是占比），导致答案错误。而RL-Text2Vis-14B生成了正确、查询对齐且可解释的可视化图表。
这张图直观地展示了Text2Vis任务的核心挑战——语义对齐问题，以及本文方法如何解决这一问题。它帮助读者快速理解研究动机和方法效果。
展示了训练过程中平均奖励的增长和输出间奖励方差的减少，反映了模型输出质量的一致性提升。
这张图直接反映了RL训练的有效性，奖励的提升和方差的减少表明模型正在学习生成更高质量的输出。
展示了在VIS-Eval、NVBench和PandasPlotBench三个域外基准上的性能。RL-Text2Vis在所有基准上都显著优于零样本基线，证明了方法的泛化能力。例如在NVBench上，代码执行成功率从75%提升到93%，图表正确性从2.34提升到3.28。
这个表格验证了RL-Text2Vis的泛化能力，表明方法不仅在训练域内有效，在未见过的数据集和领域上也能取得显著改进。
展示了在Qwen2.5-7B上对奖励组件的消融实验结果。包括去除单一奖励和仅使用单一奖励的对比。结果表明使用完整的多目标奖励（所有奖励）性能最优，去除任何单一奖励都会导致性能下降，验证了联合优化三个维度的有效性。
这个表格是理解各奖励组件贡献的关键，证明了多目标奖励设计的必要性和有效性。
展示了在不同模型规模（3B）和不同架构（Llama-3.1-8B）上的扩展实验。结果表明RL-Text2Vis在所有规模和架构上都能带来一致的改进，验证了框架的通用性。例如在Llama-3.1-8B上，代码执行成功率从70%提升到87%。
这个表格证明了方法的架构无关性和可扩展性，增强了研究结论的普适性。