ChartVerse：通过可靠的从零编程合成扩展图表推理能力 ChartVerse: Scaling Chart Reasoning via Reliable Programmatic Synthesis from Scratch
提出RPE复杂度度量和逆向QA合成框架，生成大规模高难度图表推理训练数据
前置知识
Vision Language Model (VLM, 视觉语言模型)
VLM是一类同时具备视觉编码器（如ViT）和语言解码器（如LLM）的多模态模型，能够接收图像输入并生成自然语言输出。在图表理解任务中，VLM需要解析图表中的视觉元素（颜色、形状、位置）并结合语言推理能力回答问题。典型的VLM架构包括Qwen3-VL、InternVL3.5等，它们通过视觉编码器将图像转换为token序列，再与文本token一起输入语言模型进行推理。本文基于Qwen3-VL-Instruct系列作为学生模型进行训练。
本文的核心任务是提升VLM在图表推理上的表现，理解VLM的基本架构和训练范式（SFT+RL）是理解本文方法和实验设计的基础。
Chain-of-Thought (CoT, 思维链)
CoT是一种让模型在给出最终答案前先展示中间推理步骤的提示和训练策略。在图表推理中，CoT要求模型逐步解释如何从图表中提取数据、进行计算并得出结论。CoT蒸馏是指从强大的教师模型中提取高质量的推理轨迹，用于训练较小的学生模型。本文使用Qwen3-VL-30B-A3B-Thinking作为教师模型生成CoT推理轨迹，通过多步过滤（模板验证、长度检查、n-gram去重）保证质量。
本文通过CoT蒸馏和失败率过滤来确保训练数据的推理深度和难度，CoT质量直接决定了学生模型的推理能力上限。
Supervised Fine-Tuning (SFT, 监督微调) 与 Reinforcement Learning (RL, 强化学习)
SFT是使用标注好的输入-输出对对预训练模型进行有监督训练的过程，让模型学习特定任务的模式。RL（本文采用GRPO算法）则是在SFT基础上，通过采样多个回答并根据奖励信号优化模型策略，使模型在更难的样本上也能做出正确推理。两阶段训练范式：先SFT建立基础能力，再RL强化困难样本上的表现。本文的RL阶段使用失败率最高的样本构建RL数据集，迫使模型攻克最难的推理案例。
本文的训练流程分为SFT和RL两个阶段，理解这两个阶段的不同作用和互补关系对于理解实验结果中各阶段的性能提升至关重要。
Programmatic Chart Synthesis (程序化图表合成)
程序化图表合成是指通过编写可执行的Python代码（通常使用matplotlib等库）来自动生成图表图像的方法。与基于模板的方法不同，代码驱动的合成可以产生更多样的图表样式和更复杂的数据关系。关键优势是代码本身包含了图表的全部数据信息，可以作为答案的绝对真值来源。本文训练了一个专门的图表编码器（基于Qwen2.5-Coder-7B），能够从零生成多样化的复杂图表代码。
本文的整个数据合成框架建立在代码驱动的图表生成之上，代码既是图表的生成手段，也是答案正确性的根本保障。
Posterior Entropy (后验熵)
后验熵是信息论中衡量随机变量不确定性的度量。在本文中，作者创新性地将后验熵应用于图表复杂度评估：对同一张图表图像，用VLM多次生成可执行代码（rollout），然后将这些代码渲染回图像，通过CLIP提取特征计算Gram矩阵的奇异值谱熵。如果图表简单，多次生成的代码会渲染出几乎相同的图像，后验熵低；如果图表复杂，生成结果会高度不一致，后验熵高。归一化公式为 $RPE = S/K$，其中 $S$ 是谱熵，$K$ 是成功执行的样本数。
RPE是本文最核心的技术贡献之一，它提供了一种客观、模型无关的图表复杂度度量，驱动了后续的数据筛选、编码器训练和数据集构建。
研究动机
当前图表推理领域面临一个双重困境。一方面，现有合成数据集的图表视觉复杂度严重不足：基于模板的方法（如ChartLlama、TinyChart）依赖固定模板或种子图表，生成的图表布局僵化、样式单一，无法覆盖真实世界中长尾分布的复杂图表模式；基于商业API的方法（如CoSyn使用Claude-3.5-Sonnet）虽然能产生更丰富的图表，但依赖闭源接口导致成本高昂且难以大规模扩展。从Table 1的数据来看，几乎所有现有数据集的Rollout Posterior Entropy (RPE)都低于0.35，表明这些图表的内在复杂度很低。另一方面，现有QA数据的质量堪忧：人工标注（如ChartQA）虽然准确但成本极高无法扩展；LLM生成的QA对经常出现幻觉和数值错误，答案正确性无法保证。这种「图表简单+QA不可靠」的双重缺陷严重制约了开源VLM在图表推理上的发展。
本文的目标是本文的核心目标是构建一个可扩展的、代码驱动的图表推理数据合成框架ChartVerse，同时提升三个维度：视觉复杂度（通过RPE度量指导生成高复杂度图表）、分布多样性（覆盖长尾图表模式）和推理可靠性（通过代码执行保证答案正确性）。具体而言，作者希望合成的ChartVerse-SFT-600K数据集的RPE达到0.44（远超现有数据集的0.21-0.35），同时答案准确率达到100%，最终使训练出的小模型（如8B参数）能够超越其教师模型（30B参数）的图表推理能力。
与已有工作不同的是，本文的独特切入角度在于将「代码」同时作为图表生成的手段和答案验证的锚点。以往的工作要么关注图表视觉多样性（但忽视QA质量），要么关注QA生成（但依赖不可靠的VLM直接回答）。ChartVerse抓住了一个被忽视的关键洞察：代码渲染的图表天然包含精确的数据真值，这使得「从代码出发反向构建QA」成为可能——先从代码计算出确定性答案，再反向生成问题，最后通过一致性检查确保逻辑闭环。此外，作者提出了RPE这一模型无关的复杂度度量，用生成稳定性来量化图表的内在难度，这种「通过不确定性度量难度」的思路在图表领域是全新的。
核心方法
ChartVerse的方法可以用一个类比来理解：想象你要出一套数学考试题。传统方法是随便找些简单的题目然后让AI写答案（容易出错），而ChartVerse的做法是先建立一个「难度评估标准」（RPE），然后训练一个「出题专家」（复杂度感知图表编码器）专门生成高难度题目，最后采用「先有答案再出题」的逆向流程（真值锚定逆向QA合成）确保每道题的答案都绝对正确。整个框架分为两个阶段：Stage 1通过RPE引导的迭代自增强训练一个复杂度感知的图表编码器，使其能从零生成多样化的高复杂度图表代码；Stage 2通过真值锚定的逆向QA合成流程，从代码中提取确定性答案、反向生成问题，并通过CoT蒸馏和失败率过滤确保推理深度。
ChartVerse最核心的创新在于两个方面。第一是Rollout Posterior Entropy (RPE)：作者发现图表的复杂度可以通过「生成稳定性」来衡量——简单图表无论怎么生成都会得到一致的代码和渲染结果，而复杂图表会导致高度不一致的重建。具体而言，用VLM对同一图表图像进行M次高温度采样生成代码，执行后渲染为图像，通过CLIP提取特征计算Gram矩阵的谱熵 $S$，再归一化得到 $RPE = S/K$。这种度量方式是模型无关的、客观的，且与下游任务难度高度相关。第二是真值锚定逆向QA合成（A到Q范式）：不同于传统的先问题后答案（Q到A）流程，ChartVerse先从代码中通过执行Python脚本获得精确的程序化答案 $A_{py}$，再反向生成与之严格对应的问题。这种逆向流程从根本上消除了VLM直接回答时的数值幻觉问题，保证了100%的答案正确性。
方法步骤详情
ChartVerse的完整流程包括以下步骤：（1）RPE度量计算：对现有图表数据集中的约400万张图表图像，使用Qwen3-VL-2B-Thinking以温度1.0生成8次代码，执行并渲染为图像，通过CLIP提取特征后计算Gram矩阵的谱熵，得到每张图的RPE值。（2）高难度冷启动数据构建：从现有数据集中筛选RPE大于等于0.4的高复杂度图表（约6万张），使用Claude-4-Sonnet反推代码，过滤执行错误后得到冷启动集。（3）图表编码器训练：以Qwen2.5-Coder-7B为基础，用冷启动集训练代码生成模型，学习图表代码的结构和逻辑模式。（4）迭代自增强：编码器以温度1.0大规模采样生成200万原始代码，过滤执行错误、RPE大于等于0.4、与冷启动集CLIP相似度小于等于0.65的样本，得到20万增强集，合并冷启动集和增强集重新训练编码器，迭代两次。（5）最终合成：用最终编码器生成100万代码，经RPE过滤得到70万对图像-代码数据集。（6）真值锚定逆向QA合成：对每个代码C，先让Qwen3-30B-A3B-Thinking生成Python脚本S计算确定性答案，再反向生成问题Q，然后让LLM独立回答得到预测答案，仅保留预测答案与程序化答案一致的样本。（7）CoT蒸馏与失败率过滤：用教师模型生成3条CoT推理轨迹，计算失败率，保留失败率介于0和1之间的样本（既不太难也不太简单），失败率最高的4万样本构建RL数据集，其余构建SFT数据集。
技术新颖性
ChartVerse的技术新颖性体现在以下几个方面。首先，RPE是首个基于生成稳定性的图表复杂度度量指标，不同于传统的视觉密度或代码结构复杂度指标，RPE直接衡量的是「模型重建图表的不确定性」，这与图表的内在推理难度高度相关。实验表明RPE筛选的样本导致模型失败率高达27.6%，远超VLM-as-Judge的21.1%。其次，真值锚定逆向QA合成（A到Q）范式在图表领域是首创，它将答案正确性从概率保证提升为确定性保证，因为答案直接从代码执行中获得，完全绕过了VLM的数值幻觉问题。第三，迭代自增强机制使得图表编码器能够突破初始冷启动数据的限制，通过「生成-筛选-重训练」的循环不断提升代码质量和视觉复杂度。最后，失败率过滤策略（保留失败率介于0和1之间的样本）巧妙地平衡了数据难度：太简单的样本没有训练价值，太难的样本无法学习，只有「有挑战但可解」的样本才是最优训练信号。
实验结果
ChartVerse的实验结果展现了三个核心发现。第一，数据质量比模型规模更重要：ChartVerse-4B（4B参数）在7个基准上的平均分为61.9，超越了参数量翻倍的Qwen3-VL-8B-Thinking（60.0），证明高质量复杂数据可以有效弥补模型规模的不足。第二，学生模型能够超越教师模型：ChartVerse-8B的平均分为64.1，超越了其教师模型Qwen3-VL-30B-A3B-Thinking（62.9），接近参数量大4倍的Qwen3-VL-32B-Thinking（67.0），验证了「蒸馏天花板突破」的目标。第三，SFT和RL两个训练阶段都有效且互补：以8B模型为例，从Instruct基线（56.9）到SFT（62.5）再到RL（64.1），每个阶段都带来稳定提升。在CharXiv (RQ)基准上，ChartVerse-8B从46.4跃升至60.8，提升了14.4个百分点。在STEM相关基准上（MathVista、DynaMath、MathVerse等），ChartVerse-8B也从56.7提升到62.2，表明图表推理能力可以泛化到域外的科学推理任务。在消融实验中，在相同的10万样本预算下，ChartVerse-SFT的平均分（57.8）大幅领先CoSyn（51.0）、START（53.8）和ECD（54.2），证明数据质量而非数据规模是性能提升的关键驱动力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ChartQA-Pro | Accuracy (%) | ChartVerse-8B: 56.2 | Qwen3-VL-8B-Thinking: 53.9 | +2.3 |
| CharXiv (RQ) | Accuracy (%) | ChartVerse-8B: 60.8 | Qwen3-VL-8B-Thinking: 53.0 | +7.8 |
| CharXiv (DQ) | Accuracy (%) | ChartVerse-8B: 88.0 | Qwen3-VL-8B-Thinking: 85.9 | +2.1 |
| ChartMuseum | Accuracy (%) | ChartVerse-8B: 49.2 | Qwen3-VL-8B-Thinking: 44.3 | +4.9 |
| ChartX | Accuracy (%) | ChartVerse-8B: 63.9 | Qwen3-VL-8B-Thinking: 59.6 | +4.3 |
| EvoChart | Accuracy (%) | ChartVerse-8B: 76.2 | Qwen3-VL-8B-Thinking: 74.1 | +2.1 |
| ChartBench (GPT-acc) | Accuracy (%) | ChartVerse-8B: 54.2 | Qwen3-VL-8B-Thinking: 49.1 | +5.1 |
| 7个基准平均 | Average Score (%) | ChartVerse-8B: 64.1 | Qwen3-VL-8B-Thinking: 60.0 | +4.1 |
局限与改进
作者在论文中坦诚地承认了三个主要局限。第一，RPE的计算开销较大：虽然通过vLLM加速，但处理400万样本仍需要3200万次VLM推理调用，耗时3天使用64块A100 GPU。第二，答案类型的局限：当前的真值锚定逆向QA合成主要聚焦于精确数值和逻辑推理，对于定性的视觉解读（如「图表传达了什么趋势」）覆盖不足，因为这类问题难以从代码中获得确定性答案。第三，教师模型能力的天花板：当前使用Qwen3-VL-30B-A3B-Thinking作为教师，与前沿模型（如235B-A30B-Thinking）存在能力差距。实验表明，使用更强的教师模型（235B版本）仅用10万样本就能达到与30B教师60万样本相同的性能（平均分64.1），暗示当前框架还有很大的提升空间。此外，从独立观察来看，论文的评测基准主要集中在英文图表数据集上，对于中文图表或多语言场景的泛化能力未被评估；同时，合成数据与真实世界图表分布的匹配程度也需要进一步验证。
独立分析的弱点
尽管ChartVerse取得了显著成果，但仍存在几个值得关注的弱点。首先，RPE度量依赖于VLM的代码生成能力——如果VLM本身对某类图表理解不足（如3D图表或高度非标准的可视化），其生成的代码本身就不可靠，RPE的区分度会下降。Table 10显示Qwen3-VL-2B-Instruct的代码执行成功率仅63.2%，意味着约37%的样本无法计算有效RPE。改进方向可以探索多模型集成的RPE计算，或结合视觉特征直接预测复杂度作为补充。其次，真值锚定逆向QA合成要求答案必须是确定性的数值或类别标签，这严重限制了问题类型的多样性——大量需要定性理解的图表问题（如趋势分析、异常检测、跨图表比较的语义推理）无法被覆盖。改进方向可以引入模糊匹配或多值答案的验证机制，扩展QA类型。第三，迭代自增强的终止条件是固定的两轮迭代，缺乏自动收敛检测机制，可能出现过度增强（生成过于奇异的图表代码，偏离真实分布）或不足增强的情况。改进方向可以引入RPE分布的监控指标，当新增样本的边际RPE增益低于阈值时自动停止。第四，论文未讨论合成数据与真实世界图表的分布对齐问题——ChartVerse-SFT的高RPE和高多样性是否真正对应了实际应用场景中的难例，需要在真实用户查询上做进一步验证。
未来方向
基于ChartVerse的框架和成果，可以从以下几个方向延伸研究。第一，扩展答案类型：将当前仅支持数值/类别答案的逆向QA合成扩展到支持定性推理（如趋势描述、异常解释），可以引入多步验证机制——先由代码生成候选答案，再由LLM进行语义一致性检查。第二，更强的教师模型：论文已验证235B教师仅用10万样本就能达到64.1的平均分，表明框架与教师能力正相关，使用GPT-5或Claude 4等前沿模型作为教师可能带来更大突破。第三，跨模态泛化：ChartVerse的RPE度量和逆向QA合成思路可以推广到其他视觉推理任务（如表格理解、流程图推理、科学图表解读），构建通用的「代码驱动视觉推理数据合成」框架。第四，轻量化RPE：探索基于小模型或单次前向传播的复杂度预测器，替代当前昂贵的多次采样方案。第五，将ChartVerse的训练范式与在线RL结合——在RL阶段实时生成新的高难度图表和QA，而非依赖离线预构建的RL数据集。
复现评估
ChartVerse在可复现性方面做得相当好。作者承诺开源代码、模型权重和数据集，项目主页为 https://chartverse.github.io。训练流程基于广泛使用的开源框架LLaMA-Factory和VeRL，降低了复现门槛。算力需求方面：SFT阶段需要32块A100 GPU训练约1.5天，RL阶段需要约4天；RPE计算需要64块A100 GPU运行3天；完整数据合成流程（包括400万次RPE计算、400万次QA合成和300万次CoT蒸馏）总计需要约128块A100 GPU运行数周。对于资源有限的研究者，可以直接使用作者发布的ChartVerse-SFT-600K和ChartVerse-RL-40K数据集进行微调，无需重复整个合成流程。学生模型基于公开的Qwen3-VL-Instruct系列初始化，冷启动数据来源于公开数据集（CoSyn、ChartGen、ChartCoder等），数据去污染流程也已公开说明。总体而言，复现完整合成流程需要中等偏上的算力，但使用发布数据集进行训练则门槛较低。
论文图表
该图展示了一个多条件验证任务的完整示例：问题要求模型同时验证三个子图中的不同指标（认知条件平均分、算法阶段总效率、年均增长率），模型需要从多个空间位置提取数据并分别计算。CoT推理过程展示了模型逐步分析每个子图的详细过程。
该示例说明了ChartVerse-SFT中QA对的推理深度——问题不是简单的数据检索，而是需要跨子图的多步推理和交叉验证。
该图展示了一个复杂派生计算任务：问题要求模型从箱线图中识别各区域的四分位数和中位数，计算年收入相对于典型收入水平的比例变化，最终确定变化最大的区域。模型需要视觉提取统计标记并进行多步数学运算。
该示例展示了ChartVerse-SFT在统计图表上的推理复杂度，模型必须理解箱线图的语义并进行抽象的数学推理。
该图展示了一个跨三个子图的信息聚合任务：问题要求模型同时考虑功率分布、温度稳定性和复杂度分布三个图表，为每个元素综合评估后找出在高功率、极端温度稳定性和低复杂度之间取得最佳平衡的元素。
该示例展示了ChartVerse-SFT中最复杂的推理类型——需要跨三个空间独立的图表进行多维度信息综合，考验模型的全局理解能力。