ChartNet：百万级高质量多模态数据集助力稳健的图表理解 ChartNet: A Million-Scale, High-Quality Multimodal Dataset for Robust Chart Understanding
首个百万级多模态图表理解数据集，通过代码引导合成生成150万高质量图表样本
前置知识
视觉语言模型（VLM）
视觉语言模型是一类能够同时处理图像和文本输入的深度学习模型。它通过视觉编码器（如ViT）将图像转换为token序列，再与文本token一起输入到语言模型中进行联合推理。在图表理解任务中，VLM需要同时感知图表的视觉布局、数值数据和文本标注，这要求模型具备跨模态对齐能力。
ChartNet的目标是提升VLM的图表理解能力，理解VLM的工作原理是评估数据集价值的前提
Chain-of-Thought（CoT）推理
CoT是一种让模型展示逐步推理过程的技术，通过在生成答案前先输出中间推理步骤，可以显著提升复杂推理任务的性能。在图表理解中，CoT推理涉及多个步骤：先识别图表类型和关键元素，再提取数值数据，然后进行比较计算，最后得出结论。
ChartNet的一个重要组成部分就是带CoT推理的QA对，理解CoT对于理解数据集的构建和评估至关重要
代码引导的数据合成
这是一种利用可执行代码作为中间表示来生成合成数据的方法。在图表领域，绘图代码（如Matplotlib、Plotly）是图表的结构化表示，可以精确控制数据点、样式和布局。通过修改代码参数，可以高效生成大量视觉多样化但语义可控的图表样本。
这是ChartNet数据生成管道的核心创新点，理解代码引导合成是理解论文贡献的关键
多模态对齐（Multimodal Alignment）
多模态对齐是指确保不同模态（图像、文本、代码、表格）之间语义一致性的技术。在ChartNet中，每个样本包含5个对齐的组件：图表图像、绘图代码、数据表格、文本摘要和QA对。这种紧密对齐使得模型能够学习跨模态的结构化对应关系。
ChartNet强调其数据的多模态对齐特性是其优于现有数据集的核心优势
SFT（Supervised Fine-Tuning）
监督微调是在预训练模型基础上，使用带标签数据进行针对性训练的技术。在图表理解领域，SFT通常使用（图表图像，任务输出）对来训练模型执行特定任务，如图表到代码转换、数据提取或摘要生成。不同的任务需要不同的损失函数和评估指标。
论文通过SFT实验证明了ChartNet数据集对多种VLM模型的有效性
研究动机
当前图表理解领域面临严重的数据瓶颈。现有数据集普遍存在规模小、模态覆盖不完整、任务范围窄的问题。以广泛使用的ChartQA基准为例，它仅包含约14K样本，只涵盖柱状图、折线图和饼图三种基本图表类型，且问题偏向简单的数据提取任务，导致现代VLM性能已经饱和。更关键的是，现有数据集缺乏绘图代码、定位标注和推理轨迹等关键模态，使得模型无法学习图表的结构化表示。这直接导致开源模型在复杂图表推理任务上持续落后于GPT-4o等闭源系统，形成显著的性能差距。
本文的目标是本文旨在构建一个百万级别的高质量多模态图表理解数据集，填补现有数据集在规模、多样性和模态完整性方面的空白。具体目标包括：（1）生成150万个包含图像、代码、表格、文本和推理五重对齐的高质量样本；（2）覆盖24种图表类型和6个绘图库，最大化真实世界的多样性；（3）支持图表到代码转换、数据提取、摘要生成和CoT推理等多种任务；（4）包含真实世界数据、人工标注、安全性和定位等专用子集，全面支持模型训练和评估。
与已有工作不同的是，本文的独特视角在于将可执行绘图代码作为数据合成的核心中间表示。与直接在图像空间进行数据增强的方法不同，ChartNet在代码空间进行迭代变换，可以精确控制图表的语义内容和视觉样式。这种方法不仅保证了数据的结构化可控性，还天然提供了代码-图像-数据的紧密对齐。论文抓住了一个被忽视的关键点：图表本质上是程序化生成的视觉输出，因此代码是图表最自然、最完整的表示形式，利用代码进行数据合成是提升图表理解模型能力的最有效路径。
核心方法
ChartNet的数据生成管道可以类比为一个"图表克隆工厂"：首先从有限的种子图表出发，通过VLM将其"翻译"成可执行的绘图代码（就像把图片转成DNA），然后利用LLM对代码进行迭代变异，生成多样化的变体（DNA复制和突变），最后执行代码渲染出新的图表图像（克隆体）。整个过程的核心洞察是：图表是程序化生成的视觉输出，代码是图表的结构化中间表示。技术路线分为5个阶段：图表到代码重建、代码引导的图表增强、图表渲染、质量过滤和代码引导的属性生成。这种代码中心的方法使得数据生成的每个环节都可验证、可控制，同时天然保证了多模态数据的对齐性。
ChartNet的核心创新是将数据合成的主战场从图像空间转移到代码空间。现有方法通常直接操作图像进行数据增强（如裁剪、旋转、调色），这种方法难以控制图表的语义内容，也很难生成结构化的对齐标注。ChartNet则相反，它通过修改绘图代码来生成新样本，代码中的每一个参数（数据点、标签、颜色、图表类型）都是可精确控制的变量。这带来了三个关键优势：（1）可以系统性地探索不同的图表类型和绘图库组合，实现真正的多样性；（2）代码执行过程中天然产生图像-数据对，消除了人工标注的需求；（3）代码作为中间表示，可以同时服务于图像生成和语义理解，实现了视觉和数值信息的紧密耦合。这种代码引导的方法是ChartNet能够达到百万规模且保持高质量的根本原因。
方法步骤详情
数据生成管道包含5个关键阶段： 阶段1：图表到代码重建（Chart-to-Code Reconstruction）。输入150K种子图表图像，使用pixtral-large-instruct VLM生成近似重建原始图表的Python绘图代码。VLM被要求同时还原数据点和整体语义样式。 阶段2：代码引导的图表增强（Code-Guided Chart Augmentation）。将生成的代码输入gpt-oss-120b LLM，进行迭代重写。LLM被要求改变图表类型（从24种中随机选择）、更换绘图库（从6种中选择）、并微调底层数据值。每张种子图像可产生任意数量的变体，这是数据集扩展的主要来源。 阶段3：图表渲染（Chart Rendering）。执行所有生成的绘图代码，生成图表图像。成功执行的脚本与其产生的图像配对。平均执行成功率为77%。 阶段4：质量过滤（Quality Filtering）。使用VLM评估每个图表图像的视觉质量，检查8类潜在缺陷（如重叠文本、裁剪标签、遮挡特征）。平均36.5%的渲染图像被标记为存在视觉问题并被移除。人工验证显示，过滤后仅5.9%的图表存在可读性问题（过滤前为14.9%）。 阶段5：代码引导的属性生成（Code-Guided Attribute Generation）。使用VLM生成补充语义属性，包括从图表代码中提取数据值和标签生成CSV表格，以及结合视觉上下文、代码和表格数据生成自然语言描述。
技术新颖性
ChartNet的技术新颖性体现在三个层面： 首先，在数据生成范式上，它是首个将可执行代码作为核心中间表示的大规模图表数据集。与CoSyn、DAVE等依赖合成数据的工作不同，ChartNet在代码空间而非图像空间进行数据增强，实现了更精确的语义控制和更高质量的多模态对齐。 其次，在数据规模和多样性上，ChartNet包含150万个样本、24种图表类型和6个绘图库，是现有最大开源图表数据集的约2.5倍（对比UniChart的611K）。更重要的是，它不仅包含合成数据，还整合了30K真实世界图表、96K人工验证样本和7K安全对齐样本。 第三，在数据完整性上，ChartNet是首个提供五重模态对齐（图像、代码、表格、文本、推理）的图表数据集。特别是带链式思维推理的QA对，通过多阶段提示管道生成结构化的推理轨迹，为模型提供了比简单答案更丰富的监督信号。
实验结果
实验结果表明，在ChartNet上微调的模型在所有图表理解任务上都取得了显著且一致的提升。 在图表重建（Chart-to-Code）任务上，原本完全无法重建图表的超紧凑模型（SmolVLM-256M和Granite-Docling-258M）获得了完全功能性的能力。小型模型Granite-Vision-2B达到接近完美的重建性能，在大多数指标上超过90%。LLaVA-7B模型的提升幅度最大，代码数据保真度提升了42.4个百分点。 在图表数据提取任务上，Granite-Vision-2B达到70.3%的最佳性能，微调后的LLaVA-7B提升了41.8个百分点，超越了所有开源基线和GPT-4o（仅46.7%）。这证明了ChartNet代码-CSV紧密耦合的价值。 在图表摘要任务上，所有模型都有显著提升，增幅从+9.5到+31.4不等。Granite-Vision-2B达到83.9%，超越GPT-4o和所有开源基线。 在CoT推理QA任务上，所有模型都展现出稳定的准确率提升，LLaVA-7B达到70.3%的最佳性能。 跨模型规模的趋势表明，ChartNet的多模态对齐监督提供了传统数据集无法提供的结构化监督信号。2B或7B模型在ChartNet上微调后，持续超越20B-72B参数量的常规训练模型。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 图表重建（Chart-to-Code） | 执行率（Exec.） | Granite-Vision-2B: 90.4% | 基线模型: 63.4% | +27.0个百分点 |
| 图表重建（Chart-to-Code） | 代码相似度（Code-S） | Granite-Vision-2B: 90.0% | 基线模型: 67.0% | +23.0个百分点 |
| 图表数据提取（Chart-to-Table） | 数据保真度（Code-D） | Granite-Vision-2B: 70.3% | 基线模型: 53.8%, GPT-4o: 46.7% | +16.5个百分点（vs基线）, +23.6个百分点（vs GPT-4o） |
| 图表摘要（Chart-to-Text） | 综合摘要质量 | Granite-Vision-2B: 83.9% | 基线模型: 64.0%, GPT-4o: 77.1% | +19.9个百分点（vs基线）, +6.8个百分点（vs GPT-4o） |
| 图表QA（CoT推理） | 模糊匹配准确率 | LLaVA-7B: 70.3% | 基线模型: 55.1%, GPT-4o: 61.1% | +15.2个百分点（vs基线）, +9.2个百分点（vs GPT-4o） |
局限与改进
论文承认了几个重要的局限性。首先，图表类型和绘图库的分布不均匀，某些复杂图表类型（如3D图表、核密度估计图）的执行成功率较低，导致它们在数据集中的比例远低于简单图表类型。其次，质量过滤虽然显著降低了视觉缺陷率（从14.9%降至5.9%），但仍有一定比例的有问题图表未被检测到。第三，合成数据与真实世界图表之间存在领域差距，虽然论文包含了30K真实世界图表，但这个数量相对核心数据集的150万样本来说比例很小。此外，数据生成依赖于pixtral-large和gpt-oss-120b两个闭源模型，这与论文声称的开源价值观存在矛盾，也增加了复现的难度。最后，论文主要在ChartNet内部评估集上进行评估，在更广泛的外部基准上的验证相对有限。
独立分析的弱点
尽管ChartNet在多个方面取得了显著进展，但仍存在几个值得关注的弱点： 首先，数据生成管道的可复现性问题。论文使用了pixtral-large-instruct-2411和gpt-oss-120b两个商业闭源模型，且部署在上百块A100/H100 GPU上运行。这使得独立研究者难以完全复现数据生成过程，也与论文倡导的开源精神存在张力。改进方向：可以探索使用开源替代模型（如LLaMA系列、Qwen-VL）来构建管道，并评估是否能保持相近的数据质量。 其次，图表类型的长尾分布问题。虽然声称覆盖24种图表类型，但简单图表（柱状图、折线图）占绝大多数，复杂图表（3D柱状图、核密度估计图、小提琴图）占比极低。这可能导致模型在处理罕见图表类型时性能不佳。改进方向：可以对复杂图表类型进行过采样，或设计针对这些类型的专门训练策略。 第三，安全对齐数据的覆盖范围有限。论文只提供了7K训练样本和600测试样本的安全数据，且主要针对图表相关的有害推理。这不足以全面对齐模型在所有安全维度的行为。改进方向：可以扩展安全数据的覆盖范围，包括更多敏感话题和对抗性提示模式。
未来方向
基于ChartNet的成果，未来研究可以在多个方向展开： 作者提出的方向包括：（1）利用ChartNet作为大规模监督信号，开发具有更强图表理解能力的基础模型；（2）探索代码对齐的多模态建模方法，进一步提升视觉-数值-语言的耦合理解。 基于成果可延伸的方向包括：（1）将代码引导合成方法扩展到其他可视化类型，如信息图表、科学图表、交互式可视化；（2）研究多步推理能力的提升，特别是需要跨多个图表进行比较和推理的复杂场景；（3）开发图表理解的少样本学习方法，利用ChartNet的代码-图像对作为上下文学习的示例；（4）探索图表生成和编辑能力，将ChartNet的代码表示用于可控的图表生成任务。
复现评估
ChartNet的复现评估需要从多个维度考虑： 在开源情况方面，数据集已完全开源在HuggingFace（ibm-granite/ChartNet），包含所有模态的数据。训练代码基于TRL框架，具有良好的文档和社区支持。然而，数据生成管道依赖闭源模型，无法完全复现。 在数据方面，ChartNet提供了150万高质量样本，规模足够支撑大规模训练。数据格式规范，包含完整的元数据和评估集，降低了使用门槛。 在算力需求方面，论文使用了上百块A100/H100 GPU进行数据生成，耗时约168小时/百万样本。对于微调实验，论文在标准设置下进行，大多数现代GPU集群可以支持。小型模型（258M-3B）的微调可以在单GPU或少量GPU上完成。 在复现难度方面，微调实验相对容易复现（论文遵循TRL默认超参数设置），但完整复现数据生成管道较为困难，主要受限于闭源模型的访问权限和大规模计算资源需求。
论文图表
