← 返回 2026-01-19

多模态推理中的数据策划关键因素：来自 DCVLR 挑战赛的洞见 What Matters in Data Curation for Multimodal Reasoning? Insights from the DCVLR Challenge

Yosub Shin, Michael Buriek, Boris Sobolev, Pavel Bushuyeu, Vikas Kumar, Haoyang Xu, Samuel Watson, Igor Molybog 📅 2026-01-16 👍 3 2026-07-13 08:35
多模态推理 微调 数据策划 数据筛选 视觉语言模型
arXiv HuggingFace PDF

难度过滤是多模态推理数据策划的核心，多样性启发式无额外收益

前置知识

视觉语言模型 (VLM)

视觉语言模型是一类能够同时处理图像和文本输入的深度学习模型，典型代表包括 Qwen2.5-VL、GPT-4V 等。这类模型通常基于 Transformer 架构，通过视觉编码器将图像转换为 token 序列，再与文本 token 一起送入语言模型进行联合推理。在本文中，所有实验均基于 Qwen2.5-VL-7B-Instruct 这一 70 亿参数的开源 VLM 进行微调，该模型在多模态基准测试中表现稳定且被 DCVLR 组织方选定为统一基座模型。

本文研究的核心就是在 VLM 微调场景下的数据策划策略，理解 VLM 的基本工作原理是理解全文实验设计的前提。

数据策划 (Data Curation)

数据策划是指从大规模原始数据集中通过筛选、过滤、平衡、增强等手段构建高质量训练子集的过程。与简单的随机采样不同，数据策划强调有目的地选择对模型学习最有价值的样本。在推理微调场景中，数据策划尤其重要，因为研究表明微调往往处于'饱和区间'——大部分性能提升来自少量精心挑选的样本，而非海量数据的堆砌。本文系统比较了基于难度的过滤、基于聚类的多样性控制、类别平衡和合成数据混合等多种策划策略的效果。

这是本文研究的核心对象，整篇论文就是在不同数据策划策略之间进行受控消融实验。

基于难度的过滤 (Difficulty-Based Filtering)

本文采用的难度定义基于基座模型在随机解码下的回答一致性。具体做法是对每个训练样本运行 $k=16$ 次随机解码（温度 $T=0.7$，top-p $=0.9$），记录模型回答正确的次数。正确次数低的样本被认为是'困难但可学习'的，而正确次数很高的样本被认为是'简单'的，正确次数极低的样本被认为是'超级困难'的。通过设定难度阈值，保留中间难度区间的样本用于训练。

难度过滤是本文发现的最关键的策划信号，理解其具体定义和实现方式对理解核心实验结果至关重要。

饱和区间 (Saturation Regime)

饱和区间是指在推理微调中，模型性能提升主要来自少量信息丰富的训练样本，而额外数据主要用于稳定已有行为而非引入新能力的现象。在这一区间内，增加数据量不会显著提升平均准确率，但可以降低多次运行之间的方差。本文通过实验证明 DCVLR 评估场景就是典型的饱和区间：1k 样本的难度过滤数据集在平均性能上与 10k 样本的完整数据集相当，但 10k 数据集的运行间方差更小。

理解饱和区间的概念是理解为什么增加数据量不能提升性能、而难度过滤才是核心的关键。

对齐 (Alignment)

在本文语境中，对齐包含两层含义：一是训练数据与目标基准测试之间的分布对齐（benchmark alignment），即训练数据在嵌入空间中与目标测试集相近；二是训练数据与基座模型预训练知识之间的对齐（model alignment），即训练数据强化了模型已有的有效表征区域。作者通过 PCA 投影展示了 Walton 数据集在嵌入空间中比其他基线数据集更接近 LiveXivTQA 测试集，从而解释了 Walton 作为基础数据集的合理性。

对齐是本文选择 Walton 作为基础数据集的核心理由，也是理解为什么某些策略有效而其他策略无效的重要视角。

DCVLR 挑战赛

Data Curation for Vision-Language Reasoning (DCVLR) 是 NeurIPS 2025 举办的竞赛，旨在隔离数据策划对多模态推理性能的影响。竞赛固定了基座模型（Qwen2.5-VL-7B-Instruct）、训练超参数和评估流程，参赛团队唯一可调的变量是最多 10,000 个样本的策划数据集。评估套件包含 10 个基准测试，部分在开发阶段已知（如 LiveXivTQA、VMCBench-DEV），部分为最终评估时才揭晓的保留测试（如 Omni3DBench、Yale Physics 子集）。

DCVLR 挑赛的固定训练协议设计是本文实验能得出可靠结论的前提，也是理解结果适用范围的关键。

研究动机

随着视觉语言模型在多步推理任务上的应用日益广泛，一个关键问题浮现：在模型架构和训练算法固定的情况下，哪些数据策划策略能真正提升推理性能？现有研究虽然表明微调数据的选择对性能有强烈影响，但缺乏在严格受控条件下的系统性比较。具体而言，实践中常用的多样性启发式（如基于聚类的平衡、类别级别重采样）和合成数据增强是否真的有效？增加数据量是否总能提升性能？这些问题在不同训练范式下的答案可能截然不同，而现有文献中对此尚无定论。以 DCVLR 挑战赛为例，多个顶级团队的策划策略差异显著——有的使用多源数据过滤（AFIE、MICV），有的使用合成数据生成（AthenaRC），有的使用大规模教师模型蒸馏（ZhuYun 使用 Qwen3-235B 生成 CoT），但缺乏对这些策略效果的受控消融分析。

本文的目标是本文的核心目标不是追求排行榜最优分数，而是利用 DCVLR 挑战赛提供的严格受控实验环境，系统性地理解数据策划中哪些因素对多模态推理性能有实质性贡献。具体来说，作者希望量化以下四个维度的影响：（1）基础数据集的对齐程度；（2）基于难度的样本筛选效果；（3）数据集规模与性能的关系；（4）多样性启发式和合成数据混合的额外收益。通过这些受控实验，作者旨在为推理微调场景下的数据策划提供实证指导。

与已有工作不同的是，本文的独特切入角度在于将竞赛结果重新框架化为受控的实证研究。与以往工作不同，DCVLR 的设计刻意固定了训练配方（优化器、学习率调度、批量大小、训练步数等均由组织方通过基线数据集上的超参数扫描确定），使得数据策划成为唯一的实验变量。这种设计虽然限制了结论的外推性，但极大增强了因果推断的可靠性。此外，本文特别关注'负面结果'——即多种常用启发式在该设定下无效甚至有害的发现，这在学术论文中通常不被报告但对实践者极具价值。作者还将 DCVLR 定性为'饱和区间评估'，提供了一个理解数据策划效果的理论框架：在饱和区间内，核心问题不是数据量而是样本选择。

核心方法

本文的数据策划流程可以用一个简单的直觉概括：从一个与目标基准对齐的基础数据集出发，通过模型自身的'困惑度'（以回答一致性衡量）来筛选出最有学习价值的样本。整体技术路线分为四步：（1）选择 Walton Multimodal Cold Start 作为基础数据集，因为它在嵌入空间中与主要测试基准 LiveXivTQA 高度对齐；（2）使用基座模型 Qwen2.5-VL-7B-Instruct 在随机解码下对每个样本进行 16 次独立推理，根据正确率定义样本难度；（3）通过难度阈值过滤，保留中间难度区间（模型经常答错但并非完全不会）的样本；（4）在固定大小预算下采样，可能辅以少量合成数据混合。整个流程刻意保持简单，以便在消融实验中精确隔离每个因素的贡献。

本文的核心创新不在于提出新的算法或架构，而在于通过严格的受控实验揭示了一个反直觉的发现：在 DCVLR 的饱和区间设定下，基于难度的样本筛选是唯一持续有效的数据策划策略，而实践中广泛使用的多样性启发式（聚类平衡、类别重采样）和合成数据增强（CoSyn-400k 混合）不仅没有额外收益，甚至会降低性能。这与多数顶级参赛团队的做法形成对比——大多数团队同时使用了难度过滤和某种形式的多样性控制。此外，作者发现增加数据量的主要作用是降低运行间方差而非提升平均准确率，这挑战了'更多数据等于更好性能'的朴素假设。这些发现的本质在于：当训练配方固定且数据量足够时，学习信号的质量（样本难度）远比学习信号的数量（数据规模）和多样性（覆盖范围）重要。

方法步骤详情

数据策划流程包含以下具体步骤。第一步，基础数据集选择：从 DCVLR 组织方提供的多个基线数据集中选择 Walton Multimodal Cold Start，理由是其嵌入向量在 PCA 投影中与 LiveXivTQA 测试集最为接近。第二步，难度信号生成：对 Walton 中的每个样本，使用 Qwen2.5-VL-7B-Instruct 以温度 $T=0.7$、top-p $=0.9$ 进行 $k=16$ 次随机解码，记录每次是否产生正确最终答案。第三步，难度阈值过滤：根据正确次数 $c$ 设定阈值区间，例如 $0 \leq c \leq 8$ 为'中等难度'，$c \leq 3$ 为'超级困难'，$c \geq 15$ 为'简单'。第四步，数据集构建：在过滤后的样本池中按固定大小预算（如 1k 样本）随机采样，辅以去重和长度过滤等轻量后处理。第五步，可选增强：在消融实验中，额外探索了与 CoSyn-400k 合成数据的混合（比例从 9:1 到 1:1），以及基于聚类的多样性和类别级别平衡等策略。

技术新颖性

本文的技术新颖性主要体现在实验设计和分析视角上，而非算法创新。首先，将竞赛结果重新框架化为受控实证研究是一种独特的研究范式——DCVLR 的固定训练协议天然提供了理想的对照实验条件。其次，'饱和区间'的定性框架为理解数据策划效果提供了新的理论视角：在这一区间内，样本选择的边际收益远大于数据量的边际收益。第三，对'负面结果'的系统报告在该领域具有重要价值——作者证明了聚类多样性、类别平衡和合成数据混合在难度过滤之上均无额外收益，且'堆叠'多种策略会相互干扰而非互补。第四，对数据集规模效应的精细分析揭示了一个微妙的分离：规模主要影响稳定性（方差）而非有效性（均值），这一发现对实践中的数据预算决策有直接指导意义。

Overview of our dataset curation pipeline for the submission, from base datasets through filtering, augmentation, and final sampling.
Figure 1: Overview of our dataset curation pipeline for the submission, from base datasets through filtering, augmentation, and final sampling.

实验结果

本文的核心实验结果可以归纳为三个主要发现。第一，基于难度的样本筛选是最有效的数据策划信号。在 Walton 数据集上，中等难度区间（$0 \leq k \leq 8$，即 16 次随机解码中正确 0-8 次）的 1k 样本子集在总体准确率上达到 $49.1\% \pm 0.2\%$，显著优于随机采样的 $44.0\% \pm 2.4\%$ 和超级困难样本（$k \leq 3$）的 $47.2\% \pm 2.3\%$。第二，增加数据量不提升平均性能但降低方差。从 1k 到 10k 样本，LiveXivTQA 上的平均准确率基本稳定（约 $74-77\%$），但标准差从约 $2.4\%$ 降至约 $0.2\%$。值得注意的是，对于非 LiveXivTQA 基准，数据量增加反而导致性能轻微下降，揭示了对齐数据集扩展会强化分布内行为而牺牲泛化能力。第三，多样性启发式和合成数据混合在难度过滤之上无额外收益。聚类多样性、类别平衡等策略的性能均不超过仅使用难度过滤的基线，而 CoSyn-400k 混合（从 9:1 到 1:1 的 Walton:CoSyn 比例）随着合成数据比例增加，性能持续下降。最终提交的 1k 样本策划数据集在 DCVLR 总体加权得分上达到 $46.0\%$，与 10k 样本的 Walton 基线 $46.7\%$ 相当，而远超基础模型的 $38.4\%$。

Comparison of dataset curation strategies used by top DCVLR submissions.
Table 1: Comparison of dataset curation strategies used by top DCVLR submissions.
Accuracy vs. dataset size for overall performance, the aligned LiveXivTQA benchmark, and the aggregate of non-LiveXivTQA benchmarks.
Figure 4: Accuracy vs. dataset size for overall performance, the aligned LiveXivTQA benchmark, and the aggregate of non-LiveXivTQA benchmarks.
Diversity-oriented ablations on the Walton base dataset.
Figure 5: Diversity-oriented ablations on the Walton base dataset.
Impact of Dataset Mixture Ratios on Accuracy.
Figure 6: Impact of Dataset Mixture Ratios on Accuracy.
查看结构化数据
任务指标本文基线提升
VMCBench DEV (视觉推理) 准确率 (%) 78.2% 78.4% (Walton 10k), 79.8% (Base) 略低于基线，属正常波动范围
LiveXivTQA (文本密集学术问答) 准确率 (%) 74.5% 76.7% (Walton 10k), 56.8% (Base) 相比基础模型提升 17.7 个百分点，略低于 10k 基线 2.2 个百分点
OlympiadBench (数学竞赛) 准确率 (%) 11.7% 10.6% (Walton 10k), 13.4% (Base) 相比 Walton 10k 提升 1.1 个百分点
Omni3DBench (3D 视觉推理) 准确率 (%) 32.6% 34.2% (Walton 10k), 34.8% (Base) 略低于基线，可能因训练数据与 3D 任务不对齐
Atomic (物理-原子) 准确率 (%) 11.5% 8.0% (Walton 10k), 8.5% (Base) 相比 Walton 10k 提升 3.5 个百分点，相比基础模型提升 3.0 个百分点
Optics (物理-光学) 准确率 (%) 8.9% 6.3% (Walton 10k), 7.0% (Base) 相比 Walton 10k 提升 2.6 个百分点
Overall (DCVLR 加权总分) 加权准确率 (%) 46.0% 46.7% (Walton 10k), 38.4% (Base) 仅用 1/10 数据量达到与 10k 基线相当的总体性能

局限与改进

本文存在几个重要局限性。首先，所有实验均在固定的训练配方下进行（优化器、学习率、训练步数均由 DCVLR 组织方统一设定），因此无法确定在不同的训练范式下（如强化学习微调、课程学习等）这些结论是否依然成立。作者在论文中明确承认这一点，并指出'观察到的性能反映了策划数据与特定微调区间的交互作用'。其次，多样性实验仅覆盖了有限的启发式策略（聚类平衡、类别重采样、CoSyn 混合），未能穷举所有可能的多样性或增强策略空间。第三，实验基于单一基座模型（Qwen2.5-VL-7B-Instruct），不同规模或架构的模型可能对数据策划策略有不同的敏感度。第四，DCVLR 评估套件的基准测试组合（尤其是 LiveXivTQA 的高权重）可能偏爱特定类型的数据策略，结论的外推性需要谨慎对待。从我的观察来看，作者使用的 $k=16$ 次随机解码来估计难度虽然合理但计算成本较高，在大规模数据集上的可扩展性值得讨论。

独立分析的弱点

本文存在几个值得深入探讨的弱点。第一，难度定义的局限性：当前方法使用基座模型的随机解码一致性作为难度代理，但这仅捕捉了'模型困惑度'这一维度，未能区分'信息量大但难学'与'信息量小且难学'的样本。例如，一个模型持续答错的样本可能是因为需要复杂的多步推理（有价值），也可能是因为问题本身模糊或标注错误（无价值）。改进方向可以是结合模型置信度、梯度信息或教师模型的推理轨迹来更精确地估计样本的学习价值。第二，对齐的单一维度：作者主要通过嵌入空间的 PCA 投影来衡量数据集与基准的对齐，这种静态的几何度量可能无法捕捉更深层次的任务结构相似性。未来可以探索基于任务类型、推理链结构或答案分布的多维度对齐度量。第三，消融实验的种子数量：对于关键的难度阈值消融（Table 3），作者使用了 3 个随机种子，这虽然提供了方差估计但置信区间可能较宽。增加到 5-10 个种子可以提供更可靠的统计推断。

未来方向

作者和本文的发现共同指向几个有价值的研究方向。首先，在不同的训练范式下验证这些结论：特别是在强化学习微调（如 GRPO、DPO）和课程学习设定下，难度信号和多样性信号的相对重要性可能发生变化——强化学习本身具有自适应探索能力，可能更善于利用多样化的数据。其次，探索更精细的难度定义：超越二元正确/错误的判断，考虑推理步骤的质量、中间推理的正确性、以及多步推理中错误出现的位置等因素。第三，研究'负面组合效应'的机制：为什么堆叠难度过滤和多样性控制会相互干扰？是否可以设计一种统一的框架来同时优化选择质量和覆盖范围？第四，扩展到更大规模模型和更多样化的评估基准：特别是在模型规模达到数十亿参数时，饱和区间的特征可能发生变化。最后，基于本文对齐分析的结果，可以探索自适应的数据混合策略——根据目标基准的特征动态调整训练数据的组成。

复现评估

本文的复现条件相当友好。首先，DCVLR 挑战赛本身提供了完整的评估流程和统一的基座模型（Qwen2.5-VL-7B-Instruct），降低了复现门槛。基础数据集 Walton Multimodal Cold Start 由组织方公开提供，且作者在论文中详细描述了难度计算的超参数（$T=0.7$，top-p $=0.9$，$k=16$ 次解码）。训练配方完全由 DCVLR 组织方固定，无需自行调参。然而，完整的难度计算需要对每个样本运行 16 次模型推理，在 Walton 的完整数据集上计算成本不低（需要 16 倍于单次推理的 GPU 时间）。评估方面，DCVLR 使用大规模验证集以减少统计噪声，完整的 10 个基准测试评估也需要可观的计算资源。论文提到使用了 NCSA Delta 集群的 GPU 资源，暗示需要较大的算力支持。总体而言，核心实验在学术级 GPU 集群上可复现，但完整的消融实验套件需要相当的计算预算。

论文图表

DCVLR baseline curation strategies grouped into synthesis-based and filtration-based approaches.
Figure 2: DCVLR baseline curation strategies grouped into synthesis-based and filtration-based approaches.

该图将 DCVLR 组织方提供的基线数据集策划策略分为两大类：基于合成的方法（Synthesis-based，如 AthenaRC 的合成指令生成）和基于过滤的方法（Filtration-based，如 Walton 的语料筛选）。图中还标注了各方法的特点和适用场景，突出 Walton 作为'冷启动'过滤基线的独特定位。

这张图帮助理解 DCVLR 挑战赛的设计空间和参赛团队面临的选择，为后续理解为什么选择 Walton 作为基础数据集提供了背景。

Embedding projection via PCA for LiveXivTQA and three DCVLR baseline datasets.
Figure 3: Embedding projection via PCA for LiveXivTQA and three DCVLR baseline datasets.

该图展示了使用 Qwen2.5-VL-7B-Instruct 的表征进行 PCA 降维后，LiveXivTQA 测试集与三个基线数据集（Walton、MM-Open-R1、MM-MathInstruct）在嵌入空间中的分布。可以清楚看到 Walton 的嵌入点最接近 LiveXivTQA 的聚类中心，而 MM-Open-R1 和 MM-MathInstruct 则距离较远。这为选择 Walton 作为基础数据集提供了直接的分布对齐证据。

这张图是理解'对齐'概念的关键实证，直观展示了为什么 Walton 是最合适的基础数据集选择——它在模型表征空间中与主要目标基准最为接近。

Table 2: Per-benchmark accuracy (%) for the base model, the Walton 10k fine-tuned model, and our curated 1k dataset.

该表详细报告了三种模型配置在 10 个 DCVLR 基准测试上的准确率：基础模型（未微调）、Walton 10k 全量微调、以及本文策划的 1k 数据集微调。关键数据：总体加权得分分别为 38.4%、46.7%、46.0%；LiveXivTQA 上分别为 56.8%、76.7%、74.5%。1k 数据集仅用 1/10 的数据量就达到了与 10k 基线相当的总体性能，但在部分基准（如 VMCBench DEV、LiveXivTQA）上略低于 10k 基线。

这张表是论文最核心的定量结果，直接展示了策划数据集的效果——用少量高质量数据达到大规模数据的性能水平。

Table 3: Ablation on Walton difficulty thresholds (overall accuracy).

该表报告了不同难度阈值下的总体准确率消融结果，每个设置使用 3 个随机种子。关键数据：超级困难（$k \leq 3$）平均 $47.2\% \pm 2.3\%$，中等难度（$0 \leq k \leq 8$）平均 $49.1\% \pm 0.2\%$，简单（$k \geq 15$）平均 $44.0\% \pm 2.4\%$。中等难度区间不仅平均性能最高，方差也最小（标准差仅 $0.2\%$），而极端难度区间的方差显著更大。

这张表精确量化了难度阈值选择对性能的影响，是支持'中等难度样本最有学习价值'这一核心论点的直接实验证据，同时也展示了难度与稳定性的关系。