MMFineReason：通过开放数据为中心的方法弥合多模态推理差距 MMFineReason: Closing the Multimodal Reasoning Gap via Open Data-Centric Methods
构建1.8M高质量推理数据集，通过数据为中心策略显著提升VLM推理能力
前置知识
视觉语言模型（VLM）
视觉语言模型是一类能够同时处理图像和文本输入的深度学习模型。它通过视觉编码器（如ViT）将图像转换为特征向量，再与文本嵌入融合，最终由语言模型生成文本输出。现代VLM如Qwen3-VL、InternVL等采用Transformer架构，通过大规模预训练学习视觉-语言对齐，能够执行视觉问答、图像描述、数学推理等多模态任务。这类模型的核心挑战在于如何有效融合视觉和语言信息，特别是在需要复杂推理的场景中。
本文的研究对象就是VLM，理解VLM的基本架构和工作原理是理解本文方法的前提，特别是了解视觉编码器和语言模型的交互方式。
思维链（Chain-of-Thought, CoT）
思维链是一种提示技术，要求模型在给出最终答案前展示详细的推理步骤。在多模态场景中，CoT不仅包括文本推理，还需要将视觉元素（如图表、几何图形）与推理过程紧密结合。高质量的CoT标注能够显著提升模型的推理能力，因为它提供了结构化的推理范式。本文中的CoT特指长形式、视觉接地的推理链，平均长度约2900个token，远超现有数据集。
本文的核心贡献之一就是构建高质量的CoT标注数据。理解CoT的概念和作用机制对于理解本文的数据构建策略和实验结果至关重要。
数据蒸馏（Data Distillation）
数据蒸馏是指利用强大的教师模型（teacher model）为数据集生成高质量标注的过程。在本文中，作者使用Qwen3-VL-235B-A22B-Thinking作为教师模型，为每个样本生成详细的推理轨迹。这种方法的优势在于能够规模化地获得一致、高质量的标注，避免人工标注的成本和主观性。蒸馏过程需要精心设计提示（prompt）以确保生成的推理轨迹符合预期格式和质量标准。
本文的核心方法就是基于数据蒸馏构建训练数据。理解蒸馏的原理和实现方式对于理解本文的数据构建流程和质量控制机制非常重要。
强化学习（Reinforcement Learning, RL）
在语言模型训练中，强化学习通常指通过奖励信号优化模型参数的方法。本文采用GSPO算法，在SFT之后进一步对齐模型。RL阶段通过生成多个rollout（本文为16个）来估计组依赖的基线，减少梯度估计的方差。这种方法能够提升模型的泛化能力，特别是在处理分布外数据时表现更好。RL训练需要精心调整超参数，如学习率、KL散度惩罚系数等，以确保稳定收敛。
本文采用SFT+RL两阶段训练策略，理解RL的基本原理和训练流程对于理解本文的实验设置和结果分析非常重要。
难度感知过滤（Difficulty-Aware Filtering）
难度感知过滤是一种数据选择策略，通过评估样本的难度来筛选训练数据。本文使用Qwen3-VL-4B-Thinking模型对每个问题生成4个独立响应，计算通过率（pass rate）作为难度指标。通过率越低表示问题越难。作者通过过滤掉通过率高的简单样本，保留真正具有挑战性的问题，从而在大幅减少数据量的同时保持甚至提升模型性能。这种策略的核心假设是：简单样本提供的训练信号有限，而困难样本能够驱动更有意义的优化。
这是本文的关键创新之一，理解难度感知过滤的原理和实现方式对于理解本文的数据效率实验和'少即是多'现象至关重要。
研究动机
当前开源多模态模型在推理能力上与闭源系统存在显著差距。这种差距主要源于两个关键限制：首先，数据分布严重不平衡。虽然自然图像和文档的VQA数据相对充足，但高质量视觉推理样本——特别是STEM图表和视觉谜题——由于数据稀缺性和高标注成本而严重不足。具体来说，数学推理数据占主导地位（79.4%），而科学推理（13.8%）和视觉游戏/谜题（4.6%）数据明显不足。其次，推理质量不一致。文本领域已经形成了从DeepSeek-R1等强大教师模型蒸馏推理轨迹的标准实践，但多模态数据集在标注风格上仍然碎片化和异质化，缺乏可解释的、长形式的思维链监督。现有数据集如MathV360K和LLaVA-CoT主要关注数学推理，覆盖范围有限。即使FineVision尝试大规模数据聚合，其内容相对粗糙，包含低质量数据源，且遗漏了许多推理导向的数据集。
本文的目标是本文的具体目标是构建一个大规模、高质量的多模态推理数据集MMFineReason，包含1.8M样本和5.1B个解决方案token。该数据集旨在覆盖STEM问题、视觉谜题、游戏和复杂图表等多个领域，每个样本都标注有详细的、视觉接地的推理轨迹。通过在这个数据集上微调Qwen3-VL-Instruct模型，开发出MMFineReason-2B/4B/8B模型系列，目标是建立新的开源模型SOTA。具体来说，作者希望MMFineReason-4B能够超越Qwen3-VL-8B-Thinking，MMFineReason-8B能够超越Qwen3-VL-30B-A3B-Thinking，同时接近Qwen3-VL-32B-Thinking的性能，从而实现显著的参数效率提升。
与已有工作不同的是，本文的独特切入角度在于将多模态推理主要视为数据为中心的问题，而非纯粹的模型为中心的问题。作者认为，现有工作过度关注模型架构和规模，而忽视了高质量训练数据的关键作用。本文抓住了几个被忽视的点：首先，通过系统性的三阶段流水线（数据聚合、推理蒸馏、数据选择）构建数据集，确保数据质量和一致性；其次，采用难度感知过滤策略，发现仅使用7%的数据子集（123K样本）就能达到与完整数据集相当的性能，这表明大量训练数据是冗余的；第三，发现推理导向的数据组合能够同时提升专业推理能力和通用模型性能，这种协同效应是之前未被充分认识的。
核心方法
本文的方法可以类比为精心打造一本高质量的教科书：首先广泛收集各种教材（数据聚合），然后请专家为每个习题编写详细的解题步骤（推理蒸馏），最后根据难度和质量筛选出最精华的习题（数据选择）。技术路线采用三阶段流水线：第一阶段是数据收集与标准化，从开源社区聚合多样化的多模态数据集，进行语言标准化、噪声去除、指令优化和任务适用性过滤，并将所有样本转换为统一的标准模式；第二阶段是推理蒸馏，使用Qwen3-VL-235B-A22B-Thinking作为教师模型，为每个样本生成详细的、视觉接地的推理轨迹，采用四阶段解题框架；第三阶段是数据选择，通过模板验证、N-gram去重、正确性验证和难度感知过滤，构建高质量的MMFineReason-1.8M数据集和更小的高效子集。
本文的核心创新点在于发现了'少即是多'的现象：通过难度感知过滤策略，仅使用7%的数据子集（123K样本）就能达到与完整数据集相当的性能。这与传统的大数据范式形成鲜明对比。具体来说，作者使用Qwen3-VL-4B-Thinking模型对每个问题生成4个独立响应，计算通过率作为难度指标，过滤掉通过率高的简单样本。这种方法的本质区别在于：传统方法追求数据数量，而本文追求数据质量。作者发现，大量训练数据是冗余的，真正驱动模型优化的是那些具有挑战性的、能够提供有意义训练信号的困难样本。此外，本文还发现推理导向的数据组合能够同时提升专业推理能力和通用模型性能，这种协同效应是之前未被充分认识的。
方法步骤详情
本文的方法包含三个主要步骤。第一步是数据收集与处理：从FineVision、BMMR、Euclid30K、Zebra-CoT-Physics、GameQA-140K等多个开源数据集聚合数据，进行语言标准化（将非英语问题翻译成英语）、噪声去除（移除网页链接、损坏字符、格式残留等）、指令优化（将浅层响应指令改为鼓励分析思考的指令）和任务适用性过滤（排除编码练习或基于生成的绘画任务）。所有样本被转换为统一的标准模式，包含元数据、原始数据、输入/输出、增强标注和指标等字段。第二步是推理蒸馏：使用Qwen3-VL-235B-A22B-Thinking作为教师模型，采用四阶段解题框架（全面信息提取、战略问题设置、严格解决方案执行、解决方案验证）生成详细的推理轨迹，输出格式包含`...`和`...`标签。第三步是数据选择：通过模板验证（过滤不符合模板或长度不足100词的轨迹，约1.2%被移除）、N-gram去重（检测并移除模板化或重复的CoT，n=50，频率阈值f=3）、正确性验证（提取最终答案并与真实答案比较，约20%被移除）和难度感知过滤（使用Qwen3-VL-4B-Thinking生成4个响应，过滤掉通过率高的简单样本）构建最终数据集。
技术新颖性
本文的技术新颖性体现在多个方面。首先，在数据构建方面，本文是第一个大规模多模态推理数据集，包含5.1B个解决方案token，远超现有数据集（如HoneyBee的2.6B token、OpenMMReasoner的0.59B token）。其次，在数据质量方面，本文采用系统性的三阶段流水线，确保数据的一致性和高质量，而现有数据集如FineVision在内容上相对粗糙，包含低质量数据源。第三，在数据效率方面，本文发现了'少即是多'的现象，通过难度感知过滤策略，仅使用7%的数据就能达到与完整数据集相当的性能，这与传统的大数据范式形成鲜明对比。第四，在模型性能方面，本文的模型展现出卓越的参数效率：MMFineReason-4B能够超越参数量为其两倍的Qwen3-VL-8B-Thinking，MMFineReason-8B能够超越参数量为其近四倍的Qwen3-VL-30B-A3B-Thinking。第五，在数据组合方面，本文发现推理导向的数据组合能够同时提升专业推理能力和通用模型性能，这种协同效应是之前未被充分认识的。
实验结果
本文的核心发现可以从多个维度进行分析。首先，在模型性能方面，MMFineReason模型系列建立了新的SOTA。具体来说，MMFineReason-8B在13个基准测试中的平均得分为75.7%，超越了Qwen3-VL-30B-A3B-Thinking的74.5%和Gemini-2.5-Flash的75.0%，接近Qwen3-VL-32B-Thinking的77.9%。MMFineReason-4B的平均得分为73.9%，超越了Qwen3-VL-8B-Thinking的72.5%。在数学推理方面，MMFineReason-8B在DynaMath上达到83.4%，超越Qwen3-VL-32B-Thinking的82.0%和Qwen3-VL-30B-A3B-Thinking的80.1%；在MathVerse上达到81.5%，接近Qwen3-VL-32B-Thinking的82.6%。在逻辑推理方面，MMFineReason-8B在LogicVista上达到68.5%，在VisuLogic上达到30.5%。其次，在数据效率方面，本文发现了'少即是多'现象。MMFineReason-123K（仅占完整数据集的7%）的平均得分为73.3%，显著超越了使用完整HoneyBee数据集（2.5M样本）训练的模型（65.1%）和使用完整MMR1数据集（1.6M样本）训练的模型（67.4%）。第三，在泛化能力方面，尽管训练数据主要由数学推理数据组成（79.4%），MMFineReason模型在通用理解任务上也表现出色。例如，MMFineReason-8B在RealWorldQA上达到75.6%，在MMBench-EN上达到88.9%，在AI2D上达到87.9%。第四，在训练阶段效果方面，SFT主要驱动推理能力的提升，而RL显著提升泛化能力。对于8B模型，SFT将MathVision从53.90%提升到67.56%，将LogicVista从55.30%提升到68.68%；RL将AI2D从84.88%提升到87.86%，将CharXivreas.从53.0%提升到60.0%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理（MMMUval） | 准确率 | 71.3%（8B） | Qwen3-VL-8B-Thinking: 74.1% | 接近大模型性能 |
| 数学推理（MathVistamini） | 准确率 | 81.7%（8B） | Qwen3-VL-8B-Thinking: 81.4% | 相当 |
| 数学推理（MathVisiontest） | 准确率 | 67.1%（8B） | Qwen3-VL-8B-Thinking: 62.7% | +4.4% |
| 数学推理（MathVersemini） | 准确率 | 81.5%（8B） | Qwen3-VL-8B-Thinking: 77.7% | +3.8% |
| 数学推理（DynaMathtest） | 准确率 | 83.4%（8B） | Qwen3-VL-32B-Thinking: 82.0% | +1.4% |
| 逻辑推理（LogicVistatest） | 准确率 | 68.5%（8B） | Qwen3-VL-8B-Thinking: 65.1% | +3.4% |
| 逻辑推理（VisuLogictest） | 准确率 | 30.5%（8B） | Qwen3-VL-8B-Thinking: 27.5% | +3.0% |
| 科学问答（ScienceQA） | 准确率 | 97.5%（8B） | Qwen3-VL-8B-Thinking: 94.8% | +2.7% |
| 通用VQA（RealWorldQAtest） | 准确率 | 75.6%（8B） | Qwen3-VL-8B-Thinking: 73.5% | +2.1% |
| 通用VQA（MMBench-EN） | 准确率 | 88.9%（8B） | Qwen3-VL-8B-Thinking: 85.3% | +3.6% |
| 文档理解（CharXivdesc.） | 准确率 | 90.8%（8B） | Qwen3-VL-8B-Thinking: 85.9% | +4.9% |
局限与改进
本文存在几个值得讨论的局限性。首先，数据集的领域分布严重不平衡，数学推理数据占79.4%，而科学推理（13.8%）和视觉游戏/谜题（4.6%）数据相对较少。这种不平衡可能限制模型在某些特定领域的泛化能力。其次，难度感知过滤策略虽然有效，但计算成本较高，需要对每个样本进行多次推理（4次）来计算通过率。第三，本文的实验主要基于Qwen3-VL-Instruct模型，对于其他架构的VLM（如InternVL、LLaVA等）的适用性需要进一步验证。第四，RL阶段在数学基准测试上表现出一些方差，虽然在DynaMath上有所提升，但在MathVision上对4B和8B模型造成轻微下降。作者推测这是因为模型在SFT阶段已经学习了大部分模式，进一步的RL增益需要更多样化或更具挑战性的数据。第五，本文发现超高分辨率（2048²）对推理任务的收益有限，但这可能限制了模型在需要精细视觉细节的任务上的表现。
独立分析的弱点
本文的一个明显弱点是数据集的领域分布不平衡。数学推理数据占79.4%，而科学推理和视觉游戏/谜题数据相对较少。这种不平衡可能导致模型在某些特定领域（如医学图像、卫星图像、艺术作品等）的泛化能力有限。改进方向是增加更多样化的数据来源，特别是那些在现实应用中重要但目前覆盖不足的领域。另一个弱点是难度感知过滤的计算成本较高。虽然这种方法有效，但需要对每个样本进行多次推理来计算通过率，这在大规模数据集上可能成为瓶颈。改进方向是开发更高效的难度评估方法，例如使用更小的模型或基于规则的方法进行初步筛选。此外，本文的RL阶段在数学基准测试上表现出方差，表明当前的RL数据策略可能不够有效。改进方向是探索更有效的RL数据选择策略，例如使用课程学习（curriculum learning）或自适应采样方法。
未来方向
基于本文的成果，可以延伸出多个未来研究方向。首先，可以探索最优的数据混合比例。本文发现推理导向的数据组合能够同时提升专业推理能力和通用模型性能，但最优的混合比例尚未确定。未来工作可以系统地研究不同领域数据的混合比例对模型性能的影响。其次，可以开发更高效的数据蒸馏方法。本文使用Qwen3-VL-235B-A22B-Thinking作为教师模型，但这个模型本身非常大，计算成本高。未来工作可以探索使用更小的教师模型或知识蒸馏技术来降低数据构建成本。第三，可以研究难度感知过滤的扩展应用。本文发现'少即是多'现象，但这种现象在其他任务（如代码生成、文本摘要等）上是否成立需要进一步验证。第四，可以探索多模态推理的元学习方法。本文的方法需要针对每个特定任务构建数据集，未来工作可以开发能够自动适应新任务的元学习框架。第五，可以研究推理链的自动生成和优化。本文的CoT是通过教师模型蒸馏得到的，未来工作可以探索让模型自己生成和优化推理链的方法。
复现评估
本文在复现性方面表现良好。首先，作者完全开源了数据集和模型。数据集可在HuggingFace上获取（https://huggingface.co/collections/OpenDataArena/mmfinereason），模型也可在相同平台下载。其次，本文提供了详细的训练配置和超参数设置，包括SFT和RL阶段的优化器、学习率、批量大小等关键参数。第三，本文使用了公开的训练框架（LLaMA-Factory和VeRL），降低了复现的技术门槛。第四，本文的数据构建流程完全基于本地部署的开源模型，不依赖任何闭源API，这使得其他研究者可以完全复现整个流程。然而，复现本文的完整实验需要相当大的计算资源：需要部署Qwen3-VL-235B-A22B-Thinking作为教师模型，以及进行大规模的SFT和RL训练。对于计算资源有限的研究者，可以使用本文提供的子集（如MMFineReason-123K）进行实验，这些子集在保持性能的同时大大降低了计算成本。
论文图表
