MMVistaReason：面向多模态推理的开放数据与后训练配方 MMVistaReason: Toward Open-Data and Post-Training Recipes for Multimodal Reasoning
开放数据级联蒸馏加专家RL与多教师在线蒸馏，4B模型以更少数据超越8B对手
前置知识
SFT（监督微调）
监督微调是用整理好的「输入-输出」对直接最大化模型复现正确回答概率的训练方式。对推理模型而言，训练目标通常写作 $\mathcal{L}_{\text{SFT}} = -\mathbb{E}_{(x,y)\sim D_{\text{SFT}}} \log \pi_\theta(y|x)$，其中 $y$ 不仅包含最终答案，还包含完整的思维链（CoT）轨迹。SFT 本质是模仿学习：模型逐 token 学习教师生成的推理轨迹，适合快速为模型注入新的输出格式与推理行为。
本文的 MVR-SFT-528K 数据集和「SFT 打底 → RL 专家化 → MOPD 整合」三阶段训练都以 SFT 为起点，Table 3 中 SFT 阶段把 4B 模型从 66.6 分提到 70.8 分，理解 SFT 目标函数才能明白蒸馏数据如何转化为模型能力。
RLVR 与 GSPO
RLVR（可验证奖励的强化学习）用可自动判对的答案作为奖励做策略优化：对每个问题采样一组回答（如 8 条），按组内相对正确率计算优势 $\hat{A}_i$。GRPO 用 token 级重要性比率裁剪，而 GSPO（Group Sequence Policy Optimization）改用序列级重要性比率 $s_i(\phi)$，目标为 $J = \mathbb{E}\left[\frac{1}{G}\sum_i \min(s_i\hat{A}_i, \text{clip}(s_i, 1-\epsilon, 1+\epsilon)\hat{A}_i)\right]$，避免了 token 级比率在长序列上的偏差累积，训练更稳定。
本文的两个领域专家（Real-World 与 Analytical）正是用 GSPO 在 MVR-RL-63K 上训练的，奖励由 Qwen3.5-27B 作为 LLM judge 对 标签内的答案判定，是「先专精」阶段的核心技术。
前向/反向 KL 散度
KL 散度度量两个概率分布的差异。前向 KL $D_{\text{KL}}(p\|q) = \sum_v p(v)\log\frac{p(v)}{q(v)}$ 是「模式覆盖」型的：要求学生在教师赋有概率的所有 token 上都有质量；反向 KL $D_{\text{KL}}(q\|p)$ 是「模式寻求」型的：允许学生集中在教师的少数高概率模式上。蒸馏时把哪个方向作为优化目标，会显著改变学生输出分布的形状（保守 vs 锐化）。
MOPD 的核心损失就是在专家选出的 top-K token 支撑集上的前向或反向 KL，论文发现偏好的 KL 方向随模型规模变化：4B 学生偏好前向 KL（72.8 对 72.3），9B 学生偏好反向 KL（74.4 对 74.2）。
在线蒸馏（On-Policy Distillation）
传统离线蒸馏让教师先生成完整轨迹、学生再离线模仿，但学生自回归推理时会走进教师轨迹从未覆盖的状态，产生 train-inference 分布不匹配。在线蒸馏改为由学生当前策略自己采样轨迹，教师针对「学生实际访问的前缀」$s_t=(x,y_{<t})$ 提供 token 级分布监督，在学生自己的状态分布上纠正学生。多教师版本再按样本路由到不同领域教师，实现能力整合。
MOPD（Multi-teacher On-Policy Distillation）是本文把两个 RL 专家能力整合回统一模型的关键机制，也是「specialize-then-integrate」配方的第二阶段，直接决定最终 72.8/74.4 的成绩。
拒绝采样与 Best-of-N 轨迹选择
拒绝采样指对同一问题让模型生成 $K$ 条候选回答，用验证器 $V(\cdot)$ 只保留答案正确的候选，是构造高质量蒸馏数据的标准手段。Best-of-N 进一步从正确候选中按某种打分挑最优，常见做法有随机选、选最长轨迹等。本文提出 Answer-Likelihood Best-of-N：按最终答案 token 的归一化对数似然 $\frac{1}{|a|}\sum_{t=1}^{|a|}\log p_T(a_t|x, r_y, a_{<t})$ 选择轨迹，长度归一化消除了长答案的偏差。
级联教师蒸馏加 Answer-Likelihood BoN 是 MVR-SFT 数据构造的核心；Figure 5 显示它比随机选择平均提升 +0.29（4B）/+0.24（9B），比选最长轨迹更稳定。
Pass Rate 与难度前沿数据筛选
对样本 $z=(x,a)$，pass rate 指模型 $K$ 次采样中答对的比例 $p(z) = \frac{1}{K}\sum_k V(y_k, a)$。$p=0$ 的样本往往过难或有噪声，$p=1$ 的样本太简单、学习信号有限，而中间区间（如 0.375–0.625）是「当前策略有时能对但还不稳定」的前沿区，梯度信号最丰富。用小模型的 pass rate 过滤简单样本、用当前策略的 pass rate 圈定 RL 训练集，是近年后训练数据工程的常用技巧。
本文用 Qwen3.5-4B 的 4 次采样 pass rate 过滤平凡样本，用各尺度 SFT 模型的 8 次采样 pass rate 圈定 RL 前沿（保留 1–7 次解出、优先 2–6 次），是整条数据管线的骨架。
研究动机
现有开源多模态推理模型的数据与训练配方存在四类瓶颈。其一，能力覆盖失衡：多模态推理语料以数学、科学、图表等「分析型」任务为主（如 Science、Mathematics、Chart 类合计占 MVR 语料的 78.61%），而感知、计数、空间理解、GUI 定位等「真实世界」能力长期缺位——直接后果是 MMFineReason-8B 在 GUI 定位基准 OSWorld-G 上只有 48.3 分，与闭源模型差距巨大。其二，监督构建低效：开放多模态数据在视觉情境、质量、可答性、格式和难度上差异巨大，而常规管线用单一最大教师对所有样本统一蒸馏，推理成本高，对简单样本是浪费。其三，难度失衡：单一教师无法按学生容量分层监督，实验显示最难教师（122B）生成的 49K 子集单独训练 2B 学生只有 63.9 分，而全量混合数据能到 65.6。其四，跨域负迁移：把异质域混在单一 RL 目标下训练会引入基准级回退——本文实测混合域 RL 在 4B 模型上有 7/15 个基准低于 SFT 基线，最大跌幅 0.7 分。
本文的目标是本文要给出一套从开放数据到可靠多模态推理模型的完整、可复用配方，具体拆成三个子目标。(1) 更广更均衡的能力覆盖：把多模态推理组织成两大互补组——Analytical（数学、科学、视觉逻辑、图表，强调结构化、知识密集、符号推理）和 Real-World（通用感知、计数、空间理解、GUI 定位，强调细粒度视觉感知与空间接地）。(2) 高效的 SFT 与 RL 数据构造：用分阶段清洗统一异质开放数据；SFT 侧用难度感知级联教师蒸馏加答案似然 BoN 构造 MVR-SFT-528K，RL 侧用规模特定的前沿过滤构造 MVR-RL-63K。(3) 「先专精后整合」的训练：为每个推理组训练互补 RL 专家，再用多教师在线蒸馏 MOPD 把能力整合回统一模型；最终目标是让 4B/9B 模型以更少数据、更小体积超越更大的基线（4B 超 MFR-8B 且 SFT 样本少约 70%）。
与已有工作不同的是，本文的独特切入角度是把「学生模型容量」作为一等公民贯穿数据与训练设计。以往工作要么假设数据越多越好，要么用单一教师蒸馏；本文系统刻画监督难度、轨迹质量与模型容量的三元交互，得出容量依赖的结论：小模型（2B 从 49K 的 63.9 升到 528K 的 65.6）受益于多难度层级的广覆盖，大模型（9B 用 124K 中等偏难子集达到 72.3，追平全量 528K）受益于难度匹配而非规模。第二个独特角度是「先专精后整合」：不做混合域 RL，而是按推理组训练互补 RL 专家，再用 MOPD 在学生自生成轨迹上做按域路由的 token 级监督整合，直接绕开混合域 RL 的负迁移。第三个角度是对整合机制的细粒度对照：同条件下比较混合域 RL 与 MOPD 的前向/反向 KL 两种目标，发现最佳 MOPD 变体在全部 15 个基准上不劣于 Mixed-RL，且 KL 方向偏好随规模反转，这在此前的多模态蒸馏文献中未被报道。
核心方法
直觉上，本文把「训练可靠的多模态推理模型」拆成数据、监督、整合三个正交问题：数据要干净且按难度分层（什么难度给谁学）、监督要按训练阶段定制（SFT 要与学生容量匹配的可靠轨迹，RL 要当前策略可学习的前沿题）、能力要先专精再整合（避免混训互扰）。技术路线分三个配方。(1) 数据清洗配方：对约 2.2M 的原始开放 VQA 数据池先做规则级去重（SHA-256 哈希、感知哈希 pHash、CLIP 语义相似度）与图像质量过滤（丢弃损坏、低分辨率、空白、模糊、极端长宽比），再用 Qwen3.5-122B-A10B 做六步语义清洗（语言标准化、无关内容移除、可答性过滤、指令改写、答案抽取、答案规范化）并标注 7 类领域标签与题型，统一成标准化 schema。(2) 数据构造配方：先用 Qwen3.5-4B 的 4 次采样 pass rate 过滤简单样本，再用 9B→27B→122B 级联教师做拒绝采样蒸馏，轨迹用 Answer-Likelihood BoN 选择，得到 MVR-SFT-528K（1.04B 响应 token）；RL 数据用对应尺度 SFT 模型的 8 次采样 pass rate 圈定前沿样本，按域平衡后分成 Real-World（24K）与 Analytical（39K）两组，共 63K。(3) 训练整合配方：SFT 打底 → 用 GSPO 训两个 RL 专家 → MOPD（top-32 token 级 KL 蒸馏）把专家能力整合回统一模型。
核心创新有三点。第一，难度感知级联教师蒸馏：先用小模型 pass rate 扔掉太简单的样本，再把硬样本按 9B→27B→122B 顺序交给第一个能解出它的教师，形式化为 $j^*(z)=\min\{j \mid |Y_j(z)|>0\}$，只有所有教师都解不出才丢弃。这使监督天然按难度分层（355K/124K/49K 三个子集的教师递增、加权 pass rate 递减：0.5176/0.4616/0.3639），同时大幅节省大模型推理成本——9B/27B/122B 教师吞吐仅约 200/120/80 样本每小时，级联路由让大多数样本留在小教师。第二，Answer-Likelihood Best-of-N：在同一教师的多个正确且格式合法的轨迹中，按答案 token 的归一化对数似然选最优而非随机或选最长，实验证明这是比长度更可靠的轨迹质量代理。第三，与混合域 RL 相对的 MOPD 整合：每个训练样本按推理组路由到 Real-World 或 Analytical 专家，专家在学生自己生成的轨迹上提供 top-K token 分布监督——与混训的本质区别在于专家只在「学生实际到达的状态」上纠正学生，而不是用异质数据的梯度互相拉扯同一个模型。
方法步骤详情
Step 1 清洗：约 2.2M 原始 VQA 样本（来自 SciMM、MMR1、FineVision 等 22 个开源集）经去重（SHA-256/pHash/CLIP）、图像质量过滤、Qwen3.5-122B-A10B 六步语义清洗（语言标准化、去无关内容、可答性过滤、指令改写、答案抽取、答案规范化）与领域/题型标注，收敛到约 1.7M 合格池。Step 2 难度过滤：对样本 $z=(x,a)$ 用 Qwen3.5-4B 生成 4 条回答，计算 $p_{4B}(z)=\frac{1}{4}\sum_k V(y_k,a)$，仅保留 $p_{4B}(z)=0$ 的样本。Step 3 级联蒸馏：9B→27B→122B 教师各生成 $K=4$ 条候选，样本归给第一个解出它的教师 $j^*(z)=\min\{j\mid |Y_j(z)|>0\}$，全解不出则丢弃；对正确且含完整 / 标签的轨迹按答案归一化对数似然 $\frac{1}{|a|}\sum_t\log p(a_t|x,r_y,a_{ 正确性。Step 7 MOPD：学生自采样轨迹并按推理组路由到对应专家，专家在学生前缀上给出 top-32 token 分布，优化前向 KL $\mathcal{L}_{\text{FKL}}$ 或带截断校正的反向 KL，300 步。
技术新颖性
技术新颖性体现在四个层面。(1) 数据层面：级联教师路由与答案似然 BoN 的组合是新的——以往工作（如 MMFineReason）依赖单教师蒸馏或粗粒度难度子集，本文证明「哪个教师先解出」本身就是可靠的难度信号，且答案似然是比轨迹长度更稳定的质量代理（最长轨迹策略在 4B 上会出现 -0.6 级别的基准回退）。(2) 分析层面：首次系统给出容量依赖的三元交互结论——2B/4B 小模型要广覆盖（2B：49K→528K 提升 63.9→65.6），9B 大模型要难度匹配（124K 即达 72.3 追平 528K，而同规模教师生成的 355K 只有 71.7），这对数据配方设计有直接指导意义。(3) 训练层面：MOPD 的多教师按域路由版本是新的——每个 token 的监督来自按推理组路由的领域 RL 专家，而非单一教师或静态教师混合；论文还发现 MOPD 后的统一模型在 CountBenchQA、SFE、MMMU 等基准上超越两个专家教师本身，说明在线蒸馏不只是专家之间的折中，而是能修复共享策略各自的弱点。(4) 实证结论层面：KL 方向偏好随规模变化（4B：FKL 72.8 > RKL 72.3；9B：RKL 74.4 > FKL 74.2）是新的观察，作者解释为小学生更需 FKL 的广覆盖分布匹配、大模型更能利用 RKL 的模式集中特性。
实验结果
主实验（Table 2，15 基准）：MVR-4B 总平均 72.8，超 MFR-8B（70.9）1.9 分、Qwen3.5-9B Instruct（72.1）0.7 分，而模型只有一半大小、SFT 样本少约 70%；MVR-9B 达 74.4，超 Qwen3.5-35B-A3B（74.1），逼近 GPT-5.1（74.6），距 Gemini-3-Flash（76.9）差 2.5。分域看：Real-World 均值 4B 82.0（超 MFR-8B 3.3）、9B 83.8（超 35B 1.1），GUI 定位 OSWorld-G 提升最大——4B 58.5（+10.2）、9B 64.8；Analytical 均值 4B 66.6、9B 68.1，MVR-9B 在 MathVerse-mini 拿 82.4 超 35B（80.6）与 GPT-5.1（80.7），ChartQA 达 87.6。训练阶段消融（Table 3）：SFT 把 4B 从 Base 66.6 提到 70.8、9B 从 68.9 提到 72.3，均超 Instruct；专家 RL + MOPD 再提到 72.8/74.4，且最终模型在两个尺度全部 15 个基准上都优于对应 SFT 模型，MVR-4B 超 Qwen3.5-4B Thinking（72.3）。专家分析（Table 4）：RW 专家把 Real-World 均值 79.7→82.7（4B）/81.6→84.5（9B），Ana 专家把 Analytical 64.9→66.6/66.1→68.2，各自域内全涨。整合对比（Figure 6）：Mixed-RL 仅把 4B 提到 71.3 且 7/15 基准回退（最大 -0.7），MOPD 达 72.8（FKL，4B）/74.4（RKL，9B），最佳变体全基准不劣。数据消融（Figure 4/5）：9B 用 124K 子集（72.3）追平 528K 全量；Answer-Likelihood BoN 较随机选择平均 +0.29（4B）/+0.24（9B）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 15 基准总平均（4B 模型） | Overall Avg. | 72.8（MVR-4B） | 70.9（MFR-8B）；72.1（Qwen3.5-9B Instruct） | +1.9 / +0.7，且模型规模减半、SFT 样本少约 70% |
| 15 基准总平均（9B 模型） | Overall Avg. | 74.4（MVR-9B） | 74.1（Qwen3.5-35B-A3B Instruct）；74.6（GPT-5.1） | +0.3（超 35B）；距 GPT-5.1 仅 -0.2 |
| GUI/网页定位 | OSWorld-G | 58.5（4B）/ 64.8（9B） | 48.3（MFR-8B）；62.8（Qwen3.5-35B-A3B） | 4B +10.2；9B 较 SFT 基线 +4.9，超 35B 模型 |
| 数学鲁棒推理 | MathVerse-mini | 82.4（MVR-9B） | 80.6（Qwen3.5-35B-A3B）；80.7（GPT-5.1） | +1.8 / +1.7，9B 小模型超过 35B 与闭源旗舰 |
| 能力整合策略对比（4B） | Overall Avg. | 72.8（MOPD-FKL） | 71.3（Mixed-Domain RL） | +1.5，且最佳 MOPD 变体在 15/15 基准上不劣于 Mixed-RL |
| 图表问答 | ChartQA | 87.6（MVR-9B） | 86.3（Qwen3.5-35B-A3B）；85.1（MVR-9B SFT） | +1.3 / +2.5 |
局限与改进
作者承认或可见的局限：(1) 结论深度绑定 Qwen3.5 模型族——级联教师、学生基座、轨迹验证器、RL 奖励 judge 全部来自同族模型，「教师-学生异族蒸馏是否仍有效」未验证；(2) 评估改用 CompassVerifier（LLM-as-a-Judge）替代字符串匹配，虽更可靠但引入 judge 偏差，且 judge 与数据构造用的验证器同源，可能存在系统性偏置；(3) SFE（科学家初级考试）上绝对分数仍然很低——MVR-9B 仅 20.7，连 Gemini-3-Flash 也只有 30.5，说明专家级科学推理远未解决；(4) KL 方向的规模依赖只是经验观察，无理论解释，且两方向差距很小（≤0.6 分），实际指导价值有限；(5) RL 数据只覆盖答案可自动验证的题型（选择、数值、计数、位置占绝对多数），开放式生成与自由形式推理任务被排除在 RL 之外。我自己的观察：用 122B 模型清洗百万级样本的标注成本没有披露；「70% fewer samples」的对比对象 MFR 管线不同，严格公平性依赖未公开的细节；MOPD 推理侧需要同时在线部署学生（4 GPU）加两个专家教师（各 2 GPU），对资源受限团队并不轻量；此外全部 15 个基准都是静态学术基准，缺少真实 GUI agent 任务（如 OSWorld 交互环境）的端到端验证。
独立分析的弱点
弱点一：语言单一化。清洗管线把所有非英文问题统一翻译成英文，模型多语言能力可能被削弱，翻译本身也可能引入语义漂移——改进方向是保留原始语言并做语言平衡采样，或在翻译时保留双语对照。弱点二：专家划分过粗。Real-World 与 Analytical 的二分仍是粗粒度，GUI、空间、计数与分析域内部子域（数学 vs 图表 vs 文档）之间的干扰未被研究——可扩展到 7 个域级专家并配合层次化路由，观察更细粒度专精是否带来更大增益或更多互扰。弱点三：MOPD 只做一轮。学生初始分布与专家的差距决定了蒸馏上限，论文未探讨「MOPD 之后再做一轮前沿 RL」或蒸馏-RL 交替迭代是否更优——学生吸收专家能力后其前沿区间会移动，新一轮 RL 应有增量空间。弱点四：轨迹质量只看答案似然。答案似然高不等于推理过程正确——验证协议把推理一致性仅作为次要标准，「答案碰对但推理错误归因」的轨迹可能混入 SFT 数据——可引入过程奖励模型（PRM）或步骤级验证来过滤。弱点五：负迁移分析止步于现象层。Mixed-RL 为何在 MMMU/SFE 上掉 0.7 分缺少机制性解释（梯度冲突度量、奖励异质性、逐域损失分解都能做），使「MOPD 更好」停留在工程结论。弱点六：数据配比是启发式的。七域平衡采样与 RL 前沿区间（1–7、优先 2–6）都是人工设定，缺少自动配比搜索（如 DoReMi 类组间权重优化）来验证这些手工阈值是否最优。
未来方向
作者提出的方向：(1) 把 MOPD 扩展到超过两组的专家与更大模型尺度，检验专家数量与整合收益之间的 scaling 关系；(2) 为容量依赖交互（小学生偏好 FKL、大模型偏好 RKL；大模型对轨迹质量与混域干扰更鲁棒）寻找理论解释；(3) 把开放数据配方推广到视频、音频等更多模态与更广的真实世界场景。基于本文成果可自然延伸的方向：(1) 过程级监督——把 Answer-Likelihood BoN 升级为步骤级 PRM 验证，消除「答案对但推理错」的轨迹污染，尤其在 49K 最难子集上；(2) 交替式训练循环——MOPD 后对学生做新一轮前沿 RL（前沿区间会随能力移动），探索 SFT→RL→MOPD→RL 的迭代配方并研究其收敛性；(3) 自动化数据配方——给定目标学生规模与算力预算，自动求解最优教师路由策略、采样权重与 RL 前沿区间，把本文的手工阈值变成可优化目标；(4) 跨模型族蒸馏——检验异族教师（如 InternVL 教师、闭源教师蒸馏 Qwen 学生）是否保留增益，解除结论对 Qwen3.5 族绑定；(5) 激活被丢弃的 19.1% Teacher-Unsolved 样本——这些最难样本目前直接丢弃，可尝试多智能体协作、工具增强（代码解释器、裁剪放大）或人机协同来解锁，作为下一版数据集的增量；(6) 把 Real-World 专家接到真实 GUI agent 环境中做端到端任务验证，而不只停留在 OSWorld-G 定位基准。
复现评估
复现条件总体较好。开源情况：论文给出 GitHub 项目（github.com/JackieForest/MMVistaReason），承诺开放 MVR-SFT-528K 与 MVR-RL-63K 两个数据集；所用基座（Qwen3.5 系列）、训练框架（LLaMA-Factory、VeRL）、评估框架（VLMEvalKit + CompassVerifier）均公开。数据方面：语料全部来自 22 个开源数据集（SciMM 247,292 条、MMR1 77,116 条、FineVision 22,799 条等），附录 C 完整给出 7 个清洗标注 prompt、蒸馏 prompt 与轨迹验证 prompt，清洗管线可逐步复刻。算力方面：SFT 需 8×A100-80GB（全参、ZeRO-2、2 epochs）；RL 需 8×H200-141GB（GSPO，200 步）；MOPD 需学生 4×H200 加每教师 2×H200（300 步）；蒸馏教师部署需 1/2/4 张 A100（9B/27B/122B-A10B），吞吐约 200/120/80 样本每小时——以 528K 样本、每样本 4 条候选、最长 16,384 token 估算，蒸馏生成是千万 token 级的推理任务，总量在数千 A100 小时量级，对学术实验室偏重但可行。难度评估：中等偏高——流程链路长（清洗→难度过滤→级联蒸馏→SFT→双专家 RL→MOPD），且依赖 Qwen3.5-122B 这一档大教师的可用性与 CompassVerifier；若只想复现核心结论（容量-难度交互、MOPD 对 Mixed-RL 的优势），可在 2B/4B 学生上缩小数据规模验证，成本能降低约一个数量级。
论文图表
七个领域的响应 token 统计：Mathematics 130,677 条样本占 24.76% 却贡献 49.70% 的 token（均值 3,970.5、P95 12,188）；Logic/Game/Puzzle 均值 2,784.1；Spatial P95 达 6,344；Science 与 Chart/Table/Doc 样本量大但长度适中；General 与 GUI/Web 均值仅约 490–500 token，属于短回答。
揭示语料「大规模短感知题 + 高算力长推理题」的结构平衡，帮助理解训练成本与能力覆盖的权衡。