OpenVLThinkerV2：面向多领域视觉任务的通用多模态推理模型 OpenVLThinkerV2: A Generalist Multimodal Reasoning Model for Multi-domain Visual Tasks
用高斯分布匹配重写GRPO优势函数，破解多任务奖励拓扑不均衡。
前置知识
GRPO（Group Relative Policy Optimization）
DeepSeek-R1 提出的强化学习目标，对同一 query 采样一组 $G$ 个回答，用组内奖励的均值 $\mu_G$ 与标准差 $\sigma_G$ 标准化得到优势 $A_i=(R_i-\mu_G)/(\sigma_G+\epsilon)$，再用 PPO 风格 clip 目标更新策略。
G2RPO 正是为修补 GRPO 在多任务下的奖励拓扑失衡而设计，不理解 GRPO 就读不懂 G2RPO 的修正动机。
1D 最优传输（Optimal Transport）与经验 CDF
一维情况下，把经验分布 $P_{R_\tau}$ 映射到目标分布 $\mathcal{N}(0,1)$ 的最优传输映射存在闭式解 $\Psi(R_i)=\Phi^{-1}(F_{R_\tau}(R_i))$，即把奖励的秩映射到标准正态分位点。
G2RPO 的整个核心机制都建立在这条数学结论上，没有它就无法用闭式形式把任意奖励分布强制变高斯。
多任务强化学习中的奖励拓扑异质性
不同任务的奖励信号尺度差异巨大：数学/选择题给出 0/1 二元奖励、OCR/文档任务给出稀疏正确率、grounding 给出连续 IoU 分数，混合训练时梯度被高方差任务主导。
这是论文要解决的核心痛点，只有先认识这种异质性才能理解为什么线性标准化方法（EMA-GRPO）治标不治本。
研究动机
随着 GRPO 成为 MLLM 后训练的事实标准，研究者发现把视觉问答、文档理解、grounding、空间推理等异质任务放在一起训练时，标准 GRPO 会出现严重的训练不稳定。其根本原因在于不同任务的奖励拓扑差异巨大：数学/MCQ 是 0/1 二元信号、OCR 是稀疏正确率、grounding 是连续 IoU 分数。标准 GRPO 的组内 $\sigma_G$ 标准化会过度放大低方差 rollout，DR.GRPO 去掉归一化后又让高方差任务主导梯度，EMA-GRPO 用历史 EMA 方差做线性缩放，虽能缓解却无法消除重尾异常值和双峰分布的结构性缺陷。论文 Figure 2 给出四个反例：当存在单个高分异常值时 EMA-GRPO 给出 $[-1.28,-1.28,-1.28,-0.63,4.48]$ 的灾难性更新；当奖励为 $[0,0,1,1,1]$ 时标准 GRPO 的优势出现锯齿 $[-1.22,-1.22,0.81,0.81,0.81]$，梯度不连续。
本文的目标是论文的核心目标是设计一种新的 RL 训练目标，从根本上解决多任务奖励拓扑异质性导致的梯度不均衡问题。具体而言，作者希望提出一个理论上有保证、实践上可扩展的优势估计方法，使得无论奖励分布是 0/1 二元、稀疏正确率还是连续 IoU，都能被映射到统一的高斯拓扑 $\mathcal{N}(0,1)$，从而让感知类与推理类任务在梯度层面被公平对待；其次，配套提出稳定训练的多任务平衡机制，使一个单一模型同时具备细粒度视觉感知（如 OCR、grounding）和复杂多步推理（如 math、chart reasoning）能力；最终训练出一个在 18 个跨域基准上同时达到 SOTA 的通用多模态推理模型 OpenVLThinkerV2，并希望该方法能自然推广到其他高方差奖励任务，如 SWE 代码生成与 GUI 智能体。
与已有工作不同的是，已有方法（GRPO、Dr.GRPO、EMA-GRPO）都停留在线性矩匹配层面，要么保留原始分布形状、要么依赖脆弱的 EMA 超参。论文的独特切入角度是把优势估计重新定义为非线性的"分布匹配"问题——通过 1D 最优传输把任意任务的奖励分布严格映射到 $\mathcal{N}(0,1)$，从拓扑层面保证任务间梯度公平；同时把"感知 vs 推理"的平衡问题重新框定为任务级的响应长度与熵塑形，无需额外标注或额外模块。
核心方法
方法由三部分组成。第一部分是 G2RPO（Gaussian GRPO）目标函数：放弃线性矩匹配，用 1D 最优传输把每个任务的奖励分布严格映到标准正态 $\mathcal{N}(0,1)$，从而数学上封顶异常值、平滑双峰、保证正负奖励对称、跨任务方差一致。第二部分是任务级响应长度塑形：为每类任务设计梯形长度奖励包络，推理任务奖励长链、视觉任务奖励简洁直答。第三部分是任务级熵塑形：用 margin penalty 把熵损失约束在 $[H_{\min},H_{\max}]$ 区间内，防止推理任务熵爆炸和视觉任务熵坍缩。三个组件协同：G2RPO 解决梯度均衡、长度/熵塑形解决训练动力学稳定。
G2RPO 与已有方法最本质的区别在于"线性 → 非线性"：GRPO/Dr.GRPO/EMA-GRPO 都只调整一阶或二阶矩，保留原始分布形状，对重尾和双束手无策；G2RPO 直接把经验 CDF 的秩 $(rank(R_i)-0.5)/N$ 喂给 $\Phi^{-1}$，得到 $\hat{A}_i^{\text{Ours}}=\sqrt{2}\,\mathrm{erfinv}(2p_i-1)$，无论原分布如何都会被强制成对称、单位方差的 $\mathcal{N}(0,1)$，并通过均值化处理 tie 值以保证相同奖励得相同优势。配套的响应长度塑形也用梯形包络而非硬阈值，对极端长度施加 0 奖励、对合理区间施加 1、对过渡区线性插值；熵塑形则把越界量 $\max(0,H_{task}-H_{\max})+\max(0,H_{\min}-H_{task})$ 以权重 $\lambda_{ent}$ 加到总目标。
方法步骤详情
训练流程六步：(1) 以 Qwen3-VL-Instruct-8B 为起点，在 OneThinker-600k 过滤子集上单 epoch RL；(2) 每 query 采 $G$ 回答，收集任务奖励 $R_\tau=\{R_1,\dots,R_N\}$；(3) G2RPO：排序得 $p_i=(rank_i-0.5)/N$；映到 $\mathcal{N}(0,1)$ 分位 $\hat{A}_i=\sqrt{2}\,\mathrm{erfinv}(2p_i-1)$；对相同奖励均值化后散射回原序；(4) 长度塑形按 $(L_{\min},L_{\low},L_{\high},L_{\max})$ 计算梯形奖励 $R_{\length}(y)$；(5) 熵塑形对 $H_{task}$ 越界施加 margin penalty，权重 $\lambda_{ent}$ 叠到目标；(6) AdamW、batch 128、lr $2\times 10^{-6}$、4096 token、关 KL、过滤全对/全错 rollout，AWS Trainium 训约 3 天。
技术新颖性
技术新颖性体现在三个层面。第一是首次将最优传输用作"优势归一化机制"，把 OT 从偏好对齐中的距离度量（DPO/IPO 流派）重新定位为通用分布变换器，因此理论上能保证任务间梯度公平而无须调 EMA 动量。第二是把奖励分布的几何拓扑（高斯性）作为优化目标，比仅匹配一/二阶矩的方法更鲁棒，对重尾、双峰、稀疏/稠密奖励均统一处理。第三是任务级长度/熵塑形用最简单的梯形包络与 margin penalty 替代了以往需要额外标注（视觉锚点、扰动输入）或额外模块的复杂方案，以"趋势级"的粗调即带来显著增益，为多任务 RL 训练动力学提供了可扩展的范式。
实验结果
18 个跨域基准（Table 1–3）上 OpenVLThinkerV2 全面刷新开源 SOTA 并多任务反超闭源前沿。视觉推理：MMMU 71.6、MMBench 88.2、MathVista 79.5、ChartQA 87.4，相对 Qwen3-VL-Instruct-8B 平均 +13.3%，MMMU 较 GPT-4o（70.7）+0.9，ChartQA 较 Gemini 2.5 Pro（83.3）+4.1；文档：DocVQA 96.7、OCRBench 911、InfoVQA 86.4 全超 GPT-5（91.5/810/79.0）与 Gemini 2.5 Pro，OCRBench 还超专用 DeepEyesV2（882）；空间：EmbSpatial 83.1 远超 SpatialRGPT（59.6）；Grounding：RefCOCO 93.4、RefCOCOg 90.4 均超 Grounding DINO；消融：G2RPO 单独带来 +5.6/+5.6/+4.6/+3.1/+3.8/+1.4，三组件叠加达 77.9/66.2/76.0/90.7/91.4/63.6。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MMMU（通用科学知识 VQA） | 准确率 % | 71.6 | Qwen3-VL-Instruct-8B 60.2 / GPT-4o 70.7 | 相对基线 +18.9% / 比 GPT-4o 高 +0.9 |
| MMBench（多模态基准） | 准确率 % | 88.2 | Qwen3-VL-Instruct-8B 85.1 | +3.7（开源 SOTA） |
| MMStar | 准确率 % | 73.8 | Qwen3-VL-Instruct-8B 68.5 | +7.7% |
| MathVista | 准确率 % | 79.5 | Qwen3-VL-Instruct-8B 74.2 / GPT-4o 63.8 | +7.2 相对基线、比 GPT-4o 高 15.7 |
| MathVerse | 准确率 % | 65.8 | Qwen3-VL-Instruct-8B 58.1 | +13.3% |
| MathVision | 准确率 % | 53.4 | Qwen3-VL-Instruct-8B 45.4 | +17.6% |
| AI2D（图表科学） | 准确率 % | 87.5 | Qwen3-VL-Instruct-8B 82.3 | +6.3% |
| ChartQA | 准确率 % | 87.4 | Qwen3-VL-Instruct-8B 82.8 / Gemini 2.5 Pro 83.3 | +5.6%（超过 Gemini 2.5 Pro） |
| CharXiv (RQ) | 准确率 % | 53.0 | Qwen3-VL-Instruct-8B 44.5 | +19.1% |
| DocVQA | 准确率 % | 96.7 | GPT-5 91.5 / Gemini 2.5 Pro 92.6 | +5.2 / +4.1（领先闭源前沿） |
| OCRBench | 得分 | 911 | DeepEyesV2 882 / Gemini 2.5 Pro 866 | +29（OCR 专项 SOTA） |
| InfoVQA | 准确率 % | 86.4 | GPT-5 79.0 / Gemini 2.5 Pro 84.2 | +7.4 / +2.2 |
| EmbSpatial | 准确率 % | 83.1 | SpatialRGPT 59.6 / GPT-5 82.9 | +23.5 相对专用模型，匹配 GPT-5 |
| RefSpatial | 准确率 % | 44.6 | Gemini 2.5 Pro 36.5 / GPT-5 23.8 | +8.1 / +20.8 |
| RoboSpatial | 准确率 % | 63.2 | SpatialRGPT 66.7 / GPT-5 53.5 | 接近专用模型，+9.7 相对 GPT-5 |
| RefCOCO | 准确率 % | 93.4 | Grounding DINO 90.6 | +2.8（grounding SOTA） |
| RefCOCO+ | 准确率 % | 88.2 | Grounding DINO 88.2 | 追平专用模型 |
| RefCOCOg | 准确率 % | 90.4 | Grounding DINO 86.1 | +4.3 |
局限与改进
作者明确指出的限制：任务级长度与熵塑形依赖经验性趋势调参（$L_{\min},L_{\low},L_{\high},L_{\max},H_{\min},H_{\max}$），目前只做了"粗粒度"设定，系统化/自动化超参搜索留待未来工作；同时承认 RoboSpatial 略低于专用微调的 RoboRefer-SFT（48.4/58.3），说明在高度专业化的空间推理任务上通用模型仍有差距。我的额外观察：(1) 训练算力门槛较高——单个模型在 AWS Trainium Trn1.32xlarge 上需要约 3 天，社区难以大规模复现；(2) G2RPO 依赖组内采样数 $N$，当 $N$ 较小时经验 CDF 估计噪声大，作者未给出 $N$ 敏感性分析；(3) 评测仅基于 Qwen3-VL-Instruct-8B 一个基座，未在更大/更小的 backbone 上验证 G2RPO 的可迁移性；(4) 论文未提供对超长上下文、推理时 chain-of-thought 触发条件等失败模式的细粒度错误分析。
独立分析的弱点
独立审视可发现四点可改进方向。第一，G2RPO 在 1D 假设下高效闭式解，但当奖励含多维结构（例如多目标 RLHF 的多 reward channel）时需要扩展到多维 OT，文章未涉及。第二，长度与熵塑形是"加在目标上的标量奖励"，对超长生成仍是软约束，可在推理阶段用 hard length prior 或自适应 early-stop 强化。第三，训练只跑 1 个 epoch 且只用了 OneThinker-600k 的过滤子集，对其他数据分布（如纯文本推理、GUI agent、SWE-bench）的可迁移性尚未验证，论文结论中也提到这些是未来扩展方向。第四，evaluation 中空间推理仅 3 个基准，且 RefSpatial 绝对值仍偏低（44.6），说明对语言空间描述的细粒度理解仍是开放问题，可考虑引入 3D 场景图或显式几何先验缓解。
未来方向
作者在结论中明确了两条扩展线：(1) 把 G2RPO 推广到 LLM 单模态的高方差任务，例如 SWE 代码生成和 GUI 操作任务——这两类任务的奖励拓扑（pass@k、过程奖励）与多模态任务同样异质；(2) 对长度/熵塑形的超参做系统化与自动化的搜索（贝叶斯优化、population-based training）。基于论文结果可进一步延伸的方向包括：把高斯拓扑替换为更鲁棒的重尾分布（如 Student-t）以应对更极端的奖励分布；在多模态 RLHF 框架中用 G2RPO 替代标量 RM 标准化；将 1D OT 思路推广到 multi-reward 的多维 OT；以及在 chain-of-thought 蒸馏中显式把任务级长度先验作为可学习 token 控制信号。
复现评估
复现性整体良好：作者开源了项目页与 GitHub 代码，核心算法（G2RPO、长度/熵塑形）都给出了 PyTorch 风格的伪代码（Algorithm 1）且逻辑清晰，数学公式（$\Phi^{-1}\circ F_{R_\tau}$、梯形长度奖励、margin 熵约束）可一一对应实现。训练数据来自 OneThinker-600k 的过滤子集（开源），基座 Qwen3-VL-Instruct-8B 公开可下载。算力门槛是关键瓶颈：在 AWS Trainium Trn1.32xlarge 上单次完整训练约需 3 天；评测覆盖 18 个 benchmark，其中部分（如 OCRBench、CharXiv）需要专门评测脚本与数据预处理。复现难度评估为中等——算法层面低门槛，硬件与多 benchmark 评测层面门槛高。
论文图表
上半部分示意"Task-level Imbalanced Gradient Update vs Balanced Update"，并用四组数字实例化不同分布（二元稀疏 / 重尾 / 双峰 / 连续稠密）下各方法计算出的优势向量，直观展示 EMA-GRPO 出现 $[-1.28,-1.28,-1.28,-0.63,4.48]$ 的灾难性更新、DR.GRPO 在密集奖励上近乎无信号、GRPO 出现锯齿梯度，而 G2RPO 全部输出对称、平滑、单位方差的分位数。
这是 G2RPO 动机的核心可视化，对理解"为什么线性归一化不够、必须做分布匹配"至关重要。
在三个标准 grounding 基准的 val 划分上比较 Gemini 1.5 Pro、Grounding DINO、VLM-R1、DeepEyes、OneThinker-8B、Qwen3-VL-Instruct、Qwen3-VL GRPO、Qwen3-VL GDPO、OpenVLThinkerV2 共 9 个模型。
验证 G2RPO 训练的模型在需要高精度的 grounding 任务上同样达到 SOTA，超过专门为 grounding 设计的 Grounding DINO。