Faithful GRPO：通过约束策略优化提升多模态语言模型的视觉空间推理忠实性

把一致性与视觉接地作为硬约束的GRPO变体，让多模态推理既准又真。

前置知识

GRPO (Group Relative Policy Optimization)

DeepSeek-R1 提出的 RL 算法。对每个 prompt 采样 G 个 rollout 得到奖励 $r_i$，在组内归一化得到优势 $\hat{A}_i = (r_i - \mu)/(\sigma + \epsilon)$，用裁剪替代目标 + KL 惩罚更新策略，无需 critic 网络。

本文所有方法都建立在 GRPO 之上，理解它的组内归一化和优势函数是看懂 FGRPO 的前提，因为 FGRPO 的核心改进就是对这个归一化机制做解耦。

RLVR (Reinforcement Learning with Verifiable Rewards)

用可机器自动验证的奖励信号（如答案对错、格式合规）训练 LLM 的范式，无需训练奖励模型。典型代表是基于规则验证的数学/代码任务，例如 MCQ 答案匹配。

本文研究的 MRM 训练范式正是 SFT + GRPO(RLVR) 两阶段流水线，RLVR 的'只奖励答案'特性正是导致推理质量被牺牲的根源。

Chain-of-Thought (CoT) 忠实性

指模型生成的推理链与最终答案之间、与输入视觉证据之间的逻辑一致性。它包含两个维度：逻辑一致性（推理是否蕴含最终答案）和视觉接地（推理步骤是否准确描述了图像）。

本文的核心研究对象，正是发现 SFT+GRPO 训练出的 MRM 在两个维度上都出现严重退化，FGRPO 的目标就是恢复这种忠实性。

Lagrangian 对偶上升

求解带约束优化问题 max E[R] s.t. E[C] ≥ τ 的标准方法。引入乘子 λ≥0 构造 L = E[R] + λ(E[C] − τ)，对原始变量最大化、对 λ 做对偶上升，λ 增大对应约束被违反。

这是 FGRPO 把'一致性/接地'从软奖励项变成硬约束的关键数学工具，使模型不能为了提升准确率而牺牲推理质量。

CIoU (Complete IoU)

在标准 IoU 基础上加入中心点距离和长宽比惩罚的边界框相似度度量，常用于目标检测。本文用 Hungarian 匹配将预测框与真值框配对后计算平均 CIoU。

FGRPO 的空间接地奖励 $R_G$ 就基于 CIoU 匹配，用于评估推理中产生的 bbox 是否定位到正确的图像区域。

研究动机

在视觉空间推理任务中，基于 SFT + GRPO(RLVR) 两阶段流水线训练的多模态推理模型（MRM）虽然能在 7 个真实空间推理基准上拿到 65% 左右的 Pass@1 准确率，但其推理链质量严重退化。作者在 GRPO-T 模型上观察到 26.1% 的不一致率——即超过四分之一的样本其推理过程得出的结论与最终答案自相矛盾，例如模型在 reasoning 中论证'红框中的台灯更靠近相机'，却在 answer 中给出'box'；同时平均语义接地分仅 72.7%，意味着每四句视觉描述就有一句与图像不符，例如声称'画面中没有任何小路可见'却回答'1.0'。这种退化并非个例，作者在五个当代 MRM（Vision-R1、R1-OneVision、ViGoRL-Spatial、TreeVGR、VL-Rethinker）上都复现了类似问题，其中 TreeVGR 不一致率高达 26.0%，ViGoRL 为 16.2%。这表明 RLVR 训练中的'只奖励最终答案'机制鼓励模型走捷径（shortcut）或利用数据集偏差，导致模型学会了'答对但推理不可信'，在真实应用中不可靠。

本文的目标是本文目标是在不牺牲准确率的前提下恢复多模态推理模型的 CoT 忠实性。具体有三个目标：第一，把'逻辑一致性'和'视觉接地'定义成可机器验证的奖励信号，作为训练中可优化的目标；第二，把这些信号从'与准确率互相博弈的软奖励项'提升为'必须满足的硬约束'，确保准确率提升不会以牺牲推理质量为代价；第三，在 Qwen2.5-VL-7B 和 3B 两个规模同时验证，证明方法在不同容量模型上都可扩展。整体上希望让'答对且推理可信'成为可被优化训练目标。

与已有工作不同的是，已有方法主要走两条路线，但都各有缺陷。第一条是直接奖励塑形（additive 或 multiplicative），作者实验显示加性塑形虽然把不一致率压到 4.22%，但准确率下降 0.2；乘法门控（$R = 0.5 R_{acc} R_C + 0.5 R_{fmt} R_G$）则同时牺牲准确率和一致性，根本原因是 GRPO 的组内归一化会让低方差信号被抵消。第二条是同期工作的 MO-GRPO 和 GDPO，它们用解耦归一化或多目标优势来解决信号抵消问题，但仍把质量信号作为带固定权重的奖励项。本文的独特切入角度是把质量信号当作受 Lagrangian 约束的下界（$\tau_C = 0.95, \tau_S = 0.95, \tau_G = 0.7$），通过乘子的自适应上升自动分配优化压力，无需手动调权重，从而根本上改变了'准确率—忠实性'的权衡关系。

核心方法

FGRPO 保持 GRPO 的两阶段（SFT + RL）框架不变，但在 RL 阶段用受约束策略优化替代标准 GRPO。对每个 prompt 采样 G=5 个 rollout 后计算四个独立奖励：任务奖励 $R_{task}=0.5R_{acc}+0.5R_{fmt}$、一致性奖励 $R_C \in \{0,1\}$、语义接地 $R_S \in [0,1]$、空间接地 $R_G \in [0,1]$；每个奖励在组内独立归一化得到四个独立优势，最后用拉格朗日乘子加权求和：$\hat{A}^{FGRPO}=\hat{A}_{task}+\sum_k \lambda_k \hat{A}_k$。乘子通过 batch 级约束满足度做对偶上升：$\lambda_k \leftarrow \text{clip}(0, \lambda_{max}, \lambda_k + \eta_\lambda(\tau_k - \bar{c}_k))$。直观上模型不能只刷 $R_{task}$ 拉准确率——若一致性或接地不够，乘子自动增大逼策略修复；约束满足后乘子缩小，把资源让回任务奖励，形成自动涌现的训练课程。

核心创新在于把'准确率—忠实性权衡'从加权和形式（$R = w_1 R_{task} + w_2 R_{faith}$，权重固定、需要手动调）改成受约束形式（$\max R_{task} \; s.t. \; R_C, R_S, R_G \ge \tau$）。这一转换借助三个技术杠杆实现：(1) 解耦归一化——每个奖励单独在组内标准化，解决 GRPO 组内归一化对低方差信号的抵消问题，让一致性这种二值信号也能产生梯度；(2) 受约束优化形式——通过 Lagrangian 把约束松弛到目标函数中，自动平衡任务与质量目标；(3) 自适应乘子更新——用对偶上升根据 batch 级违反度动态调整权重，无需手动调节。和 MO-GRPO 用固定权重标量化多目标、GDPO 用条件激活奖励项相比，FGRPO 用阈值加自适应乘子，主动把质量拉到下限以上，避免在 Pareto 前沿上人为选点。

方法步骤详情

训练分五步。 1) SFT 初始化：Qwen2.5-VL-72B 作教师经 MCTS 生成 45K 条带的 CoT，在 3B/7B 上微调得初始检查点。 2) RL 数据：从 SAT/VGR/VisCoT/TreeVGR 共 49K 样本按中等难度过滤。 3) 采样与奖励：G=5 rollout，R_task=0.5R_acc+0.5R_fmt；R_C 由 Qwen3-VL-30B-A3B 法官判断推理蕴含答案；R_S 把推理切句过滤元推理后由 VLM 逐句评分；R_G 对 bbox 样本做 Hungarian+CIoU 匹配；R_C, R_S 仅在 R_acc>0 时计入防 hacking。 4) 解耦优势：每个奖励独立 z-score 后按 A_FGRPO = A_task + sum_k λ_k A_k 组合，λ_k 初值 1.0。 5) 交替优化：θ 用裁剪 + KL 0.001 更新；λ 用 η_λ=0.05, λ_max=5.0 对偶上升，阈值 τ_C=τ_S=0.95, τ_G=0.7，batch 至少 8 个适用样本才更新乘子。

技术新颖性

技术新颖性体现在三个层面。第一，把 RLVR 中'忠实性'问题显式建模为约束而非偏好，开辟了 CMDP 框架在多模态推理训练中的应用，与 CPO/RCPO 等经典约束 RL 工作一脉相承但首次落地到视觉语言模型的 GRPO 训练中。第二，解耦归一化机制是关键工程贡献，作者在 Table 2 中清晰展示了固定 $\lambda=1$ 的解耦归一化就能把准确率从 65.16 提到 66.32、不一致率从 26.12 压到 1.11，证明大多数增益来自机制本身而非乘子调度。第三，自适应乘子通过 Lagrangian 闭环形成'涌现课程'——当一致性被破坏时乘子自动放大，迫使策略先修复一致性再追求准确率，这等价于一个无需人工设计的、由约束违反度驱动的训练 curriculum，是把约束优化从理论工具变成实际训练技巧的关键。

**Figure 2**: Overview of the FGRPO training pipeline

实验结果

主实验在 7 个空间推理基准（CVBench-2D/3D、MindCube、MMVP、OmniSpatial、RealWorldQA、SAT-Real）上对比。FGRPO 在 7B 上把平均准确率从 GRPO-T 的 65.17% 提升到 67.16%（+2 pp），7 个基准的 6 个最佳；MindCube 从 41.71 跃升到 49.28（+7.57），3B 规模从 61.33 升到 62.39。推理质量上，平均不一致率从 26.1% 急剧下降到 1.7%，MindCube 上从 57.1% 几近归零；语义接地分从 72.7% 升到 86.0%（+13.3 pp）。Figure 4 显示 FGRPO 1000 步内不一致率 ≤7.4% 同时准确率从 57.7% 推到 67.2%，而 GRPO-T 不一致率从 7.4% 飙到 26.1%。Table 2 显示只加 R_C 就能压到 0.54% IR 并提到 66.16% 准确率；Table 3 显示固定乘子就能拿 66.32%/IR 1.11%，自适应乘子再提升到 67.16%，验证 Lagrangian 边际价值。

**Table 1**: Main results on seven spatial reasoning benchmarks

**Table 2**: Coupled vs. decoupled advantage

**Table 3**: Adaptive λs yield best accuracy

**Figure 3**: Per-dataset reasoning quality breakdown

**Figure 4**: Training Trajectory: Accuracy vs. Inconsistency

查看结构化数据

任务	指标	本文	基线	提升
CVBench-2D	Pass@1 准确率	82.38%	GRPO-T 79.97%	+2.41 pp
CVBench-3D	Pass@1 准确率	87.04%	GRPO-T 85.92%	+1.12 pp
MindCube	Pass@1 准确率	49.28%	GRPO-T 41.71%	+7.57 pp
MMVP	Pass@1 准确率	73.33%	GRPO-T 74.00%	-0.67 pp
OmniSpatial	Pass@1 准确率	44.78%	GRPO-T 40.90%	+3.88 pp
RealWorldQA	Pass@1 准确率	67.64%	GRPO-T 66.67%	+0.97 pp
SAT-Real	Pass@1 准确率	65.66%	GRPO-T 67.00%	-1.34 pp
7 个基准平均 (7B)	Pass@1 准确率	67.16%	GRPO-T 65.17%	+1.99 pp
7 个基准平均 (3B)	Pass@1 准确率	62.39%	GRPO-T 61.33%	+1.06 pp
平均不一致率 (7B)	IR (%) ↓	1.7%	GRPO-T 26.1%	-24.4 pp
平均语义接地分 (7B)	RS (%) ↑	86.0%	GRPO-T 72.7%	+13.3 pp

局限与改进

作者承认的局限：MMVP 和 SAT-Real 上 FGRPO 略低于 GRPO-T（-0.67 和 -1.34 pp），暗示当任务相对简单时约束带来的优化压力可能与任务目标轻微错位；评估用 GPT-5.4 作法官，与训练用 Qwen3-VL-30B-A3B 存在 judge distribution shift；阈值 $\tau_C=0.95$ 等是手调的，对不同 backbone 和数据集未必最优；空间接地奖励仅在 VGR/TreeVGR 子集有效，SAT-Real/RealWorldQA 等缺乏 bbox 真值。我观察到的额外问题：(1) MCTS-CoT 数据构造依赖 72B 教师模型，复现门槛高；(2) Lagrangian 双层优化依赖于 batch 至少 8 个适用样本的硬性约束，对小批量训练不友好；(3) 框架仅在视觉空间推理验证，能否推广到通用视觉问答或视频推理仍是开放问题；(4) 在线 VLM 法官显著增加了训练计算成本，但论文未给出 wall-clock 退化数据。

独立分析的弱点

独立分析下 FGRPO 主要有四点可改进之处。第一，约束阈值 $\tau_C=\tau_S=0.95$ 写死，对不同 backbone 容量和下游任务泛化能力存疑；改进方向是引入自动阈值学习或根据 rollout 质量动态调节。第二，奖励信号完全依赖外部法官模型（Qwen3-VL-30B 训练、GPT-5.4 评估），增加成本且存在分布偏移风险；改进方向是训练一个离线的轻量 faithfulness 判别器做学生模型蒸馏。第三，空间接地 $R_G$ 受限于 bbox 标注可用性，对自然图像基准无能为力；改进方向是引入无监督视觉接地信号如分割 mask-IoU 或 CLIP 区域相似度。第四，Table 2 显示单独 $R_C$ 已能拿到 0.54% 极低不一致率，进一步加 $R_S$ 和 $R_G$ 才换来 +1 准确率，说明三者中只有 $R_C$ 是必要约束；改进方向是系统性研究约束组合的 Pareto 前沿。

未来方向

作者提出的方向：将 faithfulness 作为一等公民纳入训练目标，并呼吁社区超越 accuracy-only 评估。基于成果可延伸的方向有：(1) 把 Lagrangian 约束框架推广到通用 RLHF 训练，在 RLHF 中同样存在 reward hacking 导致 CoT 不可信的问题，可以复用这套机制保证 reasoning 阶段与回答阶段的对齐；(2) 探索动态阈值，根据训练进度和任务难度自适应调整 $\tau$，避免硬编码带来的过/欠约束；(3) 把约束形式扩展到更多维度，如事实性、安全性、风格一致性，让模型在多个不可妥协的属性上同时达标；(4) 用 FGRPO 训练的强一致模型作教师，反向蒸馏到更小的 student，进一步压缩 faithful reasoning 的部署成本；(5) 在视频或多图推理中验证，需要处理时序一致性和跨图实体追踪。

复现评估

复现评估整体偏难。Backbone Qwen2.5-VL-3B/7B 公开，但 SFT 阶段 45K MCTS-CoT 数据需调用 72B 教师生成 + 完整 MCTS 搜索（含合成回溯），工程量大；RL 49K 训练样本中 13K 来自 TreeVGR-RL-37K 也需外部依赖。训练需 8×H100 GPU，作者未明确公布总时长，参考同规模 GRPO 通常需数百到上千 GPU 小时；超参数 $\eta_\lambda=0.05, \lambda_{max}=5.0, G=5$、lr $1\times 10^{-6}$、KL 系数 0.001 都有完整披露。最大不确定性来自奖励信号：在线 VLM 法官（Qwen3-VL-30B-A3B）和评估 GPT-5.4 的选择强烈影响结果，judge prompt 微小变化可能造成 ±2 pp 波动。附录承诺提供 judge prompt 和配置缓解了部分障碍。思路和工程细节可复现，但要完全对齐 67.16% 准确率需投入相当算力和多次调参。

Faithful GRPO：通过约束策略优化提升多模态语言模型的视觉空间推理忠实性 Faithful GRPO: Improving Visual Spatial Reasoning in Multimodal Language Models via Constrained Policy Optimization