强化多模态推理在视觉退化下的鲁棒性：ROMA 框架 Reinforcing Multimodal Reasoning Against Visual Degradation
提出双前向传播RL框架，使MLLM抗视觉退化且不牺牲干净精度。
前置知识
GRPO（Group Relative Policy Optimization）
GRPO 是 DeepSeek 提出的 critic-free 强化学习算法，针对每个 prompt 采样一组 rollout，用组内奖励的相对优势代替价值网络（critic）来估计 baseline，因此省去了单独训练 value network 的显存开销。在 SFT 之后的 RL 微调阶段，GRPO 已成为 MLLM 推理能力激发的事实标准，公式可写为 $J_{GRPO}(\theta) = \mathbb{E}_{\text{group}}[\min(\rho_t A, \text{clip}(\rho_t, 1-\epsilon, 1+\epsilon) A)]$，其中 $A$ 是组内归一化奖励优势。
本文 ROMA 的基线和底层 RL 算法都是 GRPO；其核心动机正是 critic-free 设定下传统视觉鲁棒性正则器无法直接迁移。
Teacher Forcing 与双前向传播
Teacher forcing 指在自回归训练中用 ground-truth（或已采样）的 token 作为下一步的条件，而非用模型自己生成的 token；它让前向传播计算的是 $p_\theta(y_t | v, x, y_{<t})$，即每一步条件概率的乘积。双前向传播则是同时跑两次前向：一次在干净视图上 rollout 采样轨迹，另一次在多个退化视图上用 teacher forcing 重放同一轨迹。两次共享输入 token，仅图像编码不同，从而可以离线比较两种视觉条件下的 token 分布偏移。
ROMA 的核心架构创新正是 dual-forward-pass：第一次 rollout 在干净图上产生轨迹和奖励，第二次 teacher forcing 在退化图上重放同一轨迹，避免在退化图上 rollout 引发 reward poisoning。
KL 散度作为分布一致性正则
KL 散度 $D_{KL}(p\|q) = \sum_x p(x)\log\frac{p(x)}{q(x)}$ 衡量两个分布在同一定义域上的差异，常被用作分布对齐损失。在 RL 微调中，对干净和增强状态下的策略分布施加 KL 惩罚可以强制策略对视觉扰动保持不变性。在 RLHF 训练中 surrogate 形式常用 $D^{(t)}_{KL} \approx p_t \cdot (\log p_t - \log q_t)$，其中 $p_t$ 在 stop-gradient 之外。
ROMA 的三项正则之一就是 token 级 surrogate KL 惩罚 $G_\pi(\theta, f)$，用于在 worst-case 退化视图上对齐 clean 锚定的 token 分布。
ImageNet-C 与视觉鲁棒性基准
ImageNet-C 是一套系统化设计的图像损坏基准，包含 noise（高斯/椒盐/散斑）、blur（高斯/运动/玻璃/散焦）、weather（雾/雪/霜）、digital（对比度/像素化/JPEG）等多类扰动，每类有 5 个 severity 等级。论文借鉴该框架，训练时所见扰动（seen）有 4 类，未见扰动（unseen）有 5 类，并在 Level 3 上刻意超出训练分布参数上界，测试 OOD 鲁棒性。
理解 ImageNet-C 协议才能看懂 ROMA 中「seen vs unseen」划分以及 Level 3 严重程度（σ=0.12 等）代表什么含义——这是实验能否证明泛化能力的关键设计。
研究动机
用 GRPO 等 critic-free RL 微调出来的多模态大语言模型在干净测试集上表现优秀（Qwen3-VL-8B + GRPO 在 7 个推理基准上的平均分达到 68.9%），但一旦遇到真实世界的视觉退化——模糊、JPEG 压缩、低分辨率扫描、传感器噪声——性能就急剧下滑：同样的 8B 模型在 seen 退化下平均掉到 59.2%（-9.7 个百分点），在 unseen 退化下平均只剩 54.0%（-14.9 个百分点）。换言之，clean-to-degraded 的鸿沟对标准 GRPO 来说非常严重，这意味着一个在高质量 PDF 上推理良好的模型在模糊照片上可能彻底失效，成为实际部署的关键瓶颈。问题根源有两点：一是架构失配，传统鲁棒性方法（DrAC、DrQ、DrQv2）都依赖 actor-critic 框架，价值网络正则器对 critic-free 的 GRPO 不直接适用；二是 reward poisoning，如果在退化图像上 rollout 采样轨迹，模型会因为视觉证据不足而被迫幻觉，奖励信号就会惩罚感知失败而非推理错误，最终导致策略崩溃。
本文的目标是本文的核心目标是设计一种 RL 微调框架，使 MLLM 在保持干净输入推理精度的同时，对真实世界的视觉退化具备鲁棒性。具体目标有三个：（1）匹配 GRPO 在干净数据上的精度（避免牺牲基础能力）；（2）在训练中见过的 4 类退化（高斯噪声、高斯模糊、JPEG、分辨率缩放）上较 GRPO 取得明显提升；（3）在训练中完全未见的 5 类退化（运动模糊、椒盐噪声、散斑噪声、posterization、像素化）上展示零样本泛化能力。形式化地，作者希望在 Qwen3-VL-4B/8B 两个尺寸上，把 seen / unseen 退化的 clean-to-degraded 跌幅分别从 9.7% / 14.9%（8B + GRPO）压缩到 7.1% / 12.4% 以内。
与已有工作不同的是，作者指出，已有处理 MLLM 视觉鲁棒性的工作（NoisyRollout、PAPO、Vision-R1、VL-Rethinker）大多从数据增强或 rollout 注入的角度出发，Liu et al. (2025b) 甚至直接往 RL rollout 阶段注入降质图像——这恰恰会触发本文反复强调的 reward poisoning。另一条线（DrAC、DrQ、DrQv2、DrG）则是连续控制或标准离散环境中的 actor-critic 鲁棒正则，无法直接迁移到 critic-free 的 GRPO 设定。本文的独特切入角度是：不修改 rollout（避免 reward poisoning），不依赖 critic（避免架构失配），而是在优化动力学的层面引入三个针对 critic-free 自回归 MLLM 的正则项：(i) worst-case 多视图 token 级 KL 惩罚、(ii) 锚定干净优势的辅助策略梯度、(iii) 正确性条件化的正则化（仅对 R>0 的成功轨迹施加）。这套组合在双前向传播框架下用 teacher forcing 重放同一冻结轨迹，从而既不污染奖励信号，又能约束策略在退化视图下的分布漂移。
核心方法
ROMA 的整体思路是：在一次优化步内，先用标准 GRPO 在干净图像 $v$ 上做一次前向传播采样整条推理轨迹 $y$，得到每条轨迹的奖励 $R$ 和归一化优势 $A$；然后在 $K$ 个不同退化视图 $f_k(v)$ 上用 teacher forcing 重放完全相同的轨迹 $y$，重新计算每个 token 在退化视觉条件下的对数概率 $\log\pi_\theta(y_t|f_k(v),x,y_{0$ 的成功轨迹上计算，以避免「系统性错误不变性「；(2) 辅助策略梯度损失 $J^{aug}_{pg}$，它从 $\mathcal{F}_K$ 中随机抽一个视图计算 clipped-surrogate，但优势 $A$ 仍来自干净 rollout，从而把「在噪声下也能解题「作为一个直接学习信号；(3) 正确性掩码 $\mathbb{I}[R(v,x,y)>0]$，确保正则只在成功轨迹上生效。最终损失为 $J_{total}(\theta) = J_{RL}(\theta) + \alpha J^{aug}_{pg}(\theta) - \beta \mathbb{E}[G^\pi_{worst}(\theta) \cdot \mathbb{I}[R>0]]$。
与已有 MLLM 鲁棒性方法（NoisyRollout 直接在退化图上 rollout 注入噪声、PAPO 通过大幅 mask 鼓励视觉依赖、传统 DrAC 对策略+价值网络同时正则）相比，ROMA 的本质区别可以归纳为三处：第一是「轨迹不变，图像变」——通过 teacher forcing 在冻结的干净 rollout 轨迹上评估多个退化视图，从而把 rollout 阶段和鲁棒性评估阶段解耦，从根本上规避 reward poisoning；第二是「worst-case 而非平均「——不平均 $K$ 个视图的 KL 损失，而是取最大值 $G^\pi_{worst}(\theta) = \max_{f_k} G_\pi(\theta, f_k)$，把正则聚焦在最对抗的扰动上（实验显示 mean penalty 比 worst-case 在 seen 上低 1.6%，unseen 上低 1.8%）；第三是「正确性条件化」——只在 $R>0$ 的成功轨迹上施加 KL 惩罚，避免模型去保守地把错误的推理模式也「鲁棒地「固化下来（无条件正则会让 seen/unseen 平均掉 2.2%）。这三个设计相互配合：dual forward pass 提供信号、worst-case 提供对抗强度、正确性条件化确保正则方向正确、辅助 PG 防止纯 KL 正则下的策略坍缩。
方法步骤详情
完整训练流程由以下步骤组成，每步对应一个 batch：(1) 对 batch 中每条样本 $(v_i, x_i)$，先在干净图像 $v_i$ 上做一次 GRPO rollout：温度 1.0 采样 $G=8$ 条轨迹，得到奖励 $R_i^{(g)}$，按组内均值-标准差归一化得到优势 $A_i^{(g)}$。(2) 采样 $K=3$ 个不同的视觉增强函数 $f_1, f_2, f_3 \in \mathcal{F}$（训练分布：Gaussian noise σ~0.05, Gaussian blur r~U(0.5,2.0), JPEG q~U{30,85}, Resolution f~U(0.3,0.7)），对每条成功轨迹 $y_i^{(g)}$（即 $R_i^{(g)}>0$）用 teacher forcing 在 $f_k(v_i)$ 上重放，计算 $\log\pi_\theta(y_{i,t}^{(g)}|f_k(v_i),x_i,y_{i,0]]$，作者用 $\alpha=\beta=0.10$。(6) 用 AdamW 更新参数（lr=$1\times 10^{-6}$，wd=0.01，全局 batch 128），共训 120 步。超参网格搜索显示 $\alpha=0.10$、$\beta=0.10$、$K=3$ 是 best，偏离会掉 0.5%–5% 不等。
技术新颖性
技术上 ROMA 的新颖性可以拆成四点：(1) 双前向传播结构第一次在 critic-free 的 MLLM RL 微调中实现「干净 rollout + 退化重放」的解耦——之前 NoisyRollout 等工作做不到这一点的根本原因是它们直接在退化视图上做 rollout，奖励信号被污染；ROMA 通过 teacher forcing 在冻结的干净轨迹上做第二次前向，从根本上绕开了 reward poisoning。(2) 将传统 DrAC 中「对策略和价值网络联合正则「重写为只对自回归策略有效的 token 级 surrogate KL——这是一种从连续控制到离散自回归生成的迁移技术贡献，因为传统 value-based 正则对 critic-free GRPO 完全没有接口。(3) worst-case 多视图优化把 ImageNet-C 风格的「多 severity / 多 corruption「思路从评估协议借鉴到训练目标中，使得每一优化步都聚焦在最对抗的扰动上。(4) 正确性条件化把 RLHF 中「只对正确输出做约束「的直觉（避免 policy collapse 到稳定但错误的模式）形式化为一个 $\mathbb{I}[R>0]$ 掩码，与 RL 主损失完美解耦。综合来看，论文的贡献是工程+方法论的：工程上给出三个超参（$K,\alpha,\beta$）的合理搜索结果，方法论上证明在 critic-free 自回归设定下「改优化动力学「是一条可行且优于「改数据/改 rollout」的鲁棒性路线。
实验结果
主要实验在 Qwen3-VL-4B / 8B Instruct 两个尺寸上完成，训练集 MMRL30k（~30K 样本），评估在 MathVista、WeMath、ChartQA、LogicVista、MMStar、VisualPuzzles、RealWorldQA 七个推理基准上。**Clean 精度**：ROMA 在 4B 上取得 68.2%（vs GRPO 67.7%、基线 65.3%），8B 上取得 68.7%（vs GRPO 68.9%、基线 66.8%），与 GRPO 持平甚至略高，证明其不牺牲基础推理能力。**Seen 退化鲁棒性（4B/8B 平均）**：ROMA 在 4B 上达到 60.7%（vs GRPO 59.0%、基线 57.5%），在 8B 上达到 61.6%（vs GRPO 59.2%、基线 58.9%、Vision-R1 56.5%、NoisyRollout 54.9%、PAPO 55.4%、VL-Rethinker 54.1%），比最强基线 GRPO 提 +2.4%（8B Level 3）。**Unseen 退化鲁棒性（4B/8B 平均）**：ROMA 在 4B 上 55.1%（vs GRPO 53.8%），8B 上 56.3%（vs GRPO 54.0%、NoisyRollout 50.1%、PAPO 50.7%、VL-Rethinker 49.6%），比 GRPO 提 +2.3%。**Clean-to-degraded 跌幅**：8B 上 ROMA 把 seen 跌幅压到 7.1%（GRPO 9.7%），unseen 跌幅压到 12.4%（GRPO 14.9%）。**逐项退化（8B 详细表）**：在 Motion Blur 上 ROMA 达到 43.2% 平均（vs GRPO 39.5%），在 Salt & Pepper Noise 上 56.4% vs 52.7%，在 Speckle Noise 上 59.3% vs 55.6%；对 ChartQA 的 Resolution Scale（20.4% vs 19.3%）和 LogicVista 的 Gaussian Blur（52.6% vs 47.8%）也都有提升。**消融实验（8B）**：把 worst-case 换成 mean penalty 后 seen 掉 1.6%、unseen 掉 1.8%（Table 3）；去掉辅助 PG 后 seen 掉 1.1%、unseen 掉 0.9%（Table 4）；去掉正确性条件化后 seen 掉 2.2%、unseen 掉 2.2%（Table 6）——三者都是有效组件，且正确性条件化贡献最大。**敏感度分析**：$\alpha$ 在 0.10 取得最佳（seen 61.6/unseen 56.3，偏离 0.05 或 0.15 都掉 1 个百分点以上），$\beta$ 同理（0.10 时 seen 61.3/unseen 56.3，$\beta=0.15$ 时 seen 暴跌到 56.8），$K=3$ 是 sweet spot（$K=1$ seen 59.5/$K=4$ seen 61.3，$K=3$ 是峰值）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 8B 模型 Seen 退化平均 (Level 3) | Accuracy (%) | 61.6 | 59.2 (GRPO) | +2.4 个百分点（vs GRPO）；+2.7 vs 最强非 GRPO 基线 PAPO (55.4) |
| 8B 模型 Unseen 退化平均 (Level 3) | Accuracy (%) | 56.3 | 54.0 (GRPO) | +2.3 个百分点（vs GRPO）；+5.6 vs PAPO (50.7) |
| 8B 模型 Clean 精度 (7 benchmarks avg) | Accuracy (%) | 68.7 | 68.9 (GRPO) | -0.2 (匹配干净精度，差异在统计噪声范围内) |
| 4B 模型 Seen 退化平均 | Accuracy (%) | 60.7 | 59.0 (GRPO) | +1.7 个百分点 |
| 4B 模型 Unseen 退化平均 | Accuracy (%) | 55.1 | 53.8 (GRPO) | +1.3 个百分点 |
| 8B 模型 Clean-to-Seen 跌幅 | 百分点 drop | 7.1 | 9.7 (GRPO) | 跌幅压缩 2.6 个百分点 |
| 8B 模型 Clean-to-Unseen 跌幅 | 百分点 drop | 12.4 | 14.9 (GRPO) | 跌幅压缩 2.5 个百分点 |
局限与改进
作者在正文和 Appendix 中明确承认的局限：(1) 实验规模——仅在 Qwen3-VL-4B/8B 两个尺寸上验证，更大模型（如 72B）是否仍能获得 +2.4% 增益未知；(2) 训练步数少——只训 120 步，远少于实际 MLLM RL 微调常见的数千步，长期训练曲线是否稳定或会出现新的 reward hacking 不确定；(3) 数据集单一——MMRL30k 主要是数学/推理类样本，缺少开放域视觉问答、文档理解等场景；(4) 退化池有限——seen 仅 4 类、unseen 仅 5 类，对更复杂的真实世界混合退化（同时叠加多种损坏）未做评估。我自己的观察：(5) 基线比较有限——主要和 GRPO 头对头，没有和更近期的 RLOO、ReMax、DPO 等非 GRPO 算法做对比；(6) 评估器依赖——用 Qwen2.5-72B-Instruct 做答案抽取打分，这意味着绝对精度有 1-2% 的评分误差，对 seen/unseen 之间 +1.3% 这种小差距要谨慎对待；(7) 表格里不同 benchmark 的退化敏感度差异巨大（ChartQA 在 Resolution Scale 上从 79.2% 暴跌到 18.2%，而 MMStar 在 Gaussian Noise 下几乎不掉），但论文没有按 benchmark 子项做归因分析；(8) Table 7 的 $K$ 敏感度只到 $K=4$，没有继续往上扫，理论最优 $K$ 可能更大；(9) 缺少在真实世界失真（如真实手机拍照）上的 zero-shot 评估，模型在 synthetic ImageNet-C 风格扰动上的提升未必能完全迁移到自然噪声。
独立分析的弱点
从独立分析角度看，ROMA 主要有以下可改进的弱点：(1) **算力开销**：双前向传播意味着每次优化步要算 $1+K=4$ 次前向（1 干净 + 3 退化），相比标准 GRPO 翻 4 倍显存/计算，限制了可扩展性；改进方向是用 LoRA 冻结主 backbone、只在 image encoder 或浅层做扰动副本，或用共享 attention KV cache 复用干净前向结果。(2) **$K$ 视图采样的随机性**：当前每次步独立采 3 个增强，没有考虑到样本难度自适应——简单样本分配简单扰动、难样本分配极端扰动，会让 worst-case 更有效率。(3) **静态 $\alpha, \beta$ 系数**：Table 8 显示 $\beta=0.15$ 直接让 seen 掉到 56.8%，说明正则权重极其敏感；可考虑用课程学习（curriculum）从 $\beta=0$ 逐步升到 0.10，或基于梯度范数自适应调节。(4) **正确性掩码过于严格**：仅在 $R>0$ 上施加 KL，但很多轨迹是 $R=0$ 的「接近正确「（如数学题只差一步），可能错失半对推理的鲁棒性学习；可考虑用 $R$ 的 soft 版本（如 $R \geq 0.5$）放宽条件。(5) **teacher forcing 误差累积**：第二次前向完全依赖干净采样的轨迹，如果干净 rollout 出现明显低质量样本，KL 惩罚会把策略推向模仿一个不好的 teacher，理论上 self-critical 或在退化图上重采少量验证或许能缓解。(6) **未见扰动提升有限**：unseen 上 +2.3% 仍然不算大，特别是 Motion Blur 在所有方法上都很低（8B ROMA 也只到 43.2%），说明对运动模糊这种结构性失真仍缺乏针对性机制。
未来方向
作者在 Appendix A.4 中明确提到的未来方向：(1) 把 worst-case 多视图优化推广到时序模态（如视频推理），把「逐帧图像增强」扩展为「逐段视频增强 + 时间一致性 KL」；(2) 引入自适应机制，根据推断的视觉退化严重度动态调整 $\alpha$ 和 $\beta$，把「防御「集中投入到真正高对抗的样本上。基于本文成果还可以延伸的方向：(3) 把 ROMA 框架从图像扩展到 3D 点云/雷达/深度图等多模态感知，研究不同模态的退化是否需要不同的 worst-case 度量；(4) 与视觉去噪/超分模型协同——先用一个轻量去噪预处理图像，再做 RL 微调，看是否能拿到 +1-2% 额外收益；(5) 在多模态 RLHF 中推广，把「鲁棒性正则「和「对齐正则（KL to ref model）「统一到一个 surrogate KL 框架下，研究两个正则项是否冲突；(6) 把 worst-case 视角和 adversarial training 形式化结合，在 pixel 空间直接做 PGD-style 攻击，生成真正 worst 的视觉扰动，而不是从 4 个预设增强里挑最大；(7) 探索 ROMA 在 OOD 检测中的应用——token 级 KL 散度本身就是一个不确定度估计器，可以用来识别「模型对当前图像是否自信「；(8) 跨模型迁移实验：把 Qwen3-VL 上训好的 ROMA 权重迁移到 LLaVA-OneVision、InternVL 等其他 MLLM 上，看鲁棒性是否可迁移。
复现评估
复现评估：作者构建在 EasyR1 框架（[42]）之上，代码、配置、训练脚本的具体开源情况在论文中未明确说明（不像 MM-EUREKA 等项目有明确 GitHub），但 EasyR1 本身是公开的 RL 训练框架，复现门槛主要是数据 + 算力。**数据**：MMRL30k（[43]）约 30K 样本，作者未给出获取方式，读者需邮件索要或自行从其引用源抓取；评估数据 MathVista/WeMath/ChartQA 等都是公开 benchmark，可直接下载。**算力**：Qwen3-VL-8B 双前向传播，batch 128，rollout 256，每条 prompt 8 次采样，120 步——按 GRPO 经验，8B 模型完整复现至少需要 32 张 A100/H100，训一次 ~3-5 天；4B 规模可以压缩到 16 卡。**实现细节完整度**：附录 A.1 给了学习率 $1\times 10^{-6}$、weight decay 0.01、batch 配置、温度 1.0、$\alpha=\beta=0.10$、$K=3$，以及训练格式（`...\boxed{}`），参数基本齐全；附录 A.2 给了 9 种退化的具体参数表（包括训练分布上下界和 3 个 eval level），可复现性较好。**难度评估**：方法层中等——KL surrogate 实现、teacher forcing 重放、worst-case 选择都需要细致的工程；最大的不确定性来自 MMRL30k 的数据获取和 EasyR1 框架的稳定性。**评分器**：用 Qwen2.5-72B-Instruct 抽取答案，这个模型公开，评分 pipeline 可复现。
论文图表