LLM 能否在含噪监督下学习鲁棒推理？ Can LLMs Learn to Reason Robustly under Noisy Supervision?

OLR 的完整算法见 Algorithm 1，标准流程如下： (1) **初始化**：对每个 prompt $x$ 维护空的历史轨迹 $H[x]=\emptyset$；设置超参 $K$（rollout 数，默认 8）、$T$（早期学习 epoch 数，默认 5）、$\delta_{slope}$（斜率阈值，默认 0.05）。 (2) **Early Learning 阶段（$t\le T$）**：按标准 GRPO 训练。每个 prompt 采样 $K$ 个 rollout，verifier 给出二元奖励 $r(x,y)\in\{0,1\}$，组内归一化得 advantage $A(x,y)$，用 clip+KL 目标更新 $\pi_\theta$。此阶段标签仍为 $\tilde{y}(x)$，同步把每步的 majority 答案和通过率写入 $H[x]$，供后续统计。 (3) **Label Refining 阶段（$t>T$）**：继续 GRPO 训练，但每个 prompt 的「有效标签」$\hat{y}_t(x)$ 由如下规则决定——计算当前 step 的 majority 答案 $y_{maj}^t(x)$ 和 pass-rate $p_{maj}^t(x)$；将 $(t, y_{maj}^t, p_{maj}^t)$ 追加到 $H[x]$；对 $H[x]$ 中的 pass-rate 序列做 OLS 线性回归得到斜率 $S_t(x)$（公式 5）；统计 $H[x]$ 中出现频次最高的「历史 majority」$y_{hist}^t(x)$（公式 6）；若 $S_t(x)>\delta_{slope}$ 且 $y_{maj}^t(x)=y_{hist}^t(x)$，则令 $\hat{y}_t(x)=y_{maj}^t(x)$，否则保持 $\hat{y}_t(x)=\tilde{y}(x)$（公式 7）。 (4) **Reward 计算与策略更新**：使用 $\hat{y}_t(x)$ 作为 verifier 的参考答案计算奖励，进而走标准 GRPO 损失 $\mathcal{L}_{GRPO}=\mathbb{E}_{x,y\sim\pi_\theta}[\text{clip}(A(x,y)\pi_\theta/\pi_{\theta_{old}}, 1-\epsilon, 1+\epsilon)]-\beta D_{KL}(\pi_\theta\|\pi_{ref})$。

从技术新颖性看，本文的贡献可拆为四点：(1) **首次把 RLVR 噪声标签显式分类**：通过 Rollout Feasibility 把传统二分类（clean/noisy）细化为 inactive（$\pi_\theta(\tilde{y}|x)=0$）和 active（$\pi_\theta(\tilde{y}|x)>0$）两类，配套给出 Theorem 3.4 关于 Early Correctness Coherence 的高概率下界和 Theorem 3.5 关于 OLR 容噪率提升的证明，这是首个在 RLVR 中成立的临界噪声比分析；(2) **跨样本耦合的 drift 分析**：用 $\Gamma(x_c,x_n)=\nabla_\theta\log\pi(y^\star(x_c)|x_c)\cdot\nabla_\theta\log\pi(y^\star(x_n)|x_n)\ge\gamma>0$ 解释为什么 clean 样本的梯度会顺带提升 noisy 样本上正确解的概率，这一点是 TTRL、Co-Reward 等无监督方法没有显式建模的；(3) **基于轨迹而非单步的标签更新**：把 $S_t(x)$ 和 $C_t(x)$ 联立使用，相当于在时序上做一次贝叶斯过滤，单步 majority voting 的误判率从 $O(\exp(-K\Delta_p^2))$ 进一步降低；(4) **零额外监督、零外部验证集**：相比 confidence penalty、small-loss selection 等需要先验或调参的方法，OLR 是端到端可学习的，几乎不增加算力。

**弱点 1：阈值敏感性过强**。$\delta_{slope}=0.05$ 和 $T=5$ 在 4B 模型上效果最好，但同样的超参搬到 8B 或 70B 未必最优。改进方向：把斜率阈值设计成「相对值」而非绝对值，例如「相对历史最大斜率的比例」，或用课程学习方式让 $\delta_{slope}$ 随训练衰减。 **弱点 2：仅用 majority 答案，丢掉「分布」信息**。当 $K$ 个 rollout 里有 4 个 A、3 个 B、1 个 C 时，majority 是 A，但若 4 次 A 的通过率很低、3 次 B 的通过率很高，majority 仍可能错。改进方向：可改为「加权投票」或对每个答案维护独立 pass-rate 轨迹，并加一个「答案置信度」项进入奖励；也可借鉴 TTRL 的「带置信度的伪标签」思路。 **弱点 3：对极端高噪声（$\rho=0.9$ active）的鲁棒性不足**。Table 1 显示 AIME24/AIME25 上 OLR 反而出现 -1.2 和 0 的负向或零增益。改进方向：可在 early learning 阶段结束后先做一次「小规模干净验证集」评估，若发现 majority 准确率仍低于随机，则暂停 OLR 切换至更保守策略（如仅替换「当前 $y_{maj}$ 与原标签完全相同且 $p_{maj}$ 极高」的子集）。 **弱点 4：缺少对 verifier 不完美的鲁棒性**。现实 verifier（如代码单元测试）可能存在覆盖不全、过时等问题。改进方向：可借鉴 self-consistency 的思路，让 majority voting 在 verifier 上做二次校验，或引入 LLM-as-a-judge 辅助决策。 **弱点 5：理论分析依赖 cross-sample coupling $\gamma>0$ 的强假设**。在异构任务（数学+代码+对话混合训练）下，$\gamma$ 可能接近 0 或为负。改进方向：可改为局部耦合估计，对耦合强的 prompt 启用 OLR，耦合弱的回退到原标签。

**作者提出的方向**：(1) 把 OLR 推广到 VLM、agent 等含噪监督场景，作者在 Conclusion 明确点名；(2) 设计自适应 $\delta_{slope}$ 机制，解决 OOD active 噪声下超参无规律的问题。 **可延伸方向**：(1) **多源 verifier 融合**：当前用单一 verifier，理论上可结合形式化证明、单元测试、LLM-as-judge 三类 verifier，把它们的多数票当作新 majority，结合 OLR 进一步降低 verifier 噪声；(2) **结合 process reward**：本文只考虑答案级噪声，可扩展到 step-level 含噪过程监督，类似 Math-Shepherd 场景；(3) **在线课程学习**：把噪声比 $\rho$ 也做成可调，先用 $\rho=0.3$ 训练，过程中根据 majority pass-rate 自动判断何时引入更高噪声；(4) **理论扩展**：Theorem 3.4 的 cross-sample coupling 目前是经验假设，未来可对特定模型族（如 Transformer）做形式化分析，给出 $\gamma$ 的下界；(5) **与偏好学习结合**：把 OLR 替换后的标签当作 preference pair 的 chosen 端，从 rejected 端采样 rollout 构造 negative，构成 DPO/RLOO 的训练数据。

**开源情况**：代码已发布在 https://github.com/ShenzhiYang2000/OLR，实现基于 veRL + vLLM 开源栈，GRPO 的所有超参与 Table 1 注释一致。**训练数据**：从 DAPO-Math（公开）采样，噪声注入脚本开源后应该可直接复现。**算力需求**：800 样本训练约 3.8 小时（Table 9），全部 8 张 A100 80G（附录 B.1），4K 样本约线性放大 5 倍；2B 量级模型成本可压缩到 1 张 A100 100 小时以内。**复现难度**：中等。难点在于 (a) veRL 的多机训练配置；(b) 噪声注入的「active」部分需要在 on-policy rollout 中动态采样，外部实现需严格按 Appendix B.1 的 prompt 模板和奖励函数；(c) 三个超参（$K=8$、$T=5$、$\delta_{slope}=0.05$）对结果敏感，复现时建议先固定这组默认再做消融。**已用模型验证**：Qwen3-4B-Base、Qwen3-8B-Base、Deepseek-R1-Distill-Llama-8B 三个不同规模/族均验证有效，跨模型稳健性较好。**潜在风险**：在 4B 模型上 OOD active 的提升不稳定（GPQA 出现 -0.5pp 倒退），复现时建议同时跑 2 个 seed 减少方差。