弱监督下 LLM 何时能学会推理？——基于奖励饱和动力学与推理忠实性的实证研究

RLVR 弱监督泛化由预训练先验与推理忠实性决定，Thinking SFT 可恢复

前置知识

RLVR (Reinforcement Learning with Verifiable Rewards)

基于可验证奖励的强化学习，使用二元正确性反馈（reward∈{0,1}）对 LLM 进行策略优化，典型算法是 GRPO。它不需要密集标注，只需最终答案是否正确即可驱动学习，因此被广泛用于数学、代码等可验证任务的后训练。

本文研究的核心范式就是 RLVR，论文中所有稀缺数据、噪声奖励、自监督奖励的实验都是在 GRPO 算法下进行的。如果不理解 GRPO 如何用组内相对优势更新策略，就无法理解后文 $A_i=(r_i-\mu)/\sigma$ 和训练奖励饱和的意义。

GRPO (Group Relative Policy Optimization)

对每个 prompt 采样 G 个回答，用组内奖励的均值和标准差做基线归一化得到优势 $\hat{A}_i = (r_i - \text{mean})/\text{std}$，并对策略比率做 PPO 风格的截断。论文采用 G=8，学习率 $10^{-6}$，KL 系数 $\beta=0.001$，clip ratio $\epsilon=0.2$。

GRPO 是论文实验的算法基底。文中 §3.1 的稀缺数据实验、§3.2 的噪声奖励实验和 §4 的干预实验全部基于此算法。对 GRPO 优势归一化的理解，是读懂'奖励饱和'曲线和'大-小数据差距' $G^{(n_1,n_2)}_{sat}$ 的前提。

预训练先验 (Pretraining Priors)

指 LLM 在大规模自监督预训练阶段（以及 mid-training、CPT）形成的、与下游任务相关的内在知识分布和能力倾向。Qwen2.5-Math 在通用 18T tokens 之外又额外预训练了 1T 数学 tokens，因此具备强数学先验；Llama-3.2-Instruct 则偏向通用指令遵循。

本文最核心的发现之一：泛化能力由预训练先验决定。论文把 Qwen vs Llama 的对比当作'是否有强领域对齐先验'的代理变量，并在 §4 通过对 Llama 做数学 CPT 来验证这一假设。先验强度直接决定了'奖励饱和发生在第几步'。

推理忠实性 (Reasoning Faithfulness)

定义为一个模型的中间推理步骤是否真正逻辑性地支持其最终答案。论文引入三档标签：aligned（推理完全支撑答案）、partially aligned（存在局部跳跃或不一致）、misaligned（答案与推理无关，类似于'lucky guess'）。使用 OpenAI o3 作为 LLM-as-a-judge 进行打分。

这是论文的核心新概念，区别于'输出多样性'。论文发现快速饱和的 Llama 拥有比 Qwen 更高的输出多样性，但忠实性显著更低——它是在用不支撑答案的推理链条背答案。忠实性是预测哪个模型会进入'可持续学习'而非'纯记忆'阶段的预 RL 性质。

奖励饱和 (Reward Saturation)

论文定义的关键诊断信号：当训练奖励 $\bar{r}_t$ 首次达到其全程最大值 $\bar{r}_{\max}$ 的 99% 时（即 $\bar{r}_t \geq 0.99 \bar{r}_{\max}$）记为饱和步 $t_{sat}$。饱和后进一步 RL 的收益通常很小。论文区分 pre-saturation 阶段（训练奖励与下游性能共同攀升，可泛化）与 post-saturation 阶段（plateau，可能只是记忆）。

这是论文最关键的诊断工具。它把'训练奖励曲线'和'测试性能曲线'联合解读：能持续攀升的 pre-saturation 阶段越长，模型越能学到可迁移的推理模式；快速饱和（$t_{sat}<100$）则意味着模型进入了纯记忆。

研究动机

近年来 RLVR（基于可验证奖励的强化学习）成为提升 LLM 推理能力的主流范式，但实际部署中构造可靠奖励信号越来越难：标签可能稀缺、可能含噪声，甚至完全没有 ground-truth verifier，必须依赖自监督 proxy reward。然而多项最新研究却给出令人困惑甚至相互矛盾的发现：Wang et al. (2025a) 报告仅靠 1 个样本训练就能获得显著提升，Shao et al. (2025) 发现随机或错误奖励有时能匹配 ground-truth 效果，Zhao et al. (2025)、Zuo et al. (2025) 则展示 self-certainty 或多数投票等 proxy 信号可以替代 verifiable reward。与此同时，Shafayat et al. (2025) 指出延长 proxy reward 训练会引发 reward hacking 与性能坍缩，Chandak et al. (2025) 怀疑某些 RLVR 收益来自被低估的基线。问题在于：这些发现大多基于单一模型家族和单一领域，结果常常无法跨家族复现，业界既不清楚'弱监督下 RLVR 究竟何时能泛化'，也不理解成功与失败背后的机制。

本文的目标是本文希望系统性地回答两个核心问题：（1）RLVR 在三种弱监督设置——数据稀缺、奖励噪声、自监督 proxy reward——下能否在不同模型家族和推理领域泛化？（2）当泛化失败时，能否通过 RL 之前的预训练和 SFT 干预来恢复泛化能力？作者并不追求新的 RL 算法，而是想建立一个统一的诊断框架，把'哪些模型-领域组合能学'与'预 RL 的哪些性质决定了这一切'联系起来，最终给出可操作的最佳实践建议。

与已有工作不同的是，现有文献要么只关注'RLVR 收益有多大'（结果描述），要么只关注'某种 proxy reward 行不行'（单一干预评估），缺乏对'奖励饱和动力学'这一动态指标的纵向追踪，更没有把'推理忠实性'作为预 RL 的可预测性质引入讨论。本文独特之处在于：（a）把 Qwen vs Llama 的差异显式解读为'预训练先验强度'的差异而非家族固有属性，并在 §4 通过对 Llama 做数学 CPT 来验证这一解读；（b）提出 faithful diversity 这一组合指标，把'输出多样性'和'推理忠实性'联合起来解释为什么高多样性不一定带来泛化；（c）通过 2×2 因子化设计（Base/CPT × Thinking/Non-Thinking SFT）精确分离出 Thinking SFT 才是恢复泛化的必要干预。

核心方法

论文的整体思路是'观察现象 → 提出假设 → 设计对照实验验证'。作者搭建一套基于 GRPO 的统一 RL 训练流程，在 MATH、SCIENCE、GRAPH 三个领域对 Qwen 和 Llama 两个模型家族进行系统扫描，追踪'训练奖励'与'下游测试性能'两条曲线，并定义 reward saturation step $t_{sat}$ 和三个衍生指标：pre-saturation gain $\Delta^{(n)}_{sat}$、post-saturation residual $\Delta^{*(n)}_{post}$、large-small gap $G^{(n_1,n_2)}_{sat}$。观察到'Qwen 在有领域先验的领域可凭 8 样本学到很多东西，Llama 在所有领域快速饱和'后，作者转向分析模型行为：用 LLM-as-a-judge 的语义多样性指标和忠实性打标解释 Llama 失败的原因。最后进入干预阶段：对 Llama3.2-3B-Base 做 52B tokens 的数学持续预训练（CPT），并对比 Thinking SFT（带显式推理链）与 Non-Thinking SFT（只学最终答案）两种监督，形成 2×2 设计 + Instruct 基线共 5 个变体，验证 CPT 与 Thinking SFT 协同可恢复弱监督下的泛化能力。

论文的核心创新点是把 RLVR 的成功与否归结为'奖励饱和前的可持续学习阶段长度'，并把这一动态现象与一个预 RL 可测量的属性——推理忠实性（reasoning faithfulness）——绑定。区别于已有方法的两点本质不同是：（1）不是评估最终性能，而是分析训练曲线形状（饱和步 $t_{sat}$ 和 $\Delta_{sat}$），把'训练奖励高'与'学到了东西'区分开来——Llama 在 8 样本训练下能达到 perfect training reward 但 $\Delta_{sat}$ 远低于 Qwen，因为它在'记忆答案'而非'学推理'；（2）不是把多样性当作探索能力指标，而是提出 faithful diversity（只在忠实响应上计算多样性），发现 Llama 看似更高的整体多样性其实来自不忠实推理的'噪声多样性'。干预层面的关键洞察是：恢复泛化的不是 RL 训练本身，而是 RL 之前在 SFT 阶段用'显式推理链'作为监督（Thinking SFT），CPT 只起到放大器作用。

方法步骤详情

方法分四大步骤。第一步训练数据构造：对每个 prompt 采样 16 个响应计算 solve@16，剔除 solve@16=0 和 16 的样本得到候选池，按 solve@16 值分到 15 个 bin 后用 stratified round-robin 抽样构造 N∈{8,32,64,512,2048} 的训练集，保证难度均匀。第二步 RL 训练：使用 verl 框架的 GRPO，固定 lr=$10^{-6}$、KL $\beta=0.001$、clip $\epsilon=0.2$、group size G=8、温度 1.0、最大长度 2048 tokens，batch size 64，训练 496 梯度步；Math-Verify 库做规则化二元奖励。第三步动态分析：定义 $\bar{r}_{\max}=\max_t \bar{r}_t$，$\epsilon_{\max}=0.99$，$t_{sat}=\inf\{t\leq T-50:\bar{r}_t\geq 0.99\bar{r}_{\max}\}$，据此计算 pre-saturation gain $\Delta^{(n)}_{sat}(M)=M^{(n)}(t_{sat})-M^{(n)}(0)$、post-saturation residual $\Delta^{*(n)}_{post}(M)=\max_{t\geq t_{sat}}M^{(n)}(t)-M^{(n)}(t_{sat})$ 和 large-small gap $G^{(n',n)}_{sat}$。第四步行为分析：多样性用 GPT-4o 判断两两推理相似度后聚类，按 Shannon 指数 $H(p)=-\sum_i p_i \log p_i$ 计算；忠实性用 OpenAI o3 给 aligned/partially aligned/misaligned 三档标签；不同 judge 间 Cohen's $\kappa$ 达 0.649-0.752。

技术新颖性

技术新颖性体现在三方面。第一是诊断指标的构造：$t_{sat}$ 和 $\Delta_{sat}$ 把训练曲线从'点'变为'阶段'，揭示 pre-saturation 阶段的真实学习量；Table 1 报告 Qwen2.5-Math-1.5B 在 MATH 上 $t^{(8)}_{sat}=302$、$\Delta^{(8)}_{sat}$(MATH-500)=29.7，Llama-3.2-3B-Instruct 仅 55 与 10.8，且 $G^{(2048,8)}_{sat}$ 在 8 个模型-领域对中 7 对不显著，说明 8 样本学习与 2048 样本学习的有效信息量接近，直接挑战'数据越多越好'的直觉。第二是 faithful diversity 概念：把多样性计算限制在 faithful 响应上（图 5），Llama 在 MATH 上的'高多样性'消失，Qwen-Math 在所有三个领域都保持最高 faithful diversity。第三是 2×2 因式设计：Base/CPT × Thinking/Non-Thinking SFT 配合 Instruct 共 5 个变体（图 6），Thinking SFT 约 1B tokens、Non-Thinking SFT 约 0.27B tokens，通过 Compute-matched 对照精确证明'显式推理链的存在'才是必要干预。

**Figure 10**: Training loss during continual pre-training of Llama3.2-3B on approximately 52B tokens of Nemotron-CC-Math data.

**Figure 11**: Training loss for (a) Thinking SFT and (b) Non-Thinking SFT on 43.5K math prompts, initialized from the CPT checkpoint.

**Figure 12**: Example prompt and response format of SFT.

实验结果

核心实验有三个系列。稀缺数据（图 1、Table 1）：Qwen2.5-Math-1.5B 在 MATH 仅 8 样本即获 $\Delta^{(8)}_{sat}$(MATH-500)=29.7（in-domain）和 $\Delta^{(8)}_{sat}$(SCP-Hard)=10.5（OOD），$t^{(8)}_{sat}=302$ 远超 Llama 的 55；Qwen2.5-Math-7B 在 GRAPH 上仅 8 样本就在 MATH-500 上 OOD 提升 21.0%；Llama-3.2-3B-Instruct 在 MATH $\Delta^{(8)}_{sat}$(MATH-500)=10.8，$\Delta^{*(8)}_{post}=-1.9$ 表明饱和后训练反而损害性能。噪声奖励（图 2）：Qwen 在 MATH/SCIENCE 可承受 $\gamma=0.7$ 标签污染仍保持增益，Llama 与 Qwen-on-GRAPH 在 $\gamma\geq0.5$ 即崩溃；Llama 在不同 $\gamma$ 下训练奖励曲线几乎重合，是对错误标签的拟合速度与对正确标签一样的'纯记忆'证据。自监督 proxy reward（图 3、Table 8）：Qwen2.5-3B 在 SCIENCE 用 majority vote 训练 500 步后所有回答输出统一改为 0（推理链里写对了 68.4g），因 consensus reward 1.0；self-certainty 在所有设置下坍缩。干预（图 6、图 7）：Llama3.2-3B-Base+Non-Thinking SFT 在三种弱监督下 flat 或下降；+ Thinking SFT 后在 scarce data 和 majority vote 获可观增益；CPT+Thinking SFT 进一步放大效果；Instruct 基线在所有设置下 flat 或下降。

**Table 1**: Comparison of saturation steps $t^{(8)}_{sat}$, pre-saturation gain $\Delta^{(8)}_{sat}$ and post-saturation residual $\Delta^{*(8)}_{post}$ across model families and training domains when training on 8 examples.

**Table 2**: Training datasets and evaluation benchmarks across three reasoning domains.

**Table 8**: Two rollouts from Qwen2.5-3B on SCIENCE at step 846 under majority vote reward.

**Table 9**: Inter-rater agreement between LLM judges measured using Cohen's Kappa.

**Figure 2**: Effect of reward label corruption on training dynamics and generalization.

**Figure 3**: Comparison of reward variants (RLVR, self-certainty, majority vote) with 1024 training samples.

**Figure 4**: Evolution of semantic diversity during 8-sample training on MATH.

**Figure 6**: RL training dynamics and generalization on MATH for Llama3.2-3B Base, CPT, and Instruct variants under different SFT initializations across three weak supervision settings.

**Figure 7**: Evolution of reasoning faithfulness of the Llama3.2-3B family on weak supervision domains when combined with continual pretraining and SFT variants.

**Figure 13**: Comparisons of RL training dynamics and performance across different models on MATH domain with N∈{8,32,64,512,2048}.

**Figure 14**: Comparisons of RL training dynamics and performance across different models on SCIENCE domain with N∈{8,32,64,512,2048}.

**Figure 15**: Comparisons of RL training dynamics and performance across different models on GRAPH domain with N∈{8,32,128,256,882}.

**Figure 16**: Full in-domain benchmark evaluation results for the MATH domain across multiple models.

**Figure 27**: Comparison of self-supervised proxy rewards across model-domain pairs (Appendix D.2).

查看结构化数据

任务	指标	本文	基线	提升
Scarce-data RLVR on MATH (Qwen2.5-Math-1.5B, N=8)	avg@16 on MATH-500 (in-domain)	pre-saturation gain $\Delta^{(8)}_{sat}$ = 29.7	Llama-3.2-3B-Instruct 同期 $\Delta^{(8)}_{sat}$ = 10.8	约 2.75×，且 Qwen 在 300+ 步饱和 vs Llama 仅 55 步
OOD transfer on GRAPH-trained models (Qwen2.5-Math-7B, N=8)	avg@16 on MATH-500 (out-of-domain)	pre-saturation gain $\Delta^{(8)}_{sat}$ = 21.0%	Llama-3.1-8B-Instruct 同期 $\Delta^{(8)}_{sat}$ = 9.1%	约 2.3×，且 Qwen 跨领域迁移稳定
Reward corruption robustness (Qwen2.5-Math-1.5B on MATH)	avg@16 on MATH-500 with $\gamma=0.7$ corruption	保持 $\Delta_{sat}$(MATH-500) ≈ 25（与 $\gamma=0$ 相近）	Llama3.2-3B-Instruct 在 $\gamma\geq0.5$ 时性能崩塌	Qwen 可耐受 70% 标签噪声，Llama 仅能耐受 <30%
CPT+Thinking SFT intervention on Llama3.2-3B	avg@16 on SCP-Hard (OOD) under scarce data N=8	CPT+Thinking SFT 取得最大 OOD 增益（Fig.6 底部红色实线）	Llama3.2-3B-Instruct 在该设置下 $\Delta^{(8)}_{sat}$(SCP-Hard)=2.0	CPT+Thinking SFT 把 Llama 从 2.0 提升到显著更高的水平，恢复全部泛化能力
Self-supervised proxy reward (majority vote, Qwen2.5-Math-1.5B on MATH)	avg@16 on MATH-500 at step 496	保持稳定性能（Qwen-Math 是唯一不坍缩的组合）	Qwen2.5-1.5B 在 SCIENCE 用 majority vote ~500 步后输出统一坍缩为 0	仅 Qwen-Math 部分鲁棒；其他模型全部 collapse 或 hacking
Reasoning faithfulness comparison (MATH training, 8 samples)	Aligned-response ratio (proportion of faithful correct responses)	Qwen2.5-Math-1.5B 维持最高 aligned 比例（图 5 左）	Llama3.2-3B-Instruct 的 aligned 比例显著更低	Llama 看似多样但推理链不支撑答案——是其快速饱和的根本原因

局限与改进

作者承认的局限有两点。（1）计算约束下分析仅限特定模型家族（Qwen 和 Llama，最大 8B）和三个领域（数学、科学、图算法），更大架构和更多任务套件上的可推广性有待验证。（2）多样性与忠实性的量化依赖 LLM-as-a-judge 框架，虽做了小规模人工核验和 Cohen's $\kappa$ 评测（o3 vs GPT-OSS-20B 为 0.752，o3 vs Gemini 3 Flash 为 0.649）保证可靠性，但完整的人工对照成本过高无法扩展。我的额外观察：（a）实验集中在 1.5B/3B，最大仅 8B，对当前主流 70B+ 推理模型的可推广性未知；（b）faithfulness 的定义本身有循环性，LLM judge 评估推理忠实性可能被 judge 模型的归纳偏置影响；（c）Thinking SFT 数据来自 OpenThoughts-114K 蒸馏，可能与 Llama 内在推理风格不匹配，效果稳健性取决于蒸馏质量；（d）CPT 的 52B tokens 不到 Llama 原 9T 预训练的 1%，在不注入大量领域数据下能否完成先验迁移存疑。

独立分析的弱点

三个关键弱点。其一是忠实性评估的可扩展性：当前用 OpenAI o3 做 judge 加 GPT-4o 做多样性聚类，每次评估要调用专有模型 API，工业部署成本不可承受；改进方向是训练一个开源、轻量、专门用于推理忠实性打分的模型，或用形式化验证（Lean/Coq）替代 LLM judge。其二是干预成本偏高：CPT 52B tokens 数学语料 + 43.5K prompts 的 Thinking SFT（约 1B tokens 推理链）相当于把 Llama 完整重做 mid-training；改进方向是探索更小规模 CPT（如 5-10B tokens）是否能保留'先验注入'效果，或用 LoRA 做参数高效 CPT。其三是实验域偏向 STEM 推理，对开放生成、创意写作、对话场景完全没有覆盖，reasoning faithfulness 在非形式化推理任务中定义本身就模糊；改进方向是把忠实性细分为'逻辑一致性''事实正确性''步骤完整性'三个正交维度，分别在不同任务类型下加权。

未来方向

作者在 §6 与附录 A 明确提出的方向：开发可扩展的推理忠实性与多样性度量，替代当前 LLM-as-a-judge；将结论推广到更大模型与更广任务集。基于论文成果可延伸：（a）把'先验注入'流程工业化——能否在通用预训练阶段内建 faithful reasoning 能力，而非事后靠 CPT 补救？本文说明 RL 之前的'推理忠实性'基线决定了 RL 激励是否成功，可由此设计 pre-training 目标直接优化 faithfulness rate。（b）联合优化 CPT 语料选择和 SFT 推理链生成：用 quality diversity 算法在数学语料上做 coverage-aware 采样，配合对 Llama 自己生成的推理链做迭代 refinement，可能比单纯用 OpenThoughts-114K 更高效。（c）扩展到多模态与多语言场景：当 faithful reasoning 的'支撑性'可形式化为图-文对齐时，类似框架能否应用于视觉推理或代码生成任务？（d）将 faithful diversity 作为 RL 训练期间的在线正则项：$\mathcal{L}_{reg}=-\lambda \cdot \text{FaithfulDiv}$，鼓励模型在已验证为忠实回答的簇内继续探索，而非在全空间撒网。

复现评估

复现评估方面：作者在正文中公开了所有关键超参——GRPO 训练 lr=$10^{-6}$、KL $\beta=0.001$、clip $\epsilon=0.2$、G=8、batch=64、温度 1.0、$\epsilon_{\max}=0.99$、$T_{eff}=T-50$；数据筛选策略 solve@16∈[1,15] + 15 bin stratified round-robin；训练集来源 Skywork-OR1、SCP-116K、Reasoning Gym（Quantum Lock 与 Largest Island）；CPT 用 Nemotron-CC-Math-4plus 子集 52B tokens、AdamW、lr=$2\times10^{-5}$、cosine schedule、warmup 5%；SFT 用 OpenThoughts-114K 子集 43.5K prompts、3 epoch、batch 16、seq 8192；评估用 avg@16 加 pass@k（k∈{4,8,16}）。代码层面：实验基于 verl 框架（开源），但作者未在论文中给出 GitHub 链接或模型权重；数据 Skywork-OR1/SCP-116K/Nemotron-CC-Math/OpenThoughts-114K 均公开。算力层面：完成所有主要实验估计需要数十张 H100/A100 训练数天，单条曲线 8-12 小时，门槛中等。总体复现难度：算法简单但 LLM-as-a-judge 的忠实性评估对 judge 模型选择敏感，建议优先用 OpenAI o3 + 论文 prompt 模板（Fig. 32）作为基线。

弱监督下 LLM 何时能学会推理？——基于奖励饱和动力学与推理忠实性的实证研究 When Can LLMs Learn to Reason with Weak Supervision?