面向通用LLM推理的基于似然的奖励设计 Likelihood-Based Reward Designs for General LLM Reasoning
对数概率奖励在可验证和不可验证领域均为CoT训练提供统一信号
前置知识
链式思维（Chain-of-Thought, CoT）
链式思维是让大语言模型在给出最终答案前先输出中间推理步骤的范式。核心思想是将复杂推理任务分解为多个步骤，模型通过生成文本形式的推理过程来提升答案质量。在RL框架下，CoT被视为一系列动作（token序列），模型通过强化学习优化这些动作以最大化最终奖励。本文研究的就是如何设计奖励函数来指导CoT的生成。
本文研究的核心就是如何设计奖励来优化CoT生成，理解CoT的工作机制是理解整个论文的基础
强化学习中的奖励函数（Reward Function）
在RL post-training中，奖励函数 $R(z, a)$ 决定了模型生成的CoT $z$ 和答案 $a$ 的质量评估方式。传统方法使用二元奖励（答案正确得1，否则得0），需要针对每个任务设计专用验证器。本文探索的是基于概率/对数概率的奖励，它们不需要验证器，只需要参考答案即可计算。
论文的核心贡献就是对比不同奖励设计的效果，理解奖励函数的作用是理解本文实验设计的关键
RLOO（Leave-One-Out）优势估计
RLOO是GRPO的一个无偏变体，在一个minibatch内对同一prompt采样G个CoT，然后用leave-one-out估计均值作为基线。具体来说，对于样本 $z_i$，其优势估计为 $R(z_i) - \frac{1}{G-1}\sum_{j \neq i} R(z_j)$。这比标准GRPO的均值减法更无偏，本文所有RL方法（除JEPO外）均采用RLOO进行优势估计。
本文实验中所有RL方法都使用RLOO，理解这个优势估计方法才能理解实验结果的公平性
困惑度（Perplexity）
困惑度是衡量语言模型预测质量的指标，定义为每个答案平均对数概率的指数：$\text{PPL} = \exp\left(-\frac{1}{N}\sum_i \log p(a_i|p_i)\right)$。低困惑度意味着模型对正确答案的预测更确定。与仅关注是否正确（success rate）不同，困惑度反映了模型预测的置信度分布——一个模型即使答对了但给出很低概率，其困惑度也会很高。
本文发现不同奖励设计在success rate相近时，困惑度差异巨大，这是区分方法优劣的关键指标
VeriFree方法
VeriFree由Zhou et al. (2025)提出，使用参考答案的概率作为奖励，而非采样答案后判断正确性。其理论基础是概率奖励等价于二元奖励的期望，但方差更低。然而当正确答案概率接近零时，概率奖励无法提供有效学习信号。
VeriFree是本文对比的重要基线，理解其优缺点有助于理解为什么对数概率奖励更优
研究动机
当前大语言模型的推理能力提升主要依赖强化学习，但传统RL post-training存在两个核心限制。第一，需要为每个推理任务设计专用的奖励验证器。例如在数学推理中，二元奖励需要精确判断答案是否正确，这在代码生成、数学证明等可验证领域可行，但在长文本生成、开放式问答等不可验证领域则无法使用。第二，二元奖励天然稀疏——大多数采样轨迹得到的奖励为零，导致学习信号微弱。以MATH基准为例，基础模型的成功率仅约17%（Llama 3B）到21%（Qwen 3B），意味着超过80%的采样得到零奖励。VeriFree等概率奖励方法试图通过直接使用参考答案的概率来解决稀疏性问题，但当初始正确概率极小时（如长文本答案），概率值趋近于零，同样无法提供有效梯度。此外，基于二元奖励训练的模型在困惑度指标上表现极差——Llama 3B在MATH上的困惑度高达13.87，远高于SFT的2.63，说明模型虽然学会了答对，但变得盲目自信，对错误答案给出过高概率。
本文的目标是本文的目标是系统研究基于似然（likelihood-based）的奖励设计，找到一种不依赖专用验证器、适用于可验证和不可验证领域的统一训练信号。具体而言，作者希望回答以下问题：在概率奖励（如VeriFree）和对数概率奖励之间，哪种设计在所有场景下都表现良好？能否用同一个奖励函数同时优化成功率和困惑度？在长文本、不可验证的设置下，这些方法能否替代SFT提供额外的训练信号？
与已有工作不同的是，本文的独特切入角度在于首次对基于似然的RL奖励进行全面、系统的对比研究。虽然VeriFree、JEPO、RLPR、NOVER等先前工作各自提出了概率或对数概率的变体，但它们要么只在可验证领域测试，要么只作为消融实验的一部分报告。特别是Tang et al. (2025)在JEPO论文中报告对数概率奖励性能较弱，但本文通过更全面的实验发现，对数概率奖励实际上在所有场景下都表现最佳，之前的负面结论可能源于采样温度设置（T=1采样）的干扰。本文填补了在可验证与不可验证设置之间缺乏统一训练信号的研究空白。
核心方法
本文的方法框架基于一个直观的观察：预训练阶段LLM通过最大化下一个token的对数概率来学习，那么在post-training阶段使用对数概率作为奖励信号，应该能与预训练目标保持一致。整体技术路线是：对于每个prompt $p$，模型生成CoT $z$，然后不是采样答案 $a$ 来判断正确性，而是直接计算参考答案 $a^\star$ 在给定prompt和CoT下的概率或对数概率作为奖励。这样做的好处是不需要采样答案、不需要验证器，只需要参考答案即可。作者系统比较了六种奖励设计：二元奖励（Base RL）、概率奖励（VeriFree）、平均概率奖励（AvgProb）、对数概率奖励（Log-prob）、平均对数概率奖励（AvgLogprob）和JEPO，使用RLOO进行优势估计，在Llama-3.2-3B和Qwen-2.5-3B两个模型、MATH/DeepScaleR（可验证）和Alpaca/NuminaProof（不可验证）四个数据集上进行实验。
本文的核心创新点是将对数概率奖励作为主要训练信号，而非仅仅作为消融实验。与已有方法的本质区别在于：VeriFree使用原始概率，当概率很小时信号趋近于零；而对数概率即使在概率很小时也能提供有效的梯度信号，因为对数函数将接近零的概率映射为大负数。这在长文本、不可验证设置中尤为关键——例如在NuminaProof上，概率奖励完全失效（困惑度保持在基线水平3.62），而对数概率奖励将困惑度降至3.04，匹配SFT水平。此外，对数概率奖励的梯度包含一个自然的SFT项，这意味着它天然地与预训练目标对齐，能够避免Base RL训练中出现的盲目自信问题——Base RL在MATH上将困惑度推高至13.87，而Log-prob仅2.21。
方法步骤详情
具体方法步骤如下：首先，对于每个prompt $p$ 从数据集 $D$ 中采样，模型 $\pi_\theta$ 生成G个CoT样本 $z_1, ..., z_G \sim \pi_\theta(z|p)$。然后，对于每种奖励设计，计算对应的奖励值。对于Log-prob奖励，直接计算 $R(z,a) = \log \pi_\theta(a^\star|p,z)$，即在prompt和CoT条件下参考答案的对数概率。对于AvgLogprob奖励，除以答案长度 $|a^\star|$ 得到每token平均对数概率，从而对不同长度的答案进行归一化。对于JEPO，使用群组奖励 $R(z_1,...,z_G) = \frac{1}{G}\log\sum_{i=1}^G \pi_\theta(a^\star|p,z_i)$。接着，使用RLOO进行优势估计：$A_i = R(z_i) - \frac{1}{G-1}\sum_{j\neq i} R(z_j)$。最后，使用这些优势值通过REINFORCE算法更新模型参数，并加入KL散度正则化项（系数0.001）防止偏离基模型太远。整个过程不需要采样答案 $a$，只需要参考答案 $a^\star$。
技术新颖性
本文的技术新颖性体现在多个层面。首先，这是首个系统对比多种似然奖励变体的综合研究，涵盖了从概率到对数概率、从单样本到群组估计的完整设计空间。其次，作者发现对数概率奖励存在一个独特的CoT长度收缩现象：训练初期CoT长度急剧下降，在可验证领域随后恢复，在不可验证领域则保持极短（约10个token），实际上退化为SFT。作者通过分析发现，初始模型中CoT长度与正确答案对数概率之间存在负相关，解释了这一现象。第三，作者证明了在非可验证领域，任何尝试维持CoT长度的策略（KL惩罚、长度奖励）都会损害最终性能，这意味着在长文本设置中CoT可能不是必要的，模型可以通过内部隐式推理（hidden CoT）来处理复杂问题。
实验结果
本文的实验结果揭示了多个重要发现。在可验证领域（MATH和DeepScaleR），所有基于参考答案的RL方法在贪心解码成功率上表现相近，均显著优于基础模型和SFT。以Llama 3B在MATH上为例，Base RL达到42.74%，Log-prob达到43.30%，Probability达到44.19%，差距不大。但在困惑度指标上，差异巨大：Log-prob仅2.21，接近SFT的2.63，而Base RL高达13.87，Probability为7.14。这说明对数概率奖励训练的模型既会答对又不会盲目自信。在T=1采样评估下，Log-prob方法的性能下降更明显（如Llama 3B MATH上从43.30%降至34.66%），这是因为对数概率奖励倾向于平滑概率分布，降低了贪心解码的确定性，但这也意味着模型不会对错误答案过度自信。在不可验证领域（NuminaProof和Alpaca），关键发现是概率奖励（VeriFree）完全失效，困惑度保持在基线水平（如Llama 3B NuminaProof上3.62 vs 基线3.62），因为长文本答案的正确概率趋近于零。而对数概率奖励成功将困惑度降至与SFT匹配的水平（如Llama 3B NuminaProof上3.04 vs SFT的3.04），同时CoT长度收缩至约10个token，实际上退化为SFT。JEPO在所有设置中表现与简单Log-prob相当，但计算成本更高，作者认为其额外复杂性在当前设置中并不合理。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH（Llama 3B，可验证） | Greedy Success Rate | 43.30%（Log-prob） | 42.74%（Base RL） | +0.56%，略优于Base RL |
| MATH（Llama 3B，可验证） | Perplexity | 2.21（Log-prob） | 13.87（Base RL） | 降低84%，显著优于Base RL |
| MATH（Qwen 3B，可验证） | Greedy Success Rate | 56.84%（Log-prob） | 55.85%（Base RL） | +0.99% |
| MATH（Qwen 3B，可验证） | Perplexity | 1.55（Log-prob） | 8.25（Base RL） | 降低81%，显著优于Base RL |
| DeepScaleR（Llama 3B，可验证） | Greedy Success Rate | 32.40%（Log-prob） | 28.55%（Base RL） | +3.85%，明显优于Base RL |
| DeepScaleR（Llama 3B，可验证） | Perplexity | 2.30（Log-prob） | 16.89（Base RL） | 降低86% |
| DeepScaleR（Qwen 3B，可验证） | Greedy Success Rate | 37.92%（Log-prob） | 38.30%（Base RL） | -0.38%，基本持平 |
| NuminaProof（Llama 3B，不可验证） | Perplexity | 3.04（Log-prob） | 3.62（Base RL） | 降低16%，匹配SFT（3.04） |
| Alpaca（Llama 3B，不可验证） | Perplexity | 2.56（Log-prob） | 3.85（Base RL） | 降低34%，匹配SFT（2.56） |
| NuminaProof（Qwen 3B，不可验证） | Perplexity | 2.77（Log-prob） | 3.27（Base RL） | 降低15%，匹配SFT（2.77） |
局限与改进
本文存在多个值得讨论的局限性。首先，所有实验仅在3B参数规模的模型上进行（Llama-3.2-3B和Qwen-2.5-3B），未验证在更大模型上结论是否成立。其次，在不可验证领域，对数概率奖励训练的模型CoT长度收缩至约10个token，实际上退化为SFT，未能展现出CoT在长文本推理中的额外价值——作者承认目前没有找到在保持CoT的同时超越SFT的方法。第三，所有实验使用固定的KL散度系数0.001和学习率，未进行充分的超参数搜索，可能存在更优配置。第四，JEPO仅在G=4时测试（因其在大G时实现效率较低），而其他方法在G=32时测试，比较不完全公平。第五，作者尝试的CoT长度维持策略（KL惩罚、长度奖励）均损害了性能，说明当前方法在利用CoT进行长文本推理方面仍有不足。此外，论文未在代码生成、常识推理等其他推理任务上验证，泛化性有待进一步确认。
独立分析的弱点
本文的弱点之一是实验规模有限：所有实验仅在3B模型上进行，未验证更大模型（7B、70B）上对数概率奖励是否仍然优于其他方法。建议在更大规模模型上进行扩展实验。第二，作者发现不可验证领域CoT收缩为SFT，但未能提出有效的解决方案，长度奖励和KL惩罚均损害性能，说明对为什么CoT在长文本中失效的理解还不够深入，需要更根本的理论分析。第三，实验中采样温度固定为T=1，未探索温度调度策略对训练动态的影响——可能在训练初期用高温鼓励探索、后期降低温度有助于收敛。第四，论文未讨论对数概率奖励的计算效率：虽然不需要采样答案，但计算参考答案的对数概率仍需要一次完整的前向传播，与其他方法的计算成本对比不明确。
未来方向
作者提出了几个值得探索的方向。首先，构建在短答案和长答案之间插值的数据集，研究CoT在不同答案长度下的效果是否存在相变现象。其次，探索模型是否存在隐式CoT——即在长文本生成时通过内部层的计算而非显式文本来进行推理，如果存在，则可能解释为什么显式CoT在长文本中不必要。第三，将对数概率奖励应用到更多领域，如代码生成、常识推理、多步问答等，验证其泛化能力。第四，结合课程学习策略，从短答案逐步过渡到长答案，可能有助于维持CoT长度同时获得良好性能。第五，探索混合奖励设计，例如在可验证领域使用对数概率+二元奖励的组合，在不可验证领域使用纯对数概率，可能在两种设置下都获得最优性能。
复现评估
本文的可复现性较好。作者使用了两个公开可用的模型（Llama-3.2-3B-Instruct和Qwen-2.5-3B-Instruct）和四个公开数据集（MATH、DeepScaleR、Alpaca、NuminaMath），实验设置清晰。所有RL方法使用RLOO进行优势估计，G=32（可验证）或G=4（不可验证），KL散度系数0.001，两次随机种子平均。然而，论文未提及是否开源代码，也未提供完整的超参数配置。复现所需算力方面，实验在3B模型上进行，需要中等规模GPU资源，但G=32的大群组采样可能需要较长时间。总体而言，概念复现难度较低（核心是将奖励从二元改为对数概率），但精确复现需要作者的完整代码和超参数。
论文图表
