回归基础：通过生成概率重新审视强化学习中LLM推理的探索机制 Back to Basics: Revisiting Exploration in Reinforcement Learning for LLM Reasoning via Generative Probabilities
ProGRPO通过置信度重加权解决RLVR训练中的熵崩溃问题
前置知识
RLVR (Reinforcement Learning with Verifiable Rewards)
RLVR是一种利用可验证奖励信号来训练大语言模型的强化学习范式。与传统的基于人类反馈的强化学习(RLHF)不同，RLVR使用明确的验证机制（如数学答案的正确性检验、代码的测试用例通过率）来提供奖励信号。这种方法的核心优势在于奖励信号是客观且可自动获取的，无需昂贵的人工标注。在推理任务中，RLVR能够稳定地引导模型生成更长的思维链(Chain-of-Thought)，从而显著提升复杂推理任务的性能。
本文提出的ProGRPO正是在RLVR框架下的改进，理解RLVR的基本原理是理解本文动机和方法的前提
GRPO (Group Relative Policy Optimization)
GRPO是DeepSeek团队提出的一种高效策略优化算法，它通过组内相对优势估计来替代传统PPO中的价值函数。具体来说，对于每个查询$q$，GRPO采样一组输出$\{o_i\}_{i=1}^G$，然后通过可验证奖励计算组内相对优势$A_i = \frac{R_i - \text{mean}(R)}{\text{std}(R)}$。这种方法避免了训练额外的Critic网络，大大降低了计算开销，同时保持了稳定的训练效果。GRPO已成为当前RLVR训练的主流算法之一。
本文的ProGRPO是对GRPO的直接改进，GRPO的熵崩溃问题是本文要解决的核心问题
熵崩溃 (Entropy Collapse)
熵崩溃是指在强化学习训练过程中，策略分布的熵持续下降，最终趋向于确定性策略的现象。在LLM推理场景中，这意味着模型越来越倾向于生成相同的推理路径，即使存在其他同样正确的解法。数学上，策略熵定义为$H(\pi) = -\sum_{\tau} \pi(\tau) \log \pi(\tau)$，当$\pi(\tau)$集中在少数轨迹上时，熵值会急剧下降。熵崩溃导致模型的探索能力丧失，在Pass@k指标（尤其是较大的k值）上性能显著下降。
熵崩溃是本文要解决的核心问题，理解这一现象对于理解ProGRPO的设计动机至关重要
Pass@k 指标
Pass@k是一种评估模型生成多样性的指标，它衡量在k次独立采样中至少有一次生成正确答案的概率。与Pass@1仅关注单次生成的正确率不同，Pass@k能够反映模型生成多样化正确解的能力。当k=32时，如果模型的Pass@32远高于Pass@1，说明模型能够生成多种不同的正确推理路径；反之，如果Pass@32接近Pass@1，则说明模型存在严重的模式崩溃。在本文中，ProGRPO在Qwen2.5-7B上的Pass@32比GRPO高出13.8%，显著证明了其探索能力的提升。
Pass@k是本文评估方法有效性的核心指标，特别是Pass@32的巨大提升直接证明了ProGRPO缓解熵崩溃的效果
低概率词元长度归一化
这是一种创新的置信度计算方法，核心思想是只关注生成序列中不确定性最高的20%词元位置。研究发现，LLM在生成推理路径时，大约80%的词元位置具有非常高的预测置信度（top候选概率超过0.9），这些位置对推理路径的多样性影响很小。真正决定推理方向的是剩余20%的高不确定性位置。因此，ProGRPO定义了一个关键子集$T_i^{low}$，仅对这些低概率位置计算置信度分数，避免了对整个序列进行长度归一化时被大量高置信度词元稀释信号的问题。
这是ProGRPO方法的技术核心之一，直接决定了置信度信号的质量和训练效果
研究动机
标准的GRPO算法在RLVR训练过程中存在严重的熵崩溃和模式崩溃问题。从概率分布动力学的角度分析，GRPO的目标函数会不成比例地强化最高似然路径，从而抑制有效的替代推理链。具体表现为：在Qwen2.5-7B上，GRPO的Pass@1为37.6%，但Pass@32仅为54.7%，两者差距仅为17.1个百分点，说明模型在多次采样中难以生成多样化的正确解。相比之下，基础模型的Pass@1为23.6%，Pass@32为57.1%，差距达33.5个百分点，表明GRPO训练实际上降低了模型的探索多样性。熵监控显示，GRPO训练过程中策略熵持续下降并最终稳定在极低水平，这直接限制了模型在高难度推理任务上的表现。在AIME 2024等高难度基准上，GRPO的Pass@1仅为9.2%，远低于理论潜力，根本原因在于模型无法探索多样化的推理路径。
本文的目标是本文的核心目标是提出一种能够在保持甚至提升Pass@1准确率的同时，显著增强模型探索能力的新型策略优化算法。具体而言，作者希望：(1) 从生成概率的角度重新审视RLVR中的探索问题，建立理论分析框架；(2) 设计一种基于模型内部概率信号的优势重加权机制(ARM)，能够在不修改奖励函数的前提下重塑优势分布；(3) 在Qwen2.5-7B、Qwen2.5-32B和DeepSeek-R1-Distill-Qwen-1.5B等多个模型规模上验证方法的有效性和可扩展性；(4) 在数学推理（AIME、MATH500等）和代码生成（LiveCodeBench、CodeForces等）两大领域全面评估方法的泛化能力。最终目标是在探索-利用权衡中实现帕累托改进，而非简单的折中。
与已有工作不同的是，本文的独特切入角度在于从生成概率分布的视角重新理解RLVR中的探索问题，而非简单地引入熵正则化或修改奖励函数。现有方法（如熵正则化、clip-higher策略、高熵词元提升机制）大多局限于奖励最大化框架内的局部修改，难以从根本上改善建模多样化推理路径的能力。本文的关键洞察是：(1) 推理路径之间的相对概率结构对模型的探索行为起着至关重要的作用；(2) 仅对错误轨迹施加惩罚，同时保持正确轨迹相对平坦的奖励结构，可以在一定程度上增加解空间的多样性。基于这些观察，作者提出了ProGRPO，通过引入基于概率结构的重加权机制，隐式地重塑策略梯度优化的有效奖励加权轨迹分布，从而实现更有效的探索。这种方法的核心优势在于它不改变原始奖励信号，而是通过调整优势函数来间接影响概率质量的分布。
核心方法
ProGRPO的整体思路是将GRPO中的标准优势函数与模型内部的置信度信号相结合，通过优势重加权机制(ARM)实现探索与利用的更好平衡。直觉上，当模型对某个正确答案过于自信时，该答案获得的优势应该被削弱，从而为其他正确但低概率的推理路径留出优化空间；反之，当模型对某个正确答案不够自信时，应该给予更大的优势信号来鼓励这种探索。技术路线如下：首先，对于每个查询$q$及其对应的$G$个采样输出，计算标准的GRPO优势$A_i$；然后，分别计算模型对查询本身的置信度$c_\theta(q_i)$和对每个输出的置信度$c_\theta(o_i | q_i)$；最后，通过公式$\tilde{A}_i = A_i + \alpha (c_\theta(q_i) - c_\theta(o_i | q_i))$对优势进行重加权。这里的关键创新是使用低概率词元长度归一化来计算置信度，只关注生成过程中真正具有不确定性的20%词元位置。
ProGRPO的核心创新在于提出了一种基于模型自身概率信号的优势重加权机制(ARM)，这与现有方法有本质区别。现有方法如熵正则化直接在损失函数中添加熵项，这种方法虽然能增加探索，但往往牺牲训练稳定性和最终性能。FlowRL通过修改奖励函数实现奖励匹配，但需要设计复杂的奖励分配策略。相比之下，ProGRPO的优势在于：(1) 不修改原始奖励信号，保持了训练信号的纯净性；(2) 通过重加权而非直接修改来调整优势分布，保留了有意义的梯度信号；(3) 利用模型自身的置信度信号实现自适应调节，无需额外的超参数调优。具体来说，ARM引入了两个关键信号：查询置信度$c_\theta(q_i)$反映模型对当前问题的熟悉程度，答案置信度$c_\theta(o_i | q_i)$反映模型对特定推理路径的确信程度。当$c_\theta(q_i) > c_\theta(o_i | q_i)$时，说明模型对问题的理解超过了对答案的信心，此时给予更大的优势信号鼓励探索；反之则适当抑制。这种设计与课程强化学习(Curriculum RL)的原理一致，通过动态调节训练过程来优化学习效果。
方法步骤详情
ProGRPO的完整算法流程如下：(1) 从数据集$\mathcal{D}$中采样一批查询$Q$，对每个查询$q$，从当前策略$\pi_{\theta_{old}}$采样$G$个输出$\{o_1, ..., o_G\}$；(2) 使用可验证奖励函数计算每个输出的奖励$R = \{r_1, ..., r_G\}$；(3) 计算标准GRPO优势：$A_i = \frac{r_i - \mu}{\sigma + \delta}$，其中$\mu = \text{mean}(R)$，$\sigma = \text{std}(R)$；(4) 执行优势重加权(ARM)：首先检查是否所有输出都正确或都错误，如果是则保持原始优势不变；否则，识别查询$q$和每个输出$o_i$中的低概率词元集合$T_q^{low}$和$T_i^{low}$（约占总词元的20%），计算查询置信度和答案置信度，然后计算重加权优势$\tilde{A}_i = A_i + \alpha (c_\theta(q) - c_\theta(o_i | q))$；(5) 使用重加权后的优势计算策略梯度损失；(6) 更新参数$\theta$以最小化损失。
技术新颖性
ProGRPO的技术新颖性体现在以下几个方面：首先，从生成概率的角度重新审视RLVR中的探索问题，这是一种全新的理论视角。传统方法将探索问题归因于奖励函数设计或策略更新约束，而本文指出问题根源在于奖励加权似然最大化目标本身——该目标在优化过程中持续放大高奖励轨迹的概率质量，从而压缩低频率但同样有效的推理路径所占据的概率空间。其次，提出了低概率词元长度归一化技术，通过只关注生成序列中不确定性最高的20%词元位置来计算置信度，避免了传统全序列长度归一化被大量高置信度平凡词元稀释信号的问题。第三，设计了基于查询-答案置信度差异的优势重加权机制，这种设计与课程强化学习原理一致，能够根据模型对问题和答案的相对熟悉程度动态调节训练信号。最后，实验发现ProGRPO训练过程中熵呈现先降后升再稳定的变化规律，这与GRPO的持续下降形成鲜明对比，为理解RLVR训练动力学提供了新的见解。
实验结果
本文在数学推理和代码生成两大领域进行了全面实验，结果表明ProGRPO在多个维度上显著优于GRPO和FlowRL基线。在数学推理任务上，Qwen2.5-7B使用ProGRPO训练后，平均Pass@1达到43.3%，比GRPO的37.6%提升5.7个百分点，比FlowRL的35.3%提升8.0个百分点；更显著的是，Pass@32达到68.5%，比GRPO的54.7%提升13.8个百分点，比FlowRL的61.0%提升7.5个百分点。在高难度的AIME 2024基准上，ProGRPO的Pass@1达到21.3%，比FlowRL的14.6%提升12.1个百分点。在Qwen2.5-32B上，ProGRPO的平均Pass@1达到52.7%，比GRPO的47.9%提升4.8个百分点。在DeepSeek-R1-Distill-Qwen-1.5B上，ProGRPO将平均Pass@1从49.4%提升到58.3%，提升幅度达8.9个百分点。代码生成任务上，ProGRPO在LiveCodeBench上达到36.47的Avg@16和54.12的Pass@16，在CodeForces上达到1422.49的评分（比GRPO高约180分），对应75.4%的百分位。训练过程中的熵监控显示，ProGRPO的熵先降后升最终稳定，而GRPO持续下降，这解释了ProGRPO在Pass@k指标上的显著优势。多样性分析表明，ProGRPO生成的正确解在Self-BLEU（0.6746 vs 0.9299）和语义余弦相似度（0.9233 vs 0.9725）上显著低于GRPO，证明其生成了更多样化的推理路径。消融实验显示，重加权系数$\alpha=0.3$时效果最佳，Pass@1和Pass@32分别达到43.3%和68.5%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2024 (Qwen2.5-7B) | Pass@1 / Pass@32 | 21.3% / 53.3% | GRPO: 9.2% / 26.7% | Pass@1 +12.1%, Pass@32 +26.6% |
| AIME 2025 (Qwen2.5-7B) | Pass@1 / Pass@32 | 15.9% / 50.0% | GRPO: 6.1% / 30.0% | Pass@1 +9.8%, Pass@32 +20.0% |
| AMC 23 (Qwen2.5-7B) | Pass@1 / Pass@32 | 67.2% / 92.5% | GRPO: 65.5% / 80.0% | Pass@1 +1.7%, Pass@32 +12.5% |
| MATH 500 (Qwen2.5-7B) | Pass@1 / Pass@32 | 80.5% / 94.2% | GRPO: 75.3% / 87.0% | Pass@1 +5.2%, Pass@32 +7.2% |
| OlympiadBench (Qwen2.5-7B) | Pass@1 / Pass@32 | 42.7% / 67.5% | GRPO: 35.6% / 53.6% | Pass@1 +7.1%, Pass@32 +13.9% |
| Average (Qwen2.5-7B) | Pass@1 / Pass@32 | 43.3% / 68.5% | GRPO: 37.6% / 54.7% | Pass@1 +5.7%, Pass@32 +13.8% |
| Average (Qwen2.5-32B) | Pass@1 | 52.7% | GRPO: 47.9% | +4.8% |
| Average (DeepSeek-R1-Distill-Qwen-1.5B) | Pass@1 | 58.3% | GRPO: 49.4% | +8.9% |
| LiveCodeBench (DeepSeek-R1-Distill-Qwen-7B) | Avg@16 / Pass@16 | 36.47 / 54.12 | GRPO: 34.94 / 53.76 | Avg@16 +1.53, Pass@16 +0.36 |
| CodeForces (DeepSeek-R1-Distill-Qwen-7B) | Rating | 1422.49 | GRPO: 1243.24 | +179.25 (+14.4%) |
| MMLU-Pro (OOD, Qwen2.5-7B) | Accuracy | 54.3% | GRPO: 52.1% | +2.2% |
| GPQA (OOD, Qwen2.5-7B) | Avg@4 | 42.3% | GRPO: 38.9% | +3.4% |
局限与改进
尽管ProGRPO在多个基准上取得了显著改进，但仍存在以下局限性：首先，方法引入了额外的超参数$\alpha$（优势重加权系数），虽然实验表明$\alpha=0.3$是一个鲁棒的选择，但在不同任务和模型规模上可能需要进一步调优。其次，低概率词元的选择依赖于固定的20%比例阈值，这个比例是否在所有场景下都是最优的尚不清楚。第三，置信度计算需要对查询和每个输出分别进行前向传播，增加了计算开销，尽管论文未详细讨论这一成本。第四，实验主要集中在数学推理和代码生成两个领域，对于开放域对话、创意写作等其他LLM应用场景的适用性有待验证。第五，虽然论文展示了在Qwen2.5和DeepSeek系列模型上的结果，但在更大规模模型（如70B+）上的效果尚不清楚。此外，论文的消融实验主要关注$\alpha$的影响，对于其他设计选择（如置信度计算方式、低概率词元比例等）的敏感性分析不够充分。最后，论文未讨论ProGRPO与现有RLVR改进技术（如DAPO、CISPO等）的正交性和可组合性。
独立分析的弱点
ProGRPO存在以下几个值得改进的弱点：(1) 超参数敏感性：虽然$\alpha=0.3$在实验中表现最佳，但当$\alpha$增加到0.7或1.0时性能会下降（Pass@1从43.3%降至40.9%和39.0%），这表明方法对超参数有一定敏感性。改进方向可以是设计自适应的$\alpha$调节策略，根据训练进度或模型状态动态调整。(2) 计算开销：置信度计算需要识别低概率词元并进行额外的对数概率计算，这增加了每个训练步骤的计算量。可以探索更高效的近似方法或缓存策略来降低开销。(3) 低概率词元选择的硬编码：当前方法使用固定的20%比例来选择低概率词元，这个比例可能因任务、模型和训练阶段而异。可以考虑自适应选择策略，如基于信息熵或预测不确定性的动态阈值。(4) 缺乏理论保证：虽然论文提供了直观解释和经验证据，但缺乏对ARM收敛性和最优性的严格理论分析。(5) 与现有技术的整合：论文未讨论ProGRPO与其他RLVR改进技术（如DAPO的clip-higher策略、CISPO等）的组合效果，这可能限制了方法的实际应用价值。
未来方向
基于本文的研究成果，未来研究可以从以下几个方向展开：(1) 自适应优势重加权：设计能够根据训练状态自动调节重加权强度的机制，例如使用元学习或贝叶斯优化来学习最优的$\alpha$调度策略。(2) 多模态扩展：将ARM机制扩展到多模态推理任务，如视觉问答、图像描述生成等场景，探索置信度信号在不同模态间的迁移性。(3) 与其他探索技术的结合：研究ProGRPO与熵正则化、好奇心驱动探索、噪声注入等技术的组合效果，可能产生协同增益。(4) 理论分析：建立ARM机制的收敛性理论，分析在什么条件下ProGRPO能够保证找到全局最优策略而非陷入局部最优。(5) 大规模模型验证：在70B甚至更大规模的模型上验证ProGRPO的效果，研究方法在不同模型规模下的缩放规律。(6) 更多应用领域：将ProGRPO扩展到开放域对话、代码补全、数学证明等更多LLM应用场景。(7) 效率优化：探索使用梯度累积、混合精度训练等技术来降低ARM的计算开销，使方法更适合大规模生产环境。
复现评估
从复现性角度来看，本文提供了相对充分的信息：(1) 训练超参数在Table 1中详细列出，包括学习率$1 \times 10^{-6}$、批大小512、最大响应长度8092、PPO mini-batch大小32、裁剪比率范围$[0.8, 1.28]$等关键参数；(2) 使用了公开的数据集（DAPO数学数据集和DeepCoder代码数据集）和模型（Qwen2.5-7B/32B、DeepSeek-R1-Distill-Qwen-1.5B/7B），这些都可以通过HuggingFace获取；(3) 算法伪代码在Algorithm 1中完整呈现，包括所有关键步骤的实现细节；(4) 评估使用了标准化的基准（AIME、MATH500、LiveCodeBench等）和标准的评估设置（温度0.6、top-p 0.95）。然而，论文未提供完整的代码实现，也未说明训练所需的计算资源（GPU数量、训练时间），这可能对复现造成一定困难。此外，一些实现细节（如低概率词元的具体选择逻辑、置信度计算的数值稳定性处理等）可能需要读者自行推断。总体而言，对于有RLVR训练经验的研究者，复现本文结果应该是可行的，但可能需要一定的调试和适配工作。
论文图表
