探索性强化学习：用于大语言模型中间训练的新方法 ExpRL: Exploratory RL for LLM Mid-Training
利用参考解决方案作为密集奖励脚手架，改善LLM推理路径覆盖
前置知识
稀疏奖励强化学习
稀疏奖励RL是指只在最终结果给出反馈的强化学习方法，例如对数学推理问题只在最终答案正确时给奖励1，错误时给奖励0。这种方法简单易实现，但当正确轨迹在策略分布中概率很低时，训练信号极其稀疏，难以学习。在本文的数学推理场景中，基础模型对困难问题的正确解法覆盖度很低，导致稀疏奖励几乎无法提供有效学习信号。
理解稀疏奖励的问题对读懂本文动机至关重要。ExpRL的核心创新就是用密集奖励解决稀疏奖励在覆盖度不足时的学习瓶颈。
pass@k
pass@k是衡量模型推理能力的重要指标，定义为在k次独立采样中至少获得一个正确答案的概率。具体来说，对于每个问题采样k个答案，如果其中至少一个是正确的，就记为一次成功，pass@k就是成功率。pass@1衡量单次采样的可靠性，而pass@k（k大于1）反映了模型在推理路径空间中的覆盖度，更高的pass@k意味着模型将更多概率质量分配给能导向正确解的推理路径。
pass@k是本文的核心评估指标。作者使用pass@k作为覆盖度的可观测代理，用pass@1评估下游稀疏奖励RL后的最终性能。
GRPO (Group Relative Policy Optimization)
GRPO是一种强化学习算法，通过对同一问题的多个采样结果进行分组归一化来计算优势值。具体来说，对于每个问题采样n个轨迹，计算它们的奖励均值和标准差，然后对每个奖励进行中心化和标准化。这种方法减少了奖励尺度的影响，使训练更加稳定。在本文中，GRPO被用于处理结果级奖励，归一化在每组的n个rollout之间进行。
GRPO是本文用于处理结果级奖励的核心算法。ExpRL-Outcome使用GRPO更新，而ExpRL-Process使用REINFORCE更新。
中间训练
中间训练是指在基础模型预训练之后、最终任务特定训练之前进行的训练阶段。在本文的LLM推理场景中，中间训练的目标是在开始稀疏奖励RL之前，先改善模型的推理路径覆盖度，使其更善于生成有潜力的推理尝试。传统方法通常通过在人工整理的推理轨迹上进行监督微调来实现，但本文提出使用基于RL的方法替代模仿学习。
中间训练是本文的核心概念。ExpRL就是一种RL-based中间训练方法，目标是让下游稀疏奖励RL有更多有用的轨迹可以强化。
KL正则化
KL散度衡量两个概率分布之间的差异。在RL中，KL正则化是指在优化目标中添加一项惩罚，限制新策略偏离参考策略的程度。这可以防止策略过拟合到当前奖励，保持一定的探索能力，提高训练稳定性。在本文中，ExpRL的优化目标包含了KL正则化项。
KL正则化是本文ExpRL训练目标的重要组成部分。论文分析了不同方法的KL行为，发现自蒸馏方法的teacher与student之间的KL距离过大，这解释了为什么它的性能不如ExpRL。
研究动机
现有的稀疏奖励强化学习方法在提升大语言模型推理能力时面临严重的覆盖度瓶颈问题。当基础模型对有用推理路径的分配概率很低时，即使采样很多次也可能产生很少的正确或部分正确的轨迹。在这种环境下，稀疏的最终答案奖励几乎无法提供有效的学习信号，RL主要会强化模型已经能够较好采样的行为。具体来说，论文使用Qwen3-4B-Instruct作为基础模型，在InT和POPE数据集上的困难问题进行测试，发现即使在64次独立采样（每次最大32k token）的情况下，模型也无法解决这些困难问题，表明其对有效推理路径的覆盖度严重不足。传统方法通过在人工整理的推理轨迹上进行中间训练来改善这种情况，但这种模仿学习策略需要人工指定模型应该学习什么技能，而且当问题需要将这些基本技能组合成更广泛的解决策略时，这种覆盖方式是否足够仍然不清楚。
本文的目标是本文的核心目标是探索一种更自动化的方法，利用大量人类编写的问答数据进行基于RL的中间训练。具体来说，作者希望不将参考解决方案视为需要模仿的目标轨迹，而是将其作为奖励脚手架，参考解决方案对策略隐藏，仅用于构建问题特定的评分标准，用于评估策略在策略推理轨迹上的表现。策略只从原始问题提示中采样，而LLM judge比较采样的推理轨迹与参考解决方案，分配结果级或过程级的密集奖励。这种方法可以让RL强化部分进展、有用的中间归约和富有成效的推理行为，而这些通常是稀疏的最终答案奖励无法充分加权的。操作上，作者希望通过pass@k的改善来验证中间训练确实扩展了模型可以采样的解决方案策略集合。
与已有工作不同的是，本文的独特切入角度是将参考解决方案从模仿目标转变为奖励脚手架。现有方法如SFT和自蒸馏将参考解决方案用作token级别的监督目标，这可能导致严重的分布偏移，当目标分布与学生模型能够可靠生成的分布相距甚远时，这种监督可能会损害泛化能力。论文中的实验数据显示，自蒸馏方法的teacher与student之间的KL散度在训练开始时非常大，远超GRPO和ExpRL的KL距离，这解释了为什么自蒸馏虽然增加了一些推理行为，但性能提升不如ExpRL。相比之下，ExpRL使用参考解决方案仅用于生成分数，保持策略的on-policy探索性质，同时提供比典型的稀疏结果级正确性奖励更丰富的反馈。
核心方法
ExpRL的整体思路是在下游稀疏奖励RL之前，先进行一个使用密集参考引导奖励的中间训练阶段。这个阶段的核心思想是拓宽模型对富有成效的推理路径的覆盖度，使其能够为下游RL提供更强的初始化。技术路线上，ExpRL利用参考解决方案来构造密集奖励，而不是用作需要模仿的轨迹。具体来说，给定一个问题x和一个参考解决方案y_star，ExpRL使用一个LLM judge来评估模型生成的候选解y，通过固定评分标准衡量生成轨迹与参考解决方案中的技术或高层策略的对齐程度，输出一个1到5的分数，然后归一化到0到1区间。这个密集分数被用作奖励信号，即使在最终答案正确的轨迹很少被采样时也能提供有效的学习信号。ExpRL包含两个变体：ExpRL-Outcome对完整轨迹分配密集的结果级奖励，ExpRL-Process对部分轨迹（前缀）分配密集的过程级奖励。
ExpRL的核心创新点在于将参考解决方案用作奖励脚手架而非模仿目标，通过密集奖励强化部分进展。这与已有的模仿学习和蒸馏方法有本质区别：SFT将参考解决方案直接作为训练目标，可能破坏模型的推理能力；自蒸馏虽然使用模型自身的rollout，但监督信号仍然来自特权teacher诱导的token级别目标，当这个目标分布与学生模型能够可靠生成的分布相距甚远时，可能会损害泛化。相比之下，ExpRL使用参考解决方案仅用于生成分数，策略只从原始问题提示中采样，完全保持on-policy探索性质。这种设计使得ExpRL能够强化有希望的分解、正确的中间归约或有用的解决方案结构，即使模型还不能完全解决问题。
方法步骤详情
ExpRL的方法步骤可以完整描述如下。第一步是分配数值密集奖励。给定一个问题x、一个模型生成的候选解y和一个参考解决方案y_star，LLM judge输出一个分数在1到5之间，然后归一化为0到1区间。Judge被明确指示进行验证而非求解，不引入缺失步骤、填充未说明的中间结果或纠正模型输出中的错误。第二步是使用这些密集奖励的两种方式。对于ExpRL-Outcome，直接使用分数作为完整轨迹的奖励，使用GRPO风格的更新，在批次内的rollout之间进行归一化。对于ExpRL-Process，给定生成的解y，形成前缀序列，对每个前缀应用相同的judge获得分数，然后计算段级别的优势：当t大于1时优势等于当前分数减去前一个分数，当t等于1时优势等于第一个分数减去最后一个分数。这种相对优势强调相对于前一段的相对部分进展，而不是跨问题的绝对分数校准。第三步是优化。策略使用带KL正则化的on-policy RL进行优化。第四步是下游RL。在ExpRL中间训练之后，使用训练好的策略作为初始化，在目标数据集上使用标准的稀疏结果奖励进行下游RL。
技术新颖性
ExpRL的技术新颖性体现在多个方面。首先，它提出了一种新的中间训练范式，将参考解决方案用作奖励脚手架而非模仿目标，这避免了传统模仿学习中可能出现的分布偏移问题。其次，ExpRL引入了过程级奖励和相对优势计算，通过强调相对于前一段的相对部分进展，避免过度对绝对分数进行校准。第三，ExpRL利用验证-生成差距，使用同一个基础模型作为judge，利用LLM在验证部分进展方面比从零开始生成正确解更强的能力。实验表明，这种judge在有正确参考时错位率最低，而无参考或错误参考时错位率显著更高。第四，ExpRL的设计可以扩展到混合域训练，论文中的实验显示它不仅能改进数学推理，还能改进科学问答和编码任务，表明参考引导的RL预训练具有跨域泛化潜力。
实验结果
论文的核心发现可以总结为四点。第一，ExpRL为下游稀疏奖励RL提供了更强的初始化。在AIME-2025上，ExpRL-Outcome达到59.07%，ExpRL-Process达到58.08%，都显著超过基线方法：SFT为26.62%，GRPO为55.99%，自蒸馏为55.59%。在AIME-2026上，ExpRL-Process达到63.41%，显著超过第二好的GRPO基线的58.75%。在HMMT-Nov-2025上，ExpRL-Outcome达到49.11%，超过GRPO的42.91%和自蒸馏的46.08%。在IMO-AnswerBench上，ExpRL-Outcome达到37.85%，超过GRPO的35.28%和自蒸馏的35.18%。第二，ExpRL在下游稀疏奖励RL之前就已经改善了预训练策略的性能。在Stage-I训练后，ExpRL-Outcome在AIME-2025上达到pass@1为50.52%，pass@16为77.25%；在AIME-2026上达到pass@1为57.45%，pass@16为81.04%。第三，ExpRL改变了模型相对于基础LLM的推理行为。行为分析显示，ExpRL增加了几种搜索导向的行为的覆盖度，特别是验证、自校正和回溯。第四，ExpRL可以扩展到混合域中间训练并可以使用更小的judge。在一个包含数学、科学问答和编码的4001个参考解决方案示例的混合域实验中，ExpRL-Outcome在每个pass@1评估上都改善了8B基础策略。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2025 (数学推理) | pass@1 | 59.07% (ExpRL-Outcome), 58.08% (ExpRL-Process) | 55.99% (GRPO), 55.59% (自蒸馏) | +3.08% vs GRPO (ExpRL-Outcome), +2.09% vs 自蒸馏 (ExpRL-Outcome) |
| AIME 2026 (数学推理) | pass@1 | 63.41% (ExpRL-Process) | 58.75% (GRPO) | +4.66% vs GRPO |
| HMMT-Nov-2025 (数学推理) | pass@1 | 49.11% (ExpRL-Outcome) | 42.91% (GRPO), 46.08% (自蒸馏) | +6.20% vs GRPO, +3.03% vs 自蒸馏 |
| IMO-AnswerBench (数学推理) | pass@1 | 37.85% (ExpRL-Outcome) | 35.28% (GRPO), 35.18% (自蒸馏) | +2.57% vs GRPO, +2.67% vs 自蒸馏 |
| Math-Aggregate (混合数学) | pass@1 | 30.95% (ExpRL-Outcome, 8B模型) | 24.93% (GRPO) | +6.02% vs GRPO |
| STEM-Aggregate (混合科学) | pass@1 | 44.25% (ExpRL-Outcome, 8B模型) | 40.36% (GRPO) | +3.89% vs GRPO |
局限与改进
论文的局限性包括作者承认的和独立观察的几个方面。首先，ExpRL需要辅助信息，如参考解决方案，来识别有用的技术和部分进展。这些信息并不总是可用的，特别是在难以获得良好参考的领域。其次，ExpRL的性能依赖于judge的能力。论文的校准实验显示，Qwen3-0.6B judge不稳定，而Qwen3-4B、Qwen3-8B和Qwen3-14B judge在有正确参考时错位率显著更低，表明ExpRL需要一个最低能力的judge。第三，ExpRL在编码任务上的改进相对有限。虽然ExpRL-Outcome改善了LiveCodeBench上的基础策略，但GRPO仍然更强。论文认为这反映了编码任务的奖励结构：执行提供了异常强的领域特定稀疏奖励。第四，ExpRL的奖励信号可能存在偏差。虽然论文使用了相对优势计算来减少长度偏差，但没有对奖励校准、长度归一化和judge设计进行更系统的研究。
独立分析的弱点
ExpRL存在几个可以改进的弱点。首先，judge的评分标准是固定的，可能无法充分捕捉推理过程中的细微差异。例如，judge使用1到5的整数分数，这可能过于粗糙。改进方向可以是使用更细粒度的评分标准或让judge提供自然语言反馈。其次，ExpRL-Process使用简单的分块规则来定义前缀序列，这可能不是最优的。更好的前缀定义方法可以考虑推理步骤的语义边界或使用动态分块策略。第三，ExpRL的过程级优势计算只考虑相邻前缀之间的差异，可能无法捕捉长期的推理策略。改进方向可以是引入多尺度的优势计算或使用基于价值函数的方法。第四，ExpRL需要为每个前缀调用judge，这带来了显著的计算开销。改进方向可以是开发更高效的judge或使用批量推理。第五，ExpRL在编码任务上的表现相对较弱，表明方法可能对领域特性敏感。
未来方向
未来研究方向可以从几个方面展开。首先，论文提到可以使用judge的自然语言反馈而不仅仅是标量过程奖励来训练策略，这可以给模型更丰富的信息。其次，ExpRL可以与前缀条件生成结合使用，在后期训练中有意采样或构建多样化的推理前缀，以扩展对富有成效的解决方案路径的覆盖度。第三，可以进行更系统的奖励校准、长度归一化和judge设计研究，以在保持训练稳定性的同时避免过度的长度增长。第四，可以探索ExpRL在更多领域和任务上的应用，如常识推理、多模态推理或对话系统。论文的混合域实验已经显示了ExpRL的泛化潜力，但仍有很大的扩展空间。第五，可以研究ExpRL与其他RL技术的结合，如内在奖励、熵正则化、基于计数的奖励或pass@n感知目标，以进一步改善探索能力。
复现评估
ExpRL的复现性评估需要考虑多个方面。论文已经开源了代码，这是一个积极的信号。数据方面，论文使用了来自InT和POPE的混合数据集，这些数据集应该是公开的或可以通过合理方式获得。算力方面，论文使用了TPU research cloud、Amazon AWS和NCSA Delta提供的计算资源，但具体的训练时间和算力消耗没有详细报告。从实验设置来看，ExpRL Stage-I训练230步，Stage-II训练500步，每次更新批次大小为36或32，每个问题采样10个rollout，最大生成长度为16384 tokens。这些设置应该在合理的算力预算内可以复现。然而，judge的使用可能会带来额外的计算开销，特别是ExpRL-Process需要对每个前缀调用judge。总体而言，ExpRL的复现性应该是中等到高的，特别是考虑到论文已经开源了代码。
论文图表
