想得更久才能探索得更深：通过长度激励强化学习实现上下文内探索 Think Longer to Explore Deeper: Learn to Explore In-Context via Length-Incentivized Reinforcement Learning
用长度奖励+冗余惩罚打破LLM推理的浅层探索陷阱
前置知识
测试时计算缩放 (Test-Time Scaling)
测试时计算缩放是指在推理阶段通过增加计算量来提升模型性能的策略。主要分为两种范式：并行缩放（Parallel Scaling）通过采样多个独立输出并聚合结果，如多数投票；顺序缩放（Sequential Scaling）通过延长推理链或迭代精炼来提升质量，如长链式思维（Long CoT）。本文聚焦于后者，即如何让模型在推理时"想得更久、探索得更深"来解决问题。
本文的核心目标是优化顺序缩放的效果，理解测试时计算缩放的不同范式是理解本文动机的基础
上下文内探索 (In-Context Exploration)
上下文内探索是指模型在单次推理过程中，在一个连续的上下文内生成、验证和精炼多个推理假设的能力。与传统的强化学习训练探索（跨多个episode聚合状态访问）不同，上下文内探索关注的是单条推理轨迹内的状态多样性。模型需要能够回溯（backtracking）、验证（verification）、设置子目标（subgoal setting）和枚举（enumeration）等多种认知行为。
这是本文研究的核心能力，论文的目标就是通过强化学习训练来提升模型的上下文内探索能力
状态覆盖 (State Coverage)
状态覆盖源自强化学习中的计数探索理论（Count-Based Exploration），指的是在探索过程中访问的状态的多样性。在传统RL中，状态访问计数 $N(s)$ 记录了访问状态 $s$ 的累计频率，覆盖率越高说明探索越充分。本文将这一概念扩展到上下文内场景，用上下文内不同状态计数 $C_{\text{context}}(\tau)$ 来衡量单条推理轨迹内的探索质量。
状态覆盖是本文理论分析的核心指标，论文证明了状态覆盖与推理轨迹长度的上界关系，以及与准确率的相关性
GRPO 和 GSPO 算法
GRPO（Group Relative Policy Optimization）是一种无需价值函数的token级策略优化算法，通过组内相对优势计算来更新策略。其核心是使用per-token概率比 $\rho_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t}|x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t}|x, y_{i,<t})}$ 和组归一化优势。GSPO（Group Sequence Policy Optimization）则将优化提升到序列级别，使用长度归一化的重要性比率 $\rho_i(\theta) = \left(\prod_{t=1}^{|y_i|} \frac{\pi_\theta(y_{i,t}|x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t}|x, y_{i,<t})}\right)^{1/|y_i|}$ 来减少不同序列长度带来的方差。
本文的LIE方法是在GRPO和GSPO基础上的改进，实验也主要基于这两个算法进行对比
研究动机
当前大语言模型在测试时计算缩放方面面临一个关键瓶颈，作者称之为"浅层探索陷阱"（Shallow Exploration Trap）。理论上，要在推理过程中实现更广泛的状态覆盖（state coverage），需要生成更长的推理轨迹。然而，自回归生成过程中，长序列的采样概率呈指数级衰减。具体而言，根据Lemma 4.2的证明，存在常数 $\epsilon \in (0,1)$，使得长度为 $L$ 的序列的采样概率上界为 $p(S_L) < (1-\epsilon)^{L-1}$。这意味着模型在推理时天然倾向于生成短序列，难以触及需要较长推理链才能到达的复杂推理状态。在实证验证中，作者发现GRPO和GSPO两种主流RL算法都面临这一困境：GRPO在响应长度稳定后性能也随之饱和，GSPO虽然能持续增长长度但速度极其缓慢。此外，两种方法在长度增长过程中，不同状态密度比率（Distinct $C_{\text{context}}$ Ratio，即 $R_{\text{context}}$）都呈下降趋势，说明模型用冗余token填充了额外容量，而非产生真正有意义的新推理步骤。
本文的目标是本文的具体目标是提出一种简单而有效的强化学习训练方法——长度激励探索（Length-Incentivized Exploration, LIE），来打破浅层探索陷阱，使模型能够在推理时实现更有效的上下文内探索。具体来说，LIE旨在：（1）通过显式的长度奖励鼓励模型生成更长的推理轨迹，提升状态覆盖的上界；（2）通过冗余惩罚确保新增的推理长度被有效地转化为多样化的推理状态，而非重复生成；（3）在多个模型（Qwen3、Llama）和多个算法（GRPO、GSPO）上验证方法的普适性；（4）实现有效的测试时计算缩放，使模型在推理阶段能充分利用额外的计算预算。
与已有工作不同的是，本文的独特切入角度在于将强化学习中的计数探索理论（Count-Based Exploration）从传统的跨episode状态聚合，创新性地扩展到了单条推理轨迹内的上下文内探索场景。这一理论框架揭示了一个根本性的冲突：命题4.1证明了累积探索效用严格上界于轨迹长度 $C_{\text{context}}(\tau) \lesssim L$，而引理4.2证明了长序列的采样概率呈指数衰减。与以往的长度感知推理研究不同——那些工作主要关注效率优化，试图在保持性能的同时减少token消耗或控制过度思考——本文反其道而行，认为延长推理是到达深层推理状态的先决条件。作者将推理长度视为探索的"容量"而非"负担"，这一视角转换使得LIE成为首个明确针对上下文内探索能力进行优化的RL训练方案。
核心方法
LIE方法的整体思路可以概括为一个两步走的奖励塑造策略：先抬高天花板，再填满房间。具体来说，方法基于GRPO或GSPO算法框架，通过修改奖励函数来显式激励上下文内探索。第一步是"抬高天花板"：通过长度激励奖励（Length-Incentivized Reward）鼓励模型在无法正确解答问题时延长推理轨迹，从而提升状态覆盖的理论上限。第二步是"填满房间"：通过冗余惩罚（Redundancy Penalty）确保新增的推理长度被有效利用，产生真正不同的推理状态而非重复内容。最终的奖励函数为 $R = R_{\text{acc}} + R_{\text{len}} + \beta \cdot R_{\text{red}}$，其中 $R_{\text{acc}}$ 是答案正确性奖励，$R_{\text{len}}$ 是长度激励，$R_{\text{red}}$ 是冗余惩罚。这一设计的直觉是：让模型在训练过程中学会"想得更久但不啰嗦"，从而在推理时能充分利用更长的token预算进行有效的深度探索。
LIE的核心创新在于将经典强化学习中的计数探索原理（奖励与状态访问次数的平方根成反比）转化为一种实用的、针对LLM推理的两步式奖励设计。与已有方法的本质区别体现在三个层面：第一，理论基础不同。LIE基于状态覆盖理论推导出长度与探索容量的数学关系（命题4.1），而非经验性的启发式设计；第二，目标导向不同。以往的长度感知方法（如s1、Budget-Constrained Reasoning等）致力于在固定预算内提升效率或控制过度思考，而LIE则明确将更长的推理视为探索深水区的必要条件；第三，奖励机制不同。GRPO和GSPO仅依赖答案正确性奖励，LIE则引入了两个辅助奖励信号，形成"正确性+长度+非冗余"的三重激励结构。关键公式中，长度奖励 $R_{\text{len}}$ 定义了一个课程学习（curriculum）：只有当模型答错时才施加长度惩罚，引导模型在失败时尝试更长的推理而非重复已有的浅层策略。
方法步骤详情
LIE方法的具体实施步骤如下：第一步，定义状态抽象函数。由于原始状态 $s_t$ 包含唯一的历史前缀，同一轨迹内的状态从不重复，直接计数无意义。因此采用最后 $n$-gram 作为抽象函数 $\phi(s_t) = (y_{t-n+1}, \ldots, y_t)$，将原始状态映射到捕捉局部语义模式的抽象状态。第二步，计算目标长度。对每个样本 $i$，定义目标长度 $L_{\text{target},i} = L_{\text{ref},i} + \Delta L$，其中 $L_{\text{ref},i}$ 是初始策略的响应长度，$\Delta L$ 是期望的最小增量。第三步，计算长度激励奖励 $R_{\text{len}}$：当 $L \geq L_{\text{target}}$ 且 $R_{\text{acc}} = 0$ 时为0（达标），当 $L < L_{\text{target}}$ 且 $R_{\text{acc}} = 0$ 时为 $-\eta(L_{\text{target}} - L)$（惩罚过短），当 $R_{\text{acc}} = 1$ 时为0（答对不惩罚）。第四步，计算冗余惩罚 $R_{\text{red}} = -\beta \cdot \prod_t \mathbb{I}[N_\tau(\phi(s_t)) > \Theta]$，其中 $N_\tau(\phi(s_t))$ 是当前轨迹中抽象状态的访问次数，$\Theta$ 是阈值（默认为10）。第五步，将三个奖励组合为最终奖励 $R = R_{\text{acc}} + R_{\text{len}} + \beta \cdot R_{\text{red}}$，并通过GRPO或GSPO算法更新策略。训练过程中，采样温度设为1.0，最大响应长度为8192 token。
技术新颖性
LIE的技术新颖性体现在以下几个方面：首先，理论框架的创新。作者首次将Count-Based Exploration理论从传统RL（跨episode的状态聚合）适配到LLM的上下文内探索场景，提出了"上下文内不同状态计数" $C_{\text{context}}(\tau)$ 这一新的评估指标，并证明了其与轨迹长度的上界关系。其次，发现了"浅层探索陷阱"这一新现象，即自回归生成中长序列采样概率的指数衰减，这在理论上（引理4.2）和实证上（GRPO/GSPO训练动态分析）都得到了验证。第三，长度激励奖励的设计本身具有新颖性：它只在模型答错时施加长度约束，形成了一个自适应的课程学习机制——模型越不会做的题目，越需要探索更长的推理路径。第四，冗余惩罚采用了硬阈值近似而非连续函数，与广泛使用的重复惩罚机制保持一致，实现简单但理论上有据可依。最后，LIE作为"食谱"（recipe）的设计理念——简单、即插即用、不改变算法结构只修改奖励——使其可以轻松应用于不同的RL算法框架。
实验结果
本文的核心实验发现可以概括为以下几点：第一，LIE在Qwen3-4B-Base上实现了显著且一致的性能提升。在GSPO算法基础上应用LIE，域内平均准确率从49.4%提升至53.8%（+4.4%），域外平均准确率从66.1%提升至67.6%（+1.5%）。特别值得注意的是在高难度的AIME25基准上取得了6.2%的提升（从20.5%到26.7%），证明了打破浅层探索陷阱对解决复杂问题的重要性。第二，LIE具有优秀的测试时缩放能力。当推理预算从4k增加到32k token时，标准RL方法（GRPO/GSPO）在超出训练长度后性能趋于饱和甚至下降，而LIE训练的模型保持持续上升趋势。第三，LIE在不同模型和算法上都展现了普适性。在Qwen3-4B（post-trained）上取得2.0%的域内提升（70.2% vs 68.2%），在Llama-OctoThinker-3B上取得3.0%的提升（25.6% vs 22.6%）。第四，训练动态分析表明LIE确实驱动了上下文内状态覆盖的快速增长：$C_{\text{context}}$ 从基线的约500提升至约1500，且最终 $R_{\text{context}}$ 也趋于稳定，说明模型学会了有效地利用更长的推理预算。第五，认知行为分析显示LIE显著增加了回溯（Backtracking，从103到121）、验证、子目标设置和枚举等高级推理行为的频率。第六，通过两阶段课程训练（第二阶段将token上限从8k扩展到12k），模型在域内准确率进一步从53.8%提升至56.3%（+2.5%），证明了持续缩放的可行性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH-500 | Pass@1 | 88.4% (GSPO+LIE) | 85.2% (GSPO) | +3.2% |
| OlympiadBench | Pass@1 | 57.2% | 51.7% | +5.5% |
| AMC | Pass@1 | 66.2% | 62.7% | +3.5% |
| AIME 2024 | Avg@32 | 30.5% | 26.7% | +3.8% |
| AIME 2025 | Avg@32 | 26.7% | 20.5% | +6.2% |
| ARC-c | Pass@1 | 91.4% | 88.4% | +3.0% |
| GPQA-Diamond | Pass@1 | 47.5% | 48.5% | -1.0% |
| MMLU-Pro | Pass@1 | 63.8% | 61.5% | +2.3% |
局限与改进
本文存在以下几个方面的局限性：首先，作者承认论文主要聚焦于数学推理任务，虽然也测试了ARC-c、GPQA-Diamond和MMLU-Pro等域外基准，但这些本质上仍属于结构化推理任务，对于更开放的语言生成任务（如创意写作、对话）的效果未被验证。其次，冗余惩罚的阈值 $\Theta$（默认设为10）和长度增量 $\Delta L$（默认设为10）等超参数的选择缺乏系统的消融研究支撑，论文中虽在附录C.5中有讨论，但其敏感性分析不够充分。第三，状态抽象函数采用最后 $n$-gram（$n=10$）的设计是基于"语义主要编码在即时局部模式"这一假设，这在长距离依赖的推理场景中可能不够准确。第四，实验的最大训练长度为8192 token，推理时扩展到32k token，但论文未深入分析这种外推的稳定性和极限。第五，计算开销方面，LIE需要在每个生成步骤中维护状态访问计数并计算冗余惩罚，虽然实现简单但增加了训练时的计算负担，论文对此没有提供详细的效率分析。第六，LIE的方法依赖于有正确答案（$R_{\text{acc}}$）的训练场景，对于无法自动验证正确性的开放性问题，该方法难以直接应用。
独立分析的弱点
独立分析本文存在以下弱点及改进方向：第一，状态抽象函数的粒度问题。当前使用固定长度的 $n$-gram 作为抽象函数，无法捕捉不同粒度的推理状态。可以考虑引入层次化或自适应的状态抽象机制，例如基于语义相似度的聚类，或利用预训练语言模型的表示空间来定义更有意义的抽象状态。第二，长度奖励的课程设计较为粗糙。当前的 $R_{\text{len}}$ 仅区分"答对"和"答错"两种情况，没有考虑问题难度的差异。对于简单问题，过长的推理反而是浪费；对于极难问题，当前的 $\Delta L$ 增量可能不够。可以引入自适应的目标长度调整机制，根据问题的估计难度动态设置 $L_{\text{target}}$。第三，冗余惩罚的硬阈值设计（超过 $\Theta$ 次就惩罚）过于简单，可能导致训练信号的不连续性。可以探索更平滑的惩罚函数，如与访问次数的平方根成反比的连续奖励。第四，论文未充分分析LIE对模型推理速度的影响。更长的推理轨迹意味着更高的推理延迟，需要在探索深度和推理效率之间找到更好的平衡。第五，实验规模相对有限，主要在4B参数规模的模型上验证，对于更大规模模型（如70B+）的效果尚不确定。
未来方向
基于本文的成果，未来研究可以在以下几个方向深入拓展：第一，将LIE与并行缩放（Parallel Scaling）相结合。当前LIE专注于顺序缩放（延长单条推理链），而将LIE训练的模型用于Best-of-N采样或自一致性（Self-Consistency）等并行策略，可能产生协同效应。第二，探索LIE在非数学推理任务上的应用，如代码生成、规划、常识推理等，验证状态覆盖理论在不同推理类型中的适用性。第三，研究自适应的推理深度控制。当前LIE在训练时鼓励更长的推理，但实际推理时并非所有问题都需要最长轨迹。可以训练一个"元策略"来决定何时停止探索，实现按需分配计算资源。第四，将计数探索理论与基于不确定性的探索方法（如PPO中的熵正则化）进行更深入的理论对比和融合。第五，探索LIE在多轮对话或交互式推理场景中的应用，其中"上下文"不仅包含单条推理链还包含交互历史。作者提到的持续缩放（Continual Scaling）实验显示了通过课程训练不断扩大推理预算的潜力，这一方向值得进一步研究。第六，研究LIE对模型涌现能力（emergent abilities）的影响，特别是回溯、验证等高级认知行为在更大模型和更多任务上的表现。
复现评估
本文的复现条件较为良好。作者公开了代码仓库（https://github.com/LINs-lab/LIE），使用了标准的训练框架（verl，火山引擎的RL训练框架）和数学验证工具（Math-Verify）。训练数据集均为公开可获取的数据集：DAPO-Math-17k用于Qwen3-4B-Base，Polaris用于Qwen3-4B-Instruct，DeepMath-5k用于Llama-OctoThinker。计算资源方面，实验在配备4xH100 GPU的节点上进行，prompt batch size为128，每次生成8个rollouts，这是中等规模的计算需求。超参数设置较为明确：默认 $n=10$，$\eta=0.3/9000$，$\beta=0.6$，$\Theta=10$，学习率 $1 \times 10^{-6}$，采样温度1.0。不过，完整复现需要注意以下几点：（1）verl框架的学习曲线；（2）不同模型的checkpoint获取（Qwen3-4B-Base是公开的，但训练好的LIE模型权重是否开源需要确认）；（3）评估时的多轮采样（AIME和AMC需要32次独立运行取平均）会增加评估成本。总体而言，复现难度为中等，主要挑战在于计算资源和训练时间。
论文图表
该图展示了上下文内探索（In-Context Exploration）与训练探索（Training Exploration）的区别。左侧展示了推理时的探索流程：从Query出发，经过多个状态 S1, S2, S3, ...，不同颜色代表不同的推理状态，模型在单条轨迹内遍历多样化的推理状态以找到正确答案。右侧展示了训练时的探索流程：强化学习激励模型在训练过程中从多样化的状态分布中学习和探索。
这张图是理解本文核心概念的关键，清晰地定义了"上下文内探索"这一概念，并将其与传统RL训练探索进行了对比，是全文理论框架的直观展示。