你的推理模型是否隐式地知道何时停止思考？ Does Your Reasoning Model Implicitly Know When to Stop Thinking?

SAGE方法的完整流程包括以下关键步骤：（1）初始化：给定查询x，创建初始候选序列，包含查询的token序列和token；（2）逐步探索：在第i步，对每个候选序列y≤_{i-1}^(j)，独立采样2m个候选推理步骤R^(j) = {r^(j,1)_i, r^(j,2)_i, ..., r^(j,2m)_i}，每个步骤由模型在给定查询和前缀条件下通过标准随机采样生成，直到遇到步骤分隔符（\n\n）或token；（3）分支扩展：将每个候选序列与2m个新步骤组合，得到2m×m = 2m²个新候选序列y≤_i^(j,k)；（4）置信度评分与筛选：使用累积对数概率Φ对所有候选序列评分，保留得分最高的前m个分支作为下一步的输入，形式化为Y_i = Top_m({y≤_i^(j,k)}; Φ)；（5）终止检测：当候选序列的最后一个推理步骤以结尾时，将其加入完成集合O，一旦|O|≥r则终止整个过程；（6）答案生成：从完成的推理链中选择置信度最高的r条，使用贪心解码（temperature=0）生成最终答案。在SAGE-RL训练中，配置为SAGE(2,2)，即探索宽度m=2，返回r=2条推理链，与6条标准随机采样组成8个一组的rollout批次。

SAGE的技术新颖性体现在三个层面：第一，理论发现层面，作者首次实证证明了LRM具有隐式的"适时停止思考"能力，并通过Φ vs ϕ的对比实验揭示了当前采样范式如何掩盖了这一能力。具体而言，作者发现当使用Φ评分时，token在候选集中的排名始终是第一位（rank ratio≈1.0），而使用ϕ时该排名逐渐上升，表明模型对终止时机的"信心"是全局性的而非局部性的。第二，方法设计层面，SAGE与传统beam search有本质区别：beam search可能在后续步骤中丢弃包含高置信度的分支（因为其整体Φ不够高），而SAGE一旦检测到高置信度的就立即接受该序列。实验表明，在MATH-500子集上，beam search的准确率仅为0.82（与随机采样相当），而TSearch w/ Φ达到0.89且token数减少37%。第三，训练集成层面，SAGE-RL是首个将采样优化与RLVR训练相结合的方法，通过在rollout阶段引入SAGE生成的高效推理链，利用advantage estimation自然地将这些模式传递给策略模型，无需修改奖励函数或添加额外的正则化项。这种方法不仅计算开销可控（仅增加约11%的训练时间），而且训练稳定性与标准RLVR无显著差异。

从独立分析的角度来看，SAGE存在以下几个值得关注的弱点：第一，探索宽度m的选择缺乏自适应机制。当前方法将m固定为2，但不同难度的问题可能需要不同程度的探索。简单问题可能只需要m=1即可找到高效推理链，而极难的问题可能需要m>2才能充分探索。一个改进方向是根据问题的预估难度动态调整m，例如通过模型对问题的初始困惑度（perplexity）来估计所需探索宽度。第二，SAGE的终止条件过于简单——仅依赖于是否出现token。在某些情况下，模型可能在中途产生了一个接近正确的推理分支，但因为没有产生而被丢弃。可以考虑引入更细粒度的中间奖励信号（如过程奖励模型）来评估推理链的质量，而非仅依赖终止信号。第三，SAGE-RL的混合采样策略（2个SAGE + 6个随机）可能不是最优配置。SAGE生成的高质量推理链在与随机采样的低质量链对比时，虽然能产生较大的advantage，但6个随机采样的链可能对策略更新产生噪声。一个可能的改进是引入自适应的混合比例，根据训练进展逐步增加SAGE采样的比例。第四，当前方法仅使用二元奖励（0/1），没有利用推理链长度作为隐式的质量信号。可以考虑设计更精细的奖励函数，在保持答案正确性的同时适度奖励简洁性。

基于本文的发现和成果，可以延伸出以下几个有前景的研究方向：第一，将SAGE扩展到多模态推理场景。当前的视觉语言模型（VLM）在处理复杂视觉推理任务时同样面临过度思考的问题，SAGE的核心思想——利用累积置信度识别最优终止点——可能同样适用于视觉推理链的压缩。第二，探索SAGE与过程奖励模型（PRM）的结合。PRM能够对推理链的每一步进行质量评估，将其与SAGE的累积置信度评分相结合，可能进一步提升高效推理链的发现能力。第三，研究SAGE在推理模型蒸馏中的应用。作者提到他们没有选择离线蒸馏是因为担心自蒸馏会限制模型的能力上界，但如果使用更强的教师模型（如GPT-4o）配合SAGE来生成高效推理链，可能在不损失能力的前提下实现更大幅度的压缩。第四，将SAGE的思想应用于推理模型的架构设计。当前的LRM都是基于自回归Transformer的，如果在模型架构中显式地引入"停止思考"的机制（如可学习的终止token预测头），可能从根本上解决过度思考问题。第五，研究SAGE在在线学习和持续学习场景中的应用，探索模型能否在与环境交互的过程中持续优化其推理效率。

从复现评估的角度来看，本文的复现条件相对友好。代码方面，作者在论文附录中提供了SAGE的完整伪代码和Python实现（Figure 15-17），涵盖了初始化、逐步探索、候选管理和答案生成的完整流程。数据方面，训练使用的是公开数据集（DAPO英文子集和MATH level 3-5问题，共约20000个问题），评估使用的六个基准（MATH-500、AIME 2024/2025、OlympiadBench、Minerva、AMC23）均为公开可获取的数学推理基准。算力方面，作者使用8块GPU进行训练，训练600步约需27-30小时（GRPO基线约27.1小时，SAGE-GRPO约30.2小时），峰值内存约70GB。推理阶段，SAGE(2,2)的内存开销约为标准采样的4倍，但训练开销增加可控（约11%）。框架方面，SAGE-RL基于verl框架实现，使用vLLM作为推理引擎。需要注意的是，SAGE的逐步推理需要重复调用vLLM的generate操作，在资源受限的环境下可能面临效率挑战。总体而言，对于拥有8 GPU服务器的研究团队，复现SAGE-RL的门槛较低；但对于资源更有限的团队，可能需要先在小规模实验上验证SAGE推理的效果，再决定是否投入完整的RL训练。