高效推理的艺术：数据、奖励与优化 The Art of Efficient Reasoning: Data, Reward, and Optimization
系统研究高效推理训练机制，通过数据、奖励和优化策略实现更短、更准确的推理链生成
前置知识
Chain-of-Thought (CoT) 推理
Chain-of-Thought（思维链）是一种让大语言模型通过逐步推理来解决复杂问题的技术。模型不是直接输出答案，而是生成一系列中间推理步骤，就像人类在解决数学题时会写下解题过程一样。这种方法显著提升了模型在数学推理、代码生成等需要多步逻辑的任务上的表现。通过扩展CoT的长度，模型可以探索更多的推理路径，但这也带来了计算开销的增加。
本文的核心目标就是优化CoT推理的效率，理解CoT的工作机制是理解本文的基础。
Reinforcement Learning (RL) 强化学习
强化学习是一种机器学习范式，智能体通过与环境交互来学习最优策略。在LLM训练中，模型作为策略网络生成推理轨迹（rollouts），然后根据奖励信号更新参数。常见的RL算法包括PPO、GRPO等。强化学习的关键在于奖励函数的设计，它决定了模型学习的方向。在推理任务中，通常使用正确性作为基础奖励，然后通过奖励塑形来引导模型学习特定的行为模式。
本文采用强化学习作为训练框架，研究如何通过奖励塑形来激励高效推理。
Reward Shaping 奖励塑形
奖励塑形是指在基础奖励信号上添加额外的奖励或惩罚，以引导模型学习特定的行为模式。在高效推理场景中，基础奖励通常基于答案正确性，奖励塑形则通过添加长度相关的奖励或惩罚来激励模型生成更短的推理链。例如，可以给较短的正确回答更高的奖励，给较长的正确回答较低的奖励。奖励塑形的设计直接影响模型的学习效果和最终性能。
本文系统比较了多种奖励塑形策略，这是实现高效推理的核心技术手段。
Group Relative Policy Optimization (GRPO)
GRPO是一种用于大语言模型训练的强化学习算法，由DeepSeek团队提出。它通过组相对比较来估计优势函数，避免了传统PPO算法中需要训练价值网络的开销。在GRPO中，对每个提示生成一组轨迹（rollouts），然后根据组内轨迹的相对表现来计算优势值，用于更新策略。这种方法在训练效率和稳定性方面都有优势。
本文采用GRPO作为基础训练算法，在此基础上研究不同的训练策略。
Token Budget 令牌预算
令牌预算指的是模型在推理过程中允许使用的最大令牌数量。不同的令牌预算会影响模型的推理能力和效率。较小的令牌预算（如2k）迫使模型进行高度压缩的推理，较大的令牌预算（如32k）允许模型进行更详细的推理。评估模型在不同令牌预算下的性能是理解其推理能力的重要方式。
本文提出了在不同令牌预算下评估模型性能的方法，这是理解模型推理能力的关键维度。
研究动机
当前大语言模型的推理能力依赖于扩展的思维链（Chain-of-Thought）推理，但这带来了显著的计算开销。具体来说，更长的推理链意味着更多的令牌生成，导致更高的延迟和计算成本。在实际部署场景中，这种高延迟和高成本成为制约因素。现有研究主要集中在奖励设计上，但忽略了训练数据组成和优化策略的影响。例如，Kimi-1.5和Laser等方法主要关注如何设计奖励函数来激励较短的推理，但缺乏对整个训练流程的系统性研究。
本文的目标是本文旨在系统研究高效推理的机制，通过统一实验协议来解构训练数据、奖励塑形和优化策略的影响。具体目标包括：识别训练过程中的阶段特征，提出更细粒度的评估指标，通过大规模实验（约20万GPU小时）提供实践指导，并在Qwen3系列模型上验证方法的鲁棒性。
与已有工作不同的是，本文的独特视角在于将高效推理视为一个系统性问题，而不仅仅是奖励设计问题。作者发现训练过程遵循两阶段范式（长度适应和推理细化），并揭示了不同训练策略在不同令牌预算下的差异化行为。这种系统性视角有助于理解高效推理的完整机制，而不仅仅是某个单独组件的效果。
核心方法
本文的方法可以类比为一个精简专家：首先让模型学会在约束条件下工作（长度适应），然后在这个约束下优化推理质量（推理细化）。技术路线包括：使用DeepScaleR作为训练提示，采用GRPO算法进行强化学习训练，通过奖励塑形来激励简洁准确的推理。具体来说，每个提示生成N=8个轨迹（rollouts），最大长度LR=16k，目标长度LT=4k。评估时不仅看正确性，还要看长度分布和不同令牌预算下的性能。
本文的核心创新点是识别了高效推理训练的两阶段范式和提出细粒度评估方法。与已有方法最本质的区别在于：已有方法（如Kimi、Laser）主要关注奖励函数设计，而本文系统研究了整个训练流程，包括数据难度、rollout数量、奖励策略和优化策略。作者发现训练过程分为两个阶段：首先是长度适应阶段，模型快速调整输出分布以适应长度约束；然后是推理细化阶段，在长度约束下优化推理质量。此外，作者提出在不同令牌预算（2k到32k）下评估模型性能，发现不同策略在不同预算下表现差异很大，甚至相反。
方法步骤详情
方法步骤包括：1) 数据准备：使用DeepScaleR数学提示，并按通过率分为简单和困难两组；2) 训练设置：使用GRPO算法，学习率1×10^{-6}，clip-high比例0.28，批次大小128；3) 奖励塑形：比较截断策略、Kimi策略、Laser策略等多种方法；4) 训练监控：跟踪策略熵、rollout长度、正确rollout长度和错误rollout长度；5) 评估：在AIME'25、MATH-500、AMC等多个基准上测试不同令牌预算下的性能；6) 扩展验证：在Qwen3系列模型（0.6B到30B）上验证方法的鲁棒性。
技术新颖性
本文的技术新颖性体现在三个方面：首先，识别了高效推理训练的两阶段范式，这是对训练动态的全新理解；其次，提出了细粒度评估方法，包括条件长度分布和多预算评估，这比传统单一指标评估更全面；第三，系统解构了训练流程的各个环节，提供了实践指导。与已有技术相比，本文不是提出新的奖励函数，而是提供了理解高效推理的完整框架和评估方法。
实验结果
通过约20万GPU小时的大规模实验，本文获得了多个重要发现。首先，在AIME'25基准上，使用本文策略训练的Qwen3模型（0.6B到30B）实现了15%到47.3%的推理长度减少，同时保持或提升Mean@8性能。例如，Qwen3-0.6B的Mean@8从13.33提升到24.58，Pass@8从26.67提升到36.67，平均长度从14.9k减少到8.9k。Qwen3-4B-Instruct-2507的Mean@8从45.42提升到46.67，长度从9.1k减少到4.8k。其次，发现训练过程遵循两阶段范式：长度适应阶段（模型快速调整输出分布）和推理细化阶段（在长度约束下优化推理质量）。第三，在较简单的提示上训练能提供更密集的正面奖励信号，这对稳定的推理蒸馏至关重要。第四，学习到的长度偏差可以跨领域泛化，即在数学提示上训练的模型在代码任务上也有效。第五，不同训练策略在不同令牌预算下表现差异很大，甚至相反，这证明了多预算评估的必要性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME'25 | Mean@8 | 24.58 | 13.33 | +11.25 (Qwen3-0.6B) |
| AIME'25 | Pass@8 | 36.67 | 26.67 | +10.0 (Qwen3-0.6B) |
| AIME'25 | 平均长度 | 8.9k | 14.9k | -40.3% (Qwen3-0.6B) |
| AIME'25 | Mean@8 | 46.67 | 45.42 | +1.25 (Qwen3-4B-Instruct) |
| AIME'25 | 平均长度 | 4.8k | 9.1k | -47.3% (Qwen3-4B-Instruct) |
| AIME'25 | Mean@8 | 86.25 | 84.17 | +2.08 (Qwen3-30B-Thinking) |
| AIME'25 | 平均长度 | 14.8k | 17.3k | -14.5% (Qwen3-30B-Thinking) |
局限与改进
本文存在几个主要局限性：首先，实验主要在数学推理任务上进行，虽然验证了跨领域泛化能力，但对其他领域（如创意写作、常识推理）的适用性仍需进一步研究。其次，使用固定的rollout长度LR和目标长度LT，可能不是最优方案。作者在附录中探索了自适应目标长度，但发现可能带来不稳定性。第三，实验主要基于DeepSeek-R1-Distill-Qwen-1.5B，虽然扩展到了Qwen3系列，但未评估更大的模型（如235B+）。第四，训练数据主要来自DeepScaleR数学提示，数据多样性有限。第五，约20万GPU小时的实验成本较高，可能限制方法的广泛应用。
独立分析的弱点
本文有几个值得改进的弱点：首先，数据多样性不足，主要基于数学提示，可能限制方法在其他领域的应用。改进方向是探索多领域训练数据，如代码、科学推理、常识推理等。其次，固定的长度约束可能不适用于所有任务，自适应长度设置可能更优。作者在附录中尝试了自适应目标长度，但发现可能带来不稳定性，需要更好的自适应机制。第三，奖励塑形策略的比较主要基于经验，缺乏理论分析。改进方向是建立奖励塑形的理论框架，分析不同策略的收敛性和最优性。第四，评估主要关注平均性能，对模型行为的细节分析不足。改进方向是进行更细粒度的行为分析，如推理模式、错误类型等。
未来方向
基于本文成果，未来研究方向包括：首先，探索自适应长度设置，根据任务难度和模型能力动态调整长度约束。作者在附录中尝试了基于分位数的自适应方法，但发现可能带来不稳定性，需要更好的自适应机制。其次，研究更多领域的适用性，如代码生成、科学推理、常识推理等。第三，探索更细粒度的监督信号，而不仅仅是整体正确性。第四，研究更大规模模型的适用性，如235B+参数的模型。第五，探索工具使用和知识复用，如作者提到的人类使用笔记本和计算器来简化推理过程。第六，研究推理链的压缩和重用，提高推理效率。
复现评估
本文的复现性较好。首先，作者提供了详细的实验设置和超参数，包括学习率、批次大小、rollout数量等。其次，使用了公开可用的模型（DeepSeek-R1-Distill-Qwen-1.5B和Qwen3系列）和数据集（DeepScaleR）。第三，训练成本较高（约20万GPU小时），但这是大规模强化学习实验的常见情况。第四，评估基准都是公开的数学推理基准。复现难度主要在于计算资源，但作者的方法相对简单，主要是调整奖励塑形策略和训练数据选择。对于资源有限的研究者，可以从较小的模型（如1.5B）开始复现。
论文图表
