RL训练的语言模型的最优推理长度研究 On the Optimal Reasoning Length for RL-Trained Language Models
RL训练的推理模型存在最优输出长度，过长或过短都会降低准确率
前置知识
强化学习
一种机器学习范式，智能体通过与环境交互并获得奖励或惩罚来学习最优策略。在大语言模型中，RL用于通过优化奖励函数来改进模型输出质量，常用方法包括PPO、GRPO、DAPO等。模型生成多个候选答案，根据奖励信号调整参数，使得更符合目标（如正确答案、更短长度等）的答案获得更高概率。
本文研究的是RL训练后的语言模型，需要理解RL如何通过奖励函数塑造模型行为，特别是长度控制方法如何影响输出长度和准确性。
链式思维
一种提示技术或生成模式，模型逐步展示推理过程而不是直接给出答案。例如解答数学题时，模型会写出首先计算然后代入最后得到答案的完整推理链。CoT可以显著提高模型在复杂推理任务上的表现，但通常需要更长的输出。RL训练的推理模型倾向于生成更长、更详细的CoT。
本文研究的核心问题就是CoT长度与推理准确性的关系，理解CoT的作用机制有助于理解为什么存在最优长度。
众数准确率
指在多次采样中，最频繁出现的答案众数是否为正确答案的比例。例如，对同一问题采样16次，如果有9次回答42，4次回答41，3次回答43，则众数为42。如果正确答案是42，则该问题的mode accuracy为1。这与样本准确率任意一次采样正确的概率不同。Mode accuracy反映的是模型答案分布的中心倾向是否正确。
本文的关键发现是mode accuracy持续随长度提升，而样本准确率在长输出时下降，理解这个概念是理解论文核心机制的关键。
众数泄漏
衡量样本围绕众数分布的离散程度的指标，定义为不在众数组中的样本比例。例如采样16次，众数组有9个样本，则mode leakage为16减9再除以16等于0.4375。U-shaped mode leakage表示在短输出和长输出时都较高，短输出时答案分布尚未收敛到主导答案，长输出时样本从越来越正确的众数周围散开。
这是解释样本准确率非单调性下降的核心指标，mode leakage上升意味着即使众数正确，单个样本偏离正确的概率也在增加。
长度控制方法
在RL训练中通过修改奖励函数或采样策略来控制模型输出长度的技术。RLOO-LP通过对正确答案应用基于长度的惩罚，奖励函数R等于指示函数乘以1减去alpha乘以f长度，其中alpha控制惩罚强度。ALP根据问题难度动态调整惩罚强度，简单问题惩罚更强。DRPO在DisCO框架内对正确答案应用长度加权，权重等于指数函数。
本文通过调节不同长度控制方法的强度参数，获得覆盖不同平均输出长度的策略族，从而研究长度与准确率关系。
研究动机
强化学习训练显著提升了大语言模型的推理能力，但副作用是模型倾向于生成越来越长的链式思维输出，这显著增加了训练和推理成本。例如DeepSeek-R1、OpenAI o1等模型在复杂数学和代码任务上表现出色，但推理链往往长达数千甚至上万token。虽然已经提出了多种长度控制方法，如RLOO-LP、ALP、DRPO、GFPO，但它们在控制长度的同时如何影响性能尚不清楚。更重要的是，近期研究发现，即使是测试时延长固定模型的推理过程也可能降低准确率，但这种非单调性是否在RL训练的不同策略间普遍存在，以及其背后的驱动机制是什么，仍然未知。
本文的目标是本文的核心目标是系统研究输出长度如何影响RL训练的推理模型的性能，具体包括验证非单调的长度与准确率关系是否跨越不同模型、任务和长度控制方法普遍存在，揭示这种非单调性的根本机制，区分答案分布中心正确性和样本离散度对准确率的贡献。
与已有工作不同的是，已有研究存在两个局限，一是主要在测试时对单个固定模型进行干预，如增加采样步数，而本文研究的是通过不同长度控制配置训练出的不同策略。二是之前的分析假设答案分布的中心倾向固定，只考察方差变化，而本文发现RL训练的不同配置不仅改变离散度，还同时改变答案分布的中心。这种在训练层面的系统性对比和对答案分布的双分量分析，即中心正确性加离散度，是本文的独特贡献。
核心方法
论文采用了控制实验的方法，在相同训练设置下，通过调节不同长度控制方法的强度参数，训练出一族平均输出长度各异的策略，然后系统比较它们的准确率。实验在三个模型，即DeepSeek-R1-Distill-Qwen-1.5B、Qwen3-1.7B、Qwen3-4B-Base，两个任务领域即数学推理和代码生成，以及多个长度控制方法上进行。为了理解非单调性的机制，论文将答案分布分解为两个正交的维度，即众数准确率分布中心的正确性和众数泄漏样本围绕中心的离散度。这种分解揭示了众数准确率持续提升而样本准确率在长输出时下降的本质原因。
核心创新点在于发现和解释了众数准确率与样本准确率在长输出regimes的背离。传统的方差分析框架假设分布中心固定，只改变方差，而本文发现RL训练的不同长度控制配置同时改变了这两者，更长的输出使得答案分布的中心更趋向正确答案，即众数准确率提升，但同时也使得单个样本更分散，即众数泄漏增加。在长输出regime，众数准确率的提升无法抵消众数泄漏增加带来的负面影响，导致样本准确率下降。这个机制解释了为什么存在最优推理长度。
方法步骤详情
方法流程包括四个主要步骤。第一步是训练策略族，在相同基础模型和数据集上，使用DAPO或GRPO框架，分别采用不同的长度控制方法，并对每种方法的关键强度参数进行网格搜索。每个配置训练固定步数，获得不同平均输出长度的策略。第二步是评估准确率，对每个训练好的策略，在四个数学基准和两个代码基准上采样多个答案，计算准确率。数学问题对AIME采样64次，MATH-500采样16次，代码问题采样16次。准确率定义为任意一次采样正确的概率。第三步是分布分析，对每个问题，提取所有采样答案的等价类，找出众数并与正确答案比较。计算众数准确率众数正确的比例和众数泄漏不在众数组的样本平均比例。第四步是机制解释，将样本准确率分解为众数准确率和众数泄漏的函数，分析两者随输出长度的变化趋势，找出非单调性的根源。
技术新颖性
技术新颖性体现在三个方面，一是首次在RL训练的策略间而非测试时干预上系统验证了长度与准确率的非单调关系，证明了这种现象的普遍性。二是提出了众数泄漏作为衡量答案分布离散度的指标，与传统的熵指标相比更直观且易于计算。三是揭示了RL训练中众数准确率和样本准确率背离的独特机制，这是对现有方差分析框架的重要补充。论文还发现不同长度控制方法在相同长度下表现相似，说明非单调性是内在的推理长度效应而非特定方法的人为产物。
实验结果
核心发现可以概括为三点。首先，样本准确率与平均输出长度呈现非单调关系，在多数模型与基准对上准确率先随长度上升，达到峰值后平台或下降。例如在Qwen3-4B-Base的AIME 2024任务上，最佳ALP配置在约6.6千token处达到24.7%准确率，而无长度约束的Token Avg基线在超过12千token时仅达到19.5%。DeepSeek-R1-Distill-Qwen-1.5B在所有四个数学基准上都表现出峰值后下降的模式。其次，这种非单调性不是特定方法、模型或任务的人工产物。在DeepSeek-R1-Distill-Qwen-1.5B上，RLOO-LP、ALP、DRPO三种方法都在四个数学基准上呈现峰值后下降。在Qwen3-1.7B和Qwen3-4B-Base上，ALP扫参也再现了相同模式。代码生成任务上，如HumanEval和MBPP加，也存在相同的峰值后下降趋势。最后，众数准确率和样本准确率的背离是关键机制。在长输出regimes，众数准确率持续上升，即答案分布中心越来越正确，但样本准确率因众数泄漏增加而平台或下降。例如在MATH-500上，当输出长度从2000增加到3000token时，DeepSeek-R1-Distill-Qwen-1.5B的众数准确率从约0.86升至0.88，但众数泄漏也从约0.13升至0.15，导致样本准确率基本不变。众数泄漏在多数设置上呈U型，短输出时高表示分布未收敛，长输出时也高表示样本从正确众数散开。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2024 | Accuracy | 24.7% (Qwen3-4B-Base, 6.6K tokens) | 19.5% (unconstrained, >12K tokens) | +5.2% |
| MATH-500 | Accuracy | 约83% (DeepSeek-1.5B, intermediate length) | 约80-81% (very short or very long) | 约2-3% |
| AMC | Accuracy | 约63-65% (DeepSeek-1.5B, intermediate length) | 约58-60% (very short or very long) | 约3-7% |
| HumanEval | Accuracy | 约44% (DeepSeek-1.5B, 约2.5K tokens) | 约40% (very long, >4K tokens) | 约4% |
| MBPP+ | Accuracy | 约57% (DeepSeek-1.5B, 约2.5K tokens) | 约52% (very long, >4K tokens) | 约5% |
局限与改进
论文承认的局限性包括，首先，实验主要集中在数学推理和代码生成两个任务领域，虽然论文声称现象可能更普遍，但未在其他任务如文本问答、逻辑推理上验证。其次，最长输出限制为16千token，虽然论文通过64千上下文评估排除了截断影响，但对于可能需要更长推理的任务仍无法完全探索。第三，论文主要关注样本准确率，而在实际应用中，用户可能更关心众数准确率，即通过多次采样取众数。如果应用场景允许多次采样，更长的输出可能仍然是有益的。第四，论文尝试复现GFPO方法失败，原因可能是实现细节或超参数设置，这限制了对所有主流长度控制方法的全面比较。最后，论文没有提出自动识别最优长度的方法，仍然依赖手动超参数搜索，这在实际部署中增加了成本。
独立分析的弱点
独立分析的第一个弱点是论文对众数泄漏的解释相对宏观，未深入探讨具体什么导致样本在长输出时散开。可能的机制包括长推理链增加了中间步骤出错累积的概率，模型在生成大量token后注意力分散或偏离原始目标，RL训练对长输出的优化使得模型更大胆但不够谨慎。建议未来工作可以研究中间推理步骤的错误传播模式，或者引入对推理链内部一致性的奖励。第二个弱点是实验设置相对理想化，实际应用中可能面临更复杂的约束，如严格的延迟要求、有限的计算预算，或者需要同时处理多个查询。建议研究在多任务和资源约束下的最优推理长度分配策略。第三个弱点是论文主要关注最终准确率，忽略了推理效率的其他维度，如token效率，即准确率除以输出长度。有些配置虽然准确率略低，但token效率可能更高。建议将准确率和长度纳入统一的效用函数进行评估。第四个弱点是对于超难任务，如AIME 2025，论文观察到的长度范围内样本准确率仍在单调上升，这意味着最优长度可能超出了本文探索的范围。建议在这些任务上进一步扩展长度范围，或者研究是否存在平台期。
未来方向
论文提出的未来工作方向包括开发自动识别最优长度regimes的长度控制方法，避免手动超参数搜索。这可能涉及在学习过程中动态监测众数准确率和众数泄漏，在二者达到最佳平衡点时停止长度增长。另一个方向是研究如何在保持众数准确率提升的同时抑制众数泄漏的增加，可能的方法包括引入对答案一致性的奖励，鼓励多次采样给出相同答案，使用温度调度，长推理链降低采样温度，或者修改RL目标使得模型在长输出时更加保守。基于论文结果的可延伸方向包括将众数准确率和样本准确率的分解框架应用于其他推理任务，如逻辑推理、知识问答，研究不同基础模型对长度与准确率关系的敏感性，探索在few-shot或in-context learning场景下，提示设计如何影响最优推理长度。此外，论文发现的U-shaped众数泄漏暗示短输出和长输出都有问题，未来可以研究双峰或混合策略，先用短快速推理，如果信心不足再用长推理，以平衡速度和准确性。
复现评估
论文的复现性评估如下，代码方面，论文使用verl框架进行训练，但未明确说明代码是否开源。训练配置在附录A中有详细描述，包括学习率为10的负6次方，batch size为64，每组16个样本，温度为1.0等。数据集使用公开的DAPO-Math-17K和DeepCoder-Preview，评估基准也是公开的。算力方面，每个配置至少训练576 GPU小时，即8-GPU设置下72小时，论文使用了TSUBAME4.0超算。这种算力需求对于大多数研究团队来说是可及的，但完整复现所有配置仍然需要大量资源。论文报告了多个独立的训练运行，如ALP beta为10的负4次方的不稳定性在第二次运行时解决，这增加了结果的可信度。论文还做了充分的消融实验，包括不同batch size配置，精度和截断重要性采样，GFPO复现失败，wall-clock时间比较，扩展上下文评估，这些实验有助于排除混淆因素并验证核心发现的鲁棒性。总体而言，论文提供了充分的实验细节，具备中等程度的可复现性，有足够资源和时间的团队应该能够复现主要结果。
论文图表