推理缓存：通过短视界强化学习实现长视界持续改进 Reasoning Cache: Continual Improvement Over Long Horizons via Short-Horizon RL
用迭代解码替代自回归，让小模型在测试时持续推理远超训练长度
前置知识
自回归解码（Autoregressive Decoding）
大语言模型的标准生成方式，模型逐个生成token，每个新token都基于前面所有token的条件概率分布进行采样。这种解码方式下，模型的推理长度直接受限于训练时见过的最大长度，当生成超出训练分布时会出现重复和退化现象。自回归解码是本文要替代的基线方法，理解其局限性是理解RC动机的关键。
RC的核心创新就是用迭代解码替代标准自回归解码来解决推理长度受限的问题，必须先理解自回归解码的工作方式和局限性。
强化学习训练LLM推理（RL for LLM Reasoning）
使用强化学习（如GRPO算法）训练大语言模型进行推理。给定问题-答案对数据集，模型生成推理轨迹（rollout），通过结果奖励（outcome reward）评估最终答案的正确性，然后用策略梯度方法更新模型参数。标准RL训练在固定的训练长度下进行，模型被优化来在这个有限预算内获得高奖励。
本文提出的方法是在标准RL基础上的改进，通过RC结构化的多轮目标来训练模型外推到更长的推理长度。
测试时外推（Test-time Extrapolation）
指模型在测试时能够利用比训练时更大的计算预算来获得更好的性能。形式化地说，如果模型在训练预算下优化后，能在测试预算远超训练预算的情况下获得更高的准确率，则称该模型能够外推。这是RC方法的核心目标——让模型在测试时通过增加推理迭代次数来持续提升性能。
整篇论文的目标就是实现有效的测试时外推，这是评估RC方法成功与否的核心指标。
摘要-生成不对称性（Summarization-Generation Asymmetry）
大语言模型在两个能力上存在不对称：（1）对先前推理进行摘要总结的能力，（2）基于摘要进行条件生成的能力。实验发现，模型基于先前推理的摘要来生成正确响应，比从零开始生成正确响应要容易得多。这种不对称性源于模型的指令遵循能力，使其能够利用先前生成的摘要来指导后续推理。
这是RC方法能够工作的核心原因——利用这种不对称性，通过压缩和条件生成的迭代过程来实现持续改进。
GRPO（Group Relative Policy Optimization）
一种用于训练大语言模型的策略梯度算法。对于每个问题，GRPO生成一组rollout，计算每个rollout的奖励，然后通过组内相对比较来估计优势函数（advantage）。这种方法避免了训练单独的价值网络，简化了训练流程。在本文中，GRPO被用作基础RL算法，在RC的多轮结构上进行训练。
GRPO是本文采用的基础RL算法，理解其工作方式有助于理解RC训练目标的设计。
离策略强化学习与经验回放（Off-policy RL with Replay Buffer）
离策略RL允许智能体从过去的经验中学习，而不是只从当前策略生成的数据中学习。经验回放缓冲区存储历史数据，供后续训练使用。在本文中，摘要回放缓冲区存储过去迭代生成的摘要，在后续训练epoch中采样这些摘要作为条件输入，从而扩展有效训练视界并提高策略对摘要分布变化的鲁棒性。
摘要回放缓冲区是RC训练的关键组件，使模型能够在短训练rollout的基础上学习长视界推理能力。
研究动机
当前大语言模型的推理能力面临一个根本性限制：标准强化学习在固定的训练分布和有限的训练长度下进行优化，导致模型无法在测试时外推到更长的推理长度。具体而言，当模型在训练预算（通常约16k tokens）下优化后，如果在测试时遇到需要更长推理才能解决的复杂问题，会出现两种失败模式。第一，模型可能在训练预算内过早终止，无法通过更长的推理取得进展。第二，当模型继续生成超出训练长度的内容时，会遇到分布偏移问题——测试时的条件分布与训练时看到的分布显著不同，导致推理轨迹变得重复和冗长。实验数据显示，Qwen3-4B-Instruct-2507在HMMT 2025上的准确率仅为39.8%，即使使用Qwen3-4B-Thinking-2507专业推理模型也只能达到62.5%，而这些模型都受到训练长度的限制。
本文的目标是本文的目标是开发一种方法，能够在固定的训练token预算和有限的提示集下训练模型，同时允许它们在测试时外推到远超训练视界的推理长度。具体来说，作者希望训练一个4B参数的模型（RCT-4B），使其在仅使用16k token训练预算的情况下，在测试时能够利用512k甚至更长的token预算来持续提升数学和科学推理任务的性能，最终超越更大的专业推理模型。
与已有工作不同的是，本文的独特切入角度是认识到自回归解码的根本局限性，并提出用迭代解码算法替代它。与之前的工作不同，RC不是简单地增加训练长度或修改奖励结构，而是从根本上改变解码过程。RC利用大语言模型的摘要-生成不对称性：模型在总结先前推理和基于摘要进行推理方面，比从零开始生成正确解决方案要强得多。通过交替进行推理生成和摘要压缩，RC将有效的推理视界与单次推理轨迹的长度解耦，使得即使每次迭代都在训练分布内进行，累积的推理深度也能远超训练长度。这种设计使得RC能够克服自回归解码在长视界推理中的分布偏移问题。
核心方法
Reasoning Cache（RC）的核心思想是用迭代解码替代标准的自回归解码。直觉上，RC模拟了人类解决问题的方式：不是一次性写出完整的解决方案，而是先进行一轮推理，然后回顾和总结之前的思路，再基于总结进行下一轮推理。技术上，RC维护两个状态：推理轨迹和摘要。在每个解码轮次中，模型先基于当前摘要生成推理轨迹，然后将推理轨迹压缩成新的摘要，丢弃原始的推理轨迹。这样，每次迭代的上下文长度都保持在训练分布内，但累积的推理深度可以随迭代次数线性增长。训练时，RC结合标准的on-policy强化学习和基于摘要回放缓冲区的off-policy学习，使模型能够在短训练rollout的基础上学习长视界推理能力。
RC的核心创新在于利用摘要-生成不对称性来解耦有效推理视界和单次推理轨迹长度。与现有方法的本质区别体现在三个方面。首先，与自回归解码不同，RC通过迭代过程将长推理分解为多个短步骤，每步都在训练分布内进行，避免了分布偏移。其次，与自我验证（self-verification）和自我精炼（self-refinement）等迭代方法不同，RC使用摘要而不是完整的先前轨迹作为条件输入，这保持了上下文长度在控制范围内，并移除了冗余的干扰token。第三，与仅在推理时使用RC不同，本文提出通过RL训练来优化模型利用RC的能力，特别是通过摘要回放缓冲区进行off-policy学习，扩展了有效训练视界。数学上，RC的总有效预算为 T x H_R = H_test，其中 H_R 远小于 H_test，每个迭代都在 H_R 预算内进行。
方法步骤详情
RC解码的具体步骤如下。给定输入问题 x 和摘要索引 t：（1）初始化摘要为空字符串。（2）在每个轮次 t，使用系统指令提示模型基于当前摘要生成推理轨迹，推理轨迹长度限制为 H_R（默认16k tokens）。（3）使用系统指令提示模型将当前推理轨迹和先前摘要压缩成新摘要，摘要长度限制为 H_S（默认2048 tokens）。（4）重复步骤2-3共 T 轮（默认12轮），最终输出为最后一轮的推理轨迹。训练时，对于每个训练问题，运行 T_train（默认3）轮RC解码，收集所有生成的摘要，均匀采样 N_summ（默认2）个唯一摘要，然后对每个采样摘要生成 K（默认8）个推理轨迹，分配结果奖励并计算优势，通过GRPO优化模型参数。
技术新颖性
RC的技术新颖性体现在多个层面。第一，解码算法设计：RC是首个将摘要压缩与条件生成相结合的迭代解码方法，与直接使用完整先前轨迹的自我精炼方法不同，RC通过摘要保持上下文长度在训练分布内，同时保留关键信息。第二，训练方法创新：RC引入摘要回放缓冲区进行off-policy学习，这是将off-policy RL技术应用于LLM推理训练的新尝试。缓冲区存储过去迭代生成的摘要，在后续训练epoch中重用，从而扩展有效训练视界并提高策略鲁棒性。第三，理论洞察：RC基于对摘要-生成不对称性的实证观察，系统性地利用这种不对称性来实现持续外推，这与之前依赖隐式学习外推行为的方法不同。第四，训练目标设计：RC采用分步优化策略，每步独立分配结果奖励，利用迭代结构避免了跨迭代的信用分配问题，同时隐式鼓励模型生成对后续步骤有用的信息。
实验结果
RC在多个数学和科学推理基准测试上展示了强大且一致的外推能力。在HMMT 2025上，RCT-4B的准确率从16k token预算的约40%提升到512k token预算的约70%，提升了30个百分点，远超基础模型的改进幅度。在IMO-AnswerBench上，准确率从16k的41%提升到256k的58%。在AIME 2025上，RCT-4B达到74.9%的准确率，相比基础模型的46.0%提升了28.8个百分点。值得注意的是，尽管RCT-4B仅在数学推理数据上训练，它在FrontierScience科学推理基准上也展示了显著的外推能力，在256k token预算下达到34.1%，而基础模型仅为23.3%，这表明RC训练产生了可迁移的算法行为而非领域特定知识。在与Qwen3-4B-Thinking-2507专业推理模型的比较中，RCT-4B在HMMT 2025（66.3% vs 62.5%）、IMO-AnswerBench（58.0% vs 53.8%）和FrontierScience（34.1% vs 25.7%）上均超越了这个在256k token下评估的更大推理模型。此外，RCT-4B在RSA和DSM Agent等测试时脚手架中也展示了更好的利用能力，在HMMT 2025上分别达到75.4%和74.6%，表明RC训练产生了通用的抽象条件推理能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2025 | Accuracy (%) | RCT-4B: 74.9% | Base model: 46.0%, Thinking model: 81.3%, Self-Refine: 60.4% | +28.8% over base model at 192k budget |
| HMMT 2025 (November) | Accuracy (%) | RCT-4B: 66.3% | Base model: 39.8%, Thinking model: 62.5%, Polaris-4B: 60.2% | +26.5% over base model, +3.8% over Thinking model |
| IMO-AnswerBench | Accuracy (%) | RCT-4B: 58.0% | Base model: 40.9%, Thinking model: 53.8%, Self-Verify: 52.3% | +17.1% over base model, +4.2% over Thinking model |
| FrontierScience (Olympiad) | Accuracy (%) | RCT-4B: 34.1% | Base model: 23.3%, Thinking model: 25.7%, RL trained: 21.5% | +10.8% over base model, +8.4% over Thinking model |
| Hard Omni-MATH subset | Pass@16 at 256k tokens | RCT-4B: ~35% | Base model: ~20% | +15% absolute improvement |
局限与改进
作者在论文附录中承认了RC的几个局限性。首先，当前训练目标使用短视的逐步奖励（myopic rewards），基于单个推理轨迹的正确性分配奖励，这可能会抑制需要多轮策略的探索性推理——即早期轮次进行低奖励的探索性过程，只在后续轮次才能充分利用。其次，当前方法仅训练模型进行摘要条件生成，而没有直接优化摘要生成本身，尽管实验表明摘要质量对RC性能有显著影响。第三，RC专注于有最终答案可验证的任务设置，而这些任务只占我们最终关心的推理挑战的一小部分，扩展到开放式领域（如证明生成）是重要的未来方向。从独立观察来看，RC的计算开销相对较高——需要多次前向传递来生成推理轨迹和摘要，且训练需要维护摘要回放缓冲区，这增加了内存和计算成本。此外，RC对模型的指令遵循能力有一定要求，对于指令遵循能力较弱的模型，摘要-生成不对称性可能不够明显，限制了方法的适用范围。
独立分析的弱点
RC方法存在几个值得注意的弱点。首先，计算效率问题：RC需要在每个解码轮次进行两次前向传递（推理生成和摘要生成），加上训练时的摘要回放缓冲区维护，总计算开销显著高于标准RL训练。实验中使用12轮RC解码意味着约24次前向传递，这对大规模训练和部署构成挑战。其次，超参数敏感性：RC的性能对摘要长度、推理长度和训练轮数等超参数较为敏感。实验显示，将推理长度从16k降到4k会导致约50%的轨迹过早终止，显著降低性能。第三，摘要质量瓶颈：当前方法依赖基础模型的摘要能力，而没有直接优化摘要生成。如果模型的摘要能力较弱或忽略关键信息，后续推理的质量会受到影响。改进方向包括：（1）开发更高效的摘要压缩算法，减少信息损失的同时降低计算开销；（2）引入摘要质量评估机制，动态调整摘要长度和详细程度；（3）设计自适应迭代次数策略，根据问题难度动态调整RC轮数。
未来方向
作者提出了三个主要的未来研究方向。第一，改进训练目标超越短视奖励：开发非短视的RC扩展版本，允许多轮策略中早期轮次进行探索性低奖励过程，这可能在更难的问题上带来显著改进。第二，显式训练摘要生成：当前方法仅训练摘要条件生成，但实验表明摘要质量对RC性能有重要影响，直接优化摘要生成可能是有益的。这与之前关于训练模型产生有用抽象来指导推理的工作密切相关。第三，将RC适配到没有最终答案奖励的任务：扩展RC到开放式领域，如证明生成，是重要且有影响力的方向。基于本文成果，还可以延伸到：（1）将RC应用于代码生成和程序合成任务；（2）探索RC在多模态推理中的应用；（3）研究RC与其他测试时计算扩展方法（如思维链、思维树）的结合；（4）开发RC的分布式训练版本以支持更大规模的模型和更长的推理视界。
复现评估
本文提供了相对良好的复现条件。代码仓库已在GitHub上公开（github.com/IanYHWu/rc），包含了RC解码和训练的核心实现。训练数据方面，Stage I使用AceReason-Math数据集的约5.7k问题子集，Stage II加入了DAPO数据集的困难问题，这些数据集都是公开可用的。基础模型Qwen3-4B-Instruct-2507是公开发布的模型。然而，复现仍面临一些挑战：（1）计算资源要求较高——训练需要在多个GPU上进行，且摘要回放缓冲区增加了内存需求；（2）训练细节较多——两阶段训练、GRPO配置、摘要采样策略等都需要仔细调整；（3）评估需要处理多个基准测试的不同评估协议（math-verify vs LLM judge）。总体而言，对于具备足够计算资源的研究团队，本文的复现难度中等。
论文图表
