InftyThink+：通过强化学习实现高效无限推理 InftyThink+: Effective and Efficient Infinite-Horizon Reasoning via Reinforcement Learning
用强化学习优化迭代式推理的摘要时机、内容和续接策略，同时提升准确率与效率
前置知识
Chain-of-Thought (CoT) 推理
链式思维推理是让大语言模型在给出最终答案前，先生成一段逐步推理过程的范式。模型通过「想一想再说」的方式，将复杂问题分解为多个中间步骤，每一步的输出作为下一步的输入，最终得出结论。这种范式显著提升了模型在数学、逻辑和代码推理等任务上的表现，代表性工作如 OpenAI o1 和 DeepSeek-R1。然而，推理链越长，生成的 token 越多，计算成本和上下文窗口的压力也随之增大。
本文的核心正是解决长链推理的效率瓶颈，理解 CoT 的基本原理是理解本文动机的前提。
迭代推理 (Iterative Reasoning)
迭代推理是将一条长推理链拆分为多个短推理段，每个段结束后生成一个摘要（summary），下一段以该摘要作为上下文继续推理的范式。这种方式将推理深度与上下文长度解耦：每一轮推理只需处理固定的上下文窗口（原始问题 + 上一轮摘要），而非整条历史推理链。代表工作包括 InftyThink（本文的前身）和 DeleThink。关键问题在于：何时中断、如何压缩、如何续接。
InftyThink+ 正是在 InftyThink 迭代推理范式上引入强化学习优化，理解迭代推理的基本机制是理解全文方法的基础。
强化学习用于推理优化 (RL for Reasoning)
强化学习在推理模型训练中的应用已成为主流范式。基本思路是：对同一道题采样多条推理轨迹（rollout），根据最终答案正确与否给予奖励（reward），然后用策略梯度算法（如 GRPO）更新模型参数。与监督学习（SFT）不同，RL 不需要「标准答案」的推理过程，只需要最终结果的正确性信号，因此能发现超越训练数据分布的推理策略。DeepSeek-R1 是该方向的代表工作。
本文的核心创新就是将 RL 引入迭代推理框架，实现端到端的推理策略优化，理解 RL 基本原理对把握本文技术路线至关重要。
Group Relative Policy Optimization (GRPO)
GRPO 是 DeepSeek-R1 提出的策略优化算法，是 PPO 的简化版本。核心思想是：对同一道题采样 G 条推理轨迹，计算所有轨迹的奖励均值和标准差，然后对每条轨迹计算归一化优势（advantage）：$\hat{A}_i = (R_i - \mu) / \sigma$。这样无需训练单独的 Critic 网络，通过组内相对比较即可估计哪些推理路径更好。优势为正的轨迹获得正梯度更新，优势为负的获得负梯度更新。
InftyThink+ 采用 GRPO 作为基础 RL 算法，并在此基础上做了轨迹级优势共享等关键修改，理解 GRPO 是理解本文 RL 设计的前提。
推理效率与上下文管理
标准 Transformer 的自注意力计算复杂度为 $O(L^2)$，其中 $L$ 是序列长度。这意味着推理链越长，生成每个新 token 的计算成本越高（非线性增长）。同时，模型有最大上下文窗口限制，超长推理可能在未得出结论前就被截断。此外，长上下文还会导致「Lost-in-the-Middle」效应：模型难以有效利用中间位置的信息。这些因素共同构成了长链推理的三大瓶颈：计算成本、窗口限制、信息丢失。
本文提出的迭代推理范式正是为了同时解决这三个效率瓶颈，理解这些瓶颈的具体表现有助于理解方法设计的动机。
研究动机
当前的大推理模型（如 DeepSeek-R1）通过生成超长链式思维来实现强大的推理能力，但这种范式面临三个根本性瓶颈。第一，自注意力的 $O(L^2)$ 计算复杂度使得推理成本随生成长度超线性增长，极长的推理链在实际部署中计算代价过高。第二，推理深度受模型最大上下文窗口的硬约束：当问题需要的推理链超过窗口限制时，生成在得出结论前就被截断，导致最难的问题无法求解。论文实验显示，即使将最大生成长度扩展到 32k-64k token，在 AIME24 和 AIME25 上仍有部分高难度题目无法完成。第三，随着推理链变长，模型越来越容易出现「Lost-in-the-Middle」现象，关键的早期信息变得不可访问，推理质量下降——即使上下文窗口未被突破也是如此。这些瓶颈意味着，单纯增加推理长度并不是可持续的推理扩展策略。
本文的目标是本文的目标是提出一种端到端的强化学习框架 InftyThink+，在迭代推理范式下同时优化推理的正确性和效率。具体而言，InftyThink+ 要实现三个目标：（1）让模型学会何时压缩——在推理的合适时机中断并生成摘要，而非依赖固定的 token 阈值或随机中断；（2）让模型学会如何压缩——生成能保留关键推理状态的高质量摘要，而非简单的文本截断；（3）让模型学会如何续接——在压缩后的上下文中高效恢复推理，而非简单地继续生成。在 AIME24 上，InftyThink+ 的目标是将准确率提升 20% 以上，同时将推理延迟降低 30% 以上。
与已有工作不同的是，现有迭代推理方法（如 InftyThink SFT 版本和 DeleThink）存在一个关键盲点：它们都没有对迭代推理的「策略」进行优化。InftyThink 的 SFT 版本只教模型模仿迭代格式，不教模型在什么时候、用什么方式做摘要；DeleThink 使用固定的 chunk 大小进行推理分段，完全忽略了推理的自然语义结构。本文的独特视角是：迭代推理的效果不在于格式本身，而在于每一步的决策质量——何时摘要、保留什么、如何续接——这些是具有长期后果的序列决策问题，必须通过轨迹级优化来学习，而监督学习无法提供这种优化能力。论文通过信息瓶颈理论从信息论角度证明了这一观点：SFT 优化的目标函数与答案正确性无关，因此无法学习到最优摘要策略。
核心方法
InftyThink+ 的核心思想可以用一个类比来理解：想象一个学生在考试中解决一道复杂数学题。普通推理模型就像学生在一张无限长的草稿纸上从头写到尾；而 InftyThink+ 就像一个聪明的学生，每写完一页草稿纸，会停下来在便签纸上总结当前的关键结论和下一步方向，然后翻页继续。关键区别在于：之前的迭代推理方法（SFT 版本）只教了学生「每页写完要总结」的格式，但没有教他「什么时候总结最合适」「哪些信息必须记下来」「看到摘要后怎么接着想」。InftyThink+ 通过强化学习来教这些策略——让学生反复做题，做得对就奖励，做错了就惩罚，最终学会最优的总结策略。技术路线分为两步：第一阶段是冷启动（Cold Start），用监督微调将模型从标准推理格式迁移到迭代推理格式，建立基本的格式能力；第二阶段是强化学习，以任务正确性和推理效率为目标，端到端优化整个迭代推理轨迹。
InftyThink+ 与已有方法最本质的区别在于**轨迹级强化学习优化**。具体而言，对于同一个问题 q，模型会采样 G 条完整的迭代推理轨迹（每条包含多个推理轮次），每条轨迹最终得到一个奖励信号，然后所有轮次共享同一条轨迹的优势值进行梯度更新。这意味着：（1）如果第一轮的高质量摘要帮助后续推理得出正确答案，即使摘要本身不直接产生答案，它也会获得正梯度信号——模型因此学会「为未来而摘要」；（2）如果额外的推理轮次没有带来收益，效率奖励会惩罚不必要的迭代——模型因此学会「适可而止」；（3）如果模型生成的摘要质量不如外部 LLM 生成的摘要，但模型自己更擅长利用自己的摘要（表3显示 RL 后内部摘要优于外部摘要），说明摘要策略与续接策略是紧密耦合的，必须端到端优化。这种轨迹级优化是 SFT 无法实现的，因为 SFT 的损失函数与最终答案正确性无关（本文从信息瓶颈理论严格证明了这一点）。
方法步骤详情
InftyThink+ 的完整方法包含以下步骤。**第一步：数据转换**。将已有的 vanilla 推理数据 $(q, r, c)$（问题、推理过程、结论）转换为 InftyThink 格式：将推理过程 $r$ 按语义边界切分为多个片段 $\{r_1, ..., r_n\}$（片段长度不超过超参数 $\eta$，实验中设为 6k token），然后用外部 LLM（Qwen3-4B-Instruct-2507）为每个片段生成摘要 $\{s_1, ..., s_{n-1}\}$（摘要长度不超过超参数 $\gamma$，设为 1k token），构建训练样本 $(q, r_1, s_1)$、$(q, s_{i-1}, r_i, s_i)$、$(q, s_{n-1}, r_n, c)$。**第二步：冷启动 SFT**。用转换后的数据对模型进行监督微调，引入特殊 token ``、``、``、``，损失函数仅在推理和摘要 token 上计算，query 和 history token 被 mask 掉。训练使用 ms-swift 框架 + Megatron-Core 后端，8 张 GPU，3 个 epoch。**第三步：轨迹级 Rollout**。对每个问题 q 采样 G=8 条轨迹，每条轨迹进行最多 $\phi$ 轮迭代推理（实验中 $\phi=5$）：第 1 轮直接以 q 为输入生成推理 $r_1$ 和摘要 $s_1$，第 j 轮（j>1）以 q + 上一轮摘要 $s_{j-1}$ 为输入生成推理 $r_j$ 和摘要 $s_j$。当模型生成结论而非摘要时（或达到 $\phi$ 轮上限），轨迹终止。**第四步：奖励计算**。任务奖励 $R_{task} = \mathbb{1}[\text{Verify}(o_{final}, gt) = \text{Correct}]$（答案正确为1，错误为0）。效率奖励 $R_{eff} = 1 - \left(\frac{n_i - 1}{\phi}\right)^2$（二次衰减，单轮迭代获最大奖励1，迭代越多惩罚越重但早期较温和）。总奖励 $R = R_{task} \cdot R_{eff}$（乘法形式确保错误答案不得效率奖励）。**第五步：策略梯度更新**。采用 GRPO 算法，优势值在轨迹级计算并共享：$\hat{A} = (R(O_i) - \mu) / \sigma$，所有轮次的所有 token 共享同一条轨迹的优势。使用 IcePop 技术稳定训练，排除训练引擎与推理引擎之间概率差异过大的 token 的梯度。
技术新颖性
InftyThink+ 的技术新颖性体现在三个层面。**第一，首次将强化学习引入迭代推理框架**。此前的 InftyThink 仅使用 SFT，DeleThink 虽然使用 RL 但采用固定 chunk 分段而非模型自适应中断。InftyThink+ 让模型通过 RL 自主学习最优的中断时机、摘要策略和续接策略。**第二，轨迹级优势共享设计**。传统 RL 中每个 token 独立计算优势，但 InftyThink+ 的一个关键洞察是：迭代推理中早期轮次的质量对最终成功至关重要。因此，同一条轨迹内所有轮次共享同一个优势值，使「为未来铺路」的摘要也能获得正确的梯度信号。**第三，乘法式多目标奖励**。任务奖励和效率奖励的乘法形式是一种精巧设计：它自然地避免了模型通过提前终止来「作弊」获取效率奖励（因为错误答案的效率奖励为零），同时二次衰减的效率奖励在早期轮次给予温和惩罚、后期轮次加重惩罚，为探索保留了空间。此外，论文还从信息瓶颈理论严格证明了 SFT 无法优化最优摘要策略，为 RL 的必要性提供了理论支撑。
实验结果
论文在 DeepSeek-R1-Distill-Qwen-1.5B 和 Qwen3-4B-Base 两个模型上进行了全面实验，结果非常令人信服。**核心发现一：InftyThink+ 放大了 RL 的收益**。在 AIME24 上，vanilla RL 将准确率从 26.67% 提升到 38.75%（+12.08），而 InftyThink+ RL 将准确率从 29.48% 提升到 50.94%（+21.46），RL 带来的额外收益几乎是 vanilla 的两倍。在 AIME25 上，InftyThink+ RL 从 27.92% 提升到 35.83%（+7.91），而 vanilla RL 仅从 24.48% 提升到 31.04%（+6.56）。这说明迭代推理格式为 RL 提供了更优质的优化空间——中间摘要作为显式的高层状态，使 RL 能更有效地改进推理质量。**核心发现二：InftyThink+ 显著降低推理延迟**。在 AIME25 上，InftyThink+ 相比 vanilla 减少了 32.8% 的推理延迟（从 169.38s 降至 113.78s）。加入效率奖励后，延迟进一步降至 68.39s，相比 vanilla 降低约 60%。这种延迟降低源于迭代推理的 $O(n \cdot \ell^2)$ 复杂度低于 vanilla 的 $O(L^2)$。**核心发现三：效率奖励实现了更好的准确率-效率权衡**。仅使用任务奖励（$\checkmark T$）时，InftyThink+ 平均准确率 53.96%，平均延迟 100.21s；加入效率奖励（$\checkmark T+E$）后，准确率 50.58%（仅降 3.38%），但延迟降至 48.37s（降 51.8%），token 使用从 20.02K 降至 10.66K。**核心发现四：RL 训练加速**。InftyThink+ 的 RL 训练比 vanilla 快约 25%（每步 225s vs 300s），加入效率奖励后进一步提升至 40%（每步 175s）。**核心发现五：自适应中断优于固定/随机中断**。消融实验（表2）显示，InftyThink 的自适应中断在 AIME24 上比随机中断高 3.02%，比固定中断高 2.50%（RL 设置下）。**核心发现六：RL 后模型生成的内部摘要优于外部 LLM 生成的摘要**。表3显示，SFT 阶段外部摘要更好（+2.92% on AIME24），但 RL 后内部摘要反超（+2.52%），证明 RL 学会了与自身推理能力紧密耦合的摘要策略。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH500 | Accuracy (%) | 91.56 (task RL) / 89.96 (task+efficiency RL) | 89.63 (vanilla task RL) / 86.20 (vanilla cold-start) | +1.93 vs vanilla task RL / +3.76 vs vanilla cold-start |
| AIME24 | Accuracy (%) | 50.94 (task RL) / 43.96 (task+efficiency RL) | 38.75 (vanilla task RL) / 26.67 (vanilla cold-start) | +12.19 vs vanilla task RL / +24.27 vs vanilla cold-start |
| AIME25 | Accuracy (%) | 35.83 (task RL) / 32.92 (task+efficiency RL) | 31.04 (vanilla task RL) / 24.48 (vanilla cold-start) | +4.79 vs vanilla task RL / +11.35 vs vanilla cold-start |
| GPQA Diamond | Accuracy (%) | 37.50 (task RL) / 35.46 (task+efficiency RL) | 29.81 (vanilla task RL) / 29.40 (vanilla cold-start) | +7.69 vs vanilla task RL / +8.10 vs vanilla cold-start |
| AIME25 | Inference Latency (s) | 113.78 (task RL) / 68.39 (task+efficiency RL) | 169.38 (vanilla task RL) / 134.34 (vanilla cold-start) | -32.8% (task RL) / -49.1% (task+efficiency RL) |
| HumanEval (OOD code reasoning) | Accuracy (%) | 67.70 (task RL) / 67.42 (task+efficiency RL) | 60.44 (vanilla task RL) / 57.03 (vanilla cold-start) | +7.26 vs vanilla task RL / +10.67 vs vanilla cold-start |
局限与改进
本文存在几个值得讨论的局限性。**第一，任务结构假设**。InftyThink+ 隐含假设推理过程可以分解为相对独立的阶段，且每个阶段的关键信息可以抽象为摘要。这对数学推理和多约束规划等任务成立，但对于推理过程高度纠缠、阶段边界不清、或强依赖连续语义流的任务，这种「分段压缩-续接」的范式收益可能有限。**第二，自然语言摘要的局限**。当前摘要用非结构化的自然语言 token 表示，缺乏对信息组织和约束强度的显式控制。信息的重要性、逻辑状态和相对优先级隐式编码在文本中，模型需要在续接时重新解读这些因素，这限制了对压缩粒度和信息保真度的精细控制。**第三，对冷启动的依赖**。训练流水线依赖冷启动阶段将模型迁移到 InftyThink 格式，这意味着需要针对新领域设计特定的冷启动数据，引入额外的工程复杂度。**第四，评估范围**。论文主要在数学和科学推理基准上评估，对代码推理的评估相对有限，对更广泛的推理领域（如常识推理、因果推理）的泛化能力有待验证。**第五，仅在较小模型上验证**。主要实验基于 1.5B 参数模型，虽然在 Qwen3-4B-Base 上有扩展实验，但更大规模模型（7B、70B+）上的表现尚不清楚。
独立分析的弱点
从独立分析的角度，我观察到以下弱点并提出改进方向。**弱点一：摘要表示的信息瓶颈**。当前使用自然语言 token 作为摘要，在压缩过程中不可避免地丢失信息。论文本身也承认这一点。改进方向是探索混合摘要表示，例如在自然语言摘要之外引入潜在 token（latent tokens）或学习的记忆槽（learned memory slots），用更紧凑的向量表示来保留难以用语言表达的约束和中间状态。**弱点二：效率奖励设计的保守性**。二次衰减的效率奖励在早期轮次惩罚很轻（如 2 轮时 $R_{eff} = 1 - (1/5)^2 = 0.96$），这导致模型在训练早期几乎不受效率约束，可能浪费了大量推理预算。改进方向是设计自适应的效率奖励函数，根据问题难度动态调整——简单问题应该更强烈地惩罚多轮推理，困难问题则允许更多探索。**弱点三：缺少过程奖励（Process Reward）**。当前仅使用最终答案正确性作为奖励信号，中间推理步骤的质量完全不可控。对于需要多步精确推理的数学问题，中间步骤的错误可能在后续迭代中被掩盖。改进方向是引入过程奖励模型（PRM），对每一轮推理的质量进行评估，提供更细粒度的信用分配。**弱点四：最大迭代轮数 $\phi$ 是固定超参数**。消融实验（图23）显示 $\phi=5$ 和 $\phi=10$ 在不同基准上各有优劣，但模型无法自适应地选择最大轮数。改进方向是让模型学会根据问题难度动态决定推理深度，例如通过一个可学习的终止策略。
未来方向
论文作者提出了三个有前景的未来方向，我在此基础上补充扩展。**方向一：长视野智能体推理（Long-Horizon Agentic Reasoning）**。将 InftyThink+ 扩展到深度研究、自主调试、多步决策等场景，这些任务需要模型反复调用工具、检索外部信息、整合中间结果，推理时间尺度和交互循环远超当前基准。迭代压缩-续接机制在这些场景中不仅是效率优化，更是持续推理的基本使能器。**方向二：精细摘要表示**。超越纯文本摘要，探索潜在表示（如潜在 token、学习记忆槽、符号-连续混合摘要），这些表示可以更紧凑、更忠实地捕获抽象约束和中间推理状态，并与下游续接策略联合优化。**方向三（我的扩展）：跨任务迁移和元学习**。当前方法需要为每个任务域重新设计冷启动数据。一个自然的延伸是研究 InftyThink+ 是否可以跨任务迁移——在一个任务上学到的迭代推理策略能否直接应用到新任务？这可以通过元学习（meta-learning）或多任务 RL 训练来探索。**方向四（我的扩展）：与搜索结合**。当前的迭代推理是单路径的（每条轨迹是线性的），如果在每一轮推理后引入轻量级搜索（如对多个摘要候选进行评估选择），可能进一步提升推理质量。
复现评估
从复现评估来看，本文的复现条件相当友好。**开源情况**：论文承诺开源代码和模型，项目主页为 https://zju-real.github.io/InftyThink-Plus，但具体仓库链接需确认。**数据集**：冷启动使用 OpenThoughts-114K（公开数据集），RL 训练使用 DeepScaleR-Preview（公开数据集），数据获取无障碍。**算力需求**：1.5B 模型实验在 8 张 NVIDIA GPU 上完成，Qwen3-4B-Base 在 32 张 GPU 上完成。对于学术实验室而言，8 GPU 配置基本可满足 1.5B 模型的复现需求。**软件依赖**：使用 ms-swift（SFT）、verl（RL 训练）、SGLang（推理后端）、FSDP（训练后端），均为开源框架。**复现难度**：中等。核心算法设计清晰，但异步推理流水线和 IcePop 稳定化技术的工程实现有一定复杂度。数据转换步骤需要调用外部 LLM 生成摘要，增加了额外的前置工作。总体而言，具备 8+ GPU 资源和 RL 训练经验的研究者应能在 1-2 周内完成基本复现。
论文图表
