FIPO：用未来KL散度影响策略优化来激发深度推理能力 FIPO: Eliciting Deep Reasoning with Future-KL Influenced Policy Optimization
通过引入Future-KL散度重构GRPO的信用分配机制，突破LLM推理长度停滞瓶颈
前置知识
GRPO (Group Relative Policy Optimization)
GRPO是一种无需价值网络的策略优化算法，通过分组采样估计优势。对于每个查询，从旧策略采样G个输出，计算组内标准化优势，其中是二元验证奖励。关键特点是优势是标量，广播到整个序列，每个token获得相同的优势信号
本文基于GRPO框架改进，理解其粗粒度信用分配问题是读懂本文动机的基础
KL散度 (Kullback-Leibler Divergence)
KL散度衡量两个概率分布之间的差异。在RL训练中常作为正则项限制策略偏离参考策略。本文中的Future-KL是累积从当前token到序列末尾的符号概率偏移，相当于对未来轨迹的联合概率分布进行KL估计
Future-KL是本文核心创新，理解其数学定义和物理意义是掌握方法的关键
信用分配 (Credit Assignment)
信用分配是RL的核心挑战，即确定序列中哪些决策对最终结果负责。PPO通过GAE为每个token计算不同优势，实现细粒度分配；而GRPO将序列级优势均匀分配。本文提出通过Future-KL重新加权优势，实现密集优势公式
解决粗粒度信用分配问题是本文的核心动机，理解这个概念才能理解方法的必要性
Chain-of-Thought (CoT) 推理
CoT是让LLM逐步展示推理过程的技术，通过生成中间步骤提高复杂问题求解能力。推理长度与性能密切相关，但现有GRPO方法存在长度停滞现象，平均CoT长度在约4,000 token处停滞
CoT长度扩展是本文要解决的核心现象，实验指标围绕长度和AIME准确率展开
AIME (American Invitational Mathematics Examination)
美国邀请数学竞赛，是评估数学推理能力的权威基准。论文中报告Pass@1（单次正确率）、Cons@32（32次多数投票）和Pass@32（至少一次正确率）。DAPO基线在AIME 2024上达到50.0% Pass@1，FIPO提升至56.0%
AIME是本文主要评估基准，理解指标含义才能评估方法有效性
研究动机
现有GRPO风格训练面临严重的粗粒度信用分配问题。奖励仅在轨迹末尾可二元验证，标准公式将均匀优势分配给每个token，导致算法对关键推理步骤和无关token同等对待。具体表现为推理轨迹在中间长度处停滞，DAPO基线的平均CoT长度在约4,000 token处达到平台期，无法进一步扩展。实验显示DAPO在AIME 2024上仅达到50.0% Pass@1，且在训练后期响应长度加权平均优势呈现下降趋势，表明长样本不再带来正相对优势，推理增长动力逐渐衰竭。这种粗粒度分配在复杂推理任务中施加了性能天花板，因为均匀奖励无法突出驱动正确逻辑的具体token，模型无法收敛到困难任务所需的复杂扩展推理路径
本文的目标是本文目标是修改策略更新机制，通过引入Future-KL散度将稀疏的基于结果的奖励转化为密集的token级监督。具体而言，创建密集优势公式，根据token对后续轨迹行为的影响重新加权，从而打破标准GRPO方法的性能天花板。在Qwen2.5-32B-Base模型上实现推理长度从约4,000到超过10,000 token的突破，并将AIME 2024 Pass@1准确率从50.0%提升至56.0%以上。关键是在不引入复杂critic模型的情况下，在更高效的GRPO框架内实现密集监督，解锁基础模型固有的推理潜力
与已有工作不同的是，本文的独特切入角度是在GRPO框架内直接解决稀疏优势信号问题，而非像Open-Reasoner-Zero那样回退到PPO框架。现有方法要么接受GRPO的粗粒度分配限制，要么通过预训练价值模型引入外部知识先验（如VC-PPO、VAPO、T-PPO）。作者认为这种价值模型引入了混淆因素，难以区分性能提升是来自策略优化算法本身还是继承自预训练价值模型。本文证明无需价值模型、从vanilla基础模型出发，通过建立密集优势公式就能达到甚至超越基于预训练价值模型的方法，这是对基于ORM的GRPO算法演化路径的重要探索
核心方法
FIPO的核心思想是在策略更新中加入折扣Future-KL散度，根据当前token触发的后续轨迹的累积行为偏移来重新加权其优势。直观理解是：如果一个token启动了一个被强化学习整体强化的未来轨迹，说明它是一个关键推理步骤，应该获得更大的奖励权重；反之，如果token开启的轨迹被整体抑制，则应降低其权重。技术路线上，首先定义token级的概率偏移作为信用分配的原子单位；然后计算Future-KL作为累积未来偏移；为防止不稳定，引入Dual-Clip过滤和软衰减窗口；最后通过指数变换和裁剪得到影响权重，调制标准优势得到加权优势
核心创新点是认识到不仅可作为正则化的KL散度成本，更可作为行为调整的方向信号。关键发现是RL在超过98%的生成步骤中输出分布相同，仅在稀疏的关键token处干预以保持模型正轨。基于此洞察，FIPO利用Future-KL聚合未来轨迹的分布偏移，将局部瞬时信号扩展为前瞻性影响度量。与PPO的GAE不同，FIPO不需要学习价值函数就能实现token级细粒度优势；与标准GRPO不同，FIPO不是将序列级优势均匀广播，而是根据每个token触发的未来行为的累积偏移动态调整权重，真正实现了密集优势公式。另一个关键创新是通过指数变换将累积标量信号从对数空间转换到乘法域，相当于一个衰减加权的似然比乘积，反映策略对生成未来的有效偏好
方法步骤详情
方法步骤分为四个关键阶段：(1) 概率偏移计算：对每个token计算。正偏移表示当前策略增强了该token，负偏移表示策略在抑制该token。这是捕获瞬时策略漂移的微分信号。(2) Future-KL估计与稳定性处理：计算累积偏移，其中是Dual-Clip过滤器，是衰减因子，tau=32控制有效水平。过滤器将触发硬约束的异常值从Future-KL计算中排除，防止梯度爆炸。(3) 影响权重裁剪：通过得到影响权重，其中[1, 1.2]是32B模型的裁剪范围。对具有过大重要性比的负优势token重置ft=1以防止过度惩罚。(4) 策略更新：采用DAPO的token级公式最大化目标函数，其中ri,t是当前策略与旧策略的概率比，Ai,t是组相对优势，fi,t是Future-KL影响权重
技术新颖性
FIPO的技术新颖性体现在三个方面：一是提出了Future-KL作为一种新的信用分配度量，它不是传统的KL散度正则成本，而是作为累积未来行为偏移的前瞻性指标，这与现有的token级监督方法有本质区别；二是通过Dual-Clip过滤和软衰减窗口解决了长序列生成的稳定性问题，这是从训练不稳定的失败案例中总结的关键设计，特别是发现未调节的负信号会导致训练在约70步时崩溃；三是证明了在GRPO框架内无需复杂critic模型就能实现密集优势公式，挑战了需要复杂价值模型的假设，为基于ORM的算法演化提供了新路径。与依赖预训练价值模型的方法（VC-PPO、VAPO、T-PPO）不同，FIPO从vanilla基础模型出发，避免了外部知识先验的混淆因素，为评估策略优化算法本身的贡献提供了更纯净的实验设置
实验结果
核心发现是FIPO成功打破了现有基线的长度-性能瓶颈。在AIME 2024上，FIPO实现了约6.0%的系统性提升，从DAPO基线的50.0% Pass@1（Avg@32）提升至56.0%，Cons@32从60.0%提升至73.0%，Pass@32从80.0%提升至83.0%。在更具挑战性的AIME 2025上，Pass@1从38.0%提升至43.0%。更重要的是，FIPO将平均CoT长度从约4,000 token扩展到超过10,000 token，这个扩展过程分为四个明显的进化阶段：初始快速探索、持续深度推理、稳定平台期和进一步突破。长度扩展与性能提升呈强正相关，相关系数在不同阶段为0.92-0.63。训练动力学分析显示，FIPO的响应长度加权平均优势持续上升，而DAPO呈现下降趋势，表明FIPO建立了正向强化循环，长样本越来越对应正确解。策略漂移平滑，Policy KL稳步上升，梯度范数保持低且一致，熵持续平滑上升，表明优化过程数值行为良好。DAPO则显示梯度范数剧烈波动，熵出现噪声振荡。FIPO在训练后期需要更多采样批次（从2增加到6），表明模型更积极遍历更广阔的搜索空间，而非像DAPO那样过度拟合训练集
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2024 | Avg@32 (Pass@1) | 56.0% | DAPO 50.0% | +6.0% |
| AIME 2024 | Cons@32 | 73.0% | DAPO 60.0% | +13.0% |
| AIME 2024 | Pass@32 | 83.0% | DAPO 80.0% | +3.0% |
| AIME 2025 | Avg@32 | 43.0% | DAPO 38.0% | +5.0% |
| AIME 2025 | Cons@32 | 50.0% | DAPO 47.0% | +3.0% |
| CoT Length | Mean Tokens | >10,000 | DAPO ~4,000 | +150% |
局限与改进
作者承认的局限性包括：(1) 成本和效率：扩展推理序列增加了显著计算开销，FIPO成功解锁超过10,000 token的CoT长度导致训练和推理成本大幅增长，对资源受限部署构成挑战。作者认为高级推理发展应是顺序过程，首先激发长高质量推理能力，然后优化效率。(2) 任务泛化：评估主要在数学推理基准上进行，虽然数学作为深度推理的严格代理，但在其他开放性或结构较弱领域的探索和验证尚未开展。(3) 训练数据范围：为与基线严格比较，训练仅限于DAPO使用的数据集，未在更大规模或更高质量数据集上探索FIPO的可扩展性。(4) 有限模型范围：核心目标是从无长CoT合成数据暴露的干净基础模型研究RL驱动推理，这限制了适用模型选择。(5) 与蒸馏的性能差距：RL驱动的自我演化仍然是基于发现的过程，本质上不如直接蒸馏高效。我们自己的观察包括：方法仅在数学领域超越o1-mini，由于训练严格限制在数学数据集，这种优势本质上领域特定，不预期在编程或符号逻辑等非数学领域泛化，o1-mini在这些领域受益于大规模多阶段强化学习。此外，长度扩展虽然带来性能提升，但效率成本显著，实际部署需要后续优化。
独立分析的弱点
独立分析的弱点包括：(1) 计算效率瓶颈：CoT长度扩展到10,000+ token导致推理延迟显著增加，实际应用需要后续压缩步骤。可探索知识蒸馏或推理时自适应长度选择，根据问题难度动态调整推理深度。(2) 数据集依赖性：仅在DAPO-17K数学数据集上验证，对其他数据类型的鲁棒性未知。建议在代码、逻辑推理、科学问答等多样化任务上泛化验证，特别是评估方法对奖励函数设计变化的敏感性。(3) 衰减窗口启发式：tau=32和gamma的选择基于实验调优，缺乏理论指导。可研究任务相关的自适应衰减机制，根据任务复杂度动态调整有效水平。(4) Dual-Clip过滤阈值敏感性：过滤器阈值c的选择影响稳定性和梯度质量，可能需要根据模型大小和任务特性调整。建议系统分析不同阈值的影响，探索理论指导的设置原则。(5) 裁剪范围固定：影响权重裁剪在[1, 1.2]固定，可能限制某些token的有效学习信号。可探索动态裁剪或自适应范围，根据训练阶段或样本质量调整。(6) 仅负优势重置：对过大重要性比的负优势token重置ft=1，但正优势可能也需要类似机制防止过度强化。
未来方向
作者提出的未来工作方向包括：(1) 效率优化：将长推理路径转换为更简洁高效的形式是关键下一步，这是论文专注的第一阶段之后的必要步骤。(2) 跨领域验证：在开放性或结构较弱领域探索和验证激发的行为，扩展方法的适用性。(3) 大规模数据探索：在更大规模或更高质量数据分布上探索FIPO的可扩展性和基础扩展性质。(4) 预蒸馏模型应用：研究FIPO在已经内化蒸馏推理模式的模型上的有效性和机制行为，探索密集优势公式能否进一步细化或与预存蒸馏推理能力协同。(5) 多模态扩展：将Future-KL机制扩展到多模态推理任务，探索视觉-语言联合推理中的信用分配问题。基于成果的可延伸方向包括：(6) 自适应CoT长度：开发根据问题难度和置信度动态决定推理长度的机制，平衡性能和效率。(7) 层次化Future-KL：探索多尺度的Future-KL，分别捕获局部逻辑步骤和全局推理链的影响。(8) 与其他RL框架结合：研究Future-KL机制与其他RL算法（如TRPO、ACKTR）的结合，探索更广泛的适用性。(9) 理论分析：建立Future-KL机制的理论保证，分析其在不同任务特性下的收敛性和稳定性性质。
复现评估
作者基于verl框架和DAPO代码库完全开源训练代码和配置配方，为研究社区提供了有价值的见解。具体复现条件包括：(1) 模型：Qwen2.5-32B-Base，这是无长CoT合成数据暴露的高质量vanilla基础模型，确保实验纯度。(2) 框架：VeRL框架用于训练和基线复现，这个专门为LLM强化学习设计的框架提供了良好的可扩展性。(3) 数据集：DAPO-17K公开训练数据集，每个训练批次512个提示，每提示16个响应，总计8,192训练样本。小批次大小从DAPO的512样本增加到1,024样本，改进训练稳定性。(4) 超参数：Future-KL有效水平tau=32，影响权重裁剪[1, 1.2]，最大响应长度20,480 token，超过16,384 token应用过长惩罚。评估重复32次，温度1.0，top-p 0.7。(5) 算力需求：论文未明确报告具体GPU数量和训练时间，但32B模型和8K训练样本表明需要显著计算资源。开源代码和详细超参数设置使复现相对容易，但32B模型训练的算力要求对学术研究者仍是挑战。
论文图表
