未来KL正则化GRPO：从f-散度正则化推导过程级信用分配 Future-KL Regularized GRPO: Process-Level Credit Assignment from f-Divergence Regularization

FRPO 的算法流程分为三步。第一步，标准 GRPO 优势计算：对每个 prompt $x$ 采样 $G$ 个回复 $\{o_i\}_{i=1}^G \sim \pi_{\theta_{old}}(\cdot|x)$，用 verifier 得到奖励 $r_i$，计算组内均值 $\mu_G$ 和标准差 $\sigma_G$，得到标准化优势 $\hat{A}_i^{GRPO} = (r_i - \mu_G)/\sigma_G$。第二步，future-KL 修正计算：对每个回复 $i$ 的每个 token $t$，计算 log ratio $\delta_{i,j} = \log \frac{\pi_\theta(o_{i,j}|s_{i,j})}{\pi_{ref}(o_{i,j}|s_{i,j})}$，然后从末尾向前做反向累积和得到 future-KL return-to-go $\sum_{j=t}^{T_i} \delta_{i,j}$。实际实现使用 rollout log-probabilities 以提高效率。第三步，组合优势：最终 token 权重为 $\hat{A}_{i,t}^{FRPO} = sg\left(\hat{A}_i^{GRPO} - \beta \sum_{j=t}^{T_i} \delta_{i,j}\right)$，其中 $sg$ 表示 stop-gradient（采样系数作为不求导权重）。然后将此权重代入标准 PPO clipped surrogate 进行优化。由于 future-KL 修正被纳入 advantage，PPO 的 importance ratio $\rho_{i,t}$ 同时作用于 verifier reward 信号和正则化信号。

FRPO 的技术新颖性体现在多个层面。首先，理论层面：论文首次严格推导了 GRPO 风格非线性效用 + token 级 f-散度正则化下的 on-policy 策略梯度（Theorem 4.1），揭示了 $\ell'$ 在 reward 和正则化项间的不对称性（Corollary 4.2），并证明了 loss-side KL 在 on-policy 下仍遗漏 future state-distribution 项（Proposition 4.3）。其次，概念层面：论文明确区分了两个常被混淆的问题——estimator 问题（rollout 分布失配）和 objective 问题（即使 on-policy 也遗漏未来项），并指出 GRPO 的非线性效用使得 reward 和 KL 不可融合，这在 MaxEnt RL 的线性设置下是不存在的。第三，算法层面：future-KL 修正的解耦放置——保留 GRPO 的 outcome-level normalization 同时在之后添加 token 级 KL 修正——不同于 KL-in-reward（在 normalization 前融合）、loss-side KL（只求局部导数）、和 GAE + KL-in-reward（引入 critic 并改变 normalization 语义）。最后，论文还从 KL 正则化最优策略的角度（Theorem 5.3）给出了 process reward 解释，建立了策略梯度推导和最优性条件之间的桥梁。

从独立分析的角度，FRPO 存在以下弱点：第一，future-KL 修正使用单一超参数 $\beta$ 控制正则化强度，但不同 prompt 难度、不同位置的 token 可能需要不同的正则化强度，缺乏自适应机制。改进方向：可以设计 prompt-dependent 或 position-dependent 的 $\beta$ 调度。第二，反向累积和 $\sum_{j=t}^{T_i} \delta_{i,j}$ 对长序列可能累积较大方差，特别是当 response 长度变异大时（论文中 Figure 2 显示 response length 约 1000-3000 tokens）。改进方向：可以引入衰减因子 $\gamma$，使用 $\sum_{j=t}^{T_i} \gamma^{j-t} \delta_{i,j}$ 来降低远期项的影响。第三，k3 估计器的 baseline 减除实验失败，说明当前 baseline 设计粗糙——使用 batch 平均 KL 乘以剩余长度 $(T-i) \cdot \bar{D}_{KL}$ 过于简单。改进方向：可以学习一个 token 级别的 baseline 或使用更精细的方差缩减技术。第四，论文未探索 future-KL 与 process reward model (PRM) 的结合，而 PRM 已经提供 token 级别的信号，两者可能存在互补关系。

作者提出的未来方向包括：探索更精细的 baseline 估计方法以改善 k3 估计器下的 future-KL 性能。基于本文成果可延伸的方向更多：第一，将 FRPO 扩展到非数学推理任务，如代码生成、多轮对话、开放式问答，验证 future-KL 信用分配的通用价值。第二，探索 future-KL 与 process reward model 的融合——PRM 提供 token 级别的 outcome signal，future-KL 提供 token 级别的 regularization signal，两者结合可能实现更精细的过程级控制。第三，研究 forward KL 和 reverse KL 的混合策略（如 $\alpha$-divergence 家族），利用 f-散度的一般框架设计自适应正则化。第四，将 future-KL 结构与 RLHF 中的 reward model 结合，探索在非二值、学习到的 reward 下的效果。第五，分析 future-KL 在 reasoning chain 中的分布特性——early tokens 是否确实承担更多 KL 信用，这可以帮助理解模型的推理路径构建过程。

论文提供了 GitHub 代码仓库（https://github.com/ScaleML/KL-in-LLM-RL），这对复现很有帮助。训练使用约 12,000 个数学问题（DAPO-Math-17k 的过滤版本），评估涵盖 6 个标准基准，数据获取相对容易。算力方面，实验使用了 Qwen3-1.7B、4B 和 30B-A3B 三个模型，30B MoE 模型的训练需要较大计算资源，但 1.7B 和 4B 的实验应该可以在较小集群上复现。方法本身的实现非常简洁——约十行代码改动，主要是 per-token log ratio 的反向累积和，复现难度低。pass@16 的评估使用 1000 次 bootstrap 采样，这是标准做法但计算量不小。总体而言，复现条件较好，代码开源、方法简单、数据公开。