基于在线因果卡尔曼滤波的稳定高效策略优化 Online Causal Kalman Filtering for Stable and Effective Policy Optimization

KPO的完整流程包含以下步骤：**步骤1：计算原始对数IS比率。** 对序列中的每个token位置 $t$，计算 $z_t = \log \pi_\theta(y_t|x, y_{<t}) - \log \pi_{\theta_{old}}(y_t|x, y_{<t})$，即新旧策略对数概率之差。这是卡尔曼滤波的观测值。**步骤2：初始化卡尔曼滤波器。** 设置初始后验均值 $\hat{\rho}_{0|0} = 0$（对应IS比率为1，即on-policy），初始后验方差 $P_{0|0} = P_0$。设置过程噪声方差 $Q$ 和观测噪声方差 $V$。**步骤3：因果卡尔曼滤波（逐token自回归处理）。** 对 $t = 1, 2, ..., T$：（a）预测步：$\hat{\rho}_{t|t-1} = \hat{\rho}_{t-1|t-1}$，$P_{t|t-1} = P_{t-1|t-1} + Q$；（b）计算新息（innovation）：$\delta_t = z_t - \hat{\rho}_{t|t-1}$；（c）计算卡尔曼增益：$K_t = \frac{P_{t|t-1}}{P_{t|t-1} + V}$；（d）更新步：$\hat{\rho}_{t|t} = \hat{\rho}_{t|t-1} + K_t \delta_t$，$P_{t|t} = (1-K_t)P_{t|t-1}$。**步骤4：变换回比率空间。** 对每个token计算 $\tilde{r}_t = \exp(\hat{\rho}_{t|t})$。**步骤5：构造KPO目标函数。** 用滤波后的比率 $\tilde{r}_t$ 替换GRPO目标中的原始比率 $r_t$，得到 $J_{KPO}$。论文提出了两个变体：KPO-clipped（保留PPO风格的clipping，$\tilde{r}'_t = \text{clip}(\tilde{r}_t, 1-\epsilon_-, 1+\epsilon_+)$）和KPO-unclipped（不使用clipping）。实验中KPO-clipped使用 $Q = 1 \times 10^{-6}$，$V = 1$，$\epsilon_- = 0.0003$，$\epsilon_+ = 0.0004$。

KPO的技术新颖性体现在三个层面。**第一，视角创新：时间序列分析视角。** 这是首次将token级IS比率视为结构化时间序列来分析。论文通过精心设计的三个统计量（窗口频率、游程长度、切换频率）实证揭示了token级IS比率的局部结构不一致性——这是一个反直觉的发现，因为直觉上相邻token应该表现出相似的离策略偏差。**第二，建模创新：状态空间模型建模。** 将IS比率平滑问题建模为状态空间模型中的滤波问题是一个新颖的技术路线。过程方程采用随机游走模型 $\rho_t = \rho_{t-1} + \eta_t$，观测方程 $z_t = \rho_t + \epsilon_t$ 直接对应IS比率的计算和噪声。这种建模方式自然地分离了信号（潜变量的缓慢演化）和噪声（观测的高频波动）。**第三，算法创新：因果卡尔曼滤波。** 与序列级方法的关键区别在于KPO是因果的（causal）——它只使用过去和当前token的信息来估计当前的IS比率，这与自回归生成的因果性质一致。与token级独立调整方法的区别在于KPO引入了时间依赖——当前token的估计会考虑相邻token的历史信息，从而保持局部一致性。此外，卡尔曼增益的自适应机制使得KPO能够自动平衡平滑程度和响应速度，无需手动设计启发式规则。

基于对论文的深入分析，我认为KPO存在以下弱点和改进方向。**弱点1：因果性带来的计算瓶颈。** 卡尔曼滤波的逐token自回归处理与模型的自回归生成具有相同的时间复杂度问题——无法并行化。在长序列（如4096 token）场景下，这会成为训练的瓶颈。改进方向：可以探索并行卡尔曼滤波的近似算法，例如基于前缀和（prefix-sum）的并行扫描算法，或者将长序列分成多个窗口分别滤波再拼接。**弱点2：超参数敏感性。** 实验表明 $Q/V = 10^{-6}$ 表现最佳，而 $Q/V = 10^{-2}$ 会导致训练后期性能下降。这意味着用户需要仔细调优这些超参数，而论文未提供自动调优的指导。改进方向：可以设计自适应的噪声估计方法，例如用指数移动平均在线估计观测噪声方差 $V$，或者用贝叶斯优化自动搜索 $Q/V$。**弱点3：状态空间模型的假设过于简单。** 随机游走过程模型 $\rho_t = \rho_{t-1} + \eta_t$ 假设潜变量的变化是无方向的，但实际的离策略偏差可能具有趋势性（如论文观察到的窗口频率递增）。改进方向：可以考虑带漂移的随机游走模型或更复杂的ARMA模型。**弱点4：缺乏与token级方法的公平对比。** 论文只与序列级方法（GMPO、GSPO）和基础GRPO对比，未与SAPO、ASPO等token级调整方法进行实验对比，无法确认KPO相对于这些方法的优势。

基于KPO的成果，未来研究可以从以下几个方向展开。**作者提出的方向：** 设计并行化的卡尔曼滤波算法，以解决长序列场景下的计算效率问题。**基于方法可延伸的方向：**（1）将KPO应用于更大的模型（如70B、数百B参数）和更多任务类型（代码生成、多轮对话、agent任务），验证其在不同规模和场景下的泛化性。（2）探索KPO与其他GRPO改进技术的组合，例如与DAPO的解耦clipping、Dr. GRPO的偏差修正、BNPO的Beta归一化等方法结合，可能产生叠加效果。（3）将卡尔曼滤波的思想扩展到优势估计本身——当前KPO只平滑IS比率，但token级优势估计也可能存在类似的结构不一致性，可以考虑对优势函数也进行因果平滑。（4）研究 $Q$ 和 $V$ 的自适应估计方法，使KPO能够自动适应不同模型和任务的特性。（5）将KPO的思想应用于多轮RLHF场景，其中序列间的策略漂移可能更复杂，需要更高维的状态空间模型。

论文的复现条件相当友好。**开源情况：** 作者已将代码发布在 GitHub（https://github.com/shuohe1995/verl-kpo），使用的是verl框架，这是一个成熟的RL训练框架。**数据集：** 使用DAPO的数学训练语库，这是公开可用的数据集，包含多样化的数学问题和可验证的解答。**算力需求：** 论文使用NVIDIA H100 GPU进行实验，基础模型Qwen3-4B（4B参数）的训练在单机多卡上应该可行，但具体需要几张卡未明确说明。考虑到batch size为32、group size为8、最大序列长度为4096，可能需要4-8张H100。**复现难度：** 中等偏低。KPO的核心实现仅需在GRPO的损失计算前增加一个卡尔曼滤波步骤，算法本身简单清晰（论文附录给出了完整的伪代码）。超参数设置明确（$Q = 10^{-6}$，$V = 1$，$\epsilon_- = 0.0003$，$\epsilon_+ = 0.0004$）。主要的复现挑战可能在于verl框架的环境配置和H100算力的获取。