BandPO：通过概率感知边界弥合信赖域与比率裁剪的鸿沟 BandPO: Bridging Trust Regions and Ratio Clipping via Probability-Aware Bounds for LLM Reinforcement Learning

BandPO 的方法步骤如下：第一步，定义信赖域。对于固定状态 $s_t$，令 $P(\cdot) = \pi_{\text{old}}(\cdot|s_t)$ 和 $Q(\cdot) = \pi_\theta(\cdot|s_t)$ 分别表示旧策略和新策略在词汇表 $\mathcal{V}$ 上的分布。选择 $f$-散度生成函数 $f$ 和半径 $\delta$，定义信赖域 $\mathcal{T}_{f,\delta}(P)$。第二步，降维优化。对于目标动作 $a$，通过 Lemma 1 证明最优解在补集上保持比例不变，即 $Q^\star(b)/P(b) = c$ 对所有 $b \neq a$ 成立，其中 $c = (1-rp)/(1-p)$。这将散度约束简化为标量方程 $g_f(p, r) = p f(r) + (1-p) f\left(\frac{1-rp}{1-p}\right) = \delta$。第三步，求解裁剪边界。由 Theorem 1，$g_f(p, r)$ 关于 $r$ 严格凸，全局最小值 $g_f(p, 1) = 0$，因此方程 $g_f(p, r) = \delta$ 恰好有两个根，分别对应下界 $\underline{r}$ 和上界 $\overline{r}$。对于 TV 和 $\chi^2$ 散度，可直接得到闭式解：$\overline{r}_{\text{TV}} = 1 + \delta/p$，$\overline{r}_{\chi^2} = 1 + \sqrt{\delta(1-p)/p}$。对于 KL 散度，需使用二分法数值求解。第四步，替换 GRPO 中的裁剪操作。将 GRPO 的 per-token 目标函数中的 clip 替换为 Band：$\mathcal{J}^{\text{Band}}_t(\theta; y_i) = \min\left[r_{t,i} A_{t,i}, \text{Band}_{f,\delta}(r_{t,i}; y_{t,i}, \pi_{\text{old}}(\cdot|s_{t,i})) A_{t,i}\right] - \beta D_{\text{KL}}(\pi_{\text{ref}} \| \pi_\theta)_t$。第五步，使用 CUDA 加速的并行二分法高效求解 Band 边界，应用于每个 token。

BandPO 的技术新颖性体现在多个层面：（1）理论框架创新——首次将 $f$-散度信赖域投影为概率感知的裁剪区间，并证明这是一个凸优化问题，保证全局最优解。这一框架统一处理了 KL、TV、$\chi^2$ 等所有 $f$-散度，而现有方法要么只处理 KL（如 TRPO），要么使用启发式规则。（2）数学工具创新——Lemma 1 的均匀补集缩放最优性是关键的数学洞察，它将 $V$ 维优化严格降维为一维，使得问题从计算不可行变为高效可解。这一引理的证明依赖于 $f$ 的严格凸性和分布的对称性，具有独立的理论价值。（3）闭式解推导——对 TV 散度得到 $\overline{r} = 1 + \delta/p$（与逆概率线性缩放），对 $\chi^2$ 散度得到 $\overline{r} = 1 + \sqrt{\delta(1-p)/p}$（与赔率的平方根缩放），这些闭式解揭示了不同散度对裁剪行为的内在影响机制。（4）理论性质证明——严格单调性（Proposition 2）和渐近行为（Proposition 1）的证明为 Band 算子提供了坚实的理论基础，特别是当 $p \to 0^+$ 时上界趋向 $+\infty$ 的性质从理论上保证了探索瓶颈的解决。（5）单纯形饱和处理——Proposition 3 给出了信赖域超出单纯形边界时的处理方案，确保所有 Band 变体都严格保持几何一致性，这与 DCPO 和 DAPO 在高概率区域违反理论上限的行为形成鲜明对比。

BandPO 存在以下几个可改进的弱点：（1）KL 散度的计算效率问题——尽管论文提出了 CUDA 加速的并行二分法，但 KL 散度仍需约 20-30 次迭代才能收敛到所需精度，在大规模训练中每步增加的延迟不可忽略。改进方向：可以探索 KL 散度的高精度多项式近似，或开发基于牛顿法的快速求解器，利用 $g_f(p, r)$ 的严格凸性实现超线性收敛。（2）统一半径的局限性——对所有 token 使用相同的 $\delta$ 确实过于粗糙。例如，数学推理中的关键操作符（如加号、等号）和推理转折词（如 therefore、however）的信息价值差异巨大。改进方向：可以引入 token 级别的自适应 $\delta_t$，基于策略熵、token 频率或语义重要性动态调整，论文作者也已将此列为未来工作。（3）实验覆盖面有限——仅在数学推理任务上验证，未涉及代码生成、常识推理、开放域对话等任务。改进方向：在 HumanEval（代码）、GSM8K（基础数学）、MMLU（多领域知识）等更广泛的基准上评估，验证 Band 算子的通用性。（4）超参数 $\delta$ 的选择缺乏指导——虽然 $\delta = 0.05$ 被推荐为默认值，但对于不同模型规模（从 1.5B 到 70B+）和不同任务难度，最优 $\delta$ 可能差异显著。改进方向：开发自适应 $\delta$ 调度策略，例如根据训练过程中的策略熵或 KL 散度自动调整。

论文作者明确提出了两个未来研究方向：（1）自适应 Band 算子——从静态全局半径 $\delta$ 过渡到动态的 token 级半径 $\delta_t$，通过策略熵或语义不确定性等 token 级指标来调节约束强度。具体而言，对低熵的句法转移赋予更紧的约束以保持稳定，对高不确定性的推理步骤放松约束以促进深层探索。（2）未来还将研究自适应 Band 算子的具体实现方案和效果。除了作者提出的方向，基于本文成果还可以延伸出以下研究方向：（3）跨任务泛化——将 Band 算子推广到代码生成、多步推理、工具使用等更复杂的 LLM 任务，探索不同任务类型下最优散度选择和半径设置的规律。（4）与 RLVR 的深度融合——本文的理论框架直接针对可验证奖励场景设计，未来可以探索将 Band 算子与过程奖励模型（Process Reward Model）结合，在推理链的每一步施加自适应约束。（5）多散度混合策略——当前框架每次只使用一种 $f$-散度，未来可以探索在不同训练阶段或不同 token 类型上混合使用多种散度，例如在早期训练使用 KL 散度促进探索，在后期切换到 TV 散度加强约束。（6）理论扩展——将 Band 框架推广到连续动作空间的策略梯度方法中，探索其在机器人控制、自动驾驶等领域的应用潜力。

从复现角度来看，BandPO 的复现条件如下：（1）开源情况——论文已提供 GitHub 仓库链接（https://github.com/OpenMOSS/BandPO），代码开源。（2）数据可用性——训练使用 DAPO + MATH Levels 3-5 复合数据集，验证使用 AMC 2023、AIME 2024、AIME 2025 基准，这些数据集均为公开可获取。（3）算力需求——实验在 8 块 NVIDIA H200 GPU 上使用 verl 框架完成，全球批量大小 256（mini-batch 64，micro-batch 8），学习率 $1 \times 10^{-6}$。1.5B/3B 模型训练 800 步，7B/8B 模型训练 500 步。这是相当高的算力门槛，个人研究者可能难以完全复现。（4）关键实现细节——论文提供了充足的实现细节：使用 CUDA 加速的并行二分法求解 Band 边界，采用非对称裁剪阈值 $\epsilon^+ = 0.28, \epsilon^- = 0.2$，采样温度和 top-p 均设为 1.0，所有实验重复三次。对于 TV 和 $\chi^2$ 散度的闭式解可直接实现，KL 散度的二分法求解器也提供了详细的算法描述（Appendix A.6）。（5）复现难度评估——中等偏高。核心算法实现不复杂（二分法求根），但 CUDA 并行化和与 verl 框架的集成需要一定的工程经验。此外，需要 H200 级别的 GPU 才能在合理时间内完成完整实验，使用较小 GPU 可能需要相应减少批量大小或训练步数。