APPO：面向智能体强化学习的过程级策略优化 APPO: Agentic Procedural Policy Optimization

APPO 执行分四阶段。(1) 初始化：用当前策略采样 $N$ 条 rollout 作为树的根，预算 $M$。(2) 评分：对每 token 算 $\Omega$（累积对数 IS 比 + 折扣 $\gamma$）与熵 $H_t$，rollout 内 z-score 归一化相乘得 Branching Score。(3) 树扩展：选 top-$B$ 个 BS token 重采样得分支，$L=1$ 时 $(B+1)N=M$。(4) 优化：$T^{\mathrm{init}}$ 与 $T^{\mathrm{branch}}$ 分别做组内归一化得 $\hat{A}^{\mathrm{base}}$，叠加 $\hat{A}^{\mathrm{fut}}$ 后用 PPO-clip 目标 $J(\theta)=\mathbb{E}[\min\rho\hat{A},\mathrm{clip}(\rho)\hat{A}]-\beta\mathrm{KL}$ 优化，分支不直接回传梯度。

新颖性体现在三方面。第一是 BS 形式：$\Omega$ clip 到 $[1-\epsilon',1+\epsilon']$ 再 z-score 归一化，避免单条 rollout 极端 token 主导分支，与 PPO 风格一致；折扣 $\gamma=2^{-1/\tau}$（$\tau=32$）抑制远端方差。第二是 dual-group 优势：把 $T^{\mathrm{init}}$（$\pi_{\mathrm{old}}$ 生成）和 $T^{\mathrm{branch}}$（mini-batch $\pi_\theta$ 生成）拆开做组内归一化，避免不同策略分布样本混合产生偏差，这是 ARPO 等方法的隐含缺陷。第三是理论：Theorem 3.1 在「条件方差随 BS 单调」假设下证明 APPO 梯度方差上界不超过随机分支；Theorem 3.2 在 KL 受限与 $\hat{A}^{\mathrm{fut}}$ 有界条件下给出策略改进下界。

独立分析下 APPO 至少有四个可改进弱点。第一，$\Omega$ 累加即便有折扣，远端 token 仍贡献可观噪声，特别在 $\pi_\theta$ 与 $\pi_{\mathrm{old}}$ 差距小时退化为零信号，可考虑用指数移动平均或截断窗口替代全局累加。第二，BS 中 clip 上界 $1+\epsilon'$ 选择敏感：过紧会丢失真正激进的下游策略转移，过松会放大个别极端 token。第三，双组优势分离避免分布混合但忽略跨组语义互补，分支有时可能比根轨迹更优，简单组内归一化会丢弃这种跨组信号，可考虑加入 importance-weighted 跨组对比项。第四，$\hat{A}^{\mathrm{fut}}$ 中 $b$ 取值缺乏消融，未来需研究 $b$ 与训练进度、奖励稀疏度的关系。

作者在结论中提出两个延伸方向：(1) 将「过程」概念泛化到多模态 agent（视觉、音频）与多智能体协作场景，让 BS 跨模态度量决策影响力；(2) 把 BS 与过程奖励模型（PRM）结合，进一步细化到子步骤级别的奖励标注。基于结果可延伸的方向还包括：(a) 在 reasoning 模型（如 QwQ、DeepSeek-R1）上验证 APPO 是否仍带来 4 点提升，因为这些模型本身就具备长思维链，可能已经隐式学会了细粒度决策；(b) 探索 BS 与 MCTS 的结合——目前 BS 只选 top-B 个分支点，没有回溯到整棵树打分，可以借鉴 MCTS-TS 的 UCB 思想让 BS 自适应；(c) 把 APPO 应用到 web agent（WebArena、Mind2Web）等开放环境，验证其在非数学场景的可迁移性；(d) 研究 BS 对模型解释性的潜在价值——既然 BS 标定了「关键决策 token」，可以反推用来自动标注训练数据中的关键推理步骤。

复现方面，论文给出项目页（Github，未明确 release 状态），主体基于 VeRL 框架；超参（batch 128、mini-batch 16、$\gamma=2^{-1/\tau}$（$\tau=32$）、$\beta=0$、数学 2 epoch / 搜索 5 epoch）均明示。计算资源方面需在 Llama3.1-8B、Qwen2.5-7B、Qwen3-8B、Qwen3-14B 四种 backbone 各跑一次完整训练，按 128 batch + 14B 模型估计至少 32 张 A100 级别 GPU，搜索任务训练 5 epoch 成本更高；评测侧需 Qwen2.5-72B-Instruct + vLLM 作为 LLM-judge，额外 72B 推理资源。复现难度评估为中高：算法本身可实现，但双组优势分离、$\Omega$ 计算、VeRL 工程细节会增加调试成本；主要风险在于 $\pi_{\mathrm{old}}$ 与 mini-batch $\pi_\theta$ 的对齐、clip $\epsilon'$ 取值，以及 Bing top-10 检索结果的可重复性。