分支化在策略蒸馏（BranchOPD） Branching On-Policy Distillation

第一步（滚动采样）：冻结滚动策略 $\pi_{\theta_{old}}\leftarrow\pi_\theta$，温度 1、无截断地为输入 $x$ 生成一条主轨迹；数学任务是单轮回答，智能体任务是最多 $M$ 轮「回复—观察」交替，观察只作上下文、不参与监督。第二步（分叉点选择）：对每个合法 token 位置计算 $U_t$（top-20 概率的熵）与 $D_t$（128 token 窗口聚合的 $-\Delta\log p_t$），秩归一化后混合成 $v_t$；数学任务选得分最高且熵 $\ge 0.5$ 的至多 $B=3$ 个位置；智能体任务按轮次分 $v_{turn}(m)$（轮内 top-20% 位置分均值）选至多 3 个轮次（轮次间至少间隔 1 轮），再从该轮得分前三的合法位置中均匀抽一个作分叉。第三步（分支重采样）：固定 $\pi_{\theta_{old}}$ 与 $\theta$，从每个分叉前缀 $s_b$ 独立重采样 $k=2$ 条续写，智能体任务先恢复环境状态；保留所有后缀（含首 token 与主轨迹相同者，它们可能之后才分叉），每个输入最多得 $1+Bk=7$ 条轨迹。第四步（训练）：掩码 $M_{i,t}$ 保留主轨迹全部生成 token 与分支从分叉起的 token；蒸馏信号 $\Delta\log p_t=\log\pi_T(a_t|s_t)-\log\pi_\theta(a_t|s_t)$ 经截断与梯度截停成为优势 $A_{i,t}=\mathrm{clip}(\mathrm{sg}[\Delta\log p_{i,t}],-\delta,\delta)$，配重要性比 $r_{i,t}=\pi_\theta(a_{i,t}|s_{i,t})/\pi_{\theta_{old}}(a_{i,t}|s_{i,t})$ 与 PPO 裁剪（$\epsilon=0.2$）组成 token 均值损失 $\mathcal{L}_{tree}$，共享前缀只计一次。第五步（PBR）：固定规则检测器扫描轨迹产出约束 $(s,C,b)$，加二元交叉熵辅助损失 $\ell_{proto}=-b\log p_\theta(C|s)-(1-b)\log[1-p_\theta(C|s)]$——数学答案完成后提升 EOS（$b=1$）、智能体回复开头抑制多余闭合思考标签（$b=0$）——总损失 $\mathcal{L}_{train}=\mathcal{L}_{tree}+\Psi[\lambda\,\mathrm{mean}\,\ell_{proto}]$（$\lambda=0.01$，损失上限 $c_{PBR}=0.02$）。

技术新颖性有三点。其一，把分支的目的从 RL 的「奖励比较」改为蒸馏的「监督收集」：树搜索/分支 RL（如 high-entropy forking、Tree-RL）需要任务奖励评判分支优劣，BranchOPD 的每个分支 token 直接获得教师 $\Delta\log p$ 信号，零奖励、零验证器，因此可用于没有可靠奖励信号的蒸馏场景。其二，统计上的干净性：分叉点虽由主轨迹决定，但 Proposition 1 表明只要每条分支满足 $\tau_{b,j}|F_0\sim\pi_{\theta_{old}}(\cdot|s_b)$，$\hat J_{RS}$ 便是条件期望的无偏估计、方差随 $k$ 以 $1/k$ 下降；覆盖概率 $\Pr(\exists j: a_{b,j}\ne a_0)=1-\pi_{\theta_{old}}(a_0|s_b)^k$ 随 $k$ 边际递减，这直接支撑了「多分叉点 × 少续写数」的预算配置（$B=3,k=2$ 优于 $B=3,k=3$）。其三，PBR 针对的是「协议级错误」——由任务格式而非教师分布定义对错：教师被条件在重复的学生前缀上时自己也会跟着重复（附录 B.5：教师自身干净，但在学生重复前缀下平均多写 1.64/1.50 个多余闭合标签），所以通用重复惩罚无效，必须在学生前缀上做定点修复——这解释了 PBR（38.94）远超重复惩罚（28.70-30.40）与过长过滤（33.20）的原因。

独立分析的弱点与改进方向：其一，分叉选择信号是纯启发式的——熵与 128 窗口聚合的 $-\Delta\log p$ 都不是「该分叉会产生有用且不同行为」的预测器；Table 10 显示即使强制以噪声 token（!）开分支也能比 Vanilla OPD (+PBR) 多得约 1 分，说明当前增益中可能混有「任何额外采样都有用」的成分，改进方向是训练轻量价值头直接预测分叉的期望信息增益。其二，$B=3,k=2$ 对所有输入一视同仁，直觉上更难的题应分更多支；但论文中「只从失败主轨迹分叉」的消融反而掉到 36.82，说明朴素自适应不成立，需要按替代质量与历史救援率联合调度预算。其三，环境回放成本在真实环境会被放大，可用学习到的世界模型或观察缓存避免真实重放，同时保持续写分布近似不变。其四，PBR 只覆盖 EOS 与格式标签两类事件，更广义的协议约束（必须调用某工具、禁止越权动作）需要可组合的约束规范语言与自动检测器。其五，评估每任务仅 1 条轨迹，Table 3 内 57.86 对 55.71 这类差距可能落在噪声范围内，应报告多种子或多轨迹平均与置信区间。其六，数学教师是通用 8B 指令模型而非数学专用或 RL 后模型，18.55 分的提升在更强教师下是否仍成立未知；分支与序列级信用分配（过程奖励、优势加权）的结合完全空白。

作者提出的与可延伸的方向：其一，自适应预算——论文的覆盖分析（$\Pr(\exists j: a_{b,j}\ne a_0)=1-\pi_{\theta_{old}}(a_0|s_b)^k$ 及 $E[N_k]$ 的边际递减）天然指向按分叉质量动态分配 $B$ 与 $k$ 的预算优化器；其二，把分支从 token/轮次级推广到语义级或子目标级，与层次化智能体结合；其三，与序列级信用分配结合——本文目标刻意保持 token 局部，分支历史恰好为过程级价值估计提供了同前缀对照数据，可学习分支条件价值来加权 $\Delta\log p$；其四，分支与验证器结合：救援率高达 42.7%（数学）说明「失败主轨迹上的成功分支」是高价值样本，在有可靠验证器的域可对其筛选或加权，融合 SPOT 式结果校准；其五，PBR 的事件检测可由固定规则升级为可学习判别器，处理更微妙的格式漂移与协议迁移；其六，系统侧把共享前缀的节省从生成扩展到训练前向（分支感知的 KV 缓存复用），进一步压低 4.24-5.68 倍的生成开销；其七，跨域检验代码生成、工具调用、网页导航等有真实状态恢复成本的环境；其八，理论上把「分支多样性 → 学生分布收敛」的关系形式化，例如分支覆盖度与泛化误差的定量联系。

复现条件较好：代码在 github.com/chendy25/BranchOPD，模型权重在 huggingface.co/BranchOPD 开源，论文首页直接给出链接。数据全部公开：训练用 DAPO-Math-17K（17,398 例）与 ALFWorld/WebShop/Search-QA 环境数据，评测用 MATH-500、AIME 2024/2025、ALFWorld（140 ID + 134 OOD）、WebShop（128 held-out）与统一混合验证集。算力门槛中等偏高：数学训练中 rollout 与教师推理各占一台 8 卡机（张量并行 1/2），智能体任务为 8+8 卡（TP 2/8），需要 FSDP、动态批量、梯度检查点与异步 vLLM 的成熟基础设施；但训练量不大（数学 2 epochs 共 270 步，ALFWorld 2 epochs/6,400 例，学习率 $10^{-6}$）。复现难点：PBR 依赖具体协议 token id 与手工规则，跨模型需重写；分叉选择涉及秩归一化、top-20 熵、128 窗口聚合、资格过滤等多处工程细节（附录 D 给了较完整列表）；智能体分支需要精确的环境快照/回放以保证 Proposition 1 的条件分布成立，实现质量直接影响结果；EOPD、SPOT、TCOD 等基线需自行复现对齐。总体而言，附录 D/E/F/G 提供了超参、评测协议、伪代码与全部 prompt 模板，透明度很高；有 RLHF/agent 训练经验的团队可以复现，缺基础设施的小团队难度较大。