SAKI：面向在线策略蒸馏的最大耦合路由教师监督 SAKI: Maximal-Coupling-Routed Teacher Supervision for On-Policy Distillation

完整流程如下。(1) 前缀编码：给定前缀 $h_t=(x,y_{<t})$，冻结的 rollout 学生给出 $p_t$，固定教师给出 $T_t$（全词表 logits 常驻 GPU）。(2) 信任域求解：对每个位置批量二分（16 个固定波次）求满足 $D_{KL}(q_{\beta,t}\|p_t)\le\epsilon$ 的最大 $\beta_t$；附录 H 证明正残差只落在教师-学生似然比超过某个前缀相关阈值的 token 上。(3) 最大耦合：学生提议 $z_t\sim p_t$，接受概率 $a_t(z_t)=\min\{1,q_t(z_t)/p_t(z_t)\}$；接受则 rollout token 为 $z_t$、$C_t=0$；否则从 $r_t(v)\propto[q_t(v)-p_t(v)]_+$ 采出纠正 token $c_t$ 作为 rollout token、$C_t=1$。(4) 监督路由：接受位置计算 $L_{RKL,t}=-A_t\log\pi_\theta(y_t|h_t)$，其中 $A_t=-\mathrm{sg}[\log p_t(y_t)-\log T_t(y_t)]$；纠正位置取 $v_t^*=\arg\max_v T_t(v)$，计算 $L_{TM,t}=-\log\pi_\theta(v_t^*|h_t)$；总损失 $\mathcal{L}=\frac{1}{N_{valid}}\sum_t M_t\left[(1-C_t)L_{RKL,t}+C_t L_{TM,t}\right]$，纠正项不与 RKL 叠加。(5) 退火：$\epsilon$ 从 0.02 线性降至 0（前 50 步），第 51 步后无纠正事件，目标精确退化为标准 OPD RKL（附录 J.1）。(6) 高效执行：学生一次草拟 $K=8$ 个 token，教师单批验证整个提案路径，引擎内批量构造 $q$、解 $\beta$、从左到右评估接受；首个拒绝处提交精确残差纠正并丢弃其后投机 token 与 KV 状态，训练循环只接收提交 token、纠正掩码、所选 log 概率、教师 Top-1 目标等紧凑元数据。

技术新颖性体现在四个层面。第一，目标层面：此前没有工作把引导 rollout 的实现事件（接受/纠正）作为监督路由器——Draft-OPD 用投机验证结果提供训练结构但服务于草稿模型蒸馏，TV 加权等方法是外部启发式，而 $C_t$ 是带精确分布语义（$TV(p_t,q_t)$）的内生实现事件。第二，理论层面：论文给出三条干净的保证——输出边缘精确等于 $q$（命题 1）、纠正概率是所有耦合中最小的（命题 2）、信任域同时约束 rollout 偏移与干预/特殊监督频率（推论 1，经 Pinsker 不等式），并证明接受分支的 RKL 期望恰支持在重叠质量 $\min\{p,q\}$ 上，使两类监督构成同一耦合实现的互补分解。第三，目标设计层面：纠正处采用教师 Top-1 的硬标签 NLL（等价于以点质量 $\delta_{v^*}$ 为目标的前向 KL），与 teacher-sampled 目标相比多 0.62 Mean@8 / 1.56 Pass@8，说明高冲突位置需要低方差的众数锚点。第四，系统层面：引擎常驻的精确 q 投机验证（含首次拒绝提交/回滚与精确残差纠正）被证明与顺序采样严格同分布（命题 3），在保持数学语义的同时把吞吐从 776 提升到 3,276 tokens/s（4.22 倍），这与只做加速、不保耦合语义的常规投机解码应用不同。

第一，教师模式目标的鲁棒性：纠正位置直接对教师 argmax 做硬标签 NLL，当教师在该前缀本身不确定（Top-1 概率很低、分布平坦）时，会把学生拉向一个可能错误的众数。改进方向：按教师置信度门控——仅在 $T_t(v^*)$ 超过阈值时启用硬目标，否则退回 teacher-sampled 或软 Top-k 目标。第二，吞吐天花板：即使引擎常驻也只达到学生-only 的 42%，且每步 232.6s 中 q 生成占 189.5s（约 81.5%）。改进方向：教师 KV 缓存跨波复用、按接受率动态调节块长 $K$、或在训练后期利用 $\epsilon=0$ 检测更激进地切换纯学生快路径（现有实现仅对精确零半径做检测）。第三，域与任务单一：全部实验为数学推理的可验证奖励场景，开放式生成、代码、多轮/代理任务中纠正事件的位置分布与 TV 率可能截然不同。改进方向：先在代码生成上验证，再研究纠正率作为任务难度在线指标的可能性。第四，消融不完整：$\epsilon$ 调度、退火步数、$K$ 均沿用 TRB 默认值，未做敏感性分析；放置对照与 TV 加权对照仅覆盖 1.7B。改进方向：补齐超参扫描与跨规模对照。第五，统计功效：AIME26/AIME25 各仅 30 题，Mean@8/Pass@8 的 ±0.5 差异可能在噪声内，主表没有置信区间（探针分析倒是用了 prompt 聚类 bootstrap）。改进方向：为主结果报告 bootstrap CI 或增加评测样本量。

作者方向之外的延伸：(1) 自适应信任域调度——用观测纠正率相对 Pinsker 上界的裕量在线调节 $\epsilon$，让干预频率与学生学习进度挂钩，而非固定 50 步线性退火；(2) 与 RLVR 的组合——纠正位置的教师 Top-1 监督本质上是一步密集的教师模仿，可探索在强化学习训练中按同样路由方式混合教师信号，并研究其与组相对优势估计的相互作用；(3) 路由信号复用到其他 token 级目标——耦合纠正位置已被证明是高冲突位置的充分统计量，可接入 selective KL、反射式 credit assignment（如作者组的 AMR-SD）或工具调用场景的 token 级策略梯度；(4) 理论深化——接受分支 RKL 支持在 $\min\{p,q\}$ 上、纠正分支为点质量前向 KL 的精确分解，值得分析其与 JSD 等混合 f-散度的偏差-方差权衡，以及瞬态纠正监督为何留下持久对齐（类似隐式正则化）；(5) 系统推广——引擎常驻精确 q 后端对任何需要'每位置双分布'的算法（在线 f-散度蒸馏、过程奖励打分、教师引导搜索）都是通用基础设施，可抽象为独立组件；(6) 扩展到弱-强极不对称设定（如 0.5B 学 70B 教师）与多教师路由，检验 TV 上界在极端情况下的实际意义。

复现条件总体友好但系统部分门槛较高。论文声明提供核心组件的参考实现（GitHub: github.com/Miteto-sudo/SAKI），附录完整给出训练/评测配置（表 4-5）、桥接与耦合推导（附录 B/G）、精确执行证明（附录 I）与系统实现细节（附录 K）。数据与模型全部公开：DAPO-Math-17K 训练集（17,917 个 prompt），Qwen3-0.6B/1.7B-Base 学生；教师需按 Li et al. (2026) 的 GRPO 配方自行复现（Qwen3-4B-Base 初始化，1 epoch，prompt 批 64、每 prompt 8 响应、LR $1\times10^{-6}$、最大响应 7,168、禁用 KL 正则与思考模板）。算力方面，8×GPU 布局（GPU 0-3 跑 actor 更新，GPU 4-7 常驻 q 引擎）即可训练 200 步，单步约 232.6s，单规模总训练时长约 13 小时。难点在于复现 4.22× 吞吐的引擎常驻后端：需要在推理引擎内部实现 GPU 上的全词表桥接构造（$[B,K,V]\to[BK,V]$）、16 波批量 $\beta$ 二分、向量化耦合接受（$\alpha(a)=\exp(\min\{0,\log q(a)-\log p_s(a)\})$ 前缀累积积）、首次拒绝 KV 回滚，并通过附录 K.5 的四维正确性验证（桥接/耦合/训练状态/路由）；若退化为外部循环实现（776 tokens/s），训练慢约 4 倍但算法结论应可保留。评测协议明确可对表：温度 1.0、每题 8 采样、最大 16,384 长度、七个公开基准。综合评级：算法复现中等难度，系统级完全复现偏难。