Waypoint-OPD：经由门控在线策略蒸馏迁移强化学习引发的策略偏移 Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation
在教师RL轨迹中插入中间检查点，用早/晚两段偏移的方向一致性门控终点偏移信号。
前置知识
在线策略蒸馏（On-Policy Distillation, OPD）
学生模型自己生成回答，教师在学生实际访问的前缀 $s_t=(x, y_{<t})$ 上提供下一词元分布，学生用反向KL目标 $\mathcal{L}_{OPD}=\sum_t D_{KL}(\pi_\theta(\cdot|s_t)\|\pi_1(\cdot|s_t))$ 对齐教师。相比在教师生成数据上训练的离线蒸馏，它监督的是学生自己会走到的状态，避免了训练与推理间的分布偏移。
本文所有方法都建立在'学生自采样轨迹+教师打分'的框架上，Waypoint-OPD 与各基线都是在学生生成的前缀上构造监督信号，不懂OPD就看不懂实验对比对象。
RL 策略偏移与 Direct-OPD
教师经RL训练前后，词元 $a$ 在前缀 $s_t$ 下对数概率之差 $\delta_t(a)=\log\pi_1(a|s_t)-\log\pi_0(a|s_t)$ 称为策略偏移。Direct-OPD 把它当作学生轨迹上的逐词元隐式奖励：RL 提升了概率的词元得正奖励，降低的得负奖励。在KL正则化的理想教师最优条件下，序列级对数比可恢复奖励（差一个正尺度与提示常数），这为该信号提供理论依据。
Waypoint-OPD 是 Direct-OPD 的直接改进，理解终点偏移作为奖励的来历与盲区，是读懂本文动机和方法对比的前提。
GRPO 与可验证奖励强化学习
GRPO（Group Relative Policy Optimization）对每个提示采样一组回答，用组内相对奖励作为优势做策略梯度更新，无需价值网络。在数学与代码领域，奖励来自答案正确性校验（verifiable rewards）。本文教师 Qwen3-4B 正是用 GRPO 在可验证奖励下训练 1200 步，数学与代码各一条运行。
论文的三个教师检查点（Initial/Waypoint/Final）全部来自同一次 GRPO 运行，Waypoint 的含义（第600步）由这一训练过程定义。
反向KL与学生初始化正则
反向KL $D_{KL}(\pi_\theta\|\pi_1)$ 具有模式寻求性质，学生倾向于贴住教师的高概率模式而非覆盖全分布。目标中再加 $\beta D_{KL}(\pi_\theta\|\pi_S)$ 把学生锚定在其初始化 $\pi_S$ 上（本文 $\beta=2.5$），防止偏移信号把学生推离自身能力太远，整体继承 DPO 的 signal-minus-KL 形式。
本文目标函数（Eq. 4 与 Eq. 13）都是'密集信号 − 学生KL惩罚'结构，不清楚这一结构就无法理解梯度如何作用于学生。
加权余弦相似度与 $q_t$-中心化
在学生 top-$k$ 候选集 $K_t$ 上，用学生归一化概率 $q_t(a)$ 作权重，定义加权内积 $\langle u,v\rangle_{q_t}=\sum_{a\in K_t} q_t(a)u(a)v(a)$ 与加权范数，进而得到加权余弦 $c_t=\langle u_t,v_t\rangle_{q_t}/(\|u_t\|_{q_t}\|v_t\|_{q_t})$。中心化算子 $C_{q_t}[z](a)=z(a)-\mathbb{E}_{b\sim q_t}[z(b)]$ 先减去加权均值，剔除对所有候选一视同仁的平移分量，使余弦只反映候选间的相对偏好变化。
方向一致性门控 $g_t=\max(0,c_t)$ 是本文唯一的核心新算子，其几何含义完全由加权余弦和中心化定义。
双裁剪 PPO（Dual-clipped PPO）
PPO 用重要性比率 $r_t(a)=\pi_\theta(a|s_t)/\pi_{old}(a|s_t)$ 乘以优势并做 $[1-\epsilon,1+\epsilon]$ 裁剪；双裁剪版本在优势为负时再加下界 $c\cdot A_t(a)$（$c>1$），防止负优势词元的概率被过度推高。在 rollout 策略处 $r_t=1$、裁剪不激活，该代理与蒸馏代理梯度一致。
实现中学生更新用的是候选级双裁剪PPO（Eq. 17），复现时必须理解它与 Eq. 13 稠密代理目标在 rollout 点的等价关系。
研究动机
数学与代码推理的强化学习需要反复生成、验证、优化回答，算力开销大，且每个目标模型都要重复付出这份成本。复用教师RL改进是省算力的自然思路，其中 Direct-OPD（Feng et al., 2026）用教师RL前后两个检查点的对数概率比 $\delta_t(a)=\log\pi_1(a|s_t)-\log\pi_0(a|s_t)$ 作为学生自生成轨迹上的密集奖励，迁移期间无需验证器。但它只看到 Initial→Final 的'终点'净变化：同样的终点信号，既可能来自早、晚两段方向一致、相互加强的偏移，也可能来自方向相反、部分抵消的偏移。论文举例：$u=v=d/2$ 与 $u=2d, v=-d$ 的终点 $d$ 完全相同，前者说明局部偏好被稳定强化，后者说明后期发生了反转。终点式迁移无法区分这两种情形，会把训练中不稳定、反复震荡的偏好当作可靠信号传给学生；而 OPD2 的符号门控依赖教师-基座与教师-学生的对比，同样不检查教师自身RL轨迹内的时间一致性。
本文的目标是本文要回答的问题是：教师RL早期与晚期在学生访问前缀上的局部偏好变化是否方向一致，能否用这种时间一致性决定终点偏移在每个前缀上应赋多大权重？具体目标是：只利用同一次教师GRPO运行中现成的中间检查点，不重新训练教师、迁移时不调用验证器，构造逐前缀门控——当早段（$\pi_0\to\pi_m$）与晚段（$\pi_m\to\pi_1$）偏移在学生候选词元上方向一致时保留并缩放终点信号，方向相反（加权余弦 $\le 0$）时抑制为0；并在数学与代码推理、Qwen3-8B/14B/30B-A3B 三个学生（覆盖稠密与MoE）共六个设定上全面超越终点式迁移 Direct-OPD，同时把额外开销控制在一次额外的冻结教师打分之内。
与已有工作不同的是，独特切入角度是把'教师训练轨迹的时间结构'作为选择性迁移的证据来源。已有方法要么匹配教师绝对分布（OPD），要么用教师-基座、教师-学生对比的符号做门控（OPD2），要么直接搬运终点差（Direct-OPD），都不检查教师自身在RL过程中偏好演化是否连贯。Waypoint-OPD 在同一条RL轨迹上取第600步做'路标'，把终点差望远镜式地分解为 $\delta_t=\delta_t^{(1)}+\delta_t^{(2)}$ 两段，在学生自己的 top-16 候选上、以学生概率 $q_t$ 加权比较两段方向。关键性质是：Waypoint 只改变门控 $g_t$ 与批次缩放 $\kappa_B$，被迁移的信号仍是居中的终点差 $d_t=u_t+v_t$——'路标提供权重证据，终点仍是内容'。附录 A.1 还证明在固定前缀与权重下终点 $d_t$ 与 Waypoint 无关，凸显终点对原则上不含这种方向信息。
核心方法
直觉上，教师RL像一段旅程：Final−Initial 只告诉你起点和终点，不告诉你途中是否走了回头路。若某局部偏移在早段和晚段都被强化，说明它是训练中稳定习得的偏好，值得传给学生；若早段加强、晚段又撤销，说明该偏好不稳定，迁移它更像噪声。技术上，Waypoint-OPD 保留同一次教师GRPO运行的三个冻结检查点：Initial $\pi_0$（RL前）、Waypoint $\pi_m$（第600步）、Final $\pi_1$（第1200步）。训练时学生自采样回答，在每个前缀 $s_t$ 取学生 top-$k$（$k=16$）候选，用三个教师分别打分，构造居中的早、晚偏移向量 $u_t, v_t$，用学生概率加权的余弦相似度 $c_t$ 计算正门控 $g_t=\max(0,c_t)$，再以 $g_t$ 缩放居中终点信号 $d_t=u_t+v_t$，配合批次级均值归一化 $\kappa_B$ 得到候选优势 $A_t(a)=\mathrm{sg}[\kappa_B q_t(a) g_t d_t(a)]$，最后用双裁剪PPO代理加学生KL惩罚更新学生。整个迁移只跑100步，无验证器调用。
核心创新是'时间方向一致性'作为选择性迁移的判据。与 Direct-OPD 的本质区别：Direct-OPD 对每个前缀一视同仁地搬运终点差 $\log\pi_1-\log\pi_0$；本文意识到同一终点差可由不同的早/晚分解产生——$u=v=d/2$ 给出 $c=1$、$g=1$（全量保留），而 $u=2d, v=-d$ 给出 $c=-1$、$g=0$（完全抑制），两者终点完全相同，因此终点对在固定前缀上原则上天无法区分这两种相反的演化模式。与 OPD2 的区别：OPD2 的门控证据来自教师-基座与教师-学生优势的符号一致，本文证据则来自教师自身RL轨迹内两段连续偏移在学生支持候选上的方向一致，迁移期间既不需要师生对比项也不需要验证器。另一个关键设计是望远镜分解恒等式 $\delta_t^{(1)}+\delta_t^{(2)}=\delta_t$：引入Waypoint不改变被迁移的内容，只改变权重，方法在概念上是对已有信号的重加权，而非引入新信号。
方法步骤详情
第一步：用GRPO训练Qwen3-4B教师1200步（数学用DeepMath约57K题、难度≥6；代码用Eurus-RL-Code约25K题），保存RL前的$\pi_0$、第600步的$\pi_m$、第1200步的$\pi_1$并全部冻结。第二步：学生对批次提示以温度1.0自采样回答，得到前缀$s_t$。第三步：取$K_t=\mathrm{TopK}(\pi_\theta(\cdot|s_t),16)$，计算归一化权重$q_t(a)=\pi_\theta(a|s_t)/\sum_{b\in K_t}\pi_\theta(b|s_t)$，用三个冻结教师对候选打对数概率。第四步：构造$\delta_t^{(1)}=\log\pi_m-\log\pi_0$、$\delta_t^{(2)}=\log\pi_1-\log\pi_m$，$q_t$-居中得$u_t,v_t$，加权余弦得$c_t$，门控$g_t=\max(0,c_t)$；某段加权范数$\le\varepsilon=10^{-8}$时回退$g_t=1$。第五步：批次归一化$\kappa_B=\mathrm{clip}(\tau/\max(\bar{g}_t,\varepsilon_{num}),0.75,1.5)$，目标均值$\tau=0.8$。第六步：优势$A_t(a)=\mathrm{sg}[\kappa_B q_t(a) g_t d_t(a)]$（$d_t=u_t+v_t$）代入候选级双裁剪PPO代理，加$\beta=2.5$的学生KL惩罚，lr $10^{-6}$训练100步（batch 256）；评分器只在评估时使用。
技术新颖性
技术新颖性有四点。其一，证据来源新：首次用教师RL轨迹内中间检查点的两段偏移方向一致性做迁移判据，这是终点对原则上不含的信息（附录 A.1 证明固定前缀与权重下终点 $d_t$ 与 Waypoint 无关）。其二，职责分离干净：Waypoint 只提供一致性证据，居中终点差仍是唯一被迁移的内容（$u_t+v_t=d_t$ 望远镜恒等式），使方法成为 Direct-OPD 的即插即用重加权，代价仅为一次额外冻结打分，实测8B数学100步总训练时间反而从 8:21:03 降到 8:02:21（省3.73%）。其三，门控设计的数值细节完备：$q_t$ 加权余弦经中心化后对全体候选的一致平移不敏感；低范数回退 $g_t=1$ 避免在无信息前缀上误杀信号；批次均值归一化在保持相对权重与零门控的前提下稳定平均门控尺度。其四，验证严谨：除六设定主实验外，还做了无门控、门控-前缀错配（shuffle）、无归一化三个对照和 Waypoint 位置敏感性实验（第500/600/700步差异仅0.05分），把增益明确归因到'门控必须与产生它的前缀配对'这一机制。
实验结果
六个'域×学生'设定（数学七基准mean@32、代码五评测mean@8）Waypoint-OPD全部取得最高域平均。数学上对最强基线Direct-OPD分别提升2.18（8B：56.14 vs 53.96）、1.59（14B：59.20 vs 57.61）、1.89（30B-A3B：57.85 vs 55.96）个百分点，21个基准对比赢19个；14B与30B以+3.07、+1.72超过Final教师（56.13），14B在全部七个基准上超教师。代码上分别提升2.66（8B：53.25 vs 50.59）、1.52（14B：57.82 vs 56.30）、1.19（30B：57.54 vs 56.35），15个对比全胜，14B/30B超教师（55.37）2.45/2.17分。学习曲线（Fig.3）显示增益贯穿训练：15个基准-检查点对比赢13个，第60步起全面领先，HMMT25N第60步达42.60超教师的40.83。消融（8B数学）：去门控降至53.50（−2.64）；门控与前缀随机错配跌至51.20（−4.94，比无门控还低2.30）；去批次归一化55.22（−0.92）。Waypoint位置敏感性极低（第500/600/700步：56.18/56.14/56.13）。效率上（Table 9），8B数学100步总时间8:02:21比Direct-OPD的8:21:03省3.73%，截断率从14.83%降至11.97%。门控诊断（Fig.4）：平均门控0.810→0.683，零门控比例7.26%→16.59%，$\kappa_B$保持在[0.955,1.223]。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理（Qwen3-8B，七基准平均） | mean@32 (%) | 56.14 | Direct-OPD 53.96 | +2.18 |
| 数学推理（Qwen3-14B，七基准平均） | mean@32 (%) | 59.20 | Direct-OPD 57.61 | +1.59 |
| 数学推理（Qwen3-30B-A3B，七基准平均） | mean@32 (%) | 57.85 | Direct-OPD 55.96 | +1.89 |
| 代码推理（Qwen3-8B，五评测平均） | mean@8 (%) | 53.25 | Direct-OPD 50.59 | +2.66 |
| 代码推理（Qwen3-14B，五评测平均） | mean@8 (%) | 57.82 | Direct-OPD 56.30 | +1.52 |
| 代码推理（Qwen3-30B-A3B，五评测平均） | mean@8 (%) | 57.54 | Direct-OPD 56.35 | +1.19 |
| 数学推理（Qwen3-14B vs Final 教师） | mean@32 (%) | 59.20 | Final Qwen3-4B 教师 56.13 | +3.07（七个基准全部超教师） |
| 代码推理（Qwen3-14B vs Final 教师） | mean@8 (%) | 57.82 | Final Qwen3-4B 教师 55.37 | +2.45（五评测中四个超教师） |
局限与改进
作者承认的：方向一致性只是加权判据而非正确性保证（原文'directional agreement alone does not guarantee beneficial supervision'），两段同向偏移也可能一起指向错误偏好；消融差距是条件性的，不能解释为各组件的独立可加贡献；去门控对照仍保留居中等差异，增益无法完全单独归给门控；师生共享tokenizer且同为Qwen3家族，跨词表、跨家族未验证；只用一个教师（Qwen3-4B，非thinking RL）和一种RL算法（GRPO）。我的补充：其一，Waypoint位置只在1200步运行的500–700窄区间做敏感性测试，更短或更长的教师训练中路标怎么选、要不要多个路标均无答案；其二，训练后期零门控比例翻倍至16.59%，暗示学生逼近教师后信号可能失效，但何时应停止迁移未讨论；其三，训练时间下降只在8B数学测量，14B/30B-MoE开销未报告；其四，用AIME 2024既做检查点选择又出现在测试列表，存在轻微选择偏倚。
独立分析的弱点
弱点一：门控是纯权重判据，无正确性信号。若教师RL早晚期一致地强化了某个错误模式，$g_t=1$ 会全量放行，方法本身无法纠错；改进方向是用少量验证器抽检高门控前缀，或与 RG-OPD 类验证器门控结合成双门控。弱点二：单一 Waypoint 把整条RL轨迹粗暴二分，遇到'三段式'演化（先涨后跌再涨）时余弦判据可能误判；改进方向是用多个等距路标做分段一致性投票，或把两段余弦推广为轨迹方向场的加权曲率。弱点三：候选集固定为 top-16 且权重用学生分布，低概率但关键的探索词元完全不在比较范围内，门控对这些词元无定义；改进方向是按学生熵自适应扩大 $K_t$，或直接在采样词元上估计一致性。弱点四：门控是前缀级共享（同一前缀所有候选共用 $g_t$），无法区分'前缀内部分候选偏好稳定、部分震荡'；改进方向是把门控下放到候选级，用每个候选的两段符号一致度加权。弱点五：对数概率差要求师生同词表，跨 tokenizer 场景失效；改进方向是在对齐的语义空间或表示层上定义偏移一致性。
未来方向
作者提出的方向：结论指出中间教师检查点为局部策略变化的权重提供证据，自然延伸包括多路标/连续路标方案（把两段余弦推广为沿RL轨迹的路径积分一致性）、用时间一致性指导教师检查点选择与标准OPD课程，以及在弱到强泛化设定下检验门控能否自动识别'教师已超越学生能力'的前缀。基于成果可延伸的：第一，与过程奖励模型结合——时间一致性提供'可靠性'证据、PRM 提供'正确性'证据，两者相乘可能得到更强的密集奖励；第二，在线调度 Waypoint：随学生成长动态移动路标，甚至维护一条路标调度曲线；第三，扩展到非可验证领域（对话、写作），检验奖励模型RL教师轨迹上的时间一致性是否依然有效；第四，理论上刻画门控的偏差-方差权衡：$g_t$ 等价于对优势做逐前缀的乘性收缩，可与KL系数 $\beta$ 联合自适应；第五，效率侧：既然 Waypoint-OPD 产生更短回答（截断率 −2.86pp），可研究时间一致性门控与过度思考抑制的因果关系，把它当作推理效率工具而不仅是精度工具。
复现评估
复现条件相当好。代码已开源：https://github.com/hhhbxloveai/WaypointOPD。数据全部公开：教师RL用DeepMath-103K（约57K题，难度≥6）与Eurus-RL-Code（约25K题），迁移用DAPO-Math-17K与Codeforces衍生提示，评测AIME/HMMT/AMC、MBPP(+)/LiveCodeBench均为公开基准。附录C给出完整超参：教师GRPO（batch 128、rollout n=8、lr $10^{-6}$、1200步、KL系数0）；迁移（batch 256、rollout n=1、100步、lr $10^{-6}$、$\beta=2.5$、$k=16$、$\tau=0.8$、缩放裁剪[0.75,1.5]、$\varepsilon=10^{-8}$）；评估（温度0.7、top-p 0.95、最大16384 token）。硬件：单节点8张NVIDIA H20，verl+FSDP+vLLM；8B学生100步约8小时（约64 GPU时）。主要成本在教师RL本身（1200步×2领域），若已有RL检查点，增量成本只是多存一个中间检查点加每次更新三次教师打分。难度中等偏低：附录B有伪代码，数值细节写明；最大风险是对'AIME24验证集选检查点'协议敏感，复现者需严格照搬该流程。
论文图表
数学主结果表：教师三个检查点（Initial 24.84、Waypoint 51.82、Final 56.13）与三个学生×四种方法（Base/OPD/OPD2/Direct-OPD/Waypoint-OPD）在 AIME24/25/26、HMMT25F/25N/26F、AMC23 上的逐基准分数与平均。Waypoint-OPD 在三个学生上平均分全部最高（56.14/59.20/57.85），14B 在七个基准上全部超过教师。
论文最核心的证据表，包含全部逐基准数字，用于核对'19/21对比获胜'及各方法间的相对强弱。
三个对照实验：No gate（$g_t=1$，保留归一化）平均 53.50（较完整方法 −2.64，七基准全部下降）；Shuffled gate（批内随机置换门控与前缀的配对）51.20（−4.94，比无门控还低 2.30）；No normalization（$\kappa_B=1$）55.22（−0.92，但仍全面高于 Direct-OPD 的 53.96）。
把增益归因到机制的关键证据：方向一致性加权必须与产生它的前缀正确配对才有效，错配甚至比没有门控更有害；归一化只贡献小幅增量。