同家族在线策略蒸馏的缩放特性 Scaling Properties of Same-Family On-Policy Distillation
OPD峰值精度可由师生规模与教师分数用幂律提前预测，弱教师能把大模型教得超过自身
前置知识
在线策略蒸馏（On-Policy Distillation, OPD）
一种知识蒸馏范式：学生模型自己采样回答（rollout），固定教师在学生访问的每个前缀上给出 token 级监督，典型实现是把教师与学生 log 概率之差当作 token 奖励，用策略梯度式更新逼近教师。学生不必逐字模仿教师自身轨迹，从而避免在教师离线数据上做 SFT 的 exposure bias，已被前沿后训练流水线广泛采用。
本文全部实验、目标函数（Vanilla/Delta）与缩放结论都建立在 OPD 之上，不懂其 token 奖励机制就无法理解 KL 坐标与蒸馏定律的含义。
反向 KL 散度与 k3 估计器
反向 KL $\mathrm{KL}(\pi_\theta\|\pi_{\rm ref})$ 度量当前策略相对参考策略（SFT 初始化）偏移了多少，可当作用了多少优化的标尺。$k_3=\mathbb{E}[e^{\delta}-\delta-1]$（$\delta$ 为两策略 log 概率差）是其无偏非负估计器，只需采样 token 的 logprob、无需遍历词表。本文取平方根 $d=\sqrt{k_3}$ 作为训练进度坐标。
全文所有动态规律都写成金标准分数关于 $d$ 的函数：线性阶段、迁移终点 $d_{\rm transfer}$、峰值位置都在这个坐标上定义。
代理过优化与金标准分数
RLHF 研究的经典框架（Gao et al., 2023）：优化器实际最大化的是学习到的代理奖励，而真实目标（gold reward）随优化量先升后降。本文把 OPD 看作同类代理优化：教师诱导的隐式 token 奖励是代理，held-out 测试集准确率 $G$（gold score）是金标准，据此解读训练中的上升—峰值—回退全过程。
两阶段动态（规则上升加噪声尾部）以及后期回归的归因（过模仿 vs 隐式奖励过优化）完全依赖这一分析框架。
缩放定律与幂律拟合
用幂律函数族（如 $1-G_{\rm peak}=A N_S^{-\alpha}(N_T^{\rm eff})^{-\beta}(1-G_T^{\rm eff})^{-\zeta}$）把性能与参数量、教师分数等变量联系起来：先在小规模网格上拟合系数，再外推预测更大规模的结果，并用留一尺度交叉验证检验预测力。这是从 Kaplan/Hoffmann 预训练缩放定律延续下来的标准方法论。
本文核心贡献就是 OPD 版缩放定律；理解幂律形式、协变量选择与验证协议，才能判断其结论的可靠边界。
弱到强泛化（Weak-to-Strong Generalization）
Burns et al. (2024) 提出的现象：用弱模型监督强模型，学生的最终表现可以超过监督者自身水平。特征学习理论将其归因于强模型预训练中潜伏的知识被弱信号引导出来。OPD 通过在学生的新鲜 rollout 上查询教师实现这种按 token 的引导。
论文发现每一个弱到强对的学生峰值都超过教师（0.5B 教师自身仅 39.8%，却把 14B 学生教到 77.7%），这是该现象在蒸馏设定下的系统定量刻画。
GRPO 与可验证奖励 RL
Group Relative Policy Optimization：对同一道题采样一组回答，用组内相对比较构造优势来更新策略，无需价值网络，是数学、代码等有标准答案任务上训练推理模型的主流 RL 算法（如 DeepSeek-R1）。
论文的五个教师专家全部由 GRPO 在 GSM8K+MATH 混合集（14.8K 训练题）上训练得到，理解教师如何产生是复现实验与解读教师剩余误差项的前提。
研究动机
现代推理模型依赖 RL 获得数学与代码推理能力，在线策略蒸馏（OPD）正被广泛用于在模型之间转移这种能力，但其缩放特性几乎无人系统研究，实践者因此面临四个具体困境。其一，若要模型家族每个规模（如 Qwen2.5 从 0.5B 到 14B 共五档）都具备任务能力，是否必须在每个规模重复昂贵的 RL？一次 RL 专家能否摊销给整个家族？其二，选教师的通行直觉是参数更大、分数更高就更好，但预训练蒸馏中已有教师过强反而饱和甚至回退的报告，OPD 是否同样如此没有答案。其三，Burns et al. (2024) 在国际象棋设定中发现沿中间规模链式 bootstrapping 优于一步直传，该结论能否搬到 OPD 完全未知。其四，OPD 变体层出不穷、在教师 rollout 上做冷启动 SFT 常被当作默认配置，但它们对迁移的影响缺乏受控比较。结果是：一次 OPD 运行只能训练完才知道好坏，无法像预训练缩放定律那样在开跑之前预测结果。
本文的目标是本文的中心问题是：能否在执行 OPD 之前，仅凭教师规模、学生规模与教师实测分数，估计学生策略的最终性能？作者将其拆解为三个可检验的子问题。第一，OPD 训练动态中是否存在规则、可预测的阶段？它持续多长、何时失效？第二，峰值金标准分数 $G_{\rm peak}$、初始迁移速率 $m$ 与迁移范围 $d_{\rm transfer}$ 如何随学生规模、教师规模和教师分数变化，拟合出的幂律能否外推到 held-out 的最大规模？第三，关键设计选择——蒸馏目标（Vanilla-OPD 与 Delta-OPD）、在策略监督程度（纯 OPD、冷启动加 OPD、纯 OffPD）、以及沿家族逐级 bootstrapping——分别如何改变迁移效果？为此作者在 Qwen2.5 数学推理上构建 25 个师生对的受控网格，统一评测协议，拟合联合幂律并进行三种独立的样本外验证，使 OPD 的结果从训练后的发现变成训练前的预测。
与已有工作不同的是，本文的独特切入是把 OPD 重新表述为一个代理优化问题，并借用奖励模型过优化的成熟分析路线：教师诱导的 token 级隐式奖励是代理，held-out 准确率是金标准，而优化量不用优化器步数衡量，改用 token 级反向 KL 的平方根 $d=\sqrt{k_3}$。这个坐标选择本身就是一项发现：沿用 Gao et al. (2023) 的序列级 KL 时各师生对的动态互不一致，换成 token-mean KL 后 25 条轨迹共享同一个线性阶段。第二个关键设计是用 bootstrapping 链产生的 OPD 产物教师（其分数明显偏离规模趋势）打破 RL 端点网格上教师规模与教师分数高达 $r=-0.9999$ 的共线性，首次分离并识别教师多大与教师多好这两个因子。与同期 OPD 工作正交：OPD2、Direct-OPD、W2S-OPD 在设计新目标，OPRD 在改造梯度方向，而本文刻画的是固定目标下的规律——结果由什么决定、能否提前算出。
核心方法
直觉上，蒸馏像推着学生沿某个方向走：偏离初始化越远（KL 越大）学到的越多，但走过头就会过拟合教师的缺陷。技术路线分四层。第一层，用 $d=\sqrt{k_3}$ 给每条训练轨迹建立 KL 坐标，把 25 条轨迹统一读成 $G(d)$ 曲线。第二层，发现并解释规则阶段：局部几何上金标准分数对参数扰动是一阶变化、KL 是二阶变化，故 $G(d)=G(0)+md+O(d^2)$，斜率由更新方向与分数梯度的 Fisher 归一化对齐度决定，与方法无关。第三层，对峰值与速率分别拟合关于学生规模 $N_S$、有效教师规模 $N_T^{\rm eff}=\min(N_T,N_S)$ 与教师剩余误差 $(1-G_T^{\rm eff})$ 的乘法幂律，乘法形式对应学生规模按固定比例削掉教师监督所留误差的直觉。第四层，用留一尺度 RMSE、最大规模外推、同分教师对照三种协议验证预测力，再逐一考察目标函数、在策略程度与 bootstrapping 三个设计轴。全部实验基于 verl v0.8.0 框架与 Qwen2.5 Base（0.5B、1.5B、3B、7B、14B），每轮 OPD 最多 10 个 epoch（580 次更新）。
核心创新有三点。其一，发现 OPD 存在普遍的有用迁移阶段：早期 $G(d)=c+md$ 高度线性（$R^2\in[0.932,0.988]$），尾部则异构地分裂为衰减改进、饱和与回归，与 PPO/DPO 中规则的过优化曲线形状不同；作者还给出局部几何证明，斜率 $m=\frac{g_0^\top h}{\sqrt{2h^\top F_{\rm tok}h}}$ 由 Fisher 加权对齐度决定，线性指数与具体目标无关。其二，峰值定律引入有效教师规模上限 $N_T^{\rm eff}=\min(N_T,N_S)$，以简洁的参数化编码教师一旦超过学生规模就不再增益甚至有害的饱和与反转现象；拟合出的 $\zeta\approx1$ 表明学生峰值误差几乎正比于教师的剩余误差，负的 $\beta\approx-0.27$（Vanilla）与 $-0.33$（Delta）表明同分之下小教师教得更好，直接否定教师越大越好的直觉。其三，把能否样本外预测作为缩放定律的验收标准，并用 OPD 产物教师打破共线性使教师分数因子可识别。与已有工作的本质区别：既有工作回答用什么目标蒸馏，本文回答给定目标后结果由什么决定。
方法步骤详情
完整流程八步。(1) SFT：五个规模的 Qwen2.5 Base 在 Dolci-SFT 子集上做 2 个 epoch 指令跟随 SFT，学习率按 $N^{-1/4}$ 从 $2\times10^{-5}$ 缩放。(2) 造教师：每个规模用 GRPO 在 GSM8K+MATH 混合训练集（14.8K 题）上做 10 epoch RL（lr $10^{-6}$、group size 8、无 KL 惩罚），得 RL 专家；held-out 测试集 6.3K 题。(3) 跑 OPD：25 个师生对覆盖弱到强、同基座、强到弱；Vanilla-OPD 的 token 奖励为 $r_t=\log\pi_T(y_t|x,y_{<t})-\log\pi_\theta(y_t|x,y_{<t})$，Delta-OPD 改用教师 RL 前后对比 $r_t^\Delta=\log\pi_T-\log\pi_T^{\rm base}$ 并加参考 KL 正则；最多 580 次更新，周期性评测金标准分数 $G$。(4) 定坐标：计算 token-mean 的 k3 反向 KL 估计，取 $d=\sqrt{k_3}$。(5) 局部拟合：Vanilla 取前 30 个观测、Delta 取前 40 个做线性回归得斜率 $m$；以落在 95% 预测带外连续 3 个检查点定义迁移终点 $d_{\rm transfer}$。(6) 幂律拟合：对 $1-G_{\rm peak}$ 与 $m$ 分别拟合含 $N_S$、$N_T^{\rm eff}$、$1-G_T^{\rm eff}$ 的联合律。(7) 验证：留一尺度 RMSE、外推最大规模、3B 中间检查点与 1.5B 端点教师的同分对照。(8) 设计实验：17 对 Delta 对比、三种在策略程度、8 条 bootstrapping 链。
技术新颖性
技术新颖性体现在五个方面。第一，坐标工程：作者在附录 K 记录了失败尝试——序列级 KL 坐标下规则阶段不出现、Gao et al. 的 $ad-bd^2$ 与 $ad-bd\log d$ 函数形式在 OPD 中曲率不可识别、k3 估计器的梯度其实是 forward-KL 梯度需改用 k+3 构造、BF16 优化器精度会掩盖后期回归——这些负结果本身就有方法论价值。第二，有效教师 cap $\min(N_T,N_S)$ 是对教师超过学生规模后收益饱和与反转的简洁参数化，与预训练蒸馏中小教师更好的报告呼应，但首次进入 RL 后训练蒸馏的幂律。第三，用 bootstrapping 链的 OPD 产物教师作为离群点打破 $r=-0.9999$ 的共线性，让 $\zeta$ 与 $\beta$ 的 95% bootstrap 区间都远离零，这一识别策略相当巧妙。第四，局部几何定理把经验线性上升为理论：线性指数由几何决定、与方法无关，斜率差异归因于 Fisher 归一化对齐度。第五，诚实的不确定性处理：坦承速率律不如仿射基线、迁移范围只作经验预算、全部单种子，符合 Choshen et al. (2025) 对缩放研究严谨性的要求。
实验结果
发现分四层。(1) 动态规律：25 条 Vanilla-OPD 轨迹早期一致呈线性 $G(d)=c+md$（$R^2\in[0.932,0.988]$，斜率 $m\in[0.175,0.721]$），之后进入异构尾部（衰减/饱和/回归），9/25 条在观测范围内偏离；回归时代理分数仍在上升，指向隐式奖励过优化。(2) 峰值规律：7B 学生峰值随教师从 72.7% 升到 81.9%，14B 从 77.7% 到 87.3%；小学生反转——0.5B 学生用 3B 教师峰值 40.8%，用 14B 教师跌到 37.7%。每个弱到强对学生峰值都超过教师：0.5B 教师（39.8%）把 14B 学生教到 77.7%。联合幂律留一尺度 RMSE 为 1.66（Vanilla）/0.82（Delta）个精度点，比仅规模基线（3.43/2.47）减半以上；外推最大规模误差 0.55/0.68 与 0.20/0.32 点。同分对照中，66.0 分的 3B 中间教师把 7B 学生教到 73.8，联合律预测 74.1 并正确判其不如 63.6 分的 1.5B 教师（77.5），仅规模律与仅分数律都排错。(3) 设计选择：Delta-OPD 在 17 个共享对中 15 对斜率更大、12 对峰值更高，优势集中在弱到强且随教师增大缩小；冷启动 SFT 危害随能力差扩大——0.5B 教师教 3B/7B/14B 分别损失 6.6/15.7/19.4 点，1 个 epoch SFT 即抹掉 14B 学生 32 点初始化且不可恢复；纯 OffPD 在极端弱到强格落后 28.4 点。(4) Bootstrapping 全线逊于直传：3B 为 60.4 对 61.4、7B 为 70.0–71.3 对 72.7、14B 为 76.8 对 77.7，链越长越差；且 53.0 分的 1.5B 产物教师教 3B 学生不如 39.8 分的 0.5B 专家——教师分数不等于教学价值。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 峰值金标准分数预测（留一尺度交叉验证，覆盖师生两个维度） | RMSE（精度点，越低越好） | 联合律（式 6）：Vanilla-OPD 1.66，Delta-OPD 0.82 | 仅规模律（式 7）：Vanilla 3.43，Delta 2.47；仅教师分数律：Vanilla 2.55，Delta 2.07 | 相对仅规模基线 RMSE 降低约 52%（Vanilla）与 67%（Delta），条件于教师分数是关键增益来源 |
| 外推到最大 held-out 学生规模与教师规模 | 外推 RMSE（精度点） | Vanilla：学生轴 0.55、教师轴 0.68；Delta：学生轴 0.20、教师轴 0.32 | 仅规模律：Vanilla 0.64/0.75；Delta 0.21/0.29；加权加性基线 0.92–1.50 | Vanilla 两轴均优于基线；Delta 与最优基线相差不超过 0.03 点，均在 1 个精度点内 |
| 弱到强迁移：0.5B RL 专家教 14B 学生（held-out 数学准确率） | 峰值金标准分数 | 77.7%（Vanilla-OPD），超过教师自身与直接 RL 之外的多数配置 | 教师自身仅 39.8%；学生 SFT 初始化约 71.8%；学生直接 RL 终点 87.3% | 学生超过教师 +37.9 个百分点，较自身初始化净增约 5–6 点，验证弱专家可摊销到大家族 |
| 中间教师同分对照：3B 中间检查点（66.0 分）对比 1.5B 端点教师（63.6 分）教 7B 学生 | 峰值预测误差与排序正确性 | 联合律预测 74.1，观测 73.8（误差 0.3 点），且唯一正确预测其劣于 1.5B 教师的 77.5 | 仅规模律预测 79.5、仅分数律预测 76.3，两者都错误地偏好更大更高分的教师 | 唯一在样本外给出正确排序的模型，直接验证负 β（同分小教师更好） |
| 在策略程度对比：冷启动 SFT 加 OPD 对纯 OPD（0.5B 专家为教师） | 峰值金标准分数损失 | 冷启动使峰值下降：3B 学生 −6.6、7B −15.7、14B −19.4 点 | 纯 OPD 在所有格取得最高峰值；纯 OffPD 在极端弱到强格落后 28.4 点 | 确立纯在策略监督的必要性与冷启动的危害随能力差单调增大 |
| Bootstrapping 链对比直接从 0.5B 专家蒸馏 | 峰值金标准分数 | 全链 0.5B→1.5B→3B→7B→14B 峰值 76.8%（Vanilla）/ 79.4%（Delta） | 直接 OPD：77.7%（Vanilla）/ 79.9%（Delta）；3B 处 60.4 对 61.4，7B 处 70.0–71.3 对 72.7 | 所有 8 条链均低于直传 0.5–2.7 点，链越长越差，推翻 Burns et al. (2024) 的链式增益在 OPD 上成立 |
局限与改进
作者承认的局限：证据限于单一 Qwen2.5 家族（0.5B–14B）、单一数学推理混合任务、每个配置只跑一个随机种子；rollout 上限 2K token，而已有工作表明 rollout 长度影响 OPD 稳定性；评测记录是聚合的，没有 prompt 级 bootstrap 也没有种子级区间；系数能否迁移到其他家族、任务或后训练配方完全未验证；局部几何定理只解释线性指数本身，不解释线性窗口的长度与尾部形态；速率律的留一尺度 RMSE 不如原始仿射基线，迁移范围的幂律在 Delta-OPD 下不可识别；早期停止与有限评测频率可能右删失 $d_{\rm transfer}$ 并把 $d_{\rm peak}$ 推到观测边界。我的补充观察：其一，教师 cap $\min(N_T,N_S)$ 是对 0.5B/1.5B 学生反转现象的唯象近似，作者也承认最小学生的反转属于未建模残差，cap 背后的机制没有被定位；其二，所有结论默认 compute-optimal 预训练设定，对欠训练或过训练的学生是否成立存疑；其三，数学题有唯一答案、金标准干净，搬到开放式任务（写作、智能体）时金标准如何定义、过优化框架是否照搬都是未知数；其四，OPD 比 RL 稳定的说法只来自初步试跑，25 加 17 次训练全部单种子使得每格峰值的噪声无法量化；其五，Delta-OPD 的优势作者自认需要更多种子确认，且其优势随教师增大缩到 1 点以内，实践中未必值得换目标。
独立分析的弱点
弱点一，外部效度未知：单家族、单任务意味着幂律系数（$\alpha\approx0.30$、$\beta\approx-0.27$、$\zeta\approx0.95$）很可能不是普适常数，换成 Llama 家族或代码任务可能整体漂移；改进方向是在第二个家族或任务上复制一个最小 3×3 网格检验系数稳定性。弱点二，单种子使每格峰值含不可量化的噪声，而幂律拟合对离群点敏感，0.5B 学生的反转就是例子；改进方向是至少对同基座与极端弱到强等关键格补 2–3 个种子。弱点三，金标准只看最终答案准确率，无法反映推理过程质量、幻觉率与安全性，弱教师可能教会学生猜答案的捷径；改进方向是加入步骤级过程评测与安全基准。弱点四，2K token 上限截断了长链推理场景，OPD 在长 CoT 下的动态完全未探索；改进方向是在长 rollout 任务上重复核心格。弱点五，教师 cap 是唯象修补而非机制解释，为什么教师超过学生规模后反而有害（过模仿教师缺陷、分布错配还是容量错配）没有实验定位；改进方向是引入师生 token 分布重叠度、特征槽占用等诊断量分解回归机制。弱点六，算力核算缺失：各规模训练的 GPU 时长与 FLOPs 未汇报，弱到强摊销的经济性只能定性判断；改进方向是补一份以计算量为坐标的成本模型。
未来方向
作者提出的方向：在 frontier 规模检验规律是否保持，把固定弱教师（例如人类水平监督）训练超强学生作为超越人类监督议程的候选机制；以多种子、更密评测与 prompt 级重采样量化不确定性；为线性窗口长度、异构尾部与幂律形式补全机理理论；以及用全序列 k3、k1 与部分词表 KL 做更严格的估计器验证。基于本文成果可以延伸的方向：其一，把联合律反解成资源规划工具——给定目标精度，求最小教师规模加最少 RL 预算，做成 OPD 版 compute-optimal 指南；其二，修复 bootstrapping 的失败模式，例如链上每级重置参考策略、掺入少量直接 RL、或按 Huang et al. (2026) 的特征槽假说控制每级蒸馏量；其三，把 Delta-OPD 与可验证奖励 RL 结合（OPRD 路线），并扩展到多教师与跨任务知识整合；其四，把近似无标度的 KL 预算 $d_{\rm transfer}$（中位数约 0.29–0.30）实现为自动早停准则，构建无需人工盯峰值的 OPD 训练器；其五，在开放式任务上定义代理与金标准对，检验过优化分析框架的边界；其六，研究 OPD 产物教师的知识缺陷如何沿链传播，为弱到强蒸馏的安全性提供保障。
复现评估
复现评估：所有原材料公开可得——Qwen2.5 Base 五个规模、Dolci-SFT 数据、GSM8K/MATH 数据集、verl v0.8.0 训练框架；附录 E 给出完整超参（SFT 学习率按 $N^{-1/4}$ 从 $2\times10^{-5}$ 缩放、RL 与 OPD 学习率 $10^{-6}$、batch 256、GRPO group size 8、最多 580 次更新、评测 temperature 1.0、单种子），附录 F 到 J 给出全部 25 加 17 条轨迹图与逐格数值，透明度很高。但正文未提及发布训练代码或日志存档，文中提到的 machine-readable analysis records 未见公开链接，精确复现数值需要自己重跑。主要门槛是算力：5 次 SFT 加 5 次 GRPO RL、25 次 Vanilla 与 17 次 Delta OPD、8 条 bootstrapping 链以及冷启动与 OffPD 对照，模型最大到 14B，估计需要多节点高端 GPU 集群运行数周。低成本的复现路径有三条：只复刻 0.5B/1.5B/3B 的 3×3 子网格再拟合联合律；直接采用社区现成的 RL 检查点充当教师省掉 RL 阶段；或只复现单种子下最便宜的弱到强格验证线性阶段与峰值超过教师这两个最稳健的定性结论。综合评级：工程难度中等（verl 现成、配方完整），算力门槛高，数值级复现难，定性结论复现容易。
论文图表
全文总览图。左列展示三种师生设置（强到弱、同基座、弱到强），教师均为 RL 后专家、学生均为 SFT 基座；中列显示训练早期金标准分数随 KL 坐标 $d$ 线性上升的有用迁移阶段及其后的噪声区；右列展示拟合的联合幂律如何从教师与学生规模预测峰值金标准误差。
一图概括论文的问题设定、核心经验规律与最终产出（可预测的缩放定律），是理解全文结构的入口。