PACED：用学生通过率加权将蒸馏聚焦于最近发展区 PACED: Distillation at the Frontier of Student Competence
用学生通过率作为权重，按 w(p)=p(1−p) 把蒸馏梯度集中到恰能学会的题目上
前置知识
知识蒸馏（Knowledge Distillation）
用大模型（teacher）的软分布作为监督信号来训练小模型（student）。蒸馏损失常用 KL 散度：前向 KL（forward KL）鼓励 student 覆盖 teacher 的全部模式（mode-covering），反向 KL（reverse KL）则把 student 拉到 teacher 的某个高置信模式（mode-seeking）。本文同时涉及 cross-family 蒸馏（Qwen3-8B → Qwen3-1.7B）和 self-distillation（同一模型既做 teacher 又做 student）。
本文的核心贡献发生在蒸馏框架内，需要理解 forward/reverse KL 的差异才能看懂 PACED 为何把二者分别绑定到不同设置，并在两阶段调度里前后串联。
通过率（Pass Rate）与最近发展区（ZPD）
学生当前通过率 p(x;θ) 定义为 K 次采样里答对的频率，p∈[0,1]。心理学中的最近发展区（Zone of Proximal Development, ZPD）指学习者"跳一跳能够到"的能力区间，对应 p 既不太低（完全不会）也不太高（已经完全掌握）。本文将 ZPD 操作化为 p 在中间区间的题目，并用 w(p)=p(1−p) 自动放大这一区间的梯度。
理解 ZPD 是读懂 PACED 直觉的关键——它解释了为什么 p≈0 和 p≈1 的题目贡献低 SNR 梯度，而 p≈0.5 的题目最值得训练。
梯度信噪比（Gradient SNR）
梯度 SNR = ‖E[g]‖² / Var[g]，衡量期望梯度方向相对于梯度噪声的强度。SNR 高意味着每一次更新都朝一致方向推进；SNR 低意味着梯度互相抵消或方向随机。本文的核心实证发现是：在蒸馏里，跨题目的梯度 SNR 随学生通过率呈现钟形曲线——两端塌缩、中间最高。这一结构性观察是 PACED 加权函数的理论基础。
PACED 的全部理论（Proposition 1-2、Theorem 6）都建立在"边界塌缩"这一 SNR 结构性特征上。理解 SNR 概念能帮助读者把握为什么 p(1−p) 是"leading-order 最优"而非随意构造。
Beta 核与 KL 散度方向
Beta 核 w(p)=p^α(1−p)^β 是一族定义在 [0,1] 上的权重函数，α=β=1 时退化为对称的 p(1−p)，峰值在 p*=0.5；α≠β 时峰值偏移到 p*=α/(α+β)。本文也涉及 KL 散度的两种方向：前向 KL 让 student 模式覆盖 teacher；反向 KL 让 student 模式集中到 teacher 的高置信区域。在两阶段 KL 调度里，先做前向 KL 扩面，再做反向 KL 提质。
Beta 核是 PACED 加权函数的形式化，而 KL 方向的选择直接对应"扩面再提质"的两阶段思想——这两点是 PACED 的技术骨干。
研究动机
标准的 LLM 蒸馏把所有训练题一视同仁，每个 prompt 对总损失的贡献权重相同。但这种均匀分配是低效的：一方面，学生已经完全掌握的题目（通过率 p≈1）只贡献"分散在不同参数方向上的微调校正"，跨题目的梯度互相抵消；另一方面，远超当前能力的题目（p≈0）产生方向几乎随机的梯度噪声，叠加后信号微弱。论文作者在 Qwen3-1.7B 上对 DAPO-Math-17k 的实测显示，约 49% 的题目通过率落在 p<0.2 或 p>0.8 的两端低 SNR 区间——也就是说近一半的训练算力实际在"做无用功"甚至"侵蚀已有知识"。这种均匀加权还导致显著的灾难性遗忘：在 Qwen3 前向 KL 蒸馏设置里，MMLU 准确率从基线的 51.2% 下降到 48.3%，遗忘达 2.9 个百分点。已有的应对方案要么依赖固定难度标注或预设课程表（curriculum learning），要么需要逐样本梯度计算（importance sampling/meta-learned weights），都无法在不增加架构/超参的前提下直接利用"学生自身当前能力"这一信号。
本文的目标是本文提出 PACED（Proficiency-Adaptive Competence Enhanced Distillation），目标是用学生当前通过率作为唯一信号，自动把蒸馏梯度集中到"最近发展区"。具体而言，作者希望：①形式化"通过率—梯度 SNR"的钟形关系并给出可证的理论保证；②设计一个无需架构改动、无需调超参、只需 K 次学生采样的闭式加权方案；③在保持低遗忘的前提下显著提升数学推理性能（MATH-500、AIME 2024/2025）；④验证框架在 cross-family（Qwen3、Qwen2.5、Llama-3.1）和 cross-setting（distillation、self-distillation）上的通用性。
与已有工作不同的是，本文的独特切入角度有三层：第一，实证层面，首次直接测量蒸馏中跨题目的梯度 SNR 随通过率的分布，揭示其钟形塌缩结构——这与此前只在 RL 或监督训练里研究"噪声 vs 难度"的工作不同。第二，理论层面，证明在边界塌缩的 power-law regularity 假设下，任意 SNR 曲线可分解为 p^{a'}(1−p)^{b'}·e^{r(p)}，从而 Beta 核是 leading-order 最优且 minimax-robust 的权重族（最差效率损失仅 O(δ²)）。第三，工程层面，把通过率加权做成了一个"无架构改动、无超参、一次 rollout"的轻量级模块——它正交于 KL 方向选择，可与 Hard Filter、AKL 等正交组合，而不是替代它们。
核心方法
PACED 的核心直觉是教育心理学的"最近发展区"：让学生把精力集中在"有时能做对、有时做错"的题目上。它把这一直觉操作化为一个闭式权重函数 w(p)=p^α(1−p)^β（默认 α=β=1），其中 p 是学生当前通过率。整体技术路线分三步：①（仅前向 KL）由外部专家 E（如 gpt-oss-120b）产生解题 y_E，再让 teacher T 在 E 的条件下重生成 y_T，得到"同族可学"的目标分布；②对训练集中每道题采样 K=8 次学生输出，估计通过率 p_i 并按 w(p_i)=p_i(1−p_i) 赋权，归一化到单位均值后冻结为常数；③在常规 KL 蒸馏循环里，每题损失乘上固定权重 ilde w_i。理论保证建立在"SNR 在 p→0 与 p→1 两端 power-law 塌缩"的假设下，由此导出 Beta 核的最优性（Proposition 2）和 minimax 鲁棒性（Theorem 6：worst-case 效率损失 O(δ²)）。
PACED 与已有方法的核心区别在于"加权信号源"和"加权粒度"。Hard Filter 用固定阈值做硬二分（p<0.2 或 p>0.8 直接丢弃），AKL 在 token 级别根据 teacher-student logit gap 调 KL 系数——前者粒度粗且丢弃信息，后者粒度细但需要 token 级 logit gap 且难以处理"整题都不可学"的情形。PACED 的关键创新是：以整题为粒度、以学生通过率为唯一信号、以 Beta 核为闭式形式——这一组合同时具备①自动零化极端题目（防止灾难性遗忘）；②平滑过渡（避免 Hard Filter 的 0/1 跳变）；③理论保证（leading-order 最优 + minimax-robust）；④极低开销（K=8 一次采样即可，单次实验增加约一个 inference pass）。它还在 forward KL 和 reverse KL 下都能工作，并通过"前向 KL 扩面→反向 KL 提质"的两阶段调度进一步把 AIME 2025 上的增益从 +3.6 推到 +5.8。
方法步骤详情
算法 1 给出完整三阶段流程。第一阶段（仅前向 KL）：对每个 prompt x，先用外部专家 E 生成解题 y_E=E(x)，再用冻结 teacher T 在条件 (x, y_E) 下重生成 y_T∼P_T(·|x, y_E)——这一步把"黑盒专家监督"转换成"同族白盒分布"，teacher 看到 (x, y_E) 而 student 只看到 x，确保 token 级 logit 监督。第二阶段（一次性通过率估计）：用当前 student S_θ 对每个 prompt x_i 采样 K 次 y_S^{(k)}∼π_θ(·|x_i)，按规整答案匹配判对错，得到 p_i=(1/K)∑_k 1[correct(y_S^{(k)}, x_i)]，再算 w_i=p_i^α(1−p_i)^β（默认 α=β=1），最后归一化 ilde w_i=w_i/\bar w（保留训练期间固定）。第三阶段（加权蒸馏循环）：每个 mini-batch 内，若用前向 KL，则 L(x_i)=\tilde w_i·∑_t D_KL[P_T(·|y_{T,<t})‖P_S(·|y_{T,<t})]（teacher-forced）；若用反向 KL，则先采样 y_S,i∼π_θ(·|x_i) 再算 L(x_i)=\tilde w_i·∑_t D_KL[P_S(·|y_{S,<t})‖P_T(·|y_{S,<t})]。所有梯度求和后用 AdamW 更新 θ（论文用 lr=1e−7，batch=32，2 epochs）。可选地，可在阶段边界或每 T_0 步重新估计 p_i 以追踪 student 能力迁移，但论文默认单次估计已足够（由 Theorem 6 兜底）。
技术新颖性
技术新颖性主要在三方面。第一，"通过率—梯度 SNR"的钟形塌缩是一个新的结构性发现——此前对 SNR 的研究多在监督学习或 RL 设定里进行，作者是首批在蒸馏中直接画出跨题目 SNR 随 p 变化的曲线，并把它形式化为"两端 power-law 衰减"的正则性条件。第二，"Beta 核是最优权重族"这一命题（Propositions 1-2 + Theorem 6）不是经验调参的合理化，而是在 SNR 边界塌缩结构下严格推导出的 leading-order 最优性，并给出 minimax 效率下界 sech²(δ)≥1−δ²——这意味着即使真实 SNR 偏离 Beta 模型 ±δ 倍，最差效率损失仍是 δ² 量级。第三，PACED 与已有加权机制正交：可与 Hard Filter（先粗筛再用 Beta 平滑加权）、AKL（题目级 × token 级双层加权）、GRPO 类 RL 算法（problem-level 替换 per-rollout 调节）组合，是真正的"加在蒸馏循环外的薄薄一层"。
实验结果
PACED 在两个 track、三个基准、九种对照设置下取得全面领先。在蒸馏 track（Qwen3-8B^GRPO→Qwen3-1.7B，前向 KL 族）：PACED 在 MATH-500/AIME 2024/AIME 2025 上分别达到 79.4/25.1/20.6%，相对基线（Qwen3-1.7B）的 69.4/11.5/7.6% 提升 +10.0/+13.6/+13.0；相对 unweighted forward KL（76.8/21.2/17.0）的提升为 +2.6/+3.9/+3.6；相对强基线 AKL（77.6/23.9/19.1）也有 +1.8/+1.2/+1.5 的稳定增益，且 MMLU 遗忘从 2.9% 压到 1.4%，与 Hard Filter 持平。在自蒸馏 track（Qwen2.5-Math-7B-Instruct，反向 KL 族）：PACED 在三个基准上达到 93.7/31.6/25.1%，相对 unweighted reverse KL（88.9/25.3/16.9）提升 +4.8/+6.3/+8.2；相对 AKL（91.4/28.2/21.5）提升 +2.3/+3.4/+3.6；MMLU 遗忘仅 0.6%。两阶段 KL→RevKL 调度进一步把 Qwen3 上的 AIME 2025 增益从 +3.6 推至 +5.8，MATH-500 推至 +4.6（达到 81.4%）；反向顺序（先 RevKL 再 KL）则同时输给两个单损失参考，证实"先扩面后提质"是正确顺序。跨家族验证（Llama-3.1-8B-Instruct 蒸馏，详见 Appendix C.4 Table 13）也复现了同向增益，证实 PACED 不依赖特定架构。此外，作者在 Qwen3-1.7B 初始化时观察到 ~49% 的题目 p 落在 <0.2 或 >0.8 区间——这直接说明 PACED 自动剪掉的"算力浪费"规模可观。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH-500 (Qwen3 distillation, 8-sample mean) | Accuracy (↑) | 79.4 ± 0.5% | Forward KL unweighted 76.8 ± 0.3% | +2.6 个百分点 |
| AIME 2024 (Qwen3 distillation, 8-sample mean) | Accuracy (↑) | 25.1 ± 1.0% | Forward KL unweighted 21.2 ± 1.3% | +3.9 个百分点 |
| AIME 2025 (Qwen3 distillation, 8-sample mean) | Accuracy (↑) | 20.6 ± 0.7% | Forward KL unweighted 17.0 ± 0.9% | +3.6 个百分点 |
| MMLU (Qwen3 distillation 留存) | Forgetting Δ (↓) | 1.4% | Forward KL unweighted 2.9% | 遗忘减半 |
| MATH-500 (Qwen2.5 self-distillation, 8-sample mean) | Accuracy (↑) | 93.7 ± 0.6% | Reverse KL unweighted 88.9 ± 0.5% | +4.8 个百分点 |
| AIME 2024 (Qwen2.5 self-distillation, 8-sample mean) | Accuracy (↑) | 31.6 ± 1.1% | Reverse KL unweighted 25.3 ± 1.2% | +6.3 个百分点 |
| AIME 2025 (Qwen2.5 self-distillation, 8-sample mean) | Accuracy (↑) | 25.1 ± 0.7% | Reverse KL unweighted 16.9 ± 1.1% | +8.2 个百分点 |
| MMLU (Qwen2.5 self-distillation 留存) | Forgetting Δ (↓) | 0.6% | Reverse KL unweighted 2.2% | 遗忘降至 1/3 |
| AIME 2025 (两阶段 KL→RevKL on Qwen3) | Accuracy (↑) over single-stage forward KL | 22.8% (累计提升 +5.8) | Forward KL unweighted 17.0% | +5.8 个百分点（两阶段调度带来额外 +2.2） |
局限与改进
作者明确承认四点局限。①Rollout 开销：K=8 次额外学生采样相当于在训练前多跑一遍 inference；附录 C.1.2 显示 K=4 已能保留大部分增益。②Pass-rate 粒度：K=8 下 p 只能取 {0,1/8,…,1} 共 9 个离散值，Beta 核的平滑性部分缓解但无法完全消除粒度问题。③硬零边界：p 真值 ≈0.05 可能被估成 0 而 w(0)=0 直接丢掉，浪费潜在弱信号；当 K 小时更明显。④依赖显式正确性信号：数学/代码等可验证领域天然适用，但创意写作、摘要、开放指令等开放任务没有明确 ground-truth，需要 reward model 或 LLM-as-judge 代理信号，会引入新一轮噪声和校准难题。我额外观察到的隐含限制包括：⑤比较对象局限于 KL 系蒸馏方法，没有和 On-Policy Distillation（GKD）里的温度/采样策略做正交消融；⑥两阶段调度只在 Qwen3 上验证，且只对比了 50/50 预算和单次中点重估计，更细的阶段切分或 KL 系数插值方案未充分探索；⑦跨家族验证仅在 Llama-3.1-8B-Instruct 单一规模上做了一次复现（Appendix C.4），未能覆盖代码生成或多模态蒸馏。
独立分析的弱点
独立分析三个可改进点。第一，"通过率"作为唯一能力信号过于粗——同一道题在 chain-of-thought 不同位置可能截然不同的可学性，未来可结合 token 级接受率或 step 级不确定性做更细粒度的 ZPD 定位（例如把 w 改为 w(p, t)，t 是当前生成步）。第二，硬零边界会让 p 估值出现 0 的题目"彻底失效"——可以引入 floor-clipping（如 w_clipped(p)=max(p(1−p), ε)）或者把权重换成平滑变体 w(p)=(p(1−p)+ε)/(1+ε) 来保留弱信号，同时保留 Beta 核在中间区域的形状。第三，单次通过率估计虽然在 Theorem 6 兜底下鲁棒，但 student 能力随训练漂移时，早期通过率可能已不能代表后期 ZPD——附录 C.1.3 显示周期重估计略有增益但成本高，可探索"课程迁移检测 + 自适应触发重估计"来平衡开销。第四，外部专家 gpt-oss-120b + teacher 重生成的 pipeline 让蒸馏成本在 teacher 端翻倍，若 teacher 与 expert 差距不大可考虑直接用 teacher 自身的 rejection-sampling 高质量回答作为目标。第五，两阶段 KL 调度的预算分配（50/50）只是简单切分，可以用 KL 系数连续插值的"软切换"替代硬切换。
未来方向
作者明确提出的方向包括：连续 KL 插值（前向与反向之间插值系数 λ 的平滑调度）；跨架构蒸馏（gradient-dispersion 在不同容量架构间的不同行为）；多教师集成；与 token 级 AKL 的直接组合验证。论文成果可自然延伸的方向还包括：①把 p 的估计从"对最终答案的离散判对"换成"对推理步骤的累积成功概率"，用于步骤级 ZPD 定位；②在多任务 RL 里把 p(1−p) 推广为 per-task 通过率加权，与 GRPO 的 group-normalization 互补；③把 PACED 的 SNR 测量作为诊断工具，用于在没有强基线参考的情况下判断训练是否在"有效梯度区间"；④用 prompt 难度预测器替代 student 自身 rollout，进一步压低前置开销（但可能牺牲对"学生专属难度"的适应性）；⑤把 Beta 核推广到连续 reward 信号（如生成式 reward model 分数），把"硬二值正确"换成"软 ZPD"；⑥探索在 RLHF/DPO 后训练阶段使用通过率加权来防止过拟合到已掌握偏好。
复现评估
复现评估整体偏中。论文在正文和附录给出了大部分关键超参：训练数据 DAPO-Math-17k 的两个 disjoint split；外部专家 gpt-oss-120b；前向 KL 蒸馏用 Qwen3-8B^GRPO teacher + Qwen3-1.7B student；反向 KL 自蒸馏用 Qwen2.5-Math-7B-Instructor 自身做 teacher/student；AdamW 优化器、lr=1e−7、global batch 32、2 epochs；K=8 rollouts、temperature 0.6、top-p 0.95；评估用 8-sample mean accuracy + lm-evaluation-harness 5-shot MMLU；通过率权重单次估计后归一化到单位均值。但仍存在复现难点：①Qwen3-8B^GRPO 是作者自行在 DAPO-Math-17k 上 GRPO 训练得到的 teacher，未公开 checkpoint，复现需自行跑 GRPO；②gpt-oss-120b 通过 API 调用存在版本/时间漂移风险；③附录 A.5/A.6/A.7 的理论细节（Proposition 1-2、Theorem 6、Proposition 7、Proposition 10）依赖较多附录页数和证明，受众需要相当数学背景才能验证；④作者未明确公开完整训练代码、随机种子、wall-clock 训练时长（不同 GPU 拓扑差异显著）。对算力的需求：两阶段 Qwen3 蒸馏约需 ≥8×A100 80G 数天，自蒸馏类似，加上 GRPO 训练 teacher 的额外开销对个人研究者门槛较高。整体可复现性约 6/10：核心思想可在一周内基于开源 Qwen3 权重在小规模实验里复现，但完整数字复现需要较多工程投入。
论文图表
（正文 + Appendix A.1 详细图）在 Qwen3-1.7B student 上按通过率分桶，测量每个桶内跨题目蒸馏梯度的 SNR，绘制成曲线。结果显示 SNR 在 p≈0 与 p≈1 两端都塌缩，在 p≈0.5 附近达到峰值，整体形状与理论预测的 p(1−p) 拟合线高度吻合。
这是 PACED 全部理论的实证基础——没有这张图，"边界塌缩"只是猜想；有了它，Beta 核的 leading-order 最优性才有了实验支撑。