密集监督、稀疏更新：论 On-Policy Distillation 的稀疏性与几何性 Dense Supervision, Sparse Updates: On the Sparsity and Geometry of On-Policy Distillation
系统分析 OPD 参数更新，发现其像 RLVR 而非 SFT 一样稀疏且偏离主方向。
前置知识
On-Policy Distillation (OPD)
一种 LLM 后训练范式：学生 $\pi_\theta$ 从自身策略采样 $y \sim \pi_\theta(\cdot|x)$，教师 $\pi_T$ 在每步 token 给密集反馈 $D(\pi_T \| \pi_\theta)$，兼具 SFT 的密集信号与 on-policy 的数据分布。
OPD 是本文研究的对象，理解它与 SFT、SEQKD、RLVR 的差异才能理解为什么要单独研究它的参数几何。
SFT / Offline SEQKD / RLVR 三种后训练范式
SFT 和 Offline SEQKD 用固定数据集或教师演示做密集 token 监督但分布固定；RLVR 用策略自采样但只接收稀疏的序列级奖励；OPD 则结合二者：自采样 + 密集教师反馈。
三者形成二维谱系（数据来源 × 信号密度），本文正是要在这一谱系中给 OPD 定位。
Checkpoint Delta 与 SVD 谱分析
对权重张量算 $\Delta W = W_{\text{trained}} - W_{\text{src}}$，对 2D 矩阵做 SVD。top-$k$ 谱能量 $e_k$ 与稳定秩 $s_{\text{rank}}$ 用以判断更新是低秩还是满秩但谱集中。
这是本文的核心分析工具：用它来量化更新是低秩还是满秩、能量是否集中在少数奇异方向。
Task Vector / 子网络掩码
Task vector 指 $\theta_{\text{full}} - \theta_0$ 这一权重方向；本文进一步用 $|\theta_{\text{full},i} - \theta_{0,i}| > \tau$ 定义可见更新掩码 $m_i$，并用它做"仅训练子网络"的干预实验。
该掩码是后续"仅训练发现子网络是否足够"这一关键干预实验的基础。
AdamW vs SGD 在 RLVR 中的争议
Mukherjee 等 (2026b) 发现 RLVR 中 SGD 几乎能与 AdamW 抗衡，因为 RLVR 的稀疏更新让自适应二阶矩变得不重要；本文要检验这一结论是否仍适用于 OPD。
这是论文第二个干预实验的核心动机，决定 OPD 训练是否还需要复杂的自适应优化器。
研究动机
现有大模型后训练主要有三条路线：SFT/Offline SEQKD 在固定数据上做密集 token 监督但分布固定；RLVR 用策略自采样但只接收稀疏的序列奖励因而面临信用分配难题；On-Policy Distillation (OPD) 试图结合二者——既在策略自采样，又保留每 token 的密集教师反馈，已被 DeepSeek-R1、MiniCPM、Qwen3-4B 的 OPSD 等多个主流模型采用。然而一个根本问题尚未回答：OPD 在权重空间上究竟"画了什么"？Mukherjee 等 (2026a) 发现密集监督的 SFT 产生致密的参数更新，而 RLVR 只修改一个小子网络；Zhu 等 (2025) 进一步指出 RLVR 偏离源权重的主奇异方向。那么当数据是 on-policy 但监督是密集教师反馈时，更新到底是接近密集的 SFT 改写还是稀疏的 RLVR 编辑？这一缺口恰好处在 OPD 的位置上。
本文的目标是本文的核心目标是系统刻画 OPD 参数更新的两个互补属性：稀疏性（sparsity）和几何性（geometry）。具体而言，作者希望回答三个子问题：（1）OPD 的最终更新在范数与坐标支撑上有多小、多稀疏？（2）这些更新是低秩还是满秩但谱集中？（3）它们是写入源权重的主奇异方向，还是避开头部的"非主方向"？最终目标是把 OPD 在 SFT / SEQKD / RLVR 谱系中的权重空间位置定清楚，并给出两条操作性验证。
与已有工作不同的是，此前所有相关研究要么聚焦 SFT/Offline Distillation 的密集改写（Mukherjee et al. 2026a 中的对比基线），要么聚焦 RLVR 的稀疏编辑（Mukherjee et al. 2026a; Zhu et al. 2025），但都没有针对 OPD 这一混合范式做过系统性参数几何分析。本文首次用 checkpoint delta 范式把 OPD 的权重变化与 SFT/RLVR 同时放在同一指标体系下对比，并把分析从"是否稀疏"推进到"稀疏但不是普通稀疏——它有特定的源权重几何签名"，再通过两个干预实验（仅训练子网络、AdamW vs SGD）验证这一签名是否真正具备功能性意义。
核心方法
整体思路是"静态 checkpoint delta + 干预实验"。取 10 对源/训练模型（6 OPD、3 RLVR、1 离线蒸馏），对匹配张量 bfloat16 加载后相减得 $\Delta W$，再用 float32 算范数、SVD、投影与能量。指标分三组：尺度与坐标支撑（相对 Frobenius 范数 $r = \|\Delta W\|_F / \|W_{\text{src}}\|_F$、稀疏度 $s_\epsilon$、top-$p$ 能量 $c_p$）、谱结构（top-$k$ 能量 $e_k$、稳定秩、数值秩）、源几何对齐（主子空间投影 $p_k$ 与 10% 主/低幅值掩码覆盖）。最后两条干预：以 $m_i = \mathbb{1}\{|\theta_{\text{full},i} - \theta_{0,i}| > \tau\}$ 定义掩码重启 OPD 仅训练掩码内坐标，对比完整/OPD/RLVR/随机掩码在 AIME 上的 mean@16；JustRL 教师设置下做 AdamW vs SGD 消融并记录动量 cosine 与二阶矩 CV。
与已有参数几何研究最大的区别在于：本文不是把 OPD 简单地与"密集改写"对比，而是把它定位为"密集监督 + on-policy 数据"的特定组合产生的、介于 SFT 与 RLVR 之间的新签名——稀疏且偏离主方向。方法上同时把三层粒度的指标（全局 / 模块 / 坐标掩码）整合到一个分析流程，并把"是否有用"从静态描述提升到"仅训练发现子网络是否够"的功能性检验；这一检验把 OPD delta 重新诠释为天然的稀疏 task vector，从而与 Frankle & Carbin 的 lottery ticket 和 Ilharco 等的 task arithmetic 建立联系。
方法步骤详情
流程分四步。（i）数据准备：选定 10 个模型对（DS-Qwen OPD ×2 教师、MiniCPM5-1B OPD、Qwen2.5-VL OPD、Qwen3-1.7B OPD、Qwen3 OPSD；RLVR 参考：DeepScaleR、JustRL、Qwen2.5-VL GRPO；离线蒸馏：Qwen-Math Distill），统一 bfloat16 加载并按张量名匹配。（ii）算 delta：对每个匹配张量算 $\Delta W$，累加到全模型 / 模块组 / 单一矩阵三层聚合。（iii）算三组指标：尺度（$r$、$s_\epsilon$、$c_p$）、谱（$e_k$、$s_{\text{rank}}$、$\text{rank}_\tau$）、源几何（$p_k$、10% 掩码覆盖），在 float32 下计算后取 2D 矩阵上的中位数。（iv）两条干预：掩码训练定义 $m_i$ 后重置梯度掩码并把冻结坐标复位以避免解耦权重衰减移动，比较 4 种掩码在 AIME24/25 上的 mean@16；优化器消融记录 AdamW 动量 cosine 与二阶矩 CV。
技术新颖性
技术新颖性体现在三点：第一，分析的完整性——同一指标体系同时覆盖 LLM 与 VLM、覆盖 PG-style 与 GKD-style OPD、覆盖多种教师，覆盖了既有工作都没有做到的"系统性对照"；第二，"OPD 是稀疏 task vector"这一功能化诠释，把静态观察和"掩码训练能否恢复全训练性能"这一干预直接挂钩，让"稀疏"从现象变成可利用的结构；第三，优化器层面的负向发现——尽管 OPD 最终更新稀疏，AdamW 仍然显著优于 SGD，这与 RLVR 的近期结论相反，并通过动量 cosine 不稳定但二阶矩 CV 持续偏高（平均 4.85）给出了机制层面的解释。
实验结果
五组数字。（1）全局范数与稀疏：6 OPD 对相对范数仅 0.036%（Qwen3 OPSD）–0.142%（Qwen2.5-VL OPD），$\epsilon=10^{-5}$ 坐标稀疏 66.72%–89.50%；离线蒸馏基线范数 11.936%、稀疏 3.06%，差约两个数量级。（2）模块：DS-Qwen OPD FFN 0.0741% > Attention 0.0207% > Norm 0.0002%，但 Qwen3 OPSD Attention 略大，模式因模型而异。（3）源几何：10% 主方向掩码覆盖率 4.39%–5.46%（远低于 10% 随机基线），低幅值掩码 24.99%–48.57%。（4）掩码重叠：DS-Qwen RLVR↔OPD 单向覆盖率 53.21%/67.20%，是基线 17.50%/22.11% 的 3.04×。（5）干预：DS-Qwen Full 35.52% / OPD mask 35.10% / RLVR mask 34.69% / Random 32.92%；AdamW 43.02% vs SGD 39.06% 峰值。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OPD 子网络训练恢复度（DS-Qwen，AIME24+AIME25 均值） | mean@16 验证准确率 | Full 35.52% / OPD mask 35.10% / RLVR mask 34.69% / Random mask 32.92% | 随机密度匹配掩码 32.92%（峰值）；完整 OPD 35.52% | OPD 掩码相比随机掩码峰值 +2.18 个百分点，且基本追平完整训练（差 0.42pp） |
| OPD 子网络训练恢复度（Qwen2.5-VL，Geo3K） | mean@1 验证准确率（前 100 步） | Full 55.72% / OPD mask 54.24% / GRPO mask 49.98% / Random OPD-density mask 52.30% | 完整 OPD 55.72% 与密度匹配随机掩码 52.30% | OPD 掩码恢复完整训练 97.3% 的峰值；随机掩码只恢复 93.9% |
| 优化器消融（JustRL-teacher OPD，AIME24+AIME25 均值） | mean@16 验证准确率 | AdamW 峰值 43.02%、终值 42.40%；SGD 峰值 39.06%、终值 37.92% | SGD（lr 1e-2）作为同设置替代优化器 | AdamW 相比 SGD 峰值 +3.96pp、终值 +4.48pp，差距在最后五步稳定 |
| 谱集中度（6 个 OPD 对的 top-16 SVD 能量中位数） | top-16 谱能量百分比 | 区间 19.69%（Qwen3-1.7B OPD）到 40.94%（DS-Qwen OPD with JustRL teacher），稳定秩 7.25–20.31 | Qwen-Math Distill 离线蒸馏仅 8.57% top-16 能量、稳定秩 82.74 | OPD 谱集中度约为离线蒸馏的 2.3–4.8 倍 |
| 源主方向覆盖率（10% 掩码下可见更新覆盖） | principal / low-magnitude coverage (%) | OPD principal 4.39%–5.46%、low-mag 24.99%–48.57% | 10% 随机基线 10%；离线蒸馏 principal 9.95%、low-mag 10.10%（接近随机） | OPD 主方向回避比随机低 4.5–5.6pp，低幅值偏好比随机高 15–38pp |
局限与改进
作者明确承认两点局限。其一是分析只在最终 checkpoint 上做静态横截面，并未追踪训练轨迹上 $\Delta W$ 是如何随优化器步数逐步累积的，因此"几何签名是 OPD 训练动力学自然涌现"还只是定性猜想，缺少演化数据。其二是规模和覆盖范围有限：观察实验涵盖 10 个 LLM/VLM 配对，但都集中在 1.5B–4B 区间的小模型上；干预实验只在 DS-Qwen（数学推理）和 Qwen2.5-VL（Geo3K 几何题）两条线验证，远未覆盖智能体、具身、代码或多模态等其它 OPD 应用场景。基于这两点，许多结论（如谱集中度数值、模块结构、AdamW 优势大小）很可能与数据规模、训练长度、教师能力耦合，而非 OPD 的固有属性。此外，数值指标高度依赖 bfloat16 加载精度与 $\epsilon = 10^{-5}$ 的选取，换一个存储格式或阈值就可能重排相对量级。
独立分析的弱点
独立审视后可补充三点弱点。第一，模型对的选择存在幸存者偏差：6 个 OPD 配对几乎都来自公开 checkpoint 生态，且蒸馏目标是 Qwen 系列家族，跨架构（如 Llama、Mistral）和跨教师家族（如 Claude、GPT 系列）的泛化并未验证。第二，干预实验只做了一次完整的训练重启（DS-Qwen）和一次较短的前 100 步（Qwen2.5-VL），并未报告多次种子的标准差，统计显著性存疑；尤其是 AdamW 与 SGD 4pp 的差距虽然在两条基准上稳定，但若换学习率扫描或多个随机种子，置信区间很可能更大。第三，掩码覆盖率指标依赖人为选定的 10% 掩码密度，没做密度扫描（1% / 5% / 20% 等）下的鲁棒性测试，仅在附录表 10 给出几个离散点。改进方向：增加跨家族验证；为干预实验报告 ≥3 种子的均值±标准差并做配对 t 检验；做掩码密度的扫描曲线，给出覆盖率-性能的完整相图。
未来方向
作者点名的方向包括：（i）刻画 OPD 训练动力学而非只做最终静态快照，建议沿优化器步数跟踪 $\Delta W$ 的范数、稀疏度、谱如何随时间变化；（ii）扩展到更大模型（>10B）和智能体 / 具身 / 代码等领域，验证 4 项签名是否稳定；（iii）针对 OPD 的稀疏 + 谱集中 + 偏主方向几何设计 OPD-native 的参数高效训练方法，如 LoRA、Orthogonal Fine-Tuning、以及 OPD 友好版的 Muon（high-pass 变体），并对适配器容量按模块异质性做分配。基于本文成果还可自然延伸：（iv）把 $\Delta W$ 当成 task vector 用于模型合并或连续学习，观察 OPD task vector 与 SFT/RLVR task vector 在合并后是否相容或冲突；（v）把发现的子网络掩码作为"可解释性探针"，分析被更新坐标是否对应电路或 attention head 等功能单元。
复现评估
复现门槛中等偏低。代码已开源（https://github.com/SydCS/OPD-Param-Analysis），含 `analyze_opd_delta.py` 与两条干预实验实现；附录 A.3-A.4 列出 10 个模型对来源、训练配置（学习率、批量、序列长度、verl/HybridFlow 后端）与全部指标公式。最大障碍是被分析 checkpoint 的获取：DeepScaleR、JustRL、MiniCPM5-1B OPD、Qwen3 OPSD 是公开权重可直接下载；但 DS-Qwen OPD、DS-Qwen OPD (JustRL)、Qwen3-1.7B OPD、Qwen2.5-VL OPD/GRPO 是作者自行训练，论文未给出对应仓库与训练日志。严格复现两条干预需要至少 1 节点 4 actor + 2 teacher GPU，按 1 epoch + DAPO-Math-17K 估计合计 GPU 日 ~10 卡天。指标对 vLLM 采样温度、DAPO 验证集微小差异较敏感，mean@16 可能浮动 1–2pp，附录曲线未报告种子与 bootstrap 区间。
论文图表
6 行覆盖度对照表，给出三组配对（DS-Qwen RLVR↔OPD、Qwen2.5-VL GRPO↔OPD、DS-Qwen OPD×两教师）的 $o_1$ / $o_2$ 单向覆盖率及其对应的随机基线和倍数（2.21×–3.04×）。
这是"不同范式倾向改写同一子网络"的最有力证据，也是 OPD/RLVR 任务向量相容性的间接支持。
Table 2 的扩展：增加 exact zero sparsity、$\epsilon \in \{10^{-6}, 10^{-4}\}$ 的稀疏度、相对阈值（$10^{-3} \cdot RMS(W_{\text{src}})$）下的稀疏度、以及 top 0.1% / 1% / 5% 坐标能量百分比。
它给出不同阈值下的稳健性，让"约 80% 稀疏"这一结论不依赖单一 $\epsilon$ 选择。
1% / 5% / 10% / 20% 四种密度下，主方向覆盖与低幅值覆盖的完整扫描表，并给出 Non-prin./low 10% 联合指标（OPD 全员 >95%、离线蒸馏 90.53%）。
它证明"避主方向 + 偏低幅值"在不同密度下都成立，而非 10% 的偶然。