反思跨分词器在线蒸馏：从对齐覆盖率到监督可靠性

跨分词器在线蒸馏中，严格位置的紧凑监督优于扩大对齐覆盖

前置知识

在线蒸馏（OPD）

让 student 模型先对 prompt 自采样生成回答,再在学生实际访问到的前缀上,用教师模型的下一 token 分布作为监督训练学生,损失通常是 reverse KL。与在固定数据集上做蒸馏(offline KD)不同,监督始终对准学生当前的行为分布,教师反馈随学生策略演化而更新,可视为密集 KL 约束强化学习的特例。

本文全部实验都在 OPD 设定下进行,严格位置、错配组、共享词表等概念都建立在“学生在自己的 rollout 上被教师逐位置纠正”这一框架之上,不理解 OPD 就无法理解论文在优化什么。

反向 KL 散度

KL 散度衡量两个分布的差异。反向 KL 记作 $\mathrm{KL}(\pi_\theta\|\pi_T)$,以学生分布为第一个参数,具有 mode-seeking 性质:惩罚学生在教师低概率处放置概率,倾向让学生贴住教师分布的高峰而非覆盖所有峰。跨分词器场景下,需先把两个分布限制到共享词表上重新归一化,才能逐词条比较。

论文的基准目标 $\mathcal{L}_{1:1}$ 就是在严格位置对共享词表归一化后的 $\bar{\pi}_\theta$ 与 $\bar{\pi}_T$ 计算 reverse KL,所有对比实验都以此为参照系。

分词器与词表

分词器把文本切成 token 序列并映射到词表 id;不同模型家族(Qwen、Llama、Granite、Phi)的词表大小和切分边界都不同,同一段文字会被切成不同数量、不同组合的 token。词表交集 $V_\cap$ 指两个模型中对应同一底层字符串的词条集合(排除特殊 token 与歧义匹配),本文三对模型的静态 Jaccard 重叠仅 39.49%\u201364.87%。

跨分词器蒸馏的全部难点——序列级对齐(token 组)与词表级对齐(共享词表)——都由分词器差异引起,是论文问题的根源。

token 组对齐与严格 1:1 组

把学生回答用两个分词器分别切分后,保留双方共享的 token 边界(含回答首尾),相邻共享边界之间的每个区间构成一对 token 组 $S_\theta^r, S_T^r$;若区间内学生和教师恰好各有一个 token(即 $|S_\theta^r|=|S_T^r|=1$),称为严格 1:1 组,对应预测位置称为严格位置;需要多个 token 拼成同一段文本的称为错配组。

论文的核心问题就是:只监督严格位置够不够、给错配组补监督值不值,覆盖率与可靠性之争完全围绕这两类组展开。

梯度余弦与范数比

对两个损失分别求参数梯度 $g_1, g_2$,余弦 $\cos(g_1,g_2)=\langle g_1,g_2\rangle/(\|g_1\|\,\|g_2\|)$ 衡量方向是否一致(1 同向、0 正交、$-1$ 反向),范数比 $\|g_2\|/\|g_1\|$ 衡量相对强度。多任务学习中常用二者判断不同任务梯度的冲突程度。

第 5 节用 $c_{\text{mis}}$ 与 $\rho$ 诊断 span 监督为何有害,并设计了 split-half 对照 $c_{\text{ctrl}}$ 作为公平参照,这是论文机制解释的关键分析工具。

研究动机

在线蒸馏(OPD)要跨模型家族使用时会立刻撞上分词器差异:同一段回答在两个模型里有不同的切分边界,下一 token 分布也定义在两张不同的词表上。近期的跨分词器蒸馏工作都在设法“补全覆盖”:ULD 用秩匹配绕开词表身份,DSKD/CDM 学习词表或表示映射,SimCT 通过对齐多 token 单元恢复被排除的监督并报告优于共享词表 OPD 的增益,Byte-Prefix Marginalization 把教师概率质量按字节前缀映射到学生 token。这些方法的共同假设是:被严格对齐排除在外的目标是有价值的学习信号,但没有人量化过严格匹配本身已经保留了多少有用监督。静态词表重叠还会加剧这种误判——本文三个师生对的词表 Jaccard 重叠只有 39.49%–64.87%,看似监督缺口巨大;然而静态计数把每个词条同等对待,完全忽略它们在学生实际轨迹上的出现频率与预测概率,低重叠完全可能与高频严格对齐、概率质量高度集中并存。若不区分这两者,补全覆盖引入的可能不是信息,而是噪声甚至相互冲突的梯度。

本文的目标是本文要回答一个被先前工作跳过的问题:严格 1:1 对齐究竟已经保留了多少有用监督,把被排除的目标补回来到底贡献了什么学习价值。为此作者在三个异构师生对(Qwen2.5-7B-Instruct→Llama-3.2-3B-Instruct、Granite-4.1-8B→Phi-4-mini-instruct、Granite-4.1-8B→Qwen2.5-7B-Base,覆盖指令与基座学生)上,用 20,000 条数学(DAPO-Math-17K)与代码(CodeForces)混合 prompt、100 个在线蒸馏迭代做受控训练对比。同时用三类测量把“覆盖率”与“可靠性”分开量化:统计学生 rollout 上严格 token 覆盖率;扫 span-MSE 权重 $\lambda$ 检验错配组监督的学习效果;在全部 20k prompt 上做概率质量探针,测共享词表与学生自选 top-$k$ 子集保留的师生概率质量。最终目标是给出“监督可靠性优先”的设计准则,并用梯度诊断解释观察到的精度变化。

与已有工作不同的是，独特之处在于视角反转:先前的跨分词器蒸馏把“对齐覆盖率”当作优化目标,比谁的恢复机制能找回更多被排除的位置和词条;本文则主张覆盖率只是必要条件,真正决定学习效果的是“监督可靠性”——教师在学生实际访问的状态上给出的目标是否提供有用指导。作者没有提出复杂的新损失,而是以极简的严格 reverse KL 为参照系,配以概率质量探针和带 split-half 对照的梯度余弦/范数比诊断,从概率分布和优化几何两个层面解释“补全覆盖为何掉点”,再用“学生自选 top-16”这一紧致方案证明大部分蒸馏收益本来就被保留。这种测量驱动、结论反直觉的实证路线,与主流的机制设计路线形成鲜明对比。

核心方法

直觉上,蒸馏监督只需出现在“双方都能无歧义看到同一段文本”的位置,问题是这样的位置有多少、携带多少信息、剩余位置补进来是否有益。技术路线:先让学生对 prompt 采样回答,再用两个分词器分别重新切分,保留共享 token 边界把回答切成 $R$ 对 token 组,其中学生和教师各恰有一个 token、覆盖同一段文本的称为严格 1:1 组;在严格位置把两个模型的预测分布限制到共享词表 $V_\cap$ 并重新归一化,计算 reverse KL 得到严格损失 $\mathcal{L}_{1:1}$。随后做两个控制实验:给错配组加 span 对数概率 MSE($\mathcal{L}_\lambda=\mathcal{L}_{1:1}+\lambda\mathcal{L}_{\text{span}}$)扫描 $\lambda$;把严格损失的支撑集压缩成学生自选 top-$k$。最后在数学+代码 20k prompt、100 迭代、batch 512 的统一设置下对比 ULD、Extended ULD、GOLD、SimCT 四个基线,并用概率质量探针与梯度诊断解释结果。

核心创新是把设计准则从“最大化对齐覆盖率”换成“优先保证监督可靠性”,并用三组测量证明二者可以严重背离。其一,静态词表 Jaccard 只有 39.49%–64.87%,但学生轨迹上的严格 token 覆盖率高达 85.57%–96.98%——覆盖率缺口远小于词表缺口。其二,蒸馏前学生在严格位置上,共享词表平均保留教师 99.69%–99.90%、学生 98.99%–99.81% 的概率质量,被排除的词条几乎不携带概率,恢复它们价值有限;学生单边选的 top-16 就已保留 93.54%(教师)/94.55%(学生)以上的质量。其三,错配组的 span 梯度与严格梯度方向余弦 $c_{\text{mis}}$ 近零甚至为负(Granite→Qwen 起步 $-0.360$),且始终低于把严格位置随机对半分的对照组 $c_{\text{ctrl}}$,同时相对范数比 $\rho$ 随训练增长 6.6–28.0 倍——补进来的监督是“方向不正、权重渐大”的干扰项。这与 SimCT 等报告的“恢复监督有收益”形成直接张力。

方法步骤详情

(1) 采样:学生对每条 prompt 采样 1 条回答,batch 512,共 100 迭代。(2) 对齐:回答经两个分词器重切分,保留共享 token 边界得到对齐组;师生各恰含一个 token 的组为严格组,其余为错配组。(3) 严格损失:严格位置上把双方分布限制到共享词表 $V_\cap$ 并归一化,求 reverse KL 并求和得 $\mathcal{L}_{1:1}$。(4) span 消融:错配组上计算双方观测 token 路径的对数概率,以其 MSE 加入总损失并扫描权重 $\lambda$。(5) top-$k$ 变体:每个严格位置由学生分布选出 $V_\cap$ 内的 top-$k$ 词条,双方在该子集上重归一化后求 reverse KL,取 $k{=}16,128$。(6) 训练与诊断:AdamW(lr $10^{-6}$),SGLang,8×H20;概率质量探针统计 $V_\cap$ 与 top-$k$ 保留的质量;梯度诊断在 0/20/60/100 步计算错配-严格梯度余弦 $c_{\text{mis}}$ 与范数比 $\rho$。

技术新颖性

本文的新颖性不在损失函数而在实证方法论与结论本身。第一,把“对齐覆盖率”与“监督可靠性”拆成可分别测量的对象:动态严格覆盖率(而非静态 Jaccard)、严格位置上的概率质量探针、带 split-half 对照的梯度余弦——最后这个对照尤其巧妙:把同一目标下的严格位置随机分成两半,其梯度余弦天然衡量“同目标不同位置子集”的一致性水平,错配-严格余弦只有低于它才能说明方向失配是真实的,而非位置子集自身的噪声。第二,同词表 OPD 中“top-$k$ 支撑集即可保留蒸馏收益”的结论(Fu et al.; Li et al.)被首次推广到异构分词器场景,并证明学生单边选择就足够,无需教师参与选择。第三,结论与 SimCT“恢复被排除监督带来增益”的主张直接相左,而对比实验在同一框架(KDFlow)、同 batch/温度设置下进行,可比性强;span 监督的失败还被归因到具体的优化几何证据(方向失配+相对范数增长),而非停留在精度数字层面。

实验结果

(1) 覆盖:词表 Jaccard 仅 39.49%–64.87%,但学生 rollout 上严格 token 覆盖率达学生 85.57%–96.98%、教师 82.82%–97.26%。(2) 错配监督:18 个正权重设置全部低于严格基线 0.27–1.20pp,$\lambda{=}1.5$ 时三个对的 Full 分别下降 1.02、0.80、0.80pp。(3) 概率质量:共享词表保留教师 99.69%–99.90%、学生 98.99%–99.81% 的质量,top-16 保留至少 93.54%/94.55%。(4) 下游:top-16 保留 strict full 相对 Base 提升的至少 96%,三个 strict 变体在所有模型对上全面超过四个基线,领先最强基线 0.51–1.05pp。(5) 诊断与泛化:错配-严格梯度余弦近零或为负且低于对照,范数比随训练增长 6.6–28.0 倍;235B 大教师实验中 top-16 Full 62.46,领先 SimCT 6.21pp;ALFWorld 上 top-16 成功率 30.34%,超过 SimCT 与教师。

**Table 1**: Static vocabulary Jaccard overlap $J_{\text{vocab}}$ and strict token coverage on student trajectories from Strict full training.

**Table 2**: Cross-tokenizer distillation accuracy (%). Base denotes the student before distillation. Bold marks the best distilled score per column.

**Table 4**: Static vocabulary overlap across the three teacher–student pairs.

**Table 5**: Mean retained probability mass (%) at strict positions before distillation.

**Table 6**: Gradient diagnostics at checkpoints from training with only the strict loss.

**Table 15**: Benchmark-level distillation results for Qwen3-235B-A22B-Instruct-2507→Granite-4.1-8B.

**Table 16**: ALFWorld results for Qwen3-4B-Instruct-2507→Llama-3.2-3B-Instruct.

**Figure 2**: Full-average accuracy (%) across mismatch weights.

**Figure 3**: Probability mass retained by student-selected top-k subsets and the full shared vocabulary at strict positions before distillation.

**Figure 4**: Mismatch–strict gradient cosine $c_{\text{mis}}$ (solid) and split-half reference $c_{\text{ctrl}}$ (dashed) at checkpoints from training with only the strict loss.

**Figure 5**: Mismatch-to-strict gradient norm ratio $\rho$, at checkpoints from training with only the strict loss, with growth factors from step 0 to 100 computed from unrounded checkpoint medians.

查看结构化数据

任务	指标	本文	基线	提升
跨分词器蒸馏(Qwen2.5-7B→Llama-3.2-3B)	Math/Code 全平均准确率 Full (%)	Strict full 32.86;top-16 32.64	SimCT 31.59;GOLD 31.13;ULD 29.12;未蒸馏 Base 26.96	top-16 较最强基线 +1.05 个百分点,较 Base +5.68
跨分词器蒸馏(Granite-4.1-8B→Phi-4-mini)	Full 准确率 (%)	Strict full 42.49;top-128 42.54;top-16 42.26	GOLD 41.75;SimCT 41.68;ULD 38.63;Base 36.55	top-16 较最强基线 +0.51,较 Base +5.71
跨分词器蒸馏(Granite-4.1-8B→Qwen2.5-7B-Base)	Full 准确率 (%)	Strict full 47.35;top-128 47.65;top-16 47.06	GOLD 46.55;SimCT 46.10;Extended ULD 32.57;Base 29.56	top-16 较最强基线 +0.51,较 Base +17.50;ULD 反而使代码从 34.51 掉到 20.87
严格对齐覆盖 vs 静态重叠(三对模型)	学生 token 严格覆盖率 (%) vs 词表 Jaccard (%)	覆盖率 85.57–96.98	静态 Jaccard 仅 39.49–64.87	静态重叠低估实际覆盖约 22–57 个百分点
大教师蒸馏(Qwen3-235B-A22B→Granite-4.1-8B)	Full 准确率 (%)	Strict top-16 62.46(Math 51.29,Code 73.62)	SimCT 56.25;GOLD 54.01;ULD 52.43;Base 51.31;教师 74.17	较 SimCT +6.21 个百分点
ALFWorld 智能体(Qwen3-4B→Llama-3.2-3B)	Overall 成功率 SR (%) / 平均轮数	Strict top-16 SR 30.34,Turns 39.78	SimCT 28.52;Extended ULD 24.48;ULD 1.43;GOLD 2.61;教师 29.56;Base 10.68	较 SimCT +1.82 个百分点,超过教师,轮数最少

局限与改进

作者承认梯度诊断只是“may help explain”——余弦与范数比是相关性证据,没有做“按余弦门控后 span 监督转好”的干预实验建立因果;诊断仅在第 0/20/60/100 四个 checkpoint、每批 512 条回答的中位数上进行。我的补充:第一,效应量小(0.27–1.20 个百分点),AIME 每届仅 30 题,评测用 mean@32/mean@8 却未报置信区间或多随机种子,小差距可能落在噪声带;第二,错配监督只测了 span 对数概率 MSE 一种形式,不能否定所有恢复式方法——Byte-Prefix Marginalization 的有害位置掩码、似然匹配等替代损失未被直接比较;第三,训练仅 100 迭代、20k prompt,更长训练下覆盖率与质量分布可能漂移;第四,Granite→Qwen 学生覆盖率仅 85.57%,约 15% token 长期无监督,其信息去留未被讨论;第五,top-$k$ 由学生单边选择,早期学生分布若有偏可能系统性排除教师偏好词条,文中未分析该选择偏差。

独立分析的弱点

独立分析出五个弱点,各配改进方向。(1) span MSE 把覆盖同一段文本、但自回归决策数不同的两条 token 路径的对数概率放进同一个平方差,尺度与方差都不匹配,失败可能源于损失形式而非错配监督本身——可改用按 token 数归一化的似然匹配、字节前缀边缘化,并显式掩码全空白等有害位置;(2) 统计功效不足:每个设置单次运行,0.3–1 个百分点的差异需要 ≥3 个随机种子加 bootstrap 置信区间支撑,AIME 类小基准尤其如此;(3) 未监督的错配位置其实是免费的探索空间,与其硬塞不可靠的教师监督,不如把这些位置的 token 级信号交给可验证奖励(RLVR)或自举交叉熵,把“无用监督”转化为“有用探索”;(4) top-$k$ 固定为 16 且由学生单边选择,可按教师熵或师生分歧自适应确定 $k$(借鉴 TIP 的位置选择思路),或系统对比教师选择的 top-$k$ 支撑;(5) 概率质量探针只在蒸馏前测了一次,应做纵向探针,检验训练过程中共享词表质量保留率与严格覆盖率是否退化,避免结论只在初始状态成立。

未来方向

作者指出的方向是:新增监督的价值必须通过它与严格分布匹配的交互及对下游的影响来评估,而非以结构覆盖为目标;梯度余弦/范数诊断可成为筛选教师信号的常规工具。基于其成果可延伸:(1) 在线门控——训练中滚动估计 $c_{\text{mis}}$ 与 $\rho$,像 PCGrad 那样对方向失配的损失项动态加权或梯度投影,直接验证“可靠性”因果链,并可能让 span 监督在受控条件下变废为宝;(2) 把严格位置+紧致支持与 RLVR 结合:教师分布只在可验证奖励确认的轨迹上介入,错配位置留给奖励信号,形成混合监督;(3) 将覆盖率-可靠性框架迁移到多语言/多模态分词器、字节级模型,并与同词表 OPD 的 top-$k$ 监督统一成一个理论;(4) 教师规模轴已到 235B,可系统研究师生能力差与最优 $k$、$\lambda$ 的标度关系;(5) 探索错配位置作为正则化或数据增强信号,而非模仿目标;(6) 将“学生自选紧致支撑”推广到投机解码、词表剪枝等推理侧场景。

复现评估

复现条件较好。代码已在匿名仓库开源,四个基线全部采用公开的 KDFlow 实现;全部模型(Qwen2.5-7B-Instruct、Llama-3.2-3B-Instruct、Granite-4.1-8B、Phi-4-mini、Qwen2.5-7B-Base、Qwen3-235B-A22B、Qwen3-4B)、训练数据(DAPO-Math-17K、CodeForces)与 10 个评测基准公开;Appendix A/B 详列对齐规则、EOS 处理、超参(lr $1{\times}10^{-6}$、batch 512、$T{=}1.0$/top-$p{=}0.95$、最长生成 8192)、评测打分(Math-Verify、EvalPlus)与两个诊断协议。算力上主实验只需单节点 8×H20、100 迭代,属中等规模;235B 教师推理需多卡或量化。难点在工程细节:严格对齐的字节流校验、EOS 配对、探针过滤规则繁多,且论文未说明多随机种子,精确复现 0.3–1 个百分点级的小差距需多次运行。总体复现难度中等,主要成本在评测(mean@32)与对齐实现的严谨性。

反思跨分词器在线蒸馏：从对齐覆盖率到监督可靠性 Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability