我们留住了被遗忘者的什么：训练无关 MoE 专家剪枝中的替换算子与路由语义 What We Keep of What We Forget: Replacement Operators and Routing Semantics in Training-Free MoE Expert Pruning
固定剪枝掩码首次受控比较替换算子：门控尺度须随路由器训练约定，低秩倾斜替补稳定增益
前置知识
MoE 与 top-k 路由
Mixture-of-Experts 层用一个小路由器为每个 token 从几十到几百个专家中选出 top-$k$ 个计算，专家输出按门控 $g_j$ 加权求和。现代开源模型普遍用细粒度设计：每层 64 个小专家加少数始终激活的共享专家。路由器分 softmax（门控是概率）与 sigmoid（独立打分）两类，且是否对选中的 top-$k$ 门控做归一化（使和为 1）是各模型不同的训练约定。
本文研究删掉专家后路由槽位如何填补，所有讨论都在路由语义框架内；不同模型归一化约定不同正是核心发现的来源。
训练无关专家剪枝
不做梯度再训练，只用少量校准数据给每个专家打分并按层删除低分者。打分判据包括路由频率、router 加权激活范数、MoNE 的频率×输出方差乘积、REAP 的门控加权输出范数等。省下的显存可达一半，且可与量化叠加。
本文是这类方法的系统分析：固定 MoNE 产生的剪枝掩码，只变化被删专家槽位的替换计算，从而把选择与替换两个决策解耦。
门控重归一化 vs 保留尺度
删除专家后重路由时，一种常见实现把幸存专家门控重缩放为 $g_j/(1-P_{\text{pruned}})$（renorm），好像被剪专家从未存在；另一种保留未剪枝路由器的原始门控（keep）。两种语义只在 softmax 且训练时不归一化的路由器上有区别——OLMoE、DeepSeek-V2-Lite 属于此类，Granite、Moonlight 训练时带归一化。
trained-scale rule 是本文最重要发现：用错尺度损失 0.8–8.5 个精度点，且能翻转算子排名，读懂两臂对比是理解全文的前提。
MoNE 的常数替换
MoNE（Zhang et al., 2026）把每个被剪专家的槽位输出替换为其在校准 token 上的均值输出 $\mu_i$（称为 novice），路由器与门控完全不变，零新增参数。其打分是路由频率与输出方差的乘积，剪枝比率越高 novice 帮助越大。
常数是全文基线，其掩码是受控实验的固定参考；它还是本文提出的 tilted novice 的 rank-0 特例，理解它才能理解 tilt 家族的构造。
降秩岭回归
用线性映射 $\hat y = U V x$（秩 $≤ r$）拟合 $y$ 对 $x$ 的回归并加 $\ell_2$ 惩罚，有闭式解，是 Izenman (1975) 以来的经典方法（reduced-rank regression）。秩 $r$ 越高拟合越强、参数越多，秩为 0 时退化为常数（均值）。
tilted novice 就是对被剪专家输出关于输入的 rank-$r$ 降秩岭回归闭式拟合；理解它才能理解 tilt 的公式、参数记账（$2rd+2r$/专家）与误差恢复分析。
成对 bootstrap 与 Holm 校正
对同一批测试项有放回重采样（$B=10{,}000$），在每次重采样中重算两个算子的九任务差，得到差值的 95% 百分位区间，控制测试项噪声；Holm 逐步下降法对一族对比的 p 值做校正以控制族错误率。区间含零只代表当前精度下不可检测，不等于等价。
本文对全部 111 个指定对比做 Holm 校正（47 个存活）并要求跨校准切片同号才认作确立；文中 †/‡ 等标注全部依赖这套统计语言。
研究动机
训练无关 MoE 专家剪枝实际做了两个决定：删哪些专家，以及删掉后路由器仍选中该槽位时层计算什么。现有方法同时改变两者：REAP/HOPE 删除专家并把幸存者门控重归一化；MoNE 代入均值输出常数；MoRA 用经仿射拟合的保留专家代理；ConMoE 把槽位交给保留专家并保留原门控值；COMPEL 把被剪专家权重的 Fisher 加权份额加进所有幸存者。因此发表的方法对比同时也是不受控的替换算子对比——MoNE 与 ConMoE 的消融都只在各自方法内部比较算子。更隐蔽的是门控尺度：OLMoE 与 DeepSeek-V2-Lite 的路由器训练时不对 top-k 门控归一化（softmax 概率和远小于 1），而重归一化是 REAP/HOPE/AIMER 等主流实现的默认选择，等于隐式改变了模型从未训练过的尺度。评估也不可靠：25% 剪枝下 MoNE 常数保持 92–97% 的多选精度，却只剩 dense 的 5–65% GSM8K 分数与 0–17% 代码分数。这一选择正在进入部署格式：2026 年 10 月 vLLM 的压缩工具已为 REAP 风格与 MoNE 风格的剪枝检查点加入了 schema。
本文的目标是本文要把「替换」从实现细节变成受控变量：固定剪枝掩码（由 MoNE 发布代码产生）、校准 token 与评估协议，只变化路由器仍选中被删专家时层计算什么，在三个 64 专家架构（OLMoE-1B-7B、DeepSeek-V2-Lite、Moonlight-16B-A3B）上做首个跨替换算子家族的固定掩码对比，并用 Granite-3.0-3B-A800M 作为第四个路由器做归一化约定的反向测试。具体目标有四：其一，隔离并检验门控尺度的影响，提出并验证 trained-scale rule；其二，提出参数预算内的输入相关替换算子 tilted novice，检验其增益对校准切片、提示协议与 4/3-bit 量化的稳健性；其三，用生成式任务、校准域交叉与等存储量化对照检验标准评估是否会颠倒结论；其四，把七种已发表选择判据与算子效应放在同一标尺上，最后凝练成专家剪枝对比的五条报告清单。
与已有工作不同的是，填补的空白是「受控」二字。此前 REAP 已发现判别式与生成式评估会给出不同结论；ConMoE 把保留池构建与被删专家工作分配分开、在固定池上研究分配，但两者的消融都没有把重映射与常数、输入映射、重路由放在同一掩码下对比；Chen & Yao (2026) 在 top-k 缩减的计算侧提出「参考集不变性」原理并猜想无归一化路由器应保留训练增益，但两个测试模型都带归一化，未验证该猜想。本文的独特切入有三点：一是把 MoNE 的均值常数重新解释为经典降秩岭回归的 rank-0 特例，构造出从常数到输入映射的连续家族 tilted novice，让「要不要拟合」变成一个可以用参数预算购买的秩旋钮；二是同时覆盖训练带与不带 top-k 归一化的两类路由器（softmax 与 sigmoid、有无共享专家、40–64 专家），使门控尺度结论有正反两个方向的证据；三是统计严谨性——配对 item bootstrap、对全部 111 个指定对比做 Holm 校正（47 个存活）、跨不相交校准切片的同号稳定性规则与事后等值边界，这在剪枝文献中罕见。
核心方法
直觉上，删掉一个专家并不等于抹掉它：路由器仍会把 token 打发到那个槽位，你必须决定槽位「输出什么」。本文把所有候选拆成三个家族（Figure 2）：(a) 从被删专家自身填槽——均值常数 $N_i(x)=\mu_i$ 与本文的 tilt $N_i(x)=\mu_i+U_i\,\mathrm{clip}(V_i(x-\bar x_i))$；(b) 从幸存者填槽——MoRA 的通道仿射代理、ConMoE 的槽位重映射、COMPEL 的 Fisher 加权权重补偿；(c) 干脆删槽重路由——以未剪枝门控（keep）或重归一化门控（renorm）让幸存者接管，两臂唯一的区别就是幸存者收到的门控尺度。协议五步（Figure 1）：Zyda-2 缓存流切成三个不相交校准切片 → MoNE 掩码固定 → 同一掩码上更换算子 → 九任务零样本多选 + big-5 + GSM8K/HumanEval/MBPP + WikiText/C4/Zyda-2 困惑度 → 任务分层成对 bootstrap（$B=10{,}000$）加 Holm 校正。所有 fitted 算子用 1,000 条 4,096-token 序列的流式充分统计量闭式拟合，掩码永不随算子重推导；空掩码下每个实现对原模型的 next-token 重放 bit-exact。
核心创新有两个。第一是 trained-scale rule：重路由时幸存者的门控有两种语义——keep 给每个幸存者未剪枝路由器本会给出的门控，renorm 把门控重缩放成好像被剪专家从未存在（$g_j^{\text{renorm}}=p_j/(1-P_{\text{pruned}})$）。实验发现 50% 剪枝时四个路由器上更好的都是路由器训练时使用的那个尺度，因此门控尺度是剪枝算法的一部分而非工程细节；这与 REAP/HOPE 把 renorm 当作「小项」的误差分解、以及只测归一化路由器的既有工作形成本质区别。第二是 tilted novice（tilt）：把 MoNE 的均值常数看成「对被删专家输出拟合输入映射」的 rank-0 特例，用经典降秩岭回归把秩升到 $r$，闭式拟合出 $N_i(x)=\mu_i+U_i\,\mathrm{clip}(V_i\tilde x)$（$\tilde x=x-\bar x_i$）。与 MoRA 的「保留专家+仿射」不同，tilt 直接对被删专家自身拟合；与 ConMoE/COMPEL 把工作转嫁幸存者不同，tilt 不改变路由与幸存者；每个被剪专家只多存 $2rd+2r$ 个参数（$\bar x_i$ 折叠进特征偏移，均值 $\mu_i$ 复用 MoNE 已有的）。它把替换算子的表达力变成一个可以花参数预算购买的连续旋钮。
方法步骤详情
第一步，校准与掩码：Zyda-2 缓存流切成三个不相交切片 A/B/C（各 1,000 序列 × 4,096 token），掩码永远由 MoNE 发布代码在切片 A 上产生，每层按 fusion score 剪掉 25%/50%/75% 被路由专家；模型为 OLMoE（64 专家、top-8、softmax 不归一化）、DeepSeek-V2-Lite（64 专家、top-6、2 共享、同前）、Moonlight（同布局、sigmoid 门控带 top-k 归一化、缩放 2.446），Granite（40 专家、归一化）只测门控尺度。第二步，定义各算子的槽位计算：常数 $g_i\mu_i$；tilt $g_i[\mu_i+U_i\,\mathrm{clip}(V_i\tilde x)]$（$r=32$、ridge $10^{-2}$、特征 4σ 截断）；MoRA 代理 $g_i[a\odot E_j(x)+b]$（held-out $R^2>0.4$ 才启用）；ConMoE 重映射 $g_iE_{\pi(i)}(x)$；keep $g_j=p_j$；renorm $g_j=p_j/(1-P_{\text{pruned}})$；COMPEL 给幸存者加 $\gamma F_j/\sum_k F_k$ 倍被剪权重和（$\gamma=0.1$）。第三步，评估：九个零样本多选任务、big-5、GSM8K 5-shot 严格匹配、HumanEval/MBPP pass@1、WikiText 2,048-token 困惑度。第四步，统计：$B=10{,}000$ 任务分层成对 bootstrap、Holm 校正覆盖 111 个指定对比（47 个存活）、跨切片同号规则与 90% 区间等值边界。第五步，交叉验证：50% 剪枝用 MoNE/SGE/REAP/频率四掩码交叉算子，校准域用 GSM8K-train 交叉掩码与拟合，量化用 GPTQ 4/3-bit 对照等存储。
技术新颖性
技术新颖性主要在实验设计而非新估计器——作者对此非常坦诚（降秩回归是 1975 年的经典方法）。第一，这是首个固定掩码、跨算子家族的受控比较：MoRA、ConMoE、COMPEL、MoNE 各自论文从未在相同掩码与校准下互相比较，本文按论文公式重实现三个未开源算子并逐项验证实现与公式一致（空掩码重放 bit-exact；Granite/Moonlight 的 keep 臂与独立参考相对误差 $<10^{-6}$；MoNE 复现与其论文九任务均值差 ≤0.32 点）。第二，trained-scale rule 首次被隔离测量：REAP 与 HOPE 的误差分解只在归一化路由器上推导并把重归一化当小项，Chen & Yao 只在计算侧陈述参考集原理，本文补上了内存侧、双向（两个无归一化加两个有归一化路由器）的证据，并证明该选择能改变两个既有结论（重路由是否胜过常数、REAP 掩码的排名）。第三，tilt 的新意在于角色：把 MoNE 常数嵌入可调秩的映射家族，给出流式闭式拟合、严格的参数记账（$2rd+2r$/专家）与等预算对照（神经元拷贝、白化/普通 SVD 拷贝、层共享映射、router-logits 映射），证明等参数下每专家输入映射优于共享映射。第四，统计协议（111 对比 Holm、同号规则、等值边界）为后续剪枝论文立了可循的标尺，并总结成五条报告清单。
实验结果
核心发现有五组。(1) trained-scale rule（Table 1/8）：50% 剪枝时更好的门控尺度都是路由器训练时的那个——keep−renorm 在 OLMoE 为 +4.50/+3.39/+3.09 点（25/50/75%），DeepSeek-V2-Lite 为 +0.79/+4.67/+8.47；Moonlight 与 Granite 方向反转为 renorm 占优（Moonlight 50% +1.68‡、Granite 50% +2.08‡）。重归一化还降低排序能力：八个二选一任务×设置 AUC 降 0.03–0.14，OLMoE 50% RTE 的 AUC 从 0.639 跌至 0.498。(2) tilt 的增益跟随常数损害（Figure 4）：损害 >10 点的五个设置全部显著（+1.23 至 +3.45），<3 点均不显著；50% 时 OLMoE +3.45 [+2.62,+4.27]、Moonlight +1.37，75% 时三模型全胜常数；OLMoE 75% WikiText 困惑度 1,434→172；增益跨校准切片波动 ≤0.20；GPTQ 4/3-bit 下 tilt 增益 12 个设置中 11 个不受影响，重路由则 11 个衰减。(3) 无算子全面占优（Table 5/12）：DeepSeek 上零参数 keep 重路由最好（50%: 61.19 vs tilt 60.32 vs 常数 59.84，四掩码平均 tilt−keep −1.22‡）；OLMoE 四掩码平均 tilt−keep +2.39‡；等预算神经元拷贝与 tilt 在 OLMoE/DeepSeek 统计不可区分（边界 0.81/0.73），白化/普通 SVD 拷贝不超常数；幸存者系全面落后（最近重映射在 OLMoE 比 keep 低 6.05 点，COMPEL 使其掉 3.26 点）。(4) 评估改变结论（Figure 7/13）：25% 剪枝常数保持 92–97% 多选但 GSM8K 只剩 5–65%、HumanEval 0–13%、MBPP 0–17%；换校准域移动掩码 4–9 倍于重采样（GSM8K 掩码与一般掩码 50% 重叠仅 65.2–70.3%）；域内校准下 OLMoE 剪半加 keep 保住 97% dense GSM8K（44.28 vs 45.49）；等存储下 DeepSeek 25% tilt+4bit 超均匀 3bit 量化 4.25 GSM8K 点，但一般任务 3bit 仍强 1.33/1.72 点。(5) 选择与算子效应相当（Table 5）：掩码在竞争判据间移动精度 1.9–4.1 点，算子在常数/tilt/keep 间移动 3.5–4.5 点；频率掩码比 MoNE 低 4.2–7.6 点，弱判据代价超过任何算子选择。成本上（Table 16），batch-32 prefill 下 tilt 保留 MoNE 节省的 66–74%，keep 只保留 5–7%；batch 1 顺序反转，tilt 解码慢 6–8%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OLMoE 50% 剪枝九任务零样本多选 | 平均准确率 (%) | tilt r32: 52.54 | MoNE 常数: 49.09（dense 66.76） | +3.45 [+2.62,+4.27]，Holm 全族校正后显著 |
| Moonlight 50% 剪枝九任务 | 平均准确率 (%) | tilt r32: 61.61 | 常数 60.24 / 训练尺度重路由 60.06 | +1.37 [+0.73,+2.01]（对常数） |
| DeepSeek-V2-Lite 50% 剪枝九任务 | 平均准确率 (%) | keep 重路由: 61.19（零参数） | 常数 59.84 / tilt 60.32 | +1.35（对常数），tilt−keep = −0.87（该模型重路由更优） |
| OLMoE 75% 剪枝 WikiText | 词困惑度 | tilt r32: 172 | MoNE 常数: 1,434 | 降低约 88% |
| DeepSeek-V2-Lite 75% 剪枝门控尺度对比 | 九任务差（点） | keep（训练尺度） | renorm 重归一化 | keep−renorm = +8.47 [−9.98,−7.01 反向区间]，无归一化路由器上用错尺度代价最大 |
| OLMoE 50% 剪枝 + GSM8K 域内校准掩码 | GSM8K 5-shot 严格匹配 (%) | keep 重路由: 44.28 | dense 45.49 | 保留 dense 的 97%，且无任何拟合参数 |
| DeepSeek-V2-Lite 25% 剪枝 + 4bit vs 均匀 3bit（等存储） | GSM8K (%) | tilt + 4bit: 37.15 | 均匀 3bit 量化: 32.90 | +4.25 |
局限与改进
作者承认的局限：覆盖三个 64 专家 base 模型（7–16B）加只测门控尺度的 Granite，未含 128+ 专家与 instruct 检查点；trained-scale rule 的反向证据只有两个路由器（Granite 50% 确立、Moonlight 50%/75%），各一个校准切片，无掩码网格与 keep 臂生成评估；只测两个端点尺度，而最优归一化器可能在两者之间；均为一次性 training-free 剪枝，未测恢复微调与融合内核。我的补充观察：tilt 在 25% 轻剪枝基本无增益（仅 OLMoE 显著），DeepSeek 上零参数重路由常更好，实践收益高度依赖模型与剪枝率；MoRA/ConMoE/COMPEL 为按论文公式的重实现（官方未开源），可能被低估；掩码交叉只在 50%、两个模型上进行；九任务均值中 RTE（277 题）与 MMLU（14,042 题）等权，且 75% 时 MMLU 低于随机（22.9–23.7%），高剪枝率下均值解释力有限；Granite 75% 仅高于随机 2.4 点，其反向结论部分依赖 BoolQ，可能掺入答案偏置。
独立分析的弱点
弱点一：trained-scale rule 仍是相关性证据——路由器训练约定与模型规模、门控函数、共享专家等变量纠缠，没有因果干预；改进是在可控预训练中用两种路由语义各训练路由器直接操纵该变量。弱点二：fitted 算子继承校准域——GSM8K 拟合使九任务一致降 0.98–3.03 点（区间均排除零），而 GSM8K 掩码却全面提升多选，「掩码域」与「拟合域」效应方向相反未在方法层解决；改进是多域混合拟合或按输入域检索 per-domain tilt 库。弱点三：只测端点尺度，逐层最优归一化器应在两者之间；应把 normalizer 参数化并逐层校准。弱点四：tilt 的每专家 $U_i,V_i$ 破坏权重规整性，未融合内核下解码慢 6–8%；可把 $[\mu_i;U_i\mathrm{clip}(V_i\cdot)]$ 融合成单次 batched 低秩 GEMM 或吸收进共享专家。弱点五：算子感知的掩码选择失败——用 tilt 残差选掩码只动约 6% 掩码却使 MMLU 掉 2.6–4.3 点至近随机，说明「易被层误差模仿」不等于「可安全删除」，应把知识保持显式写进选择目标。弱点六：111 个对比仅 47 个经全族 Holm 校正存活，部分结论依赖事后等值边界与单切片，宜预注册对比集并增加校准切片。
未来方向
作者提出的方向：推广五条报告清单（路由约定与门控语义、固定掩码算子对比、至少一个生成任务、校准域与预算、等存储量化基线）；面向部署域做生成式评估；为 tilt 写融合内核；在已知部署域或极小预算下用剪枝（2-bit 均匀量化掉到 39.2–45.7 分而 50% 剪枝+4bit 保持 48.7–61.2，这是剪枝占优的区间）。基于成果可延伸：把 trained-scale rule 与路由器重对齐/蒸馏（HARC、Router KD）结合；把 tilt 家族推广到共享专家、注意力层乃至整块替换（与 ReplaceMe/LLM-Streamline 的层映射统一）；在 128+ 专家与 instruct 模型（DeepSeek-V3、Qwen3-235B）验证外推性——作者已引用外部结果暗示常数在 Qwen3-30B-A3B 仍有竞争力；工程化掩码+拟合+量化器同域联合校准（论文 7GB 域内配置保留 98–99% dense GSM8K，仅 23–24% 大小）；把「keep 需存被剪专家路由行」写进压缩检查点格式（vLLM schema 演进）；按 token/域动态切换常数/tilt/重路由，以及以提升恢复份额（现仅 14–34%）为目标的更强闭式拟合。
复现评估
复现条件总体良好但有几个坑。模型全开源：OLMoE-1B-7B-0125、DeepSeek-V2-Lite（15.7B）、Moonlight-16B-A3B、Granite-3.0-3B-A800M；校准用 Zyda-2 公共流缓存切片，评估用 lm-eval 九任务 + GSM8K/HumanEval/MBPP + WikiText。MoNE 掩码用其发布代码生成，复现九任务均值与原论文平均差 0.22 点（OLMoE）、0.30/0.25 点（DeepSeek）、0.00/0.02 点（Moonlight），100 序列的 DeepSeek 25% 掩码与官方检查点 416 个被剪专家完全一致；但发现 MoNE 代码两个未写明细节（频率项对所有 token 平均而非印刷的仅 routed token；评估会静默重初始化被剪专家）。tilt 极易复现：流式充分统计量（触约 0.01% 的值）+ 闭式解，近 CPU 级开销；50% 时参数增量 OLMoE 67.1M（1.82%）、DeepSeek/Moonlight 各 109.1M。主要工程量在按论文公式重实现三个未开源算子（MoRA/ConMoE/COMPEL，截至 2026-10-27 无代码）、Moonlight 路由（sigmoid + 学习偏置 + 2.446 缩放）的 bit-exact 验证、以及 $B=10{,}000$ bootstrap × 111 对比统计管线；需多卡跑 16B 模型多臂推理（论文未报 GPU 时数）。论文未给出自家代码链接，只能按附录 B/C/D/G/H 重推，难度中等偏高。
论文图表
部署成本表：OLMoE 权重 13.84 GB（dense）→ 常数 7.40 / tilt r32 7.53 / keep 7.40 GB；batch-32 prefill 保留 MoNE 节省的比例：常数 100%、tilt 66%、keep 仅 7%（每个 token 又要跑满 k 个真实专家）；decode 相对时间 tilt 1.076（慢 7.6%）、keep 0.946。DeepSeek 同型（tilt 保留 74%、keep 仅 5%）。batch 1 时顺序反转：重路由保留 85–92% 的节省，tilt 的 prefill 不比 dense 快。
揭示「重路由省显存但不省算力」与「tilt 有 0.13–0.22 GB 部署税但保住大部分 prefill 加速」的工程真相，是部署决策的必要数据。