REAM：合并优于剪枝的 LLM 专家压缩框架

用更精细相似度+伪剪枝+逐层重计算，MoE 专家压缩新方法

前置知识

Mixture-of-Experts (MoE)

MoE 把 Transformer 前馈块替换成 N 个专家+一个路由器。路由器对 token $x$ 输出 $g(x)=xW_g$，取 Softmax 最高的 top-k（远小于 N）个专家激活，让模型保持小 FLOPs 的同时大幅扩展参数量，如 Qwen3 用 N=128、top-k=8。

本文的核心对象是 MoE 层的专家压缩，读者必须先理解 top-k 稀疏激活和门控机制，才能读懂 REAP 显著性分数和 REAM 门控相似度的含义。

专家剪枝 vs 专家合并

专家剪枝（如 REAP）直接丢弃被判定为冗余的专家及其门权重；专家合并（如 HC-SMoE、MC-SMoE）则把相似专家聚成一组再按权重加权平均。两者各有取舍：剪枝可能丢失有用知识，合并的分组质量差时会把功能不同的专家强行合并。

REAM 的核心定位是介于剪枝和合并之间的'伪剪枝'策略，理解两类范式的根本差异才能明白 REAM 的切入角度和创新点。

神经元排列对齐（Permutation Alignment）

在合并两个专家的权重前，需要先把它们 MLP 内部神经元的排列顺序对齐，否则直接平均会破坏对应关系。常见做法是构造神经元之间的代价矩阵后用 Hungarian 算法求最优排列，代价可基于权重距离或激活距离。

REAM 改进了 HC-SMoE 单一激活代价的方案，提出激活+权重联合代价矩阵 $C_{\langle c_i,j\rangle}=C_{act}+C_{wt}$，是该方法的关键技术点之一。

REAP 显著性分数

REAP 提出基于门控加权的专家贡献显著性 $S^{reap}_i = \frac{1}{|X_i|}\sum_{x\in X_i}\pi(x)_i\|E_i(x)\|_2$，相比简单路由频次 $S^{freq}_i$ 进一步考虑专家实际输出幅度，能更准确反映专家对层输出的贡献。

REAM 直接继承 REAP 显著性作为分组依据，并把它的消融作为最大单点退化（−8.7），因此读者必须理解它比频次指标好在哪里。

研究动机

MoE 大模型如 Qwen3-30B-A3B 拥有 128 个专家、参数量 300 亿，部署时全部专家需常驻显存，是主要瓶颈。已有两类压缩范式各有硬伤：专家剪枝（如 REAP）虽然在大规模 25%/50% 压缩下是 SOTA，但被直接丢弃的专家可能携带对校准域外任务（特别是代码生成）非常重要的知识——实验显示 REAP 在 HumanEval 和 LiveCodeBench 上当校准集中 code=0 时分数接近 0；专家合并（如 HC-SMoE、MC-SMoE）虽然保留全部信息，却依赖聚类质量，且 HC-SMoE 几乎不响应校准数据分布，最优与最差配置在 GEN 套件上只差 3.5 分（67.4 vs 63.9），丧失任务对齐的杠杆作用。此外，所有现有方法都假设一次前向就能收集到所有层的统计量，但一旦第 $\ell$ 层被合并，其输出分布变化会使后续层的统计量失效，引入不可消除的累积误差。

本文的目标是本文目标是在不引入额外训练的前提下，设计一个静态的 MoE 专家压缩方法，使 25% 和 50% 压缩下都能：(1) 在生成式（GEN）推理和编码任务上逼近未压缩原模型；(2) 对校准数据混合比保持鲁棒且能利用其杠杆效应——好的混合比能有效提升 GEN；(3) 在判别式（MC）任务上不出现灾难性退化。三者结合的目标是在 MC×GEN 帕累托前沿上整体占优，且超体积（HV）指标领先现有方法。具体验证目标包括：在 Qwen3-30B-A3B 上 25% 压缩 GEN 接近 70、Qwen3-Coder-Next 25% 压缩 GEN 不低于 72.9，HV 超过 REAP/HC-SMoE。

与已有工作不同的是，REAM 的独特切入角度是把'剪枝'和'合并'的边界模糊化，提出伪剪枝（pseudo-pruning）策略：先按显著性选 $N'$ 个高排名专家作为质心并固定不变，其余专家按相似度被吸收到质心组中合并；这样既像剪枝一样保留一组完整的高显著性专家不被打乱，又像合并一样不丢弃任何专家的权重信息。同时配合四类技术：(1) 门控 logit 相似度 + 门控输出相似度的复合度量 $\delta^{REAM}=\delta_g+\tilde{\delta}_E$；(2) 激活+权重联合对齐代价矩阵；(3) 合并一层后立即重做一次前向刷新后续层统计的 sequential merging。这一组合在公开文献中没有先例。

核心方法

REAM 的整体思路是'先聚类后合并'但聚类方式借鉴剪枝的硬选择。具体地，先在每层用 REAP 显著性 $S^{reap}_i$ 选出 $N'$ 个高显著性专家作为不可动的质心，再按聚合相似度 $\delta^{REAM}(c_i,j)$ 把剩余的 $N-N'$ 个非质心专家贪婪地分配到最近的质心，每组最多吸收 $C$ 个非质心（$C=16$ 或 $32$），未被分配的质心则作为 singleton 保留原样。由于 $N-N'\ll N'\cdot C$，大多数质心组最终是单专家——这正是'伪剪枝'的含义：少数大组，多数 singleton。直觉上，这模拟了剪枝中'保留头部专家'的核心机制，但同时通过合并把弱专家的知识以加权平均形式注入质心，避免了彻底丢弃。

REAM 与已有方法的本质区别有四点：(1) 相似度同时考虑路由分布 $\delta_g$（哪些 token 倾向于选谁）和门控加权输出 $\tilde{\delta}_E$（在被选中的 token 上实际输出像不像），二者都乘以 Softmax 概率 $\sigma(x)_i$ 让路由器置信度调制贡献；(2) 分组结果是稀疏的——少量大组 + 大量 singleton——而不是 HC-SMoE 那种均匀聚类；(3) 对齐代价同时考虑激活距离 $C_{act}$（数据驱动）和权重距离 $C_{wt}$（结构驱动），缓解单一信号的偶然一致性；(4) 顺序合并（sequential merging）——每合并一层后立即用合并后的层重做前向，再为下一层收集统计，避免统计量随层数漂移。这四个组件中第一个由作者称为'门控专家相似度'，第四个是流程层面创新，二者合起来使 REAM 区别于 MC-SMoE、HC-SMoE 和 REAP。

方法步骤详情

REAM 流程：输入完整 MoE、校准集 $\mathcal{X}$（3072 序列×512 token，10 种混合比）、目标专家数 $N'$、组容量 $C$。(1) 用原始模型前向一次，按式 (3) 算每层 REAP 显著性 $S^{reap}_i$，按式 (7)-(8) 算 $\delta^{REAM}=\delta_g+\tilde{\delta}_E$。 (2) 每层取显著性最高 $N'$ 个专家为质心集 $C_\ell$。(3) 贪心聚类：按 $\arg\max\delta^{REAM}(c_1,j)$ 把至多 $C$ 个未分配非质心吸收进组；未被吸收的质心保持 singleton。(4) 对每组构造联合代价 $C_{act}+C_{wt}$，用 Hungarian 算法对齐神经元顺序。(5) 按 $S^{reap}$ 加权平均得 $W_{merged}$，singleton 不变。(6) 删去 $W_g$ 中非质心行。(7) 顺序合并：用合并后的 $\ell$ 层重做前向刷新后续层统计，再处理 $\ell+1$。输出：每层 $N'$ 个专家的压缩模型。

技术新颖性

技术新颖性体现在三个层面。第一，方法论层面提出'伪剪枝'作为介于硬剪枝和软合并之间的第三条路，并用理论化的'少量大组+多数 singleton'形式化，这在 MC-SMoE 之后未被清晰提出。第二，相似度度量上把路由器 logit 相似度（路由级冗余）和门控加权输出相似度（表示级冗余）加和，并显式说明 Softmax 调制能区分'偶尔输出像'与'系统性分工像'，这是对 Li et al. (2024) 单一度量的实质性扩展。第三，工程层面提出 sequential merging 流程并量化其代价——Qwen3-30B-A3B 上非顺序合并 ~1 小时、顺序合并 ~1.5 小时、显存 ~30GB，论证了'多花 0.5 小时换效果'在一次性部署场景下完全可接受。开源仓库和预训练压缩模型也已发布，方法可复现性较高。

**Figure 1**: Illustration of REAM components: a) Comparison of expert compression strategies reducing N=9 experts to N'=4. b) Sequential merging vs one-shot baseline.

实验结果

四个 MoE 模型上评测。25% 压缩下 REAM 在最优校准 0:0.5:0.5 下 GEN 69.8，比原模型 70.9 仅低 1.1，显著高于 Freq 67.6、HC-SMoE 67.4、REAP 68.6（Table 1）。Qwen3-Coder-Next 25% 压缩 GEN 72.9 与原模型齐平；GLM-4.5-Air REAM 73.9 vs REAP 71.9；Qwen3-80B-A3B REAM 71.5 vs REAP 69.6（Table 2）。相关分析显示 C4 占比与 MC 正相关（$r\ge 0.95$）、与 GEN 负相关（$r\le -0.82$），code 相反，math 几乎无影响；HV 上 REAM 920.3 最高、7/10 比例在 Pareto 前沿（Fig. 3）。消融显示 REAP 显著性贡献最大（−8.7），其次门控调制（−5.9）、伪剪枝（−3.6）、门控 logit 相似度（−1.4）、顺序合并（−1.0）、联合对齐（−0.5）（Fig. 4）。REAM Rank-性能 $r=0.95$ 最紧，可作校准选择代理（Fig. 5）。

**Table 1**: Results at 96 experts on Qwen3-30B-A3B-Instruct-2507. Each method uses the calibration mixture achieving its best GEN score.

**Table 2**: GEN benchmark results on additional models with a 25% expert reduction: 512→384 experts for Qwen3-Next-80B-A3B-Instruct and Qwen3-Coder-Next, and 128→96 for GLM-4.5-Air. Calibration mixture fixed at C4:Math:Code=0:0.3:0.7 to favor GEN tasks.

**Figure 2**: Discriminative (MC) vs. Generative (GEN) trade-off depending on the calibration data mixture: benchmark scores with 64 (left) and 96 (right) experts for REAP, HC-SMoE, and REAM across ten mixing ratios of the calibration data with Qwen3-30B-A3B-Instruct-2507.

**Figure 3**: Additional analyses for 96 experts: a) Pearson correlation r between calibration datasets (C4, Math, Code) and MC/GEN scores, and between MC and GEN scores themselves, for each merging method. b) Pareto frontiers per method.

**Figure 4**: Ablation of REAM components with 96 experts: (a) MC and GEN scores for each ablation variant; (b) Per-task score drop (∆) relative to the full REAM performance.

**Figure 5**: Correlation between avg. pre-logit ranks and AVG benchmark scores across 10 calibration ratios for 96 experts.

查看结构化数据

任务	指标	本文	基线	提升
Qwen3-30B-A3B-Instruct-2507 25% 压缩 GEN 套件（96 专家）	GEN 平均（IFEval+AIME25+GSM8K+GPQA+HumanEval+LiveCodeBench）	69.8（校准比 0:0.5:0.5）	Freq 67.6 / HC-SMoE 67.4 / REAP 68.6 / 原模型 70.9	+2.2 vs Freq, +2.4 vs HC-SMoE, +1.2 vs REAP，差距 1.1 接近原模型
Qwen3-30B-A3B-Instruct-2507 25% 压缩 IFEval	指令遵循率（%）	89.9	REAP 89.6, 原模型 90.4	+0.3 vs REAP，−0.5 vs 原模型
Qwen3-30B-A3B-Instruct-2507 25% 压缩 AIME25	数学竞赛准确率（30 题，%）	60.0	REAP 50.0, 原模型 56.7	+10.0 vs REAP，+3.3 vs 原模型
Qwen3-30B-A3B-Instruct-2507 25% 压缩 LiveCodeBench	代码生成通过率（%）	51.0	REAP 50.3, 原模型 48.6	+0.7 vs REAP，+2.4 vs 原模型
Qwen3-Coder-Next 25% 压缩（512→384 专家）GEN 套件	GEN 平均	72.9	REAP 70.7, 原模型 72.9	+2.2 vs REAP，0 vs 原模型（无损）
GLM-4.5-Air 25% 压缩（128→96 专家）GEN 套件	GEN 平均	73.9	REAP 71.9, 原模型 77.1	+2.0 vs REAP，−3.2 vs 原模型
Qwen3-80B-A3B-Instruct 25% 压缩（512→384 专家）GEN 套件	GEN 平均	71.5	REAP 69.6, 原模型 72.9	+1.9 vs REAP，−1.4 vs 原模型
96 专家下 MC×GEN 帕累托超体积	Hypervolume (HV)	920.3（7/10 配置在 Pareto 前沿上）	REAP 878.0 (5/10), HC-SMoE 853.3 (2/10), Freq 429.7 (7/10)	+42.3 vs REAP, +67.0 vs HC-SMoE, +490.6 vs Freq

局限与改进

作者在第 6 节明示三点局限：(1) 没有方法在所有任务上同时最强——HC-SMoE 是 MC/GEN 最均衡的方案，REAP/REAM 则偏向一侧，部署时仍需根据目标场景选择；(2) MC 任务通常被认为更简单，但在某些校准比下 MC 退化反而比 GEN 更严重，提示 MC 和 GEN 依赖不同的专家子集，目前还缺乏对这种不对称性的解释；(3) 评测集样本量太小——AIME25 只有 30 题——会引入较大方差，未来需用更大更多样的评测套件。本文的额外隐性限制：sequential merging 虽只多花 0.5 小时，但仍是顺序计算，难以并行；只在 Qwen3 和 GLM4.5 三个 MoE 家族上验证，未覆盖 Mixtral、DeepSeek-MoE 等不同路由机制（Mixtral 用 top-2、DeepSeek 用细粒度专家分割），外推性需进一步验证；25% 压缩下近无损，但 50% 压缩时所有方法折衷都变差，作者承认 64 专家下'需要更细致任务对齐'。

独立分析的弱点

独立审视有四个弱点。(1) 伪剪枝 $C$ 在 $\{16,32\}$ 中网格搜索，未做层自适应——当某些层冗余度低时固定 $C$ 反而引入噪声；改进方向是按层冗余度自动选 $C$。(2) $\tilde{\delta}_E$ 对所有 token 求平均，忽略 token 分布差异；可改为在路由器聚类的 token 群体上做条件相似度。(3) 顺序合并在 512 专家大模型上耗时可能从 1.5 小时膨胀到数小时，作者未报告 80B 级实际开销；可考虑每 $k$ 层刷新一次或只在方差大的层刷新。(4) HV 指标的参考点是人为设定（比全局最低低 1 分），应同时报告 worst-case gap；论文也未给出压缩后 SFT/LoRA 恢复协议。

未来方向

作者在结论中提出的方向有三条：(1) 理解 MC 与 GEN 依赖不同专家子集的不对称性，进而设计 mixture-aware 压缩——对 GEN 任务保留更多与代码/数学相关的质心、对 MC 任务保留更多通用质心；(2) 把 REAM 进一步与 SVD 低秩、量化、PEFT 等后续压缩叠加使用，验证其正交性；(3) 扩展到更大更多样的评测集以稳定方差。基于成果可延伸的方向包括：(a) 把 REAM 的伪剪枝思想扩展到 MoE 的视觉扩散模型或语音 MoE；(b) 用 REAM 压缩后作为基模型进行 SFT/RLHF，对比压缩前训练得到的同尺寸模型，探索'先压后训' vs '边训边压'的差异；(c) 把'逐层重计算'推广到其他层间强耦合的模型压缩方法，例如 layer pruning、token pruning、KV cache 压缩等。

复现评估

复现性整体良好。论文给出 GitHub 仓库 https://github.com/SamsungSAILMontreal/ream 和 HuggingFace 集合 https://huggingface.co/collections/SamsungSAILMontreal/ream，后者直接提供压缩后模型权重。关键超参全部公开：校准集大小 3072 序列×512 token、三种数据源 10 种混合比、$C\in\{16,32\}$、8 MC + 6 GEN 评测套件、目标模型版本、压缩比例对应目标专家数；算力上公开了 Qwen3-30B-A3B 合并耗时（顺序 1.5 小时/非顺序 1 小时，~30GB 显存）。潜在复现难度：(1) 80B/106B 模型合并+评测需多卡 80GB 级 GPU，小实验室受限；(2) AIME25/GPQA/LiveCodeBench 评分流程复杂；(3) 大模型多组校准比放在 Appendix Table 4 需查附录。整体方法、代码、模型、参数均已开放，主实验可被独立验证。

REAM：合并优于剪枝的 LLM 专家压缩框架 REAM: Merging Improves Pruning of Experts in LLMs