← 返回 2026-05-08

EMO：通过文档级路由器约束预训练MoE，使其涌现模块化结构 EMO: Pretraining Mixture of Experts for Emergent Modularity

Ryan Wang, Akshita Bhagia, Sewon Min 📅 2026-05-07 👍 12 2026-07-13 08:36
LLM预训练 MoE 内存高效推理 模块化 涌现专家分组 路由机制
arXiv HuggingFace PDF

无监督训练MoE实现域级专家模块化，支持子集独立部署。

前置知识

混合专家模型 (MoE)

MoE将Transformer的FFN替换为多个专家子网络,每个token由路由器(router)选出Top-$k$个专家(如 $k=8$)参与计算。共 $n$ 个专家中每token只激活 $k$ 个,使总参数量(如14B)远大于激活量(如1B)。

EMO是MoE的变体,理解top-$k$路由、router logits $r(x_t)$、路由分布 $p_t$、共享vs路由专家这些概念是阅读其公式与训练目标的前提,否则无法理解'文档级约束路由'在MoE的哪个环节起作用。

负载均衡损失 (Load-Balancing Loss)

MoE训练辅助损失,防止token都路由到少数专家。形式 $\mathcal{L}=\sum_i \bar{f}_i \bar{P}_i$,$\bar{f}_i$ 为token比例,$\bar{P}_i$ 为平均路由概率。按micro-batch计算以减少跨设备通信。

EMO的关键贡献之一(Consideration 1)是把micro-batch级LL改为global级,因为前者在文档级约束路由下与modularity目标冲突。这是理解训练稳定性必要条件的前提。

句法级 vs 语义级专家特化

标准MoE研究普遍发现专家在表面、句法层面特化,如介词、标点、冠词等context-independent模式。'语义级特化'则指专家在更高层概念上分组,如数学、代码、生物等领域主题,这类识别需要文档context信息。

Figure 5的核心是这两种特化的对比:标准MoE是句法级,EMO是语义级。这解释了为什么标准MoE子集不可独立部署(无法剥离'介词专家'),而EMO子集可以(可直接挑出'数学专家组')。

文档边界作为弱监督信号

在自监督学习中'弱监督'指用易得但不精确的标签。这里'文档边界'指训练语料中自然存在的单位分隔——同一文档内token通常主题相近,跨文档可能完全不同。EMO利用这一假设:同文档的token应路由到同一专家池,无需显式领域标签。

这是EMO最核心的方法直觉来源,也是它在科学问题上的差异化——区别于FlexOlmo等依赖预定义领域标签的方法,EMO完全靠文档边界这种'in-text'信号自监督地学到expert modularity。

研究动机

当前大语言模型通常以单体(monolithic)系统训练与部署:一个完整的预训练模型无论应用需要何种窄领域能力(代码、数学、领域知识),推理时都必须全部加载。例如一个1B-active的MoE虽然每次只激活1B参数,但其14B参数必须驻留在VRAM中,才能完成任何任务。这给内存受限部署场景(边缘设备、内存有限的集群)带来巨大挑战,也是DeepSeek-V3等'超大规模稀疏MoE'落地的主要瓶颈。直觉上,MoE原本就提供了'对每个输入只激活部分专家'的能力,理应支持'对每个领域只加载部分专家',但作者通过实验发现事实并非如此——当限制标准MoE只能使用128个专家中的32个(25%)时,MMLU性能下降超过10%(Figure 1右),128→8时跌至接近甚至低于随机(Figures 3, 4)。问题根源是:标准MoE的专家特化发生在低层句法层面(介词、冠词、连接词等context-independent模式)(Figure 5左),同一文档内token会被分派到多个互不相关的专家,使得'哪个领域需要哪些专家'这个问题不可解。

本文的目标是本文目标明确:设计一种MoE预训练方法,使得在pretraining阶段就把模块化(modularity)作为一等目标直接内建到模型里,具体包括两个可验证的属性:(1)expert subsets可以被独立部署——为某个下游领域(如数学)仅加载对应的专家子集,仍能保留接近全模型的性能;(2)各expert子集的并集(完整模型)仍然是一个通用的强模型。技术上,作者希望构造一个1B-active、14B-total的MoE,在MMLU、MMLU-Pro、GSM8K等领域子集评测中,当专家数被压缩到25%(32/128)时性能仅下降约1%,压缩到12.5%(16/128)时仅下降约3%,并且具备样本高效(仅需5个示例就能选好专家子集)、对多种选择策略(router-based、Easy-EP)鲁棒的特性。作者还希望这一过程不要依赖任何人工定义的领域或任务标签。

与已有工作不同的是，现有解法可分为两类,但都存在关键缺陷。第一类(人工领域标签路线,代表如FlexOlmo, BTX)把训练数据按预定义领域分桶,训练独立专家后再合并——需要领域标签,泛化到新领域困难,还可能限制模型整体性能。第二类(模块化目标路线,代表如ModuleFormer)通过最大化token-expert互信息来鼓励特化,但作者在复现中发现其效果与标准MoE持平,且'低于40%专家数时严重退化',与原文报告一致。本文切入角度的独特性是:不依赖人工领域先验,也不依赖复杂的互信息目标,而是利用"文档内token共享主题"这一朴素但正确的结构假设,通过在文档级别聚合路由分布来选取shared expert pool这一极其简单的约束,让modularity自我涌现(self-supervise)出来。这种'用in-text弱信号取代out-of-text强标签'的路线,与同期DriveDreamer-Policy等用3D grounding提升2D模型的思路在'利用天然结构而非强监督'上有相似的设计哲学。

核心方法

EMO方法一句话概括:让同一个文档内的所有token只能从一个共享的、文档级选定的专家池里挑top-$k$专家,不同文档可以使用不同专家池。具体地,标准MoE每个token独立计算router logits并选Top-$K$,灵活性极强。EMO在文档级别多做一步聚合:对当前文档所有token的路由分布 $p_t$ 求平均,再在该平均值上取Top-$d$,得到大小为 $d$ 的document expert pool $D$。之后文档内每个token只允许从 $D$ 中选top-$k$ 个专家,通过把 $p_t$ 在 $D$ 外置零并重新归一化为 $\hat{p}_t$ 实现。直觉上是'路由之上的路由',组粒度由文档长度这一'主题单元'自然决定。训练时把 $d$ 当随机变量 $d \sim U\{k, n_r\}$ 在文档间独立采样,使模型能适配多种推理预算。这一路线不依赖任何人工领域标签,仅凭'同文档主题相近'这一朴素结构假设让modularity自我涌现。

EMO的核心创新是把'专家模块化'从一个外加的、需要人工领域标签的目标,变成一个由文档边界自然诱导、不需要任何标签的自监督目标。三个本质区别:(1)Routing目标——标准MoE只受token-level cross-entropy约束;EMO在router之上加了一个文档级聚合+重归一化的hard mask,把'per-document routing consistency'变成hard structural prior,迫使模型在'专家共享'与'领域特化'间折中。(2)Pool size的动态性——把 $d$ 当随机变量在 $\{k, n_r\}$ 区间采样,让单次训练适配任意subset大小;标准MoE根本没有'池大小'这个维度。(3)训练稳定性解法——传统MoE用micro-batch级LL会与文档级约束直接冲突,必须改用global LL(跨数据并行组聚合),把'文档内一致'与'全局均匀'分离。这种'利用in-text弱信号取代out-of-text强标签'的路线,与同期利用天然结构的工作同属一个设计哲学。

方法步骤详情

(1)架构:Transformer+MoE,$n=128$ 专家(127 routed + 1 shared),token选top-$k=8$。(2)改进OLMoE:加shared expert、pre-norm替代post-norm。(3)标准目标含语言模型loss $L_{CE}$、负载均衡loss $L_{LB}=n_r \sum_i \bar{f}_i \bar{P}_i$、router正则 $L_{RZ}$,总 $L = L_{CE} + \alpha L_{LB} + \beta L_{RZ}$。(4)文档级路由(核心):聚合 $D = \text{Top-}K(\frac{1}{T}\sum_t p_t, d)$,mask归一化得 $\hat{p}_t$,$R_t = \text{Top-}K(\hat{p}_t, k)$。(5)改用global LL缓解文档内一致与全局均匀冲突。(6)按文档独立采样 $d \sim U\{k, n_r\}$覆盖全部预算。(7)训练1T tokens + 50B退火;模型与代码已发布。

技术新颖性

技术新颖性可归纳为四点。第一,'路由之上加路由':per-document级 $\text{Top-}K$ 后做mask+renormalize,不引入新参数,比ModuleFormer基于互信息的soft目标更直接、更稳定。第二,把pool size作为随机变量动态采样,使单次训练覆盖 $\{k, n_r\}$ 全部预算,显著降低'每个内存预算都要训练一遍'的成本,在MoE文献中未见先例。第三,global LL的迁移——本身不是新东西,但在document routing耦合后变为必备条件,这是MoE训练工程的细节贡献。第四,'涌现性'研究方法:不是设计某种机制强制分组,而是用朴素约束让分组自然发生,再用Figure 5的聚类可视化(介词/标点 vs 数学/代码)给emergence提供定性证据。这种'研究何时会出现emergent behavior'的方法论价值可能比具体工程改进更重要。

Comparison of training of a standard MoE and EMO (k = 2, n = 10, shared experts omitted for simplicity).
Figure 2: Comparison of training of a standard MoE and EMO (k = 2, n = 10, shared experts omitted for simplicity).

实验结果

实验分三层。第一层Full-Model(Table 1):1T训练下Reg.MoE的MC9/Gen5/MMLU/MMLU-Pro/GSM8K为63.9/59.7/42.4/19.3/13.9,EMO为63.1/57.9/42.8/18.5/12.0,基本持平。第二层核心战场Selective Expert Use(Figure 3):MMLU 16 domains平均,Reg.MoE 128→32骤降至27.0(-15.4pp),EMO仅降至39.8(-3);128→8时Reg≈21接近随机,EMO≈33。GSM8K fine-tune后16 expert(12.5%)恢复全模型精度(Figure 1右证明EMO子集在所有内存预算下都形成新Pareto frontier)。第三层语义特化(Figure 5+6):Reg.MoE聚类是'介词/标点/冠词'等句法类,EMO聚类是'影评/医疗/源码/政治'等语义类;WebOrganizer验证Reg相似度>0.6无法区分,EMO<0.4与人类直觉吻合。结论:模块化不损伤全模型,显著提升子集可部署性,专家特化从句法迁移到语义。

Full-model Evaluation (§5.1). All models are trained on the same data mixture, and activate the same number of parameters (1B). EMO matches the performance of a standard MoE.
Table 1: Full-model Evaluation (§5.1). All models are trained on the same data mixture, and activate the same number of parameters (1B). EMO matches the performance of a standard MoE.
Selective Expert Use of MoEs trained on 1T tokens (§5.2).
Figure 3: Selective Expert Use of MoEs trained on 1T tokens (§5.2).
Expert Selection Methods in selective expert use of MoEs trained on 1T tokens (§5.2).
Figure 4: Expert Selection Methods in selective expert use of MoEs trained on 1T tokens (§5.2).
Token Clusters of pretraining data on MoEs trained on 1T tokens, clustered according to the process described in §5.3.
Figure 5: Token Clusters of pretraining data on MoEs trained on 1T tokens, clustered according to the process described in §5.3.
Domain Similarity of WebOrganizer documents on MoEs trained on 1T tokens (§5.3).
Figure 6: Domain Similarity of WebOrganizer documents on MoEs trained on 1T tokens (§5.3).
查看结构化数据
任务指标本文基线提升
MMLU selective expert use (16 domain平均, no fine-tune) Macro-acc Full=42.8, 64 experts=40.0, 32 experts≈39.8 (≈-3), 16 experts=37.5, 8 experts=33.2 (≈-9.6) Reg.MoE Full=42.4, 64=38.5, 32=27.0 (≈-15.4), 16=24.2, 8≈21 (≈-21) 在32 expert(25%预算)时,EMO比Reg.MoE高约12.8个百分点;在8 expert时差距扩到约12个百分点
MMLU-Pro selective expert use (13 domain平均, no fine-tune) Macro-acc Full=18.5, 64 experts=17.6, 32 experts≈16.6 (≈-1.9), 16 experts≈15.0, 8 experts≈10.6 (≈-7.9) Reg.MoE Full=19.3, 64=15.0, 32=12.5 (≈-6.8), 16=9.5 (≈-9.8), 8=2.4 (≈-16.9) 在32 expert时EMO仍保持接近全模型性能,Reg.MoE已经损失近7个百分点;在8 expert时Reg.MoE接近随机,EMO仍约10.6
GSM8K selective expert use (no fine-tune) Accuracy Full=12.0, 64 experts≈11.7, 32 experts=11.0, 16 experts=6.9, 8 experts=2.9 Reg.MoE Full=13.9, 64=12.2, 32=6.9, 16=2.4, 8≈0 32 expert时(25%预算)Reg.MoE几乎折半,EMO几乎不掉;fine-tune后(Figure 3底)16 experts(12.5%)即恢复12.0的全模型精度
Easy-EP expert selection (MMLU) Macro-acc across subset sizes 在64/32/16/8 expert下EMO用Easy-EP选择仍保持接近router-based的水平,曲线平稳 Reg.MoE即使换用Easy-EP,小subset下仍然急剧退化,Easy-EP相对router-based只能带来小增益 证明modularity是训练得到的性质,而非靠post-hoc选择策略可以'修'出来
Full-model MC9 (1T tokens) 9-task平均 63.1 Reg.MoE 63.9, OLMoE†(5T tokens) 63.5 与匹配架构/数据的Reg.MoE差距仅-0.8,说明模块化目标没有损伤全模型通用能力,且显著超过5T tokens的OLMoE
Full-model MMLU (130B tokens训练) Acc 38.1 Reg.MoE 37.5, Dense(同active params) 33.0 稍胜Reg.MoE约+0.6,大幅超过dense baseline约+5.1;130B这一规模下sparsity带来的优势仍然显著
样本高效性(§B.2) 用 few example(s) 选专家子集性能 即便仅用1个few-shot example选专家,性能接近full validation set 需要完整validation set才能选好专家(常规设定) 为'内存受限部署中如何快速为新域选专家'这一落地问题提供了实用方案

局限与改进

作者未单独设立Limitations小节,以下为基于全文可读出的限制。第一,MMLU/MMLU-Pro的domain分组仍是粗粒度,'跨域任务'(如'用Python解释遗传学')未覆盖,跨domain federation策略未系统研究。第二,推理时实际用离散 $d$ 档位,$d=8$ 时MMLU仍损失约9.6个百分点,说明modularity虽强但非无限。第三,主对比对象是自训练Reg.MoE,与FlexOlmo/BTX/DeepSeek-V3-MoE等工业级'领域专家'MoE未做head-to-head。第四,evaluation走'观察router后pick top-d experts'路线,假设test-time有验证集;无验证集的工作流难以闭环。第五,Figure 5的'语义级特化'只靠Claude Code贴label,缺semantic routing entropy/silhouette score等定量metric。第六,只在1B-active/14B-total单一规模上验证,扩展到100B+时随机化 $d$ 与global LL是否仍稳定,论文没有数据。

独立分析的弱点

独立观察有以下具体弱点。第一,'expert cluster as dataset filtering alternative'宣称(§6)缺乏'删spam expert后质量不降'的实验证据。第二,'federation of subsets'未研究,无validation set时合并$M$个pool的规则不清楚。第三,长文档(books)内主题切换破坏'文档内共享pool'假设,需要段落级或section级pool。第四,Figure 5的'语义级特化'只定性,缺连续定量的routing metric(semantic entropy、silhouette score)。第五,缺与FlexOlmo/BTX等'人工domain'路线MoE的head-to-head控制变量对比。第六,memory budget单一(只考虑参数数),未考虑access latency、expert heterogeneity、FLOPs。第七,'finetune 32-expert subset后插回128-expert'(§6)只给出定性结论,无确切数字。

未来方向

作者在§6与全文中给出方向,可归纳四类延伸。(1)更大规模验证:7B-active/100B+ total下document routing是否稳定,modularity是否随sparsity增强。(2)更细粒度pool:从document下沉到paragraph/section级,重新设计global LL匹配细粒度。(3)expert cluster作为safety lever:实证'删除spam expert后child-facing部署质量不降',对接RLHF safety pipeline。(4)modular pretraining+continual learning:作者做过'finetune 32-expert后插回128-expert'初步实验(§6),后续应给出完整数字与多domain增量训练,以及bayesian merging of finetuned expert subsets。另外延伸:跨模态扩展(vision/speech MoE的document routing),以及对已训练标准MoE做EMO annealing finetuning(§B.4)。

复现评估

开源情况良好:论文首页链接Model(hf.co/collections/allenai/emo2026)、Code(github.com/allenai/EMO)、Blog、Visualization。Allen AI+UC Berkeley出品,大概率会发布模型权重、训练代码、可视化demo,可重复性期望优于多数1T-scale预训练工作。数据方面,训练用OLMoE corpus,评估用MC9/Gen5/MMLU/MMLU-Pro/GSM8K/WebOrganizer,全部公开。算力方面,1T tokens×1B active约 $10^{21}$ FLOPs级别,需数百到数千A100/H100 GPU-days,中小团队难独立复现完整1T;但有130B对照配置与六套zero-shot脚本,小budget实验门槛低。工程难点:global LL跨设备同步、domain-level routing evaluation pipeline;对有分布式训练经验团队工程难度'中等',一般研究者'较高'。综合,论文可重复性期望高于多数1T工作,但从头pretrain仍有相当门槛。

论文图表

(Left) EMO is an MoE trained with modularity as a first-class objective. (Right) Averaged performance over 16 MMLU categories across different memory budgets.
Figure 1: (Left) EMO is an MoE trained with modularity as a first-class objective. (Right) Averaged performance over 16 MMLU categories across different memory budgets.

(Left)概念示意图:对一个给定的domain(如math, code, biomedical),用户可以为每个domain挑出小规模expert子集并保留接近全模型性能,把单个模型变成可组合架构。(Right)memory-accuracy Pareto曲线:MMLU 16 domains平均,expert subset从128减到64/32/16/8时,Reg.MoE(绿)急剧退化,128→32约下降15个百分点,128→8接近随机;EMO(紫)128→32仅-3,128→8仍约33,远高于Reg.MoE。

论文的'hero figure'。左侧的可视化把EMo's modularity直观表现(同一domain有相对固定的expert组),右侧的曲线把核心claim(MoE子集可保留性能)以数字证据一次性呈现,理解motivation和method都靠它。