LLaDA MoE v2：混合专家扩散语言模型的缩放定律 LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models
系统刻画MoE扩散语言模型的缩放规律，据此训出30B-A3B模型逼近Qwen3
前置知识
掩码扩散语言模型 (Masked Diffusion LLM, dLLM)
区别于自回归(AR)模型逐token从左到右生成，dLLM把生成建模成一个迭代去噪过程：给定一个被随机掩码的序列，双向Transformer在每一步同时预测多个掩码位置的原始token，逐步把整段文本「去噪」出来。训练目标是让模型在随机噪声水平$t$下重建被掩掉的token，推理时从一个全掩码序列开始迭代解码。本文的训练目标为$\mathcal{L}(\theta) = -\mathbb{E}[\sum_{i=1}^{L} \frac{1}{t} \mathbf{1}_{x_t^i=[\text{MASK}]} \log p_\theta(x_0^i \mid x_t)]$。
本文所有缩放分析都建立在dLLM特有的训练机制上：监督只落在被掩码的位置（均匀采样下期望仅约一半token被监督），且每次预测条件于被污染的序列而非因果前缀——这正是dLLM缩放规律与AR不同的根源。
混合专家 Transformer (Mixture-of-Experts, MoE)
用一组$n_e$个路由专家替代单个前馈网络，每个token经轻量路由器只激活其中$n_a$个(top-$n_a$)，再加一个所有token共享的共享专家(宽度$d_{share}=n_s d_{expert}$)。这样总参数随$n_e$线性增长，但单token计算只与激活参数相关，从而把「模型容量」和「单token算力」解耦。本文用三个量刻画MoE：激活比例$A=(n_a+n_s)/(n_e+n_s)$、专家粒度$G=2d_{model}/d_{expert}$、共享专家比例$S=n_s/(n_a+n_s)$。
本文第三个核心实验就是把固定的激活算力预算$M^*(C)$分解到$A$、$G$、$S$三个维度上做受控扫描，找出dLLM专属的最优MoE配置。理解这三个变量的含义是看懂Figure 4的前提。
缩放定律 (Scaling Laws) 与 IsoFLOP 分析
用小规模实验拟合算力$C$与最优超参/配置之间的幂律关系，再外推指导大模型设计。经典工作包括Kaplan($M^*\propto C^{0.73}$)、Chinchilla($M^*\propto C^{0.49}, D^*\propto C^{0.51}$)。IsoFLOP分析固定总预算$C$，扫描「模型侧算力」与「训练token数」的不同组合，找到损失最低的分配点，再拟合前沿曲线$M^*(C)$、$D^*(C)$。本文对MoE用激活非嵌入FLOPs/token $M$度量模型侧，并令$C=MD$。
整篇论文本质就是为MoE dLLM拟合一套新的缩放定律（batch size、学习率、模型-数据分配、MoE结构），并用它指导30B模型的训练。IsoFLOP是第二阶段的核心工具。
激活比例/专家粒度/共享专家比例
激活比例$A$衡量路由稀疏度，越低表示每token激活的专家容量占比越小、总参数池越大；专家粒度$G$控制路由专家被切分得多细，$G$大则专家更窄更多、路由选择更丰富但单个专家表达力弱；共享专家比例$S$是激活容量中分配给共享通路的比例。三者共同决定一个MoE结构。LLaDA MoE v2最终采用$(A, G, S)=(9.09\%, 8, 33.3\%)$。
这三个变量是本文MoE结构缩放扫描的对象，作者发现它们随算力的最优变化趋势与AR MoE经验不同（如$S$稳定在33.3%而非随规模下降），这是全文最具操作性的设计结论。
研究动机
扩散语言模型(dLLM)正成为自回归(AR)之外的有力替代，从零训练的LLaDA、Dream和从AR checkpoint继续训练的SDAR等已能在多个任务上追平强AR模型。但要真正释放其潜力，必须搞清楚一件事：当训练预算增长时，dLLM该怎么缩放？现有dLLM缩放研究（SMDM、Quokka、DLMs）几乎都只覆盖dense架构；而AR阵营早已大规模采用MoE（Qwen3、DeepSeek-V3、Mixtral），MoE dLLM也刚开始出现（LLaDA MoE、Dream MoE），但它们的设计基本照搬AR经验。问题在于，dLLM与AR有三点本质差异会破坏这种照搬：(1)优化的是掩码去噪目标而非下一token预测；(2)监督信号只落在被掩码位置，均匀时间步采样下每个名义token期望只有约一半被预测；(3)每次预测条件于被污染序列而非因果前缀，路由器作用的对象随噪声水平和掩码模式变化。这三点会改变梯度噪声水平、优化稳定性和学习率敏感性，使AR缩放规律不能直接迁移。
本文的目标是本文要系统刻画MoE dLLM在算力增长时的缩放行为，回答三个具体的工程问题。第一，最优batch size和学习率该如何随算力变化？第二，给定固定算力预算，应该把算力花在「增大激活模型侧计算」还是「增加训练token」上，最优分配点在哪？第三，确定激活算力预算后，该如何把它分解为路由稀疏度（激活比例$A$）、专家粒度$G$、共享容量占比$S$？更关键的是，作者不只拟合曲线，还用这些规律从零训练了一个30B-A3B的MoE dLLM（LLaDA MoE v2），用23.5T token训练，验证规律在大规模上的可操作性，目标是用约为Qwen3 65%的预训练token数逼近其在若干知识、推理、代码基准上的表现。
与已有工作不同的是，本文的独特切入点是第一次把「稀疏激活(MoE)」和「扩散建模目标」这两个因素合在一起做缩放分析。以往工作要么只研究dense dLLM缩放（如SMDM的$M^*\propto C^{0.634}$），要么只研究AR MoE缩放（如Ling的$M^*\propto C^{0.5095}$），而本文通过Table 2里两组精心匹配的对照（Ling对比dense-AR与MoE-AR；SMDM对比dense-AR与dense-dLLM）首次能分离「架构效应」和「建模目标效应」。更重要的是，绝大多数缩放定律论文止步于拟合曲线，本文却真把结论落到一个30B模型的训练上做scale-up验证，这种「规律→设计→大规模实证」的闭环在dLLM领域尚属首次。
核心方法
整体思路可以类比成「先校准引擎参数，再决定油箱怎么分，最后调悬挂几何」。技术路线分三阶段递进：第一阶段校准优化超参——在不同模型规模(158M到3.6B)和算力预算($10^{18}$到$3\times10^{20}$ FLOPs)下联合搜索名义token batch size和峰值学习率，拟合幂律$B^*=0.374 C^{0.3481}$、$\eta^*=64.8 C^{-0.2447}$，并外推验证。第二阶段做计算分配——固定总预算$C$，用IsoFLOP扫描模型侧(激活非嵌入FLOPs/token $M$)与数据侧(token数$D$)的不同组合，找到每个预算下损失最低的$(M^*,D^*)$，拟合前沿$M^*=0.5152 C^{0.475}$、$D^*=1.9411 C^{0.525}$。第三阶段做MoE结构分解——在5个参考算力预算下固定激活预算$M^*(C)$，分别扫描$A$、$G$、$S$三个结构维度（每次只动一个），找出各自随算力的最优趋势。最后把三阶段结论汇总成可执行的设计原则，喂给30B模型的训练。
最本质的创新是把MoE dLLM当成一个独立的缩放标定问题，而不是AR经验的附属。两个关键洞察支撑了这一点：其一，dLLM里每个名义token的「有效监督」被稀释——均匀时间步采样下期望只有约一半token被掩码预测，所以名义batch size必须比AR更大才能达到等效监督密度，这直接解释了为什么本文拟合的batch size指数(0.3481)比DeepSeek LLM的AR律(0.3271)更陡、在$10^{20}$ FLOPs下最优batch是3.43M token而非AR预测的1.02M。其二，MoE的稀疏性使传统的$C\approx6ND$(假设所有参数都参与)不再成立，必须改用激活FLOPs/token $M$并令$C=MD$来度量模型侧。基于这两点，作者发现MoE dLLM的计算分配前沿比dense dLLM更偏向数据侧（数据指数0.525 > 模型指数0.475），且共享专家比例$S$在所有算力下稳定在33.3%——这与AR MoE的经验(DeepSeekMoE用25%、Qwen3不用共享专家、Tian等报告$S$随规模从16.7%降到8.3%)截然不同。
方法步骤详情
超参缩放：在158M/1B/3.6B规模、$10^{18}\sim3\times10^{20}$ FLOPs下，固定结构与token预算，联合搜索名义batch size $B$($2^{17}\sim2^{23}$)与峰值学习率$\eta$，AdamW($\beta_1,\beta_2)=(0.9,0.95)$、权重衰减0.1、warmup 2000步、末段10%余弦衰减；loss取最后0.5%算力平均，把与最低loss差距不超过0.25%的近优配置纳入log-log回归。计算分配：在$10^{17}\sim10^{20}$ FLOPs下扫描60M到7.5B的多种MoE候选，每模型分$D=C/M$ token，选最低loss点拟合$M^*(C),D^*(C)$。结构扫描：在5个参考预算下按$M^*(C)$固定激活预算、训练$3D^*(C)$ token(模拟过训练)，分别只动$A$(改$n_e$)、$G$(改$d_{expert}$并反比缩放$n_e,n_a,n_s$)、$S$(重分配$n_s,n_a$)。最终训练LLaDA MoE v2：30.6B总参/3.4B激活、32层$d_{model}=3072$、128路由专家top-8加$n_s=4$共享、词表157184，五阶段($10T+10T+2T$退火+$500B$扩展4K→32K+$1T$长上下文退火)共23.5T token，约46万B200 GPU小时。
技术新颖性
新颖性体现在三层。第一，首次给出dLLM专属的超参缩放律：batch size指数更陡、学习率衰减更快，量化了「有效监督稀释」对优化的影响。第二，首次给出MoE dLLM的计算分配前沿，并通过Table 2的对照实验把数据侧倾斜归因于「稀疏激活+扩散目标」的叠加，而非单一因素。第三，得出与AR MoE经验不同的结构规律：更大算力越来越偏好更稀疏的激活($A$下降)、中等专家粒度$G=8\sim16$始终稳健、共享专家比例$S=33.3%$跨尺度稳定(AR MoE普遍更低或随规模下降)。这些规律被直接转化成「每两份路由激活容量配一份共享激活容量」这样可执行的设计规则，并用一个从零训练的30B模型做闭环验证，区别于以往只发曲线、不发模型的工作。
实验结果
三组缩放律是核心发现。超参律$B^*=0.374 C^{0.3481}$、$\eta^*=64.8 C^{-0.2447}$，Figure 2外推到$6\times10^{20}$ FLOPs验证落在loss网格最低区附近。分配律$M^*=0.5152 C^{0.475}$、$D^*=1.9411 C^{0.525}$，数据指数略大于模型指数，比dense dLLM前沿更偏数据侧。结构律(Figure 4)：算力越大越偏好稀疏$A$；$G=8\sim16$跨尺度稳健；$S=33.3%$在所有尺度U形谷底。Scale-up(Figure 5)：30B-A3B在MMLU/GSM8K/KorBench上用约50%训练FLOPs即超过未用律指导的LLaDA MoE 7B-A1B。Benchmark(Table 3)：用23.5T token(为SDAR Sci的63%、Qwen3的65%)从零训练，15基准平均58.60为dLLM最高，比SDAR Sci高3.78分，代码上HumanEval高16.46、BigCodeBench高7.98；与Qwen3相比CEval(76.11 vs 87.50)、CMMLU(77.99 vs 86.35)差距明显，但OlympiadBench(28.74 vs 30.96)、HumanEval(50.00 vs 52.44)已接近。SFT后(Table 4)：7M指令数据训3轮不加RL，AIME24/25、MBPP接近有RL的Qwen3，MultiPL-E(67.52 vs 66.60)反超，8个推理/代码任务里7个超SDAR Chat。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 15基准平均(dLLM对比) | 平均分 | 58.60 | SDAR Sci 30B-A3B: 54.82 | +3.78，且训练token仅为其63% |
| HumanEval (代码) | pass@1 (%) | 50.00 | SDAR Sci: 33.54 | +16.46 |
| BigCodeBench (代码) | pass@1 (%) | 41.84 | SDAR Sci: 33.86 | +7.98 |
| MMLU (知识) | 准确率 (%) | 78.01 | Qwen3 30B-A3B: 81.38 | -3.37（用65% token接近） |
| GSM8K (推理) | 准确率 (%) | 83.93 | Qwen3: 91.81 | -7.88（用65% token） |
| MultiPL-E (SFT后代码) | pass@1 (%) | 67.52 | Qwen3: 66.60 | +0.92（无RL反超有RL的Qwen3） |
| AIME25 (SFT后推理) | 准确率 (%) | 20.00 | SDAR Chat: 10.80 | +9.20 |
局限与改进
作者明确承认：所有缩放实验都是「每次只变一个维度」，没有捕捉维度间的交互作用（例如最优$G$是否依赖于$A$，或$S$在不同$A$下是否仍稳定）。此外，缩放律是在很小规模(最大3.6B模型、$10^{20}$量级FLOPs)上拟合、再外推到30B/$10^{23}$量级，跨越约4个数量级，存在外推风险，虽然Figure 2的局部外推验证(到$6\times10^{20}$)和Figure 5的实际scale-up表现给了间接支持，但并没有在大规模上直接复现缩放律曲线。我自己观察到的局限：其一，知识类基准(CEval、CMMLU)明显落后Qwen3 10分以上，说明中文知识数据配比或质量有短板，但论文未对数据配比做消融。其二，SFT阶段刻意不加RL，导致在MATH(80.02 vs 89.80)、Olympiad(46.44 vs 57.26)等高难推理上与Qwen3差距较大。其三，没有报告生成速度/质量权衡(半自回归采样的block size=64、步数=生成长度的代价)，而推理效率恰恰是dLLM相对AR的关键卖点，缺这块评估说服力打折。
独立分析的弱点
第一，外推跨度太大：缩放律在$\leq3.6$B、$\leq10^{20}$ FLOPs拟合却用于指导30B/$10^{23}$，若dLLM大规模存在相变(路由崩溃、专家利用率突变)外推会失准，建议在1B-3B补中等规模锚点。第二，单变量扫描忽略交互：作者自己承认$A/G/S$交互未测，但实际设计三者耦合，建议在最便宜预算上跑小规模联合扫描(如拉丁超立方采样)定性确认。第三，SFT后缺RL：与Qwen3在MATH(80.02 vs 89.80)、Olympiad的差距大程度来自缺RL，可套用LLaDA 1.5的VRPO偏好优化补齐。第四，中文知识短板：CEval/CMMLU落后10+分暗示中文语料配比或质量不足，建议在Stage 2提升中文高质量数据权重并做配比消融。第五，缺推理效率评估：dLLM主打并行解码却只报告效果未报告吞吐/延迟，建议补充与AR模型在等延迟下的质量对比。
未来方向
作者明确提出两点：一是把强化学习集成到SFT之后(目前明确说leave RL to future work)，二是设计能捕捉缩放维度交互的实验。基于本文成果可延伸的方向包括：把同一套三阶段缩放框架迁移到其他dLLM变体(absorbing diffusion、block diffusion、Mercury类商用模型)，验证规律的普适性；建立dLLM推理缩放律——去噪步数、block size、置信度调度与质量/延迟的定量关系，这是dLLM落地最迫切的问题；研究路由行为随噪声水平$t$的变化规律，因为dLLM的路由器作用在污染序列上，$t$的分布可能显著影响专家利用率和负载均衡；以及把$S=33.3%$这一反AR经验的发现放到AR MoE上回测，看是否对AR也成立，从而反哺AR MoE设计。
复现评估
复现难度高，属于「论文细节充分但资源门槛极高」。有利因素：附录给出极其详尽的配置——Table 5/8/9/10/11/12/13列出了所有缩放实验的模型结构、算力预算、batch size、学习率、token数，$\lambda$的初始化匹配公式(Eq.12)、辅助损失系数($\alpha_{aux}=0.01$、$\alpha_z=0.001$)、五阶段训练schedule(Table 7)、RoPE base从10000升到500000等关键细节都写明了，架构Table 6完全确定，理论上可复现。不利因素：30B模型预训练消耗约46万张NVIDIA B200 GPU小时，这一算力对绝大多数高校和中小团队不可及；预训练语料是「从网络收集的高质量文本」，处理流程(去重、过滤)有描述但数据本身未开源，SFT的7M指令数据也未公开；论文未提及是否开源模型权重或训练代码。即便是复现小规模缩放实验(158M-3.6B)，也需要数百到数千GPU小时。建议普通读者把本文当作「设计指南」而非「可复现baseline」。
论文图表
三个子图分别扫描$A$(100%到1.2%)、$G$(2到20)、$S$(0到83.3%)，颜色编码激活模型预算$M^*(C)$，红星标各算力下最低loss。结论：大算力更偏好低$A$；$G=8\sim16$稳健；$S=33.3%$跨尺度最优。
这是第三阶段核心图，把激活预算分解为可执行的MoE结构选择，其中$S=33.3%$稳定这一发现直接反AR经验，是本文最具新颖性的结构结论。