循环混合专家模型的缩放定律 Scaling Laws for Looped Mixture of Experts
首个联合建模循环与稀疏的有界缩放定律，指导循环MoE架构设计
前置知识
缩放定律（Scaling Laws）
描述语言模型测试损失与参数量 $N$、训练数据量 $D$、计算量 $F$ 之间幂律关系的经验规律。最经典的是 Chinchilla 形式 $L(N,D)=AN^{\alpha}+BD^{\beta}+c$，其中 $\alpha,\beta<0$ 是模型与数据的缩放指数，$c$ 为不可约损失。在小模型网格上扫描并拟合系数后，可以外推预测大模型的损失，并据此推导算力最优的训练配置（如参数与数据的配比）。
本文的全部贡献都是在缩放定律框架内扩展新的自变量（循环次数 $R$ 与稀疏度 $E$），并声称旧定律是本文定律的特例，读懂标准定律的形式与拟合流程是理解全文的前提。
混合专家（Mixture-of-Experts, MoE）
把 Transformer 的 FFN 层替换为多个专家网络，路由器为每个 token 只激活少数专家（top-k 路由），从而在每 token 计算量不变的前提下扩大总参数容量。通常用活跃参数比 $m=N_{\text{act}}/N_{\text{total}}$ 度量稀疏程度：$m$ 越小越稀疏；对 top-1 路由，专家数 $E$ 越大稀疏度越高，$m\approx k/E_{\text{route}}$。DeepSeek-V3、Qwen3MoE 等前沿模型均采用此架构。
稀疏是本文两大缩放轴之一，定律中的专家数 $E$ 与活跃参数比 $m$ 的定义、以及稀疏度如何放大循环收益（$\theta$ 指数），全部建立在 MoE 的结构特性之上。
循环/循环深度 Transformer（Looped Transformer）
让模型复用同一块中间层参数多遍（循环 $R$ 次）以增加计算深度，而不成比例地增加存储参数。本文采用 middle-cycle looping：保留前 2 层 prelude 与后 2 层 coda 不共享，中间块循环执行。由于权重在循环间共享，每次循环没有引入新的可学习参数，因此收益随 $R$ 递减并趋于饱和，但在推理类任务上收益显著。
循环是另一条缩放轴，论文的核心工作就是把'每遍循环带来多少有效参数增益'数学化为一个有界映射，并解释其饱和现象。
有效参数量与展开参数量
有效参数量 $N_{\text{eff}}$ 是把循环等非参数因素折算成'相当于多少参数'的虚构量，用于损失预测；展开参数量 $N_{\text{unroll}}(R)=N_{\text{act}}+(R-1)N_{\text{loop}}$ 则决定计算量，训练算力 $F_{\text{train}}=6N_{\text{unroll}}(R)D$，推理算力 $F_{\text{inf}}=2N_{\text{unroll}}(R)$。两者用途不同：前者刻画容量，后者刻画成本，混用会导致错误的最优配置。
本文定律的全部技巧在于为 $N_{\text{eff}}$ 设计一个有界且依赖稀疏度的函数形式，同时用 $N_{\text{unroll}}$ 正确计费，区分这两个概念才能理解式 (2)(4)(7) 的分工。
IsoFLOP 分析
固定训练计算预算 $\bar{F}_{\text{train}}$（如 $5\times10^{20}$ FLOPs），画出不同架构配置在该算力下的损失曲线，曲线最低点即为该算力下的最优配置。Chinchilla 用它导出最优参数/数据配比；本文则用它导出算力约束下的最优循环次数 $R^{\star}$ 与内存约束下的最优专家数 $E^{\star}$。
论文第 4.2 节的核心应用价值——给定算力与内存预算直接读出 $R^{\star},E^{\star}$——完全建立在 IsoFLOP 剖面分析之上，图 4-6 都围绕它展开。
研究动机
缩放定律是设计大模型的指南针，但现有定律把两条重要的效率轴割裂开了。MoE 稀疏性方面的定律（Clark 2022、Ludziejewski 2025、Abnar 2025 等）只扫描专家数而完全不建模循环；循环 Transformer 方面的定律 Parcae（线性映射）与 Iso-Depth（幂律映射）则假设每次循环带来的有效参数增益可以无界增长，然而实验观察恰恰相反：循环损失在最初几遍快速下降后趋于平台，收益明显饱和，无界映射会系统性高估多遍循环的价值。并行的 SMELT 工作虽然研究了循环 MoE，却在主要缩放分析中把循环固定在 $R=2$，稀疏与循环的交互始终没有被统一刻画。这带来的现实困境是：当算力和内存受限时，从业者没有理论依据回答'该加专家还是该加循环、各加多少'这一架构设计的基本问题。
本文的目标是本文要建立第一个同时覆盖模型规模 $N$、训练数据 $D$、循环次数 $R$、稀疏度（专家数 $E$）四个自变量的统一缩放定律。具体目标分三层：一是给出能描述循环收益饱和、且能表达稀疏度如何抬高并延缓这一收益上界的有界映射函数形式；二是证明该定律在 $R=1$、$E=1$ 等边界条件下能退化回标准稠密缩放定律、标准 MoE 定律和稠密循环定律，从而把全部已有结论收纳为特例，并在 held-out 的 $R$、$N$、$D$、$E$ 上验证预测精度；三是把拟合好的定律变成工程工具——在给定训练算力预算与权重内存预算的约束下解析地求出最优循环次数 $R^{\star}$、专家数 $E^{\star}$ 与模型规模，并用万亿 token 规模的真实训练验证定律导出的设计。
与已有工作不同的是，本文的独特切入在于对'循环为什么有收益、收益为何封顶'的机理性解释。稠密循环模型每遍复用完全相同的权重，边际信息增益必然递减；而循环 MoE 中路由器可以在不同循环遍把 token 路由到不同专家，每遍相当于走一条新的参数路径（专家路径多样性），因此稀疏度直接决定了循环增益的渐近上界——专家越多，能持续兑现的循环收益越大。基于这一洞察，作者没有像前人那样让增益线性或幂律无界增长，也没有像 SMELT 那样固定 $R=2$，而是用指数饱和形式 $\kappa_1(m)\bigl(1-e^{-(R-1)/\kappa_2(m)}\bigr)$ 把'稀疏度抬高并延缓循环增益饱和'编码进单个解析表达式，让交互作用成为定律的一等公民。
核心方法
方法整体思路是保留 Chinchilla 式损失结构 $L=AN^{\alpha}+BD^{\beta}+c$，只把参数项替换为循环与稀疏依赖的有效参数量。直觉上，第 2、3、…、$R$ 遍循环各自贡献的等效参数逐遍递减，总贡献趋近有限渐近线，故提出有界映射 $$N_{\text{eff}}(R,m)=N_{\text{act}}+\kappa_1(m)N_{\text{loop}}\bigl(1-e^{-(R-1)/\kappa_2(m)}\bigr),\quad \kappa_j(m)=\kappa_j m^{-\theta},$$ 其中 $m=N_{\text{act}}/N_{\text{total}}$ 为活跃参数比，$\kappa_1$ 控制循环增益渐近线、$\kappa_2$ 控制饱和速度、$\theta\ge0$ 刻画稀疏度对增益的放大。完整的 MoE 循环缩放定律为 $$L=A\hat{E}^{\delta}N_{\text{eff}}(R,m)^{\alpha+\gamma\ln\hat{E}}+B\hat{E}^{\omega}D^{\beta+\zeta\ln\hat{E}}+c,$$ $\hat{E}$ 为专家数的单调变换（沿用 Clark 2022）。关键细节是计算与容量分离：训练算力按展开参数计 $F_{\text{train}}=6N_{\text{unroll}}(R)D$，损失预测才用 $N_{\text{eff}}$。$R=1$ 时 $N_{\text{eff}}=N_{\text{act}}$，定律退化为标准非循环形式。
核心创新是有界、稀疏条件化的循环映射，与已有工作的本质区别有两点。第一，有界性：Parcae 采用线性映射 $N_{\text{eff}}=N+(R-1)N_{\text{loop}}$，Iso-Depth 采用幂律映射 $N_{\text{eff}}=N+(R^{\phi}-1)N_{\text{loop}}$，两者在 $R\to\infty$ 时增益都无界，会无限用循环替代参数；本文映射当 $R\to\infty$ 时 $N_{\text{eff}}\to N_{\text{act}}+\kappa_1 m^{-\theta}N_{\text{loop}}$，增益封顶，正确复现了实验观察到的损失平台。第二，稀疏条件化：$\kappa_1(m)$、$\kappa_2(m)$ 随活跃参数比 $m$ 变化——$m$ 越小（越稀疏），$m^{-\theta}$ 把渐近增益抬得越高，$\kappa_2(m)$ 把饱和点拉得越远，精确对应'专家越多、循环越值'的实验规律。边界性质完备：$R=1$ 退化为标准稠密/MoE 定律，$m=1$ 退化为稠密有界映射，$m\to0$（$E\to\infty$）时增益退化为随 $R$ 线性增长的极限，从而把先前所有定律收纳为特例。
方法步骤详情
第一步，实验扫描：在 $N_{\text{act}}\in\{0.3,0.6,1.0\}$B、数据 $D\in\{100,\ldots,500\}$B tokens、专家数 $E\in\{1,2,4,8,16\}$、循环 $R\in\{1,2,3,4,6,8\}$ 网格上训练小模型，统一用 middle-cycle looping（前 2 层 prelude、后 2 层 coda 不共享，中间块循环），保留 $R=16$ 作 held-out。第二步，参数化拟合：对线性、幂律、稠密有界、稀疏条件有界四种映射用同一流程估计系数 $\{A,\alpha,B,\beta,c,\kappa_1,\kappa_2,\theta,\ldots\}$（附录 C.3）。第三步，映射对比：各定律在 $R\le8$ 上拟合、外推 $R=16$ 及未见过的 $N,D,E$，比较 RMSE。第四步，定律应用：定义乘子 $\rho_{\text{eff}}(R,m)=N_{\text{eff}}/N_{\text{act}}$ 量化循环增益；按式 (11)-(13) 在算力约束 $6N_{\text{unroll}}(R)D=\bar{F}_{\text{train}}$ 与内存约束 $M_{\text{weight}}\le M_{\text{budget}}$ 下搜索 $R^{\star},E^{\star}$，要求每步改善 $\Delta L\ge\epsilon$（$\epsilon$ 取拟合 RMSE）以滤除伪改进。第五步，验证：14 个下游基准检验增益，并做约 $1.5\times10^{22}$ FLOPs 的万亿 token 案例研究。
技术新颖性
技术新颖性体现在四个方面。(1) 首次把循环与稀疏放进同一个缩放定律：Table 1 显示此前所有定律只覆盖其中一条轴——稠密定律只含 $N,D$，MoE 定律加入 $S/E$，循环定律（Parcae、Iso-Depth）只含 $R$ 且映射无界，SMELT 固定 $R=2$。(2) 函数形式由机理驱动而非事后拟合：'专家让每遍循环触达新参数'这一物理直觉直接导出 $m^{-\theta}$ 放大项与指数饱和形状，使定律具有可解释性。(3) 定律层级化且特例完备，论文用 Proposition A.1/A.2 严格推导了 $R=1$、$E=1$、$R=1,E=1$ 三种退化形式，说明它不是另起炉灶而是真正统一了前人结论。(4) 工程严谨性：求最优 $R^{\star},E^{\star}$ 时引入容差 $\epsilon=$ 拟合 RMSE，拒绝把拟合误差内的'伪改进'当作真收益；同时严格区分决定损失的 $N_{\text{eff}}$ 与决定算力的 $N_{\text{unroll}}$，避免了概念混淆。
实验结果
映射对比（图 2、3）：在 $R\le8$ 上拟合后外推 $R=16$，稠密设定下有界映射的 held-out R/N/D RMSE 约为 0.0092/0.0128/0.0049，全面优于幂律（0.0313/0.0211/0.0073）与线性（0.2566/0.1106/0.0882）；MoE 设定下稀疏条件有界映射同样四项最优（held-out R 为 0.0100，对比线性 0.2847、幂律 0.0480、稀疏无关有界 0.0190），且唯一能跟踪饱和点随专家数的移动。有效容量（图 4）：$N_{\text{act}}=1.0$B 时乘子 $\rho_{\text{eff}}$ 随 $R$ 上升但逼近有限渐近线，稀疏度越高渐近线越高；$E=8$ 比 $E=1$ 同算力损失更低，$R=2$@10^21 FLOPs 优于 $R=1$@5×10^20 FLOPs。下游（图 7，14 个基准）：5×10^20 FLOPs 下 0.3B MoE（$E\ge8$）Overall 与 Reasoning 均超 1.0B 稠密模型，稀疏性带来约 3 倍活跃参数效率；10^21 FLOPs 下 0.3B $R\ge4$ 追平 0.6B $R=1$、0.6B $R\ge3$ 追平 1.0B $R=1$，循环在推理任务上带来约 2 倍总参数效率。万亿 token 案例（表 2，~1.5×10^22 FLOPs）：A0.3B-1.3B LoopMoE 用 ~3T tokens 训练，$R=4$ 时 BBH 31.5、GSM8K 41.5，匹配 2 倍大的 A0.6B-2.9B MoE（29.8/42.9，6T tokens），但 Overall 46.7 仍低于 50.2；$R$ 从 1 到 5 把 Overall 从 36.6 提到 46.9（+10.3），实现按需测试时扩展。设计准则（图 5、6）：$R^{\star}$ 随算力预算增大且小模型更高；INT4 内存 3GB 时最优为 1.0B active、$E=8$、$R=2$，10GB 时为 1.6B active、$E=16$、$R=1$——紧内存偏循环、宽内存偏稀疏。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 14 基准总体（Overall，含 BBH/GSM8K/ARC/MMLU 等 14 项均值） | 14-benchmark mean score | A0.3B-1.3B LoopMoE：$R=1$ 为 36.6，$R=5$ 达 46.9（+10.3） | A0.6B-2.9B MoE（$R=1$）：50.2 | 匹配算力（~1.5×10^22 FLOPs）下仍落后 3.3 分，但参数约减半、推理计算仅 1.8×；相对自身 $R=1$ 提升 +10.3 分，展示按需测试时扩展 |
| 推理（BBH） | accuracy | LoopMoE $R=4$：31.5；$R=5$：31.8 | A0.6B-2.9B MoE：29.8 | 活跃与总参数均约减半、算力匹配下反超 1.7–2.0 分，验证循环约 2× 总参数效率 |
| 推理（GSM8K） | accuracy | LoopMoE $R=4$：41.5；$R=5$：41.2 | A0.6B-2.9B MoE：42.9 | 差距缩至 1.4–1.7 分，达到与 2 倍大模型匹配的水平（$R=1$ 时仅 10.5） |
| held-out 循环外推损失预测（$R=16$ 外推） | RMSE（越低越好） | 稀疏条件有界映射：held-out R 0.0100、E 0.0047、N 0.0050、D 0.0043 | 线性映射 0.2847/0.0896/0.0656/0.0824；幂律 0.0480/0.0113/0.0077/0.0074；稀疏无关有界 0.0190/0.0075/0.0065/0.0058 | 在全部 held-out 轴上 RMSE 最低，较线性映射降低约 5–28 倍 |
| 下游参数效率缩放（图 7） | 匹配性能所需参数量 | 稀疏约 3× 活跃参数效率；循环约 2× 总参数效率（Reasoning） | 稠密非循环基线（$E=1,R=1$） | 5×10^20 FLOPs 下 0.3B MoE（E≥8）胜 1.0B 稠密；10^21 FLOPs 下 0.3B R≥4 匹配 0.6B R=1 |
局限与改进
作者承认的局限：渐近增益 $\kappa_1 m^{-\theta}N_{\text{loop}}$ 只是观测范围内的拟合性质而非理论保证，$R$ 超出评估范围（拟合最大 $R=8$、held-out 16）后行为未知；只实验了 middle-cycle looping 一种循环策略，其他策略是否保持同样的 $\kappa,\theta$ 有待验证；内存优化只考虑权重内存 $M_{\text{weight}}=b_wN_{\text{total}}/8$，不含 KV cache 等运行时状态，也未涉及推理延迟。我自己的观察：万亿 token 案例中 LoopMoE 的 Overall（46.9）仍明显落后非循环 MoE（50.2），'匹配'仅限推理类基准，且需付出 1.8× 推理计算与串行循环的延迟；扫描网格上限 $E=16$、$R=8$ 较小，$m^{-\theta}$ 在极端稀疏下的线性极限未经实证；全部实验在 3B 总参数以下，向更大尺度的外推有效性未验证；案例模型 ~3T tokens 对 ~6T tokens，数据量差异本身也可能贡献部分差距。
独立分析的弱点
独立分析三点弱点。其一，质量提升的任务分布不均：循环增益集中在 BBH/GSM8K 等推理任务，知识类任务差距显著——表 2 中 LoopMoE 从 $R=1$ 到 $R=5$，Natural Questions 仅从 5.7 升到 9.9、TriviaQA 从 18.2 升到 27.0，而基线分别为 13.8 和 39.8；循环主要增强计算深度而非知识存储，改进方向是结合知识密集训练目标、检索增强或加大非循环的知识模块。其二，$\kappa_1,\kappa_2,\theta$ 是在特定架构（2 层 prelude/2 层 coda、特定路由与 $E$ 参数化）下拟合的常数，换循环策略、专家粒度或 top-k 路由都可能需重新拟合，可迁移性未被讨论；改进方向是把 $\kappa$ 与可测架构量（层数、专家粒度、路由熵）建立类似 $\kappa_j(m)=\kappa_jm^{-\theta}$ 的显式函数。其三，测试时扩展需预先决定'停在 $R=3$ 还是 $R=5$'，论文用固定容差 $\epsilon$ 离线选择，缺少样本自适应机制，简单问题也被迫付出全深度推理；改进方向是训练轻量退出门控（early-exit gating），按难度自适应选择循环深度，作者在结论中亦将其列为展望。
未来方向
作者提出的方向有三条：探索更先进的循环策略以丰富循环隐表示、进一步提升有效容量增益；把循环 MoE 从边缘小模型推广到云端大模型，验证定律的跨尺度适用性；通过优化循环状态管理或引入 early-exit 门控改善推理内存与延迟，实现'必要时才循环'的按需缩放。基于其成果可延伸的研究：把稀疏放大指数 $\theta$ 与专家粒度、top-k 的 $k$ 解耦扫描，检验 $m\approx k/E_{\text{route}}$ 近似与 $m^{-\theta}$ 形式在更大 $E$ 范围的普适性；将循环与中间遍监督、自蒸馏、shortcut consistency 等训练目标结合，观察能否抬高 $\kappa_1$ 渐近线本身；在计入 KV cache 与 recurrent state 压缩后重新推导内存约束下的联合最优 $(N_{\text{act}}^{\star},E^{\star},R^{\star})$；把定律用于样本级自适应循环深度选择，与 test-time compute scaling 文献对接。
复现评估
复现评估：论文来自 Meta AI，正文与附录均未提及开源代码、模型权重或完整训练配方，目前只能依据论文公式（式 1-13）与附录 C/D 的训练细节复现。主要门槛是算力：定律扫描覆盖 3 个活跃规模 ×5 个数据量 ×5 个专家数 ×6 个循环数的网格，外加 $R=16$ 的 held-out 训练、以及约 $1.5\times10^{22}$ FLOPs 的两个万亿 token 模型（~3T 与 ~6T tokens），总训练成本预计在 $10^{23}$ FLOPs 量级，普通实验室无法完整复现。降低难度的路径有三条：定律形式完全解析，可从论文图表读出的数据点上重新拟合，验证有界映射相对线性/幂律的 RMSE 优势这一核心主张；14 个下游基准（BBH、GSM8K、MMLU、TriviaQA 等）均公开，协议在附录 D.1 有描述；式 (11)-(13) 的最优化只涉及在候选模型阶梯上计算预测损失并筛选约束，纯 CPU 即可实现。综合评级：核心思想可低成本验证，完整定量复现难度很高。
论文图表
(a) 稠密循环 Transformer 每一遍循环复用相同的 FFN，而循环 MoE 中路由器可以在不同遍把 token 送到不同专家；(b) 固定活跃参数与训练数据时，增加循环遍数 $R$ 使损失先快速下降后趋于平台，稠密模型（$E=1$）比 MoE 模型（$E>1$）更早饱和；(c) 本文拟合的有界、稀疏条件化有效参数增益曲线（$E=1$ 到 $E=8$）与先前线性、幂律两种无界映射的对比。
一张图讲清全文动机：为什么循环收益有界（权重共享）、为什么稀疏度能抬高这个界（专家路径多样性），是理解所有后续建模的直觉基础。