DynaMoE：面向混合专家神经网络的动态Token级专家激活与层间自适应容量分配 DynaMoE: Dynamic Token-Level Expert Activation with Layer-Wise Adaptive Capacity for Mixture-of-Experts Neural Networks
动态路由+六种层间专家调度，理论证明+实验验证任务相关最优
前置知识
混合专家(Mixture-of-Experts, MoE)
MoE是一种条件计算范式，通过门控网络 $G(x) = \text{softmax}(W_g x)$ 将每个输入 token 路由到 $N$ 个专家子网络 $\{E_1, ..., E_N\}$ 中的一个子集。标准实现采用 Top-K 路由：选取门控值最高的 $K$ 个专家并加权组合 $MoE(x) = \sum_{(i,g_i) \in TopK(g)} g_i \cdot E_i(x)$。这样模型总参数量很大，但每个 token 实际只激活少量专家，从而实现参数高效扩展。Switch Transformer (Fedus et al., 2022) 将 K 简化为 1，GShard 则采用 top-2 并引入容量因子。
本文的核心改进建立在 MoE 框架之上，读者需要先理解'条件计算''门控网络''专家子网络'这些基本概念，才能明白本文要放松的'固定 Top-K'与'均匀专家分配'两个约束具体指什么
Top-K 路由与门控机制
门控网络 $G: \mathbb{R}^d \to \mathbb{R}^N$ 接收 token 表示 $x \in \mathbb{R}^d$ 并输出专家分布向量 $g$，Top-K 路由从中筛选出门控值最高的 $K$ 个专家索引。门控值不仅决定专家选择，还作为组合权重（经 softmax 归一化后）。本文的创新点是用百分位阈值 $\tau$ 替代固定 $K$：$S_\tau(x) = \{i : g_i > \text{percentile}_\tau(g)\}$，使得激活专家数 $K(x) = |S_\tau(x)|$ 随输入变化，范围 $[K_{min}, K_{max}]$。
理解门控网络输出与 Top-K 选择的工作机制是把握本文'动态路由'概念的必要前提；百分位阈值的引入是 DynaMoE 的第一个核心创新
信息瓶颈原理(Information Bottleneck)
信息瓶颈原理(Tishby et al.)认为深度网络在监督任务中逐层压缩表征：层 $\ell$ 激活 $h_\ell$ 与原始输入 $x$ 的互信息 $I(h_\ell; x)$ 随深度递减，与目标 $y$ 的互信息 $I(h_\ell; y)$ 递增直至饱和。等价地，表征分布的差分熵满足 $H(h_1) \geq H(h_2) \geq \cdots \geq H(h_L)$。这意味着早期层处理高熵、多样化的原始输入分布，需要丰富的特征变换；深层处理低熵、类别分离的紧致流形，所需变换趋于简单（甚至线性）。
本文提出的'表征多样性-收敛原理'(RDC Principle)建立在信息瓶颈之上，是解释'为什么降序(Descending)调度在图像任务上最优'的统一理论框架；理解信息瓶颈才能把握这一核心论证
专家调度函数与容量分配
专家调度 (Expert Schedule) 是从层索引 $\ell \in \{1, ..., L\}$ 到专家数 $N_\ell \in [N_{min}, N_{max}]$ 的映射 $S: \{1, ..., L\} \to [N_{min}, N_{max}]$。本文用归一化位置 $t = \ell/(L-1) \in [0, 1]$ 参数化六种调度函数：降序 $S_\downarrow(t) = N_{max} - t(N_{max} - N_{min})$、升序 $S_\uparrow(t) = N_{min} + t(N_{max} - N_{min})$、金字塔上升/下降、波动上升/下降。这些是预定义的几何曲线，决定了每层专家数随深度的分布形态。
六种调度策略是 DynaMoE 的第二个核心创新；理解调度函数的数学表达和几何形状是把握'为什么不同任务需要不同调度'的关键
模型容量与计算复杂度分析
MoE 层的总参数量为 $O(d^2 \cdot S(\ell))$（存储成本），但每个 token 实际计算的 FLOPs 只来自被激活的 $K(x)$ 个专家：$E[FLOPs_\ell] = O(d^2 \cdot E[K(x)])$。当 $S(\ell) \leq d$ 时门控网络 $O(S(\ell) \cdot d)$ 的开销被专家计算主导。这意味着 DynaMoE 可以以接近 Top-K 的激活 FLOPs 实现远超固定路由的表达能力——例如 $\tau = 0.7, S(\ell) = 8$ 时 $E[K] \approx 2.4$ 与标准 $K=2$ 相当。
理解'参数数 ≠ FLOPs'的区分对评估 MoE 类方法至关重要；这也是本文声明'动态路由可获得更优参数效率'的基础
研究动机
标准 MoE 架构虽然能通过条件计算实现模型规模扩展，但存在两个根深蒂固的设计假设，严重限制了表达能力与计算效率。第一是固定 Top-K 路由：每个 token 不论输入复杂度或所在层特征如何，都强制激活恰好 $K$ 个专家。这种'一刀切'的处理方式忽视了简单样本（如 MNIST 中规整的手写数字）只需少量专家、复杂样本（如 CIFAR-10 中类间模糊的猫狗图片）需要更多专家的客观差异。第二是均匀专家分配：所有 $L$ 层都配置相同数量的专家，假设不同网络深度需要同等容量。这一假设在 Zhang et al. 2022 的 MoEfication 研究中已被实证挑战——他们发现稠密 FFN 转 MoE 时各层所需专家数差异显著。本文用具体数据说明了问题的严重性：在 Small 配置下，MLP 基线在 MNIST 上仅 89.42% 准确率，远低于人类水平的 99%+，说明固定路由的容量未被充分利用；而 Recycle-the-Web 语言建模中各 DynaMoE 变体最佳 PPL 都超过 1000，比良好训练的小 Transformer 在 WikiText-103 上的个位数 PPL 高两个数量级，反映出均匀分配导致的训练不稳定。
本文的目标是本文的具体目标是同时放松 MoE 的两个刚性约束，构建一个更灵活、更高效的条件计算框架。具体包括三个层面：(1) 设计动态 Token 级路由机制，使每个 token 激活的专家数 $K(x)$ 根据输入特征自适应变化，理论保证落在 $[1, \lceil(1-\tau) \cdot N\rceil]$ 范围内；(2) 系统化层间专家容量分配的形式化方法，定义六种调度策略（降序/升序/金字塔上升/金字塔下降/波动上升/波动下降）来匹配不同任务的最优多样性曲线；(3) 建立理论分析框架，刻画动态路由相对于固定 Top-K 的表达力增益与梯度方差缩减，并通过实验验证任务相关的最优分配规律。最终目标是证明'最优专家调度是任务和规模相关的'，挑战 MoE 领域'均匀分配'的默认假设。
与已有工作不同的是，本文的独特切入角度在于将 MoE 设计从'架构选择'问题转化为'调度优化'问题，并提出任务相关的实证规律。已有工作主要沿着两条独立路线展开：(a) 动态网络方面，early exiting、adaptive width、dynamic depth 等方法只修改前向传播，不触及根本的路由机制；(b) 负载均衡与路由控制方面，Shazeer 等的辅助损失、Switch Transformer 的容量因子、expert-choice 路由等关注的是训练稳定性而非容量分配最优性。本文是首个在统一 MoE 框架内系统化研究预定义层间专家数调度策略的工作，连接调度选择与信息论、函数逼近、梯度方差等理论原则。更具新意的是，作者发展出'表征多样性-收敛原理'(RDC Principle)作为统一理论：$N_\ell^* = N_{min} + (N_{max} - N_{min}) \cdot D_\ell / D_1$，其中 $D_\ell$ 是层 $\ell$ 的多样性指数，由表征熵、损失曲率、Kolmogorov 复杂度、梯度方差、输入多样性五项加权聚合。这一原理既解释了图像分类中降序调度的稳定优势，又预言了语言模型中升序/金字塔调度的潜在优越性，并在 Tiny/Small/Medium 三种规模上得到了 1000+ 样本语言建模实验的部分验证。
核心方法
DynaMoE 的整体思路可以概括为'动态路由 + 调度函数'两条正交轴的设计空间探索。直觉上，每个 token 应被允许根据自身复杂度动态选择专家数量（解决'一刀切'问题），同时整个网络的不同深度也应配置不同专家容量以匹配各层的特征提取需求（解决'均匀分配'问题）。技术上，DynaMoE 是一个 MLP 架构（不含自注意力），由输入投影 $h_0 = W_{in} x + b_{in}$、$L$ 个堆叠的 DynaMoE 层（每层包含按调度函数 $S(\ell)$ 配置的可变专家集合）、层归一化、分类头组成。每个 DynaMoE 层采用百分位阈值机制进行动态选择，门控网络输出 $g \in \mathbb{R}^N$ 后，激活超过 $\tau$ 百分位的所有专家 $S_\tau(x) = \{i : g_i > \text{percentile}_\tau(g)\}$，再用温度 softmax 软加权组合。训练时加入 $\sigma = 0.1$ 的高斯噪声以促进专家组合探索。六种调度函数中，降序 $S_\downarrow(t)$ 早期层专家数最多、最深层为 $N_{min}$；升序则相反；金字塔型在中间层达到峰值；波动型呈现更复杂的振荡模式。
本文的核心创新可分解为两个相互独立又相互补强的设计点。第一个创新点是动态 Token 级路由的百分位阈值机制 $S_\tau(x) = \{i : g_i > \text{percentile}_\tau(g)\}$。与已有动态网络方法的本质区别在于：早期 exiting 仅在层级别做早退决策、adaptive width 修改整个通道数、DynaMoE 的百分位阈值是'在门控值空间内做软阈值'，仅丢弃每个 token 最弱的若干专家，无需离散优化即可端到端训练，且自然支持可变 $K$。第二个创新点是首次形式化六种预定义层间专家数调度策略，将'专家容量在不同深度的分配'从隐性设计选择提升为可枚举、可比较、可搜索的设计维度。已有工作（Shazeer 2017、Fedus 2022）默认均匀分配，MoEfication (Zhang et al. 2022) 仅做了事后验证，本文则首次提供主动设计工具并系统比较其效果。最具理论深度的是 RDC 统一原理：$N_\ell^* \propto D_\ell$（层 $\ell$ 的表征多样性），用 $D_\ell = \alpha_1 H(h_\ell) + \alpha_2 \|\nabla_{h_\ell}^2 L\|_F + \alpha_3 K(h_\ell \to h_{\ell+1}) + \alpha_4 \text{Var}(g_\ell) + \alpha_5 \text{Div}(h_\ell)$ 五项加权刻画层多样性，将五个独立假说（表征熵坍缩、损失曲率、Kolmogorov 复杂度匹配、梯度方差、专家去适应）统一为单一原则。
方法步骤详情
DynaMoE 的完整方法步骤可拆解为四个环节。第一，门控计算：对层 $\ell$ 的输入 $h_\ell \in \mathbb{R}^d$，门控网络 $G_\ell$ 输出 $g = G_\ell(h_\ell) = \text{softmax}(W_g^\ell h_\ell) \in \mathbb{R}^{S(\ell)}$。第二，动态选择：计算 $g$ 的 $\tau$ 百分位阈值 $\theta_\tau = \text{percentile}_\tau(g)$，激活所有门控值高于阈值的专家 $S_\tau(h_\ell) = \{i : g_i > \theta_\tau\}$，得到该 token 的激活专家数 $K(h_\ell) = |S_\tau(h_\ell)| \in [1, \lceil(1-\tau) S(\ell)\rceil]$。第三，软加权输出：在激活专家子集上做温度 softmax 加权 $DynaMoE_\ell(h_\ell) = \sum_{i \in S_\tau(h_\ell)} \frac{\exp(g_i/T)}{\sum_{j \in S_\tau(h_\ell)} \exp(g_j/T)} E_i^\ell(h_\ell)$，其中 $T = 0.5$ 为温度参数。第四，调度函数配置：根据所选策略（如降序），预先确定每层专家数 $N_\ell = S(\ell) \in [N_{min}, N_{max}]$，$N_{min} = 1$、$N_{max} = 8$ 是推荐配置。完整的前向传播为 $h_{\ell+1} = LayerNorm(DynaMoE_\ell(h_\ell) + h_\ell)$（含残差），最后通过 $y = W_{out} h_L + b_{out}$ 分类头输出。训练配置使用 AdamW（$\beta_1 = 0.9, \beta_2 = 0.999$、权重衰减 $10^{-4}$），学习率 $10^{-3}$ 配合 cosine annealing，MNIST/Fashion-MNIST 训练 20 epoch、batch size 256，CIFAR-10 训练 25 epoch，Recycling-the-Web 训练用 batch size 32。门控噪声 $\sigma = 0.1$ 注入用于训练探索。
技术新颖性
本文的技术新颖性可从四个层面分析。第一，方法层面：首次将百分位阈值机制引入 MoE 路由，将离散的 Top-K 选择替换为连续可微的门控值阈值；这一机制在保持端到端可训练性的同时实现了输入自适应的 $K(x)$，与离散松弛、混合整数优化等更复杂的方法相比优雅简洁。第二，系统性层面：首次在统一实验框架下定义并比较六种预定义层间专家数调度策略，填补了 MoE 架构设计中'如何在不同深度分配容量'这一长期被忽视的设计维度。第三，理论层面：Theorem 1 给出路由多样性增益 $|A_\tau| / |A_K| \geq \binom{N}{K_{max}} / \binom{N}{K}$ 的组合下界；Theorem 2 在三个标准假设下证明动态路由梯度方差 $\text{Var}(g_{dyn}) \leq \text{Var}(g_{fixed}) \cdot (1 - \gamma/N)$ 上界；Proposition 2 在损失曲率关于深度单调递减的条件下严格证明降序调度优于均匀分配。第四，统一理论层面：RDC 原理是首个将信息瓶颈、损失几何、Kolmogorov 复杂度、梯度动力学、专家去适应五个独立观察统一到单一原则的尝试，并做出可检验的预言——'任何表征多样性随深度递增的任务应使用升序调度'——这一预言在 Recycling-the-Web 语言建模中得到了部分验证。需要指出的是，这些理论分析多依赖标准但未必普遍成立的假设（如 Theorem 2 假设 A2 动态路由选择更均匀的边际分布），主要起定性指导作用而非紧致定量保证。
实验结果
实验在三个图像分类数据集和一个小规模语言建模数据集上展开，得出多个具体且可量化的发现。实验一（专家调度消融，Table 2）：在 MNIST Small 配置（4 层 8 专家）下，降序调度取得最高准确率 92.68%，超过 MLP 基线（89.42%）3.26%、超过均匀 MoE（91.35%）1.33%，且仅需 6 epoch 即可达到最终精度的 95%（MLP 需 8 epoch、均匀 MoE 需 7 epoch）；升序调度表现最弱（90.12%），证实了'早期层需要更多专家'的直觉。实验二（专家数敏感性，Table 3）：E8-1（最大 8 专家、最小 1 专家）达到最优精度-效率平衡 92.68%/380K 参数（效率 2.44），E16-1 边际收益递减降至 92.45%/520K（效率 1.78），E8-4 因最小专家数过高反而损害灵活性（91.24%）。实验三（跨数据集泛化，Table 4）：降序调度在 MNIST（+3.26%）、Fashion-MNIST（+4.19%）、CIFAR-10（+5.47%）上一致性提升，且任务越复杂提升越显著，完美契合 RDC 原理关于'高曲率早期层需要更多专家'的预言。实验四（语言建模，Table 5）：1,000 个 Recycling-the-Web 样本训练（piloting scale）下，最优调度呈现规模依赖模式：Tiny 模型降序 PPL 1011.80（逼近 MLP 1003.08），Small 模型升序 PPL 2308.29（唯一超过 MLP 2308.29 vs 2311.02 的 DynaMoE 变体），Medium 模型均匀 PPL 2383.89（超过 MLP 2468.16 3.4%）。这一发现支持了 RDC 原理的预言：语言模型深层注意力层聚集长距离依赖，多样性可能不随深度单调递减。训练动力学观察（Figure 10）显示降序调度在 Tiny/Small 上收敛最快，升序在 Medium 上更稳定。所有配置下动态路由相比固定 Top-2 将专家使用熵提升 0.34 bit，表明更好的专家特化。Figure 3 的热力图直观展示了降序调度在层 1-2 的高激活、升序调度在深层的强激活、均匀调度的一致性模式。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MNIST 图像分类 (Small 4 层模型) | 测试准确率 (%) | 92.68 (降序) | 89.42 (MLP) / 91.35 (均匀 MoE) | +3.26% vs MLP / +1.33% vs 均匀 MoE |
| Fashion-MNIST 图像分类 (Small 4 层模型) | 测试准确率 (%) | 88.34 (降序) | 84.15 (MLP) / 86.82 (均匀 MoE) | +4.19% vs MLP / +1.52% vs 均匀 MoE |
| CIFAR-10 图像分类 (Small 4 层模型) | 测试准确率 (%) | 67.85 (降序) | 62.38 (MLP) / 65.12 (均匀 MoE) | +5.47% vs MLP / +2.73% vs 均匀 MoE |
| MNIST 专家数消融 (E8-1 配置) | 精度/参数比 (效率) | 2.44 | E2-1: 3.13 / E16-1: 1.78 | 在精度 92.68% 下的最优效率点 |
| Recycling-the-Web 语言建模 (Tiny) | 最佳验证 PPL (越低越好) | 1011.80 (降序) | 1078.31 (均匀) / 1063.87 (升序) / 1003.08 (MLP) | -6.2% vs 均匀 DynaMoE |
| Recycling-the-Web 语言建模 (Small) | 最佳验证 PPL (越低越好) | 2308.29 (升序) | 2484.32 (均匀) / 2311.02 (MLP) | -0.1% vs MLP (唯一超越 MLP 的 DynaMoE 变体) |
| Recycling-the-Web 语言建模 (Medium) | 最佳验证 PPL (越低越好) | 2383.89 (均匀) | 2468.16 (MLP) / 2417.24 (降序) | -3.4% vs MLP |
| 训练收敛速度 (MNIST Small) | 达到 95% 精度的 epoch 数 | 6 (降序) | 8 (MLP) / 7 (均匀 MoE) | 快 25% vs MLP |
局限与改进
作者在 Section 7.10 明确列出了 8 项重要局限性，部分也是读者应当独立审视的问题。局限一（语言建模实验规模）：1,000 个样本的 Recycling-the-Web 训练得到的 PPL 范围 1000-2500，而标准基准 WikiText-103 上的小型 Transformer 仅个位数 PPL，所有 Small/Medium 变体的逐 token 准确率都接近 5%（50k 词汇的 2% 单字基线），意味着 per-token 准确率已无判别力——这些结果应被解读为可行性试点而非有竞争力的语言建模证据。局限二（缺乏标准 MoE 基线）：未与 Switch Transformer (top-1 + 容量因子 + 平衡损失)、GShard top-2、expert-choice MoE、Shazeer 等的辅助平衡损失做比较，因此 DynaMoE 增益是来自调度还是来自'未带正则化'的 MoE 本身仍不明确。局限三（计算公平性）：不同调度的参数量不同，未报告 FLOPs、墙钟时间或推理延迟的一致比较；效率指标（精度/参数）混淆了激活 FLOPs 与总参数量。局限四（无负载均衡消融）：DynaMoE 全部实验不施加容量约束或辅助平衡损失，与发布级 MoE 系统（默认带这些正则）不直接可比；缺少与带平衡损失的均匀 MoE 的对照。局限五（数据集与任务范围）：图像实验仅用 MNIST/Fashion-MNIST/CIFAR-10 三个已饱和的基准，未在 ImageNet 规模或 Transformer 主干上验证。局限六（预定义调度）：六种调度均为人工设计，缺乏与可学习调度（如基于多样性信号参数化）的对比。局限七（未评估注意力探针）：Section 5 定义的注意力熵、有效距离、头部专门化、叠加压力代理等 Transformer 探针未在 MLP 实验中计算，Section 7.6 的预测仍属理论。局限八（定性理论论断）：Section 7.1-7.2 的熵坍缩、Kolmogorov 匹配、RDC 原理是定性论证而非形式化定理，依赖于'多样性随深度递减'这一在图像任务中成立但在自回归 LM 中未必成立的假设。从独立视角看，Theorem 2 的假设 A2（动态路由选择更均匀的边际分布）实际上是需要证明的命题而非可承担的前提，A3（专家输出条件独立）则在共享输入投影的架构中明显违反，限制了梯度方差界的实用性。
独立分析的弱点
本文虽提出了优雅的动态路由机制和调度设计空间，但存在若干独立可观察的弱点，未来改进有明确方向。弱点一（架构局限）：DynaMoE 当前实现是纯 MLP 架构，不含自注意力，这极大限制了在语言建模等需要长距离依赖任务上的适用性——这也部分解释了为什么 1000 样本 LM 实验的 PPL 超过 1000 而非个位数；改进方向是扩展为 Transformer 块，将 MoE 与多头自注意力结合，并实测 Section 7.6 提出的'后注意力表征多样性 $D_\ell^{joint} = \lambda D_\ell^{attn} + (1-\lambda) D_\ell^{moe}$'联合调度准则。弱点二（缺乏与标准 MoE 的公平对比）：作者承认未与 Switch Transformer、GShard、expert-choice 等标准 MoE 系统做对照，且不使用任何辅助平衡损失，这意味着所报告的'降序调度优势'可能被'不带正则化的 MoE'这一更宽泛因素解释；改进方向是补做 (a) DynaMoE + 辅助平衡损失 vs. 均匀 MoE + 平衡损失 的消融，(b) DynaMoE 专家选择路由 vs. token 选择路由的对比。弱点三（百分位阈值的梯度流缺陷）：百分位阈值机制是离散选择操作，梯度通过 softmax 软加权反向传播，但专家组合的离散性可能仍导致梯度估计高方差；改进方向是引入 Gumbel-top-k 或连续松弛使得整个选择过程完全可微，并配合直通估计器。弱点四（计算公平性缺失）：降序调度总参数量 380K 与均匀 MoE 相同但激活 FLOPs 不同（早期层更多），与 MLP 340K 也不完全匹配；改进方向是构建 FLOP-matched Pareto 曲线，固定每 token 激活 FLOPs 比较不同调度的精度。弱点五（语言建模实验说服力不足）：1000 样本的 Recycling-the-Web 训练属于'toy 规模'，所观察到的'规模依赖的最优调度'规律在 WikiText-103、C4 等标准基准上是否成立未知；改进方向是在标准 LM 基准上重做完整消融。弱点六（调度策略搜索空间局限）：六种预定义调度都是几何函数，未覆盖指数衰减、阶梯式等更灵活形式；改进方向是引入可学习调度，将每层专家数 $N_\ell$ 参数化为连续变量并通过架构搜索（DARTS 类方法）联合优化。
未来方向
作者在 Section 7.6-7.9 提出了多个具体的研究方向，并结合本文成果可作进一步延伸。第一，Transformer 主干上的 DynaMoE 验证：作者明确指出 Section 5 中定义的注意力熵、有效距离、头部专门化、叠加压力代理等探针应在 Transformer 实现中实际计算，以验证'专家密度应匹配后注意力表征多样性'的 RDC 联合准则；这是论文最直接的下一步。第二，可学习调度策略：当前六种调度是预定义启发式，RDC 原理建议将 $N_\ell$ 参数化为连续可微变量 $N_\ell = N_{min} + (N_{max} - N_{min}) \cdot \sigma(D_\ell / D_1)$，通过架构搜索或端到端优化联合训练，配合 Section 7.7 提出的'叠加压力 $\rho_\ell = \phi_\ell / c_\ell$'作为互补的调度准则。第三，负载均衡整合：作者明确建议将容量因子（Switch Transformer）、辅助平衡损失（Shazeer）、专家选择路由（Zhou et al.）整合到 DynaMoE 框架，这是发布级部署的必要工程工作。第四，跨任务通用性验证：在 ImageNet、GLUE、WikiText-103、Pile 等更大规模基准上检验 RDC 原理的预测能力；特别是验证'长上下文 LM 中深层多样性递增是否稳定支持升序调度'这一关键预言。第五，理论深化：将 Theorem 1 的组合下界提升为函数空间体积比，将 Theorem 2 的梯度方差界弱化为不依赖假设 A2 的无条件形式。第六，推理时调度：百分位阈值机制的副产品是每个 token 自适应 $K(x)$，可设计'早退式'推理——简单样本激活更少专家以降低延迟；与动态网络领域的相关工作结合有较大空间。第七，多模态扩展：图像、文本、音频的表征多样性曲线形态各异，DynaMoE 提供了一个自然的工具来研究'是否需要为不同模态设计不同调度'。
复现评估
复现评估需要从代码、数据、算力、难度四个维度综合判断。代码方面：作者未在论文中给出官方代码仓库链接，也未在文末声明开源情况；从方法描述看核心算法（百分位阈值、softmax 软加权、六种调度函数）的实现复杂度不高，约 200-500 行 PyTorch 代码即可复现核心架构。数据方面：MNIST、Fashion-MNIST、CIFAR-10 均为标准基准，torchvision 一行命令下载；语言建模使用 mlx-community/recycling_the_web-1k 公开 HuggingFace 数据集，可直接通过 datasets 库加载。算力方面：Small 配置（~340K 参数、4 层）在单 GPU 上每个数据集训练 20-25 epoch 只需数十分钟；Medium（~1.4M）需数小时；本文报告的墙钟时间示例（Table 2 中 145-175 秒/epoch）显示 4 层 Small 模型可在单卡 1 小时内完成单次训练。难度方面：方法本身的复现难点在于 (1) 百分位阈值函数的向量化实现以支持 batch 并行；(2) 调度函数的预计算与动态专家数管理；(3) 论文未明确给出 Tiny/Small/Medium 配置下调度函数的具体 $N_{min}, N_{max}$ 取值（Table 1 只给出参数量），需通过反推或联系作者确认。整体可复现性评估为中等：架构清晰、数据公开、算力要求低，但缺乏官方实现增加了 1-2 周的工程实现工作量；建议读者从开源社区（如 GitHub 搜索 'DynaMoE'）或邮件联系作者获取参考实现。
论文图表
