Mix-MoE：通过混合专家模型提升大语言模型的多语言机器翻译能力 Mix-MoE: Improving Multilingual Machine Translation of Large Language Models through Mixed MoEs

第一步，模型改造：选 Llama3.2-1B 作基座，每隔 4 层替换一个 FFN 为 MoE 层，每个 MoE 层包含 8 个专家，分成 LM Experts 和 MT Experts 两组各 4 个，专家组结构相同但独立初始化。注意只改 FFN，Attention 层保持稠密以维持全局上下文。对每个专家 $i$ 的计算为 $g_i=\phi(W_{r_i}h+b_{r_i})$、$u_i=W_{u_i}h+b_{u_i}$、$h_i=g_i \odot u_i$、$h_{\mathrm{expert}_i}=W_{d_i}h_i+b_{d_i}$。第二步，LM Experts 初始化：采用 Mixtral 风格的「upcycling」，把原 LLM 的 FFN 权重 $W_{\mathrm{up}}\in\mathbb{R}^{d_{\mathrm{model}}\times d_{\mathrm{ff}}}$、$W_{\mathrm{gate}}\in\mathbb{R}^{d_{\mathrm{model}}\times d_{\mathrm{ff}}}$、$W_{\mathrm{down}}\in\mathbb{R}^{d_{\mathrm{ff}}\times d_{\mathrm{model}}}$ 沿中间维度 $d_{\mathrm{ff}}$ 切成 4 份，分别赋给每个专家的 $W_{r_i}, W_{u_i}, W_{d_i}$。第三步，FFT 路由：输入 $h$ 后先做 FFT 取实部 $f=\mathrm{Re}(\mathrm{FFT}(h))$，拼接 $h_{\mathrm{concat}}=[h;f]$，分别喂给 LM 和 MT 路由网络 $g_{\mathrm{LM}}=W_{\mathrm{LM}}^g h_{\mathrm{concat}}+b_{\mathrm{LM}}^g$、$g_{\mathrm{MT}}=W_{\mathrm{MT}}^g h_{\mathrm{concat}}+b_{\mathrm{MT}}^g$，softmax 后做 top-1 路由。第四步，Stage 1：冻结除 LM Experts 和 LM Router 外的所有参数，用单语语料 WMT Monolingual News Crawl（WMT17-19，覆盖 CS/DE/RU/TR/ZH/FI/ET）训 LM 专家，损失 $\mathcal{L}_{\mathrm{Stage1}}=\mathcal{L}_{\mathrm{LM}}^{\mathrm{CE}}+\lambda_{\mathrm{LB}}\mathcal{L}_{\mathrm{LM}}^{\mathrm{LB}}$，$\lambda_{\mathrm{LB}}=0.01$，LR=2e-4，batch=64。第五步，MT Experts 初始化：把已训练好的 LM 专家权重整体复制给 MT 专家；Stage 2 中仅放开 MT Experts 和 MT Router，LM Experts 完全冻结，用 4.2M 双语平行句对（14 个方向各 0.3M）训练，损失 $\mathcal{L}_{\mathrm{Stage2}}=\mathcal{L}_{\mathrm{MT}}^{\mathrm{CE}}+\lambda_{\mathrm{LB}}(\mathcal{L}_{\mathrm{LM}}^{\mathrm{LB}}+\mathcal{L}_{\mathrm{MT}}^{\mathrm{LB}})$，LR=1e-5，batch=32。最后推理时两组专家同时存在，路由器按 top-1 分别选专家，参数增量为每层 8 个额外专家但每次激活 2 个。

Mix-MoE 在三个层面有明确新颖性。其一，结构性专家分工：以往 MoE-LPR 等方法把专家当同质通用模块，所有专家共享同一翻译梯度；Mix-MoE 首次显式按「功能类型」对专家分组（LM vs MT），并通过冻结 LM 专家实现参数物理隔离，从根上避免翻译梯度覆盖单语知识，这在 LLM 微调领域尚属首次。其二，频域感知路由：FFT 在 NLP 中多用于语音（MFCC）、静态位置编码，本文首次把 LLM 动态隐藏状态的 FFT 实部作为 MoE 路由特征，通过 $h_{\mathrm{concat}}=[h;f]$ 让路由器同时具备语义敏感性和结构敏感性。消融表 V 验证，引入 FFT 把 BLEU 从 15.4 提到 17.6（+2.2），而随机投影只到 15.5，证明收益确实来自「频域模式」而非噪声注入；DCT 同样有效（17.2），进一步佐证「频域信号的语义可解读性」。其三，两阶段任务隔离训练策略：Stage 1 把目标语言单语知识稳定灌入冻结的 LM 专家，Stage 2 让 MT 专家从 LM 专家权重迁移学习，既继承了语言结构又专攻翻译映射，避免了 Dense PT+SFT 中常见的「翻译梯度反向破坏单语适应」的灾难性遗忘。

独立分析三个具体弱点。其一，专家组大小 $n=4$ 是凭经验选的，图 3 显示从 2→4→8 专家数越多 BLEU 越好，但作者因计算预算固定在 4；如果能在更大显存上推到 8 或 16，「频域细粒度特化」可能更显著，且 $d_{\mathrm{ff}}/n$ 切片更细，对小语种的句法细微差异敏感度更好。其二，两阶段是「先单语后双语」的串行训练，但 Stage 1 的学习率（2e-4）比 Stage 2（1e-5）高一个数量级，意味着 LM 专家在 Stage 1 实质上仍可能在原预训练参数基础上跳出较远，未必真正「冻结住预训练知识」；可以改进为：在 Stage 1 中加入 KL 散度正则，让 LM 专家的输出不过分偏离原 FFN 响应。其三，FFT 路由是按最后一维做变换，但 hidden state 的语义分布在 token 维度（序列长度）往往更丰富、含更多句法节奏信息。可以考虑改成沿「token 维」做 FFT，捕捉局部 vs 全局成分，或用小波变换替代 FFT 提供多尺度分析。其四，路由信号只输入 $h_{\mathrm{concat}}=[h;f]$，并未显式区分「是源语言 token 还是目标语言 token」，对多语对而言 MT 专家可能分不清「英→德」和「英→法」，可加入 language embedding 作为额外路由条件。其五，本工作只做了机器翻译任务，但 MoE 分组其实更适合同时承接多任务（如 MT + 摘要 + QA），如果把架构扩展为「单语-多任务专家分组」并允许任务向量路由，方法普适性会显著提升。

作者在结尾与图 4/5 节给出了一些方向：跨语种正迁移暗示 Mix-MoE 学到了可迁移的翻译能力，未来可探索更大规模跨语种家族迁移（如把斯拉夫语族上训练的能力迁移到波罗的语族），并明确衡量家族内迁移与家族间迁移的差异。基于本文框架可延伸的方向还包括：第一，把双组专家扩展到多任务 MoE，将「冻结的语言专家 / 可训练的任务专家」范式推广到 NMT + 对话 + 推理等复合场景；第二，把 FFT 路由替换为更可学习的多尺度时频分析（连续小波、稀疏傅里叶字典），让路由器自适应频带；第三，引入 Grouped Head Attention 或分块 MoE 以降低参数量，把模型规模推到 70B 量级做系统对比；第四，研究 MT 专家从 LM 专家复制的「upcycling 阶段点」选择——是否在 Stage 1 的中间检查点复制会得到更好的迁移效果；第五，结合 MoE-LPR 的「Language Priors Routing」机制，把语言标签显式注入路由，把 Mix-MoE 的隐式结构分工与显式语言先验结合；第六，进行「灾难性遗忘」的更细粒度评测——在 WMT 之外的不同单语任务（如 MNLI、GSM8K、XStoryCloze）上验证 LM 专家保留的预训练能力，而非只看翻译指标。

整体复现难度中等偏低，所有关键超参与数据规模都列明（表 I）：Stage 1 LR 2e-4 bs 64，Stage 2 LR 1e-5 bs 32，$\lambda_{\mathrm{LB}}=0.01$，4 专家/组，每 4 层嵌 MoE，总共 4.2M 双语对（14 方向 × 0.3M）。基座为公开的 Llama3.2-1B，单语数据来自 WMT17-19 Monolingual News Crawl，评测在 WMT17-19 自身测试集 + FLORES-200 上完成。代码方面：作者在论文中没有提供官方仓库链接，也没有承诺开源（文中 footnote 仅链接到 Llama 官方 model card），因此代码复现需自己按论文重建 MoE 层、实现 FFT 路由、写两阶段训练循环；这层工程量大约 1-2 周（特别是 upcycling 切片逻辑和 Stage 1/Stage 2 切换时的部分权重加载）。算力需求：1B 基座 16 层 × 每 4 层 8 专家 + bf16 混合精度 + FlashAttention，单卡 A100-40G 即可跑（论文明确报告用 NVIDIA Tesla A100-40G），全流程预计 1-2 天。若要扩展到 Llama3.1-8B / Qwen2.5-14B 则需 8 卡 A100 或等价硬件。FLORES-200 上的评测若要复现，需要重新跑全部 14 方向两次解码（约 2-3 小时）。复现风险点：FFT 路由的数值稳定性（若输入长度变化大需 mask），以及 Stage 2 加载 Stage 1 检查点时专家组别对齐必须严格，否则会破坏 LM/MT 隔离假设。