Motif 3：融合分组差分潜在注意力与细粒度稀疏 MoE 的 314B 参数大语言模型技术报告 Motif 3: Technical Report

第一步，预训练准备：用 SuperBPE 两阶段训练 220,160 词表的 tokenizer（第二阶段允许跨词合并，如英语 of the、韩语 수있다），英文压缩 5.68 bytes/token 显著优于 Qwen3.5 的 4.51；语料约 12.5T token，初始 19 个数据集随训练扩展到 57 个并按步级动态配比调度。第二步，GDLA 前向：$x_t$ 低秩投影得查询潜在 $c^Q_t \in \mathbb{R}^{1024}$ 与 KV 潜在 $c_{KV,t} \in \mathbb{R}^{512}$ → RMSNorm 后经 $W^{KV}_b$ 展开 16 个 KV 头 → 信号/噪声查询路径共用 KV 头各自算注意力 → 噪声输出按组重复 $g$ 倍 → $D_t = H_{S,t} - \lambda_t \odot \mathrm{Repeat}_g(H_{N,t})$ → 由查询潜在生成的 sigmoid 门 $G_t$ 逐元素调制 → $W^O$ 投影输出。第三步，训练稳定化：FP32 路由加无辅助损失偏置（系数 $1\times10^{-3}$）、序列级负载均衡损失（默认 $1\times10^{-4}$，第 2 层加至 $2.4\times10^{-4}$、3-5 层 $2.0\times10^{-4}$）、余弦衰减高斯路由噪声、FFN 幅度正则（权重 $2\times10^{-4}$，阈值 128/末层 1,024）、专家健康监控（dispatch 最小/中位比高于 0.7 健康、低于 0.3 疑似饿死；输出投影范数比低于 0.5 提示隐性死亡；专家间输出余弦相似度高于 0.8 提示功能冗余），检测到路由坍缩立即用相邻稳定层的路由参数替换。mHC 后映射乘子 $s_t$ 从 2 余弦退火到 1。第四步，系统优化：EP=8（节点内 NVLink）加 DP-shard=8，不用流水线并行；专家 GEMM 用 MXFP8（DeepGEMM 后端），激活在 EP dispatch 前预量化使通信量减半、量化开销降为 top-k 分之一（即 1/8）；Muon 加 Parallel Muon 加 QK-Clip（阈值主训练 $\tau=100$、长上下文阶段 200，每 10 步裁剪，按 $r = 1/\sqrt{1+G}$ 不对称分摊查询/键侧裁剪以防共享键退化）。第五步，长上下文阶段：4K→32K→256K，DeepSeek-YaRN 扩展因子 64，约 5% 语料重构为长上下文数据、推理类数据控制在 5% 以内；滑窗层用窗口感知 Ring Attention（单次 halo 交换，通信量降约 1,024 倍），全注意力层用 Ulysses，并用最长处理时间贪心启发式把打包序列在 DP 副本间重排，消除文档掩码导致的步级慢速者（例中某 rank 的注意力 FLOPs 达均值的 3.54 倍）。第六步，后训练：先训初步 SFT 模型定位失败模式、生成定向修复数据（不作为学生初始化），再从预训练检查点重启训练通用 SFT（批 33M token，lr $3\times10^{-5}$ 余弦衰减至 $1.5\times10^{-6}$，最长 256K 序列，辅助损失权重降为十分之一）；从同一 SFT 检查点分出六个 GRPO 教师（DAPO 风格，批 256~1,152 轨迹，rollout 8K~192K token，离线过滤保留通过率 $0<p\le0.8$ 的提示）与一个 SFT 软件工程教师，全程冻结 MTP 与路由参数。第七步，MOPD：学生自采样轨迹（批 512，每提示 1 个生成，最长 163,840 token），路由到领域教师，取教师标量 log 概率，ICE-POP 过滤 $0.5\le w_t \le 5$，lr $5\times10^{-6}$ 衰减至 $3\times10^{-6}$。

技术新颖性体现在四处“首次组合加针对性修正”。其一，GDLA 是差分注意力与潜在 KV 压缩的首次融合，且工程上非常经济：两路查询共享同一份上投影 KV 和广播的解耦旋转键，使差分机制的额外成本几乎只有查询头侧，推理缓存与 MLA 完全同规模；噪声系数逐 token 化突破了原版静态 $\lambda$ 的表达瓶颈，sigmoid 约束又从结构上排除了噪声放大。其二，对 mHC 的修正——后映射乘子 $s_t$ 从 2 退火到 1——是小而关键的稳定性发现：原参数化下 logits 为零时是恒等映射，但映射值可超过 1，在 314B 规模和深度下反复放大子层输出导致激活离群值渐进累积；退火保留了早期优化行为又消除后期放大，且不使用硬裁剪。其三，Expert-Specific PolyNorm 把激活函数参数化为 $\mathrm{PolyNorm}_i(z) = \sum_{n=1}^{3} a_{i,n} \frac{z^n}{\mathrm{RMS}(z^n)} + b_i$（系数经 sigmoid 约束在 $(0,1)$，偏置截断到 $[-0.5,0.5]$），10B 受控实验显示其门控权重有效秩（最高 512）高于 SwiGLU，说明专家学到更多样的非线性响应——把“专家特异化”从 FFN 权重扩展到了激活函数本身。其四，QK-Clip 针对 GQA 的修正：共享 KV 头接收 $G$ 个查询头的梯度且方向部分抵消、有效恢复信号约为 $1/\sqrt{G}$，故键侧裁剪比取 $r = 1/\sqrt{1+G}$，防止反复裁剪把共享键权重推向零——这是把现成技术适配到实际架构时才会发现的深度问题。系统侧的窗口感知 Ring Attention（滑窗层 halo 交换替代 $P-1$ 次轮转，每 rank 接收 KV 量从 $\Theta(L)$ 降到 $\Theta(W)$，128 窗口下约 1,024 倍削减；相对 Ulysses 的通信强度差距 1,536 倍）与注意力工作量感知的确定性 DP 重调度也是扎实的新工程。

(1) 滑窗窗口固定 128 token 且全注意力仅占 1/4 层：对需要跨越数万 token 精确检索或复制比较的任务，信息必须经多层间接传递，AA-LCR 72.3 落后 MiniMax-3 8 分可能与此有关；改进方向是分层可变窗口（浅层小窗、深层大窗）或在长上下文阶段动态增大 $W$。(2) 噪声头 16 个占查询头的 20%：差分机制的价值依赖噪声路径能否充分估计共享噪声模式，论文未消融 $g$ 的取值（如 $g=2/4/8$ 的损失与下游对比），抑噪收益与头容量支出的权衡缺乏证据。(3) 离线提示过滤（保留 $0<p\le0.8$）一次性完成：随着教师能力增长，原有较易题不再提供学习信号，缺少在线动态采样的自适应性；可改为周期性重过滤或按通过率分层采样。(4) 韩语聊天教师的长度塑形函数 $r_{chat}(L)$ 硬编码峰值在 512~1024 token：这种长度偏好对不同任务未必最优，礼貌韩语等规则式 rubric 也难迁移到其他语言；改进方向是任务条件化或学习式奖励塑形。(5) 职业工作教师的偏好奖励是生成文档与参考文档互比，参考文档质量直接决定奖励上限，且 1.0/0.5/0.0 三档奖励梯度粗糙，难以精细区分质量差异。(6) 路由坍缩的恢复手段是从相邻稳定层复制路由参数——这是应急手术而非机制性解决：为何相邻层路由可移植、替换对已形成的专家分工有何扰动，论文未分析。(7) 稳定化超参数繁多（mHC 退火、FFN 正则阈值 128/1024、各层辅助损失权重等），这些数值跨规模缩放时的鲁棒性未知，依赖作者内部经验。

作者明确提出的方向：(1) 设计进一步降低训练与推理成本、并能可靠缩放到大于 Motif 3 规模的新架构；(2) 把原生上下文扩展到一百万 token 以上，同时保持计算效率与对远处信息的有效利用；(3) 加入图像与视频输入的视觉能力，拓展多模态与视觉落地任务；(4) 通过更丰富的环境、更长的交互轨迹、更强的规划与记忆机制、更鲁棒的执行结果学习来强化长程智能体能力。基于本文成果可自然延伸的方向：(5) GDLA 的消融空间尚未填满——$g$ 的取值、噪声头占比、$\lambda_t$ 的替代参数化、与 MTP 自推测解码的交互，以及在真实推理负载下的 KV 缓存/吞吐端到端基准都值得系统研究；(6) MOPD 可扩展为动态教师集合（持续加入新领域教师而无需全量重训学生），以及同一 token 上的多教师分布混合而非轨迹级路由；(7) 窗口感知 CP 的 halo 交换思想可推广到块稀疏、检索增强等其它稀疏注意力模式的并行化；(8) 专家健康监控指标体系（dispatch 最小/中位比、输出投影范数比、专家间输出余弦相似度、路由/共享 RMS 比）可沉淀为开源 MoE 训练的标准可观测性工具；(9) 四级判分阶梯的校准弃答训练（正确 1 / 部分 0.666 / 弃答 0.333 / 错误 0）可作为通用幻觉缓解组件推广到更多知识密集任务。

复现难度高，但工程诚意可观。有利因素：(1) 论文给出异常详尽的超参数——学习率日程（$3\times10^{-4}$ WSD 衰减到 $7.5\times10^{-5}$、长上下文 $3\times10^{-5}$）、批次大小（预训练最多 75M token、SFT 33M、MOPD 512 轨迹）、各辅助损失权重（负载均衡 $1\times10^{-4}$ 及分层加权、FFN 正则 $2\times10^{-4}$、MTP 0.2/0.1）、QK-Clip 阈值（100/200）与裁剪区间等可直接照抄；(2) 训练系统优化声称有开源参考实现（Motif 3 training example repository），且 DeepGEMM、HybridEP、Megatron-Core、NeMo RL/Gym、TorchTitan、vLLM/SGLang、Ray 均为公开组件，NeMo RL 后端集成以 import 时挂钩、不改上游代码的方式描述；(3) mHC、MLA、差分注意力、SuperBPE、Muon、DAPO 等构件均有先前文献与开源实现。阻碍因素：(1) 314B 模型权重与 tokenizer 是否发布未在文中说明，B200 级多机集群（EP=8 × DP-shard=8 起步）超出绝大多数实验室能力；(2) 12.5T token 语料中约 70% 是公开 Nemotron 集合，但其余大部分（网络、STEM、合成数据）为自采、不可得；(3) 后训练的 13 个验证器域、七个教师的具体数据构成、容器化任务环境与 LLM judge 提示词均未公开；(4) 10B 受控消融（GDLA/PolyNorm/路由噪声）的实验设置细节有限，难以精确重跑。结论：中小规模实验室可复现组件级结论（10B 规模的 GDLA、PolyNorm、稳定化技巧），完整模型复现仅对拥有数千卡 GPU 资源的机构可行。