超越几何互补性：稀疏混合专家路由中的相干重叠 Beyond Geometric Complementarity: Coherent Overlap in Sparse Mixture-of-Experts Routing
用2×2因子实验拆解MoE路由，发现专家子空间重叠却仍各自有功能价值
前置知识
稀疏混合专家模型（Sparse Mixture-of-Experts, MoE）
MoE 将输入依赖的门控（router）与若干并行的局部计算单元（experts）结合。稀疏变体只对每个 token 激活 Top-k 个专家而非全部，从而在保持总参数容量很大的同时把单 token 的活跃计算量压到很小比例。现代语言模型普遍采用可学习的 Top-k 路由，如 OLMoE 用 Top-8/64、Mixtral 用 Top-2/8、DeepSeek-MoE 用 Top-6/64 外加 2 个常驻共享专家。
本文全部讨论都建立在「一个 token 被多个专家共同处理」这一事实之上，理解 Top-k 路由的并行执行与按分数排序的归因方式是读懂因子设计的前提。
Grassmann 流形与主角几何（Principal-Angle Geometry）
当两个子空间维数相同时，可以用它们之间的「主角」$\theta_1, \ldots, \theta_p$ 刻画接近程度。本文用归一化弦距 $d_{ch}(U,V) = \|UU^{\top} - VV^{\top}\|_F / \sqrt{2p}$ 度量两个等秩线性子空间的分离程度，值越小代表方向重叠越多。这与 SVCCA、PWCCA、CKA 等激活空间比较方法一脉相承，但对等秩线性 span 而言主角几何是最直接的度量。
ESSI 的分子就是基于这个弦距构造的，不理解它就无法理解「专家子空间是否分离」这一核心几何问题。
因子实验设计与差分中的差分（2×2 Factorial / DiD）
2×2 因子实验把两个因素（如候选专家、上下文前缀）各取两个水平交叉成四个格子，从而同时估计「主效应」和「交互效应」。本文定义交互作用 $D = T_s - T_r = A_{actual} - A_{alt}$，正值表示实际上下文放大了被选中候选的优势，负值表示它压缩了优势。这正是因果推断中「差分中的差分」的标准做法，能让作者分离候选质量、上下文机会与协同效应。
整篇论文的方法学核心就是用这个因子设计拆开三种经常被混为一谈的性质；不看懂 $D$ 就无法理解「相干重叠」为何否定了正几何互补性。
残差能量与分数新颖度（Residual Energy / Fractional Novelty）
对路由输入 $z_x$，给定专家集合 $P$ 的并子空间 $B(P)$，未解释能量比例为 $\rho_x(P) = \|(I - B(P)B(P)^{\top})z_x\|_2^2 / \|z_x\|_2^2$。加入候选 $c$ 带来的分数新颖度 $q_x(c \mid P) = (\rho_x(P) - \rho_x(P \cup \{c\})) / \max(\rho_x(P), \epsilon)$。若 $q = 0.2$，表示该候选解释了 $P$ 之后剩余部分的 20%。它衡量的是线性覆盖，而非非线性计算的功能价值。
因子实验中的候选优势 $A$ 和交互 $D$ 都建立在这个 $q$ 上，是全文定量结论的度量单位。
研究动机
稀疏 MoE 的成功引出一个根本的机制问题：一个 token 从「被多个专家而非一个专家处理」中到底获得了什么？最流行的答案是「几何互补性」直觉——被共同选中的专家应该各自贡献不重叠的表示方向，一个专家抓主导方向、其余专家补剩下的部分。但这个条件式断言其实比文献给出的证据要强得多，它暗中打包了三个未必同时成立的性质：（1）路由相干性，整组被选中的集合比一个等规模的替代集合更贴合 token；（2）候选质量，在固定上下文下被选中专家比最强未选中替代更贴合；（3）正几何互补性，被选中专家之所以「特别有用」恰恰是因为它与特定专家被编组在一起。现有分析（知识归因、语言/语义路由、多样性、共激活、路由器-专家几何耦合等）大多只在描述内部结构或路由质量，却没有检验「候选专家的优势是否真的依赖于它的共选上下文」。更隐蔽的问题是，朴素对比方法会同时改变候选专家和前缀上下文：在作者的预实验里，把每个被选专家与 5 条负载相近的控制路线比较，9 个领航位（leader）对比为正、39 个后续专家位对比却全部为负——这会让人误判「后续专家冗余可剪」，但这个对比把候选质量与剩余机会混在了一起，无法隔离。
本文的目标是本文的目标是把「几何互补性」从一句被默认成立的直觉，变成一个可被分别检验的可证伪命题。具体地，作者要构建一套诊断框架，独立测量上述三个性质，并对六个开源 MoE（OLMoE-1B-7B、Mixtral-8x7B、DeepSeek-MoE-16B、Qwen3-30B-A3B、Gemma4-26B-A4B、Qwen3.6-35B-A3B）做跨架构验证。可量化的目标包括：让专家间子空间分离获得一个有自然基线的标度（ESSI）；在 39 个因子格子里独立估计候选质量 $A_{actual}$、上下文效应 $T_s/T_r$ 与交互 $D$；用冻结路由的逐位 NLL 增益和受控 Top-1/Top-2 训练检验「重叠的几何是否意味着冗余的功能」。最终要回答一个设计层面的判断：能不能用输入子空间重叠作为冗余、剪枝或多专家收益的代理指标。
与已有工作不同的是，本文的独特切入角度有三层。第一，它注意到「原始子空间距离没有自然基线」这一被忽视的方法学漏洞，于是用每个专家路由区域内的局部切空间色散（local tangent dispersion）做归一化，构造 ESSI，让「专家是否真的分离」变得可判读。第二，它把因果推断里的 2×2 因子设计与差分中的差分引入 MoE 路由分析——已有工作要么只看路线整体质量，要么同时改变候选与上下文，没有人系统地「固定一个、改变另一个」来分离交互作用；作者正是通过这个角度发现并解释了朴素对比的符号反转（图 3）。第三，它明确区分「线性输入覆盖的几何新颖度」与「非线性计算的功能价值」——相似甚至重叠的输入子空间完全可以支撑不同的非线性特征或输出方向，因此几何重叠本身不能用来定冗余。这三点合起来，把过去从「好路线」反推互补性的做法，改成了对互补性的直接检验。
核心方法
直觉上，作者把「专家是否互补」这一模糊问题拆成三个可独立作答的子问题，并为每个子问题配一把不同的尺子：专家子空间在全球层面是否分离？实际路线是否比等规模替代路线更贴合 token？被选中候选的优势是否因为它的共选上下文而被放大？第一问用 ESSI 度量，它把专家间弦距除以专家内局部切空间色散，得到一个无量纲、接近 1 即表示「专家间分离和专家内抖动差不多」的指标。第二问比较实际路线与负载匹配替代路线的归一化残差比，比值大于 1 说明实际路线更优。第三问是核心，用「前缀控制的 2×2 因子」：固定分数排序的前缀 $S_{j-1}$，把被选中候选 $s$ 与「整个实际 Top-k 路线之外最高分的合格对手」$r$ 交叉，再把实际前缀与 $M$ 条等长负载匹配替代前缀 $W_m$ 交叉，形成四个格子。技术路线是：先用 ESSI 做六模型几何普查（18 个模型-层格），再在 OLMoE/Mixtral/DeepSeek 上做 39 格因子分析，最后用冻结路由 NLL 干预与受控 Top-1/Top-2 训练检验功能价值。
全文最核心的创新是「前缀控制的 2×2 因子设计 + 差分中的差分」，用来把『这个专家本身就强』和『这个专家因为跟在特定专家后面才特别有用』这两件经常被混为一谈的事彻底分开。这是本文与已有 MoE 分析的本质区别：此前的工作要么比较整条路线（路线好就推断互补），要么同时换候选和上下文（图 3 中 9 正 39 负的『后续专家冗余』假象就是这么来的）。作者固定分数排序前缀这个分析装置，只换候选或只换前缀，用交互项 $D = A_{actual} - A_{alt} = T_s - T_r$ 直接检验正几何互补性的定义性预测——若互补成立，被选中候选在实际上下文里应当比在替代上下文里赢得更多，即 $D > 0$。配合 ESSI 提供的子空间基线，以及把几何新颖度与功能 NLL 分开的两次干预，整套框架让『互补性』第一次变成可被证伪、可被分别归因的命题，并把结果命名为「相干重叠」（coherent overlap）：路由从共享的几何邻域里挑出与 token 相关的专家，而多专家的有用计算并不依赖不相交的线性覆盖。
方法步骤详情
完整流程分五步。第一步几何普查：对每个合格路由专家 $e$（至少 2048 个选中 token）用原生 Top-k 权重（逐 token 归一化）做中心化 rank-128 PCA，得到全局基 $G_e$；在每个锚点 $a$ 处用 256 个最近邻表示拟合局部切空间基 $L_{e,a}$；按式 (2) 算弦距 $d_{ch}$，ESSI = 专家间平均弦距 ÷ 负载加权的专家内切空间色散（$\epsilon=10^{-12}$），18 个模型-层格全覆盖。第二步路线相干：对每个 token 比较实际路线与等基数负载匹配替代路线的归一化残差，比值 > 1 即实际更优。第三步因子实验：对每条路线按路由分数排序，定义 $S = S_{j-1}$、$s = e_j$、$r$ 为实际 Top-k 之外最高分合格专家、$W_{1..M}$ 为 OLMoE 用 5 条 / Mixtral 用 5 个 / DeepSeek 用 OLMoE 构造的等长替代前缀；DeepSeek 的 2 个共享专家在所有比较中固定不变；对非中心化 rank-128 基算分数新颖度 $q_x(c \mid P)$，进而算 $A_{actual}$、$T_s$、$T_r$、$D$。第四步功能干预：在冻结路由上逐位添加下一个专家测 NLL 增益；替换领航 vs 替换全体后续专家比较 NLL 损伤。第五步受控训练：6 层 MoE，Top-1（4 专家×宽度 1024）与 Top-2（8 专家×宽度 512）活跃中间容量精确匹配 1024，参数与活跃 FLOPs 差 < 0.04%，每个种子训 20M token。全程用 1000 次配对源上下文 bootstrap 给 95% CI。所有几何量基于路由器输入表示 $z_x^{\ell}$。
技术新颖性
技术新颖性体现在三处彼此咬合的设计。其一是 ESSI 提供了缺失的基线：SVCCA/PWCCA/CKA 比较的是激活空间，而对等秩线性 span 而言主角几何是直接度量，但裸弦距没有自然零点，ESSI 用专家内局部切空间色散做归一化，第一次让『专家间分离是否显著大于专家内抖动』可判读。其二是把因果推断里的 2×2 因子与差分中的差分首次系统引入 MoE 路由分析，并且把分数排序前缀当作纯分析装置（标准 Top-k 是并行执行的）来分离候选-上下文交互；这套设计能解释朴素对比的符号反转，这是已有路线分析做不到的。其三是把『线性输入子空间覆盖』与『非线性输出功能价值』分成两层证据——前者用因子 $D$ 度量，后者用冻结路由 NLL 增益和受控训练度量，从而指出『几何重叠 ≠ 功能冗余』。这三点合起来把『互补性』从『好路线反推』改造成『直接可检验』，并把新现象命名为 coherent overlap。
实验结果
三组配对对比组织全部发现。第一组（几何普查，6 模型 18 层）：ESSI 始终接近 1，范围 0.776–1.060、中位数 0.969，专家间分离与专家内局部抖动相当，远未硬性划分；shared-core 重叠从 64 维约 0.27–0.44 升到 512 维 0.77–0.98。但 ESSI≈1 不代表可互换：实际路线残差比 18 格全 > 1，范围 1.012–1.901、中位数 1.283。第二组（因子分析，39 格）：候选优势 $A_{actual}>0$ 在 39 格点估计全正，OLMoE/Mixtral 24 格中 22 个 CI 排除零，DeepSeek 宏观 0.02616 [0.02412, 0.02800]；上下文效应 $T_s,T_r$ 全负（OLMoE/Mixtral $T_s$ −0.2284~−0.0573、$T_r$ −0.1531~−0.0379；DeepSeek $T_s=-0.26864$、$T_r=-0.21094$）。关键交互 $D$ 在 39 格全负且每条 95% CI 都低于零：OLMoE/Mixtral −0.1020~−0.0111、宏观 −0.05548；DeepSeek −0.08773~−0.01022、宏观 −0.05770；被选候选实际前缀新颖度排名靠后（百分位 0.006–0.154）。符号反转亦被复现：同时换候选与上下文 9 领航正/39 后续负；固定上下文只换候选 39 格全正（提升 0.001382–0.038642）。第三组（功能价值）：冻结路由逐位加专家 39 次中 24 次显著降 NLL、15 次不显著，随排序递减（OLMoE L16 首位恢复 0.0906 [0.0836, 0.0975]，末位 0.0030）；替换领航比替换全体后续损伤更大者占 9 格中 7 格，但 OLMoE L8、L16 反转——L16 替换 7 个后续聚合损伤反比领航大 0.0848 [0.0724, 0.0971]。受控 Top-1/Top-2 训练 Top-2 三种子全胜，差值 $\Delta=0.1016\pm0.0025$。敏感性分析（原始增益、最近残差、严格 caliper、独立 tall-SVD）全支持负交互，DeepSeek 三变体宏观 $D$ 分别为 −0.01966、−0.06157、−0.01780。结论：多专家收益可来自共享 token 相关邻域内的不同计算，无需不相交线性覆盖。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 专家子空间分离度（ESSI，6 模型 18 层） | ESSI（接近 1 表示专家间分离≈专家内抖动） | 范围 0.776–1.060，中位数 0.969 | 硬性方向划分预测 ESSI ≫ 1 | 实证否定了硬性划分假设，与基线预测相反 |
| 路线相干性（残差比，18 格） | 替代/实际 归一化残差比（>1 表示实际路线更优） | 范围 1.012–1.901，中位数 1.283，全部 18 格 > 1 | 专家可互换预测比值 ≈ 1 | 实际路线在共享几何中仍显著更贴合 token |
| 候选质量 $A_{actual}$（39 因子格） | 被选中-对手 的残差新颖度差 | 39 格点估计全为正；DeepSeek 宏观 0.02616 [0.02412, 0.02800] | 被选中与对手相当 ≈ 0 | 固定前缀下被选中专家解释的残差显著更多 |
| 候选-上下文交互 $D$（39 因子格） | 差分中的差分 $D = T_s - T_r$（正=互补放大，负=压缩） | 39 格全负，所有 95% CI < 0；宏观 −0.05548（OLMoE/Mixtral）/ −0.05770（DeepSeek） | 正几何互补性预测 $D > 0$ | 实证否定正互补性，实际上下文压缩而非放大优势 |
| 冻结路由逐位 NLL 增益（39 次添加） | next-token NLL 恢复量 | 24/39 显著为正，15 不显著；OLMoE L16 首位恢复 0.0906 | 几何重叠即冗余预测增益 ≈ 0 | 重叠几何下后续专家仍持续改善预测，呈现递减而非均匀冗余 |
| 受控 Top-1 vs Top-2 训练（3 种子） | 验证损失（越低越好） | Top-2 全胜，差值 $\Delta = 0.1016 \pm 0.0025$ | Top-1（4 专家×1024 宽） | 活跃容量精确匹配下 Top-2（8 专家×512 宽）损失更低 |
局限与改进
作者明确承认若干局限。首先，全部几何量都是 rank-128 的线性度量、定义在路由器输入表示 $z_x$ 上；专家施加的是参数化的非线性变换，重叠的输入子空间完全可以支撑不同的非线性特征、输出方向或 logit 效应，因此 $D$ 度量的是残差线性覆盖、不是结果计算的价值——语义路由或专家协作可能展现出该子空间指标无法解析的专门化。其次，完整因子与功能分析只覆盖 OLMoE、Mixtral 与一个共享专家架构 DeepSeek；Qwen3、Gemma4、Qwen3.6 只参与 ESSI 普查，缺因子证据。第三，受控 Top-1/Top-2 只在一个 6 层小模型上做，且专家数量与宽度是联合改变的（4×1024 vs 8×512），所以优势可能来自更细粒度而非多专家路由本身；作者明确说该比较只适用于该配置与受控区间。第四，分数排序前缀是分析装置（标准 Top-k 并行执行），替代前缀满足匹配与排除约束，但仍是构造性近似。我额外注意到两点：24 个 OLMoE/Mixtral 格的 95% CI 未经多重比较校正；ESSI 只考虑中心化方向几何，均值偏移（mean offset）等其它形式的专门化被排除在度量范围外，这会让某些『互补』专家被低估。
独立分析的弱点
第一，负交互可能部分是『构造性必然』：实际前缀是从同一个路由器输入 $z_x$ 选出的，几何饱和几乎是内置的——领航专家本就覆盖了 token 需要的方向，任何第二候选自然没什么可加。若要真正检验互补性，应当测试那些『显式追求边际新颖度』的路由目标，比如在路由损失里加入反相关项或新颖度奖励，看 $D$ 能否转正。第二，ESSI 只测中心化方向几何，会漏掉均值偏移、尺度缩放这类『仿射互补』——两个专家可以共享方向却在偏置/尺度上互补，功能上完全不同却被判为重叠。改进方向是把度量从线性 span 扩展到仿射子空间，或直接在专家输出空间而非输入子空间测分离。第三，受控训练把专家数量与宽度捆绑（4×1024 vs 8×512），Top-2 的优势无法归因于『多专家』还是『更细粒度』。应当正交地变化数量与宽度（如 4×1024 vs 等量拆分为更窄的更多专家）来分离这两者。第四，因子分析只看路由器输入层，下游层与最终 logit 的传播未被追踪，建议引入跨层的因果追踪或 patching 实验来补全功能画像。第五，负 $D$ 在大模型深层更负（如 Mixtral 后层、DeepSeek 深层 $T_s$ 达 −0.27），这种趋势是否暗示深层路由冗余更严重、可剪枝潜力更大，值得单独研究。
未来方向
作者明确提出：自适应 k 路由（adaptive-k）可以转而估计『再加一个专家的输出增益』并在负载与算力约束下决策；语义路由与专家协作分析可能揭示当前子空间指标无法解析的专门化；剪枝、合并或跳过专家必须在保留的路由下测试，因为移除会改变其它专家的上下文；分离子空间未必改善预测。基于本成果可延伸的方向包括：设计『反冗余/反相关』路由目标，看能否把 $D$ 推向正值从而恢复真正的几何互补；把几何度量从输入子空间推广到专家输出方向或 logit 空间，构造『功能 ESSI』；在更大模型与更广架构（专家选择路由、哈希路由、Soft MoE）上重做因子实验；用因果 patching 做跨层交互追踪，验证『共享邻域内不同非线性计算』这一解释；以及把『相干重叠』作为新的稀疏性度量，用于训练时的负载均衡或剪枝价值评估。
复现评估
复现门槛中等偏高。有利条件：六模型均为开源权重（OLMoE-1B-7B-0125、Mixtral-8x7B-v0.1、DeepSeek-MoE-16B、Qwen3-30B-A3B-Base、Gemma4-26B-A4B、Qwen3.6-35B-A3B）；语料固定 8192 条（C4、CodeSearchNet-Python、arxiv-summarization、UltraChat 200k 各 2048），受控训练另用含 ARC 的 8192 条；种子固定（基础 0，层索引相加），按源记录连通分量做 80/20 切分；算力为 8 张 RTX 4090（每张 24564 MiB），受控训练单卡；附录 S2–S7 给出锚点数、邻域大小、支持阈值、负载匹配、排除约束的完整细节，并有独立 CPU tall-SVD 复核（最大残差 $2.10\times10^{-7}$、最大投影误差 $1.77\times10^{-4}$，均低于容差）。不利条件：论文未给公开代码仓库，Grassmann 弦距、ESSI 负载加权分母、load-near 替代路线构造与 source-context 配对 bootstrap 需自行实现；最难的工程点是把 DeepSeek 两个共享专家在所有几何与功能比较中正确地『固定在路由集之外』。预计熟悉 MoE hook 与线性代数的中型团队可在 2–4 周复现核心结论。
论文图表
