HodgeCover：高阶拓扑覆盖驱动稀疏混合专家模型压缩 HodgeCover: Higher-Order Topological Coverage Drives Compression of Sparse Mixture-of-Experts

HodgeCover 五阶段。阶段一在 2,048 个 C4 token 上跑原 MoE，记录路由分布与 top-2 激活。阶段二计算 $\binom{n}{2}$ 个 $b_{ij}=\mathbb{E}_{x\sim D}D_{\text{KL}}(f(\|x)\|\,f_{V\setminus\{i,j\}\cup\{i\oplus j\}})$ 与三元屏障 $b_{ijk}$，按路由频率加权。阶段三装配 $L_1=\partial_1^\top\partial_1+\partial_2\partial_2^\top$ 与 Moore-Penrose 投影 $\text{Pharm}$，取 $b_{\text{harm}}=\text{Pharm}\,b$。阶段四取 $E^\star$、$T^\star$，贪心 $k$ 步选 $S^\star$。阶段五按 $\pi(i)=\arg\min_{j\in S^\star}b_{ij}(1+\alpha\|b_{\text{harm},\{i,j\}}\|/\|b\|)$ 折叠丢弃专家。

技术新颖性体现在四方面。其一，把 MoE 专家压缩建模为 2-单纯复形上的 Hodge 分解问题，此前从未在压缩文献中出现；App. A.8 论证了为何不能用阈值化子图，因这会破坏 $\\partial_1$ 秩把调和环裂解。其二，形式化证明 $\\|b_{\\text{harm}}\\|_2$ 是命题 1 意义下的不可约合并残差——任何顶点势+三角边界修正最多把 $b$ 还原到 $b_{\\text{grad}}+b_{\\text{curl}}$，剩余残差必然存在。其三，覆盖目标 $\\Phi$ 严格证明为非负单调次模（命题 2），贪心保证 $(1-1/e)\\Phi(S^{\\text{opt}})$ 近似比，$K_4$ 反例证明 $\\Phi$ 无法被任何 per-expert 评分方法匹配。其四，三款 MoE 所有层的调和能占比 $\\rho_{\\text{harm}}(\\ell)=\\|\\text{Pharm}\\,b^{(\\ell)}\\|_2^2/\\|b^{(\\ell)}\\|_2^2$ 都非平凡（29%–62%），证实高阶障碍是结构性的。

独立审视可识别三个改进点。第一，路由器重定向 $\\pi(i)=\\arg\\min_{j\\in S^\\star}b_{ij}\\cdot(1+\\alpha\\|b_{\\text{harm},\\{i,j\\}}\\|/\\|b\\|)$ 仅依赖 KL 屏障评估，未考虑被折叠专家与目标幸存者在路由器 key 空间的语义对齐；高频流量灌入语义错位专家会引入坍缩误差，改进方向是引入路由器 key 余弦相似度作正则项。第二，调和加权系数 $\\alpha$ 是层无关超参，但不同层 $\\|b_{\\text{harm}}\\|/\\|b\\|$ 比例相差大（图 2 显示 OLMoE 末段近 0.6、Qwen 122B 中段仅 0.3），统一 $\\alpha$ 造成深/浅层抑制失衡，应改为按 $\\rho_{\\text{harm}}(\\ell)$ 自适应。第三，方法对校准语料质量敏感：OLMoE 66% 时所有专家级方法都跨过 C4 PPL 100，说明 $b_{ij}$ KL 估计方差极大，应引入激活门控或 bootstrap 重采样稳定估计。

作者指出三个延展方向：其一，把单纯复形从语言 MoE 推广到多模态与 RL 后训练 checkpoint，验证 $\|b_{\text{harm}}\|_2$ 在视觉/跨模态专家上是否仍占能谱显著份额。其二，把 Hodge 分解的诊断作用延伸到容量构造轴——dense-to-sparse upcycling 与独立专家训练阶段，让训练目标显式最小化 $\|b_{\text{harm}}\|_2$，可能产生"拓扑正则化"新预训练范式。其三，将第二 Hodge Laplacian $L_2$ 也纳入分析，当前 $T^\star$ 仅用原始 $\|b_{ijk}\|$ 是因计算收益边际递减，若算力允许可获得更高阶不可约残差。基于成果的另一方向是把 HodgeCover 与 GPTQ/AWQ/SmoothQuant 量化叠加，构成"专家数×权重稀疏×比特宽"三维压缩立方体。

复现性整体良好但需中等算力。作者在 App. C 列出全部超参默认值，App. A.9 给出三角面集合 $T$ 的两阶段构造细节，App. D/E 报告硬件配置与 baseline 的 per-method allocator，所有 backbone（OLMoE-1B-7B、Qwen 3.5-35B-A3B、Qwen 3.5-122B-A10B）均为开源权重，校准固定 2,048 个 C4-train token 可直接下载。代码承诺开源但未给 GitHub 链接。算力门槛：122B-A10B 推理需多张 80GB GPU，单纯复形一次性预计算 $\\\\binom{256}{2}=32640$ 条边屏障与 $|T|$ 条三元屏障涉及 $O(n^2+|T|)|D|d^2$ 前向计算；35B 模型单卡 A100 上完整 plan 估计数小时，但作者强调复形缓存可跨多个压缩率复用。主要复现风险在三角面集合 $T$ 的具体抽样策略与各 baseline 实现对齐。