内松弛，跨平衡：面向视觉语言混合专家模型的几何引导负载均衡 Relax Within, Balance Across: Geometry-Guided Load Balancing for Vision-Language Mixture-of-Experts

完整步骤如下。输入：每个 token 的路由器输出、图像实例集合 $\mathcal{M}_I$、池化文本实例 $\mathcal{M}_T$、观察到的图像/文本 token 占比 $\lambda_I,\lambda_T$。第 1 步，从稠密 FFN 做不相交切分构造 Split-MoE，加零初始化路由器。第 2 步，对 batch 里每个 token 算软概率 $p_{t,i}=\text{softmax}(g(x_t))_i$ 和归一化硬 top-$k$ 指示 $f_{t,i}=k^{-1}\mathbf{1}[i\in\text{top-}k(g(x_t))]$。第 3 步，按图像身份把视觉 token 切成每张图一个实例，文本全部合成一个池化实例。第 4 步，对每个实例 $m$（含 $S_m$ 个 token）算实例内平均软轮廓 $P_m$ 与硬轮廓 $F_m$。第 5 步，对模态 $r\in\{I,T\}$ 做等实例平均得到 $\bar{P}_r,\bar{F}_r$。第 6 步，用 Switch 形式的实例均衡损失 $\mathcal{L}_{inst}=N\sum_i\bar{F}_i\bar{P}_i$（硬计数 stop-gradient），再按模态加权 $\mathcal{L}_{ReBA}=\lambda_I\mathcal{L}_I+\lambda_T\mathcal{L}_T$。第 7 步，在 Cambrian-737K 上 SFT 一个 epoch，仅改辅助损失，其余训练设置和基线完全一致。

新颖性体现在理论和实现两条线。理论新颖性：精确律 $R(a)=R(a^\star)+\kappa(a-a^\star)^2/N$ 把『最佳负载底 $R(a^\star)$』和『对 token 比例的敏感度 $\kappa$』彻底分离，并证明 $\kappa=\frac{N}{L}\sum_l\|q_l^I-q_l^T\|_2^2$，从而把抽象的『跨比例稳定性』转化为一个可优化的具体量——条件负载间距。还给出期望负载分解 $E[R(A)]=R(a^\star)+\kappa\,\text{Var}(A)+\kappa(E[A]-a^\star)^2$，三个误差源一目了然。设计新颖性：不靠启发式，而是先测几何（模态区分度 $\gg$ 图间区分度 $>$ 图内区分度），再用测量结果决定均衡单元——模态边界→分项，图像边界→每图一实例。实现新颖性：不新增任何路由器/专家参数，完全复用标准 Switch 硬-软项，只改 token 被平均进哪个组，每层仅多 $O(|M|N)$。消融（Table 3）进一步证明两个选择正交且都必要：只用图像实例（Coupled-ImgInst）无法消除跨模态抵消；只分项（Decoupled-Matched）留下 0.154 的残余 CV，而完整 ReBA 到 0.077。

第一，训练验证只覆盖切分 MoE，原生稀疏骨架（如 Qwen3-VL-MoE-30B）上 ReBA 的训练效果仍是空白——改进方向是直接在原生 128/256 专家模型上跑 ReBA SFT，验证 $\rho^2$ 与图内 CV 的收益是否迁移。第二，图像边界是在 Qwen/Cambrian 上测量的，其他 VLM 架构或视频密集负载的几何尺度可能不同（视频还有时间维度聚类）——改进方向是按架构重新测量路由几何，必要时引入『每视频段一个实例』。第三，每张图等权假设所有图计算代价相同，但多图文档里不同图重要性差异巨大——改进方向是按语义角色对图实例加权。第四，文本保持池化依赖『文本跨样本间距约为图像 2 倍』这一经验结论，长上下文/代码场景可能不成立——改进方向是探索行级或块级文本实例。第五，$\lambda_I,\lambda_T$ 取自训练时观察比例、固定不可调，部署分布漂移时会失配——改进方向是让权重随 workload 自适应或可学习。第六，计算代理与真实延迟之间有鸿沟——改进方向是在真实专家并行硬件上测端到端延迟，把通信/放置/内核开销纳入。每个弱点我都给出了对应改进方向。

作者明确点出的方向：在原生稀疏 MoE 上训练 ReBA，并把方法推广到切分模型以外。基于本成果可延伸的方向：其一，把 ReBA 与 auxiliary-loss-free 均衡（Wang 2024a）结合，去 aux-loss 仍保持模态分解；其二，把每图实例思路推广到视频 MoE，用『时间分组』作为额外边界；其三，与容量感知推理（He 2026, Capacity-Aware Inference）联动，训练期 ReBA + 推理期容量调度，进一步压短板效应；其四，理论上把 composition-shift 律从 2 模态推广到 $K$ 模态（音/视/文），推导多模态间距与敏感度的关系；其五，研究推理时动态实例构造（按 batch 实际图像构成即时调整 $\lambda$）；其六，刻画『专家特化 vs 均衡』的权衡，因为强行压低图内 CV 可能损害模态特化带来的精度收益（原生诊断里 52%/61% 专家已有强模态偏好）。这些方向既能补齐当前实验缺口，也能把几何引导均衡拓展成更通用的多模态 MoE 训练范式。

复现门槛中等偏友好。代码已开源：github.com/ZiangWu-77/ReBA。数据全部开放：训练用 Cambrian-737K，评测用 VLMEvalKit（规则/精确匹配打分，不用 GPT 评判）。骨架均开放：Qwen3-VL-4B-Instruct、Qwen2.5-VL-3B、Qwen2VL-7B、InternVL3-8B。训练设置写得非常细：单 epoch SFT、学习率 $10^{-5}$、cosine 调度、warmup 0.03、序列长 4096、单卡 batch 4×16 累积即全局 512、bf16、FlashAttention、ZeRO-1 + 梯度检查点，全部在 NVIDIA H20 上跑。切分构造（不相交神经元划分、SCALE=$\sqrt{N/k}$、零初始化路由器）在附录 A.2 给出完整张量操作，并附 Algorithm S1 伪代码与符号表。还有 7 点系数扫描、离线 checkpoint 评测、1000 次 paired bootstrap 置信区间、固定 500 样本种子 42 探针。主测试床 4B 在少量 H20 上即可复现；7B 骨架需多卡。唯一略麻烦的是原生 MoE 诊断需自行从 Qwen3-VL-MoE-30B / Qwen3.5-MoE-35B 抓取真实 top-8 派送，附录 E.1 给了协议。整体属于高复现度论文。