MoE强化学习中的专家空间探索 Expert-Space Exploration in MoE Reinforcement Learning

方法分 rollout 与优化两个阶段。Rollout 阶段对每个 token $t$、每层 $\ell$ 依次执行：(1) 对原始 router logits $l_{t,\ell,e}$ 做 softmax 归一化得到 $p_{t,\ell,e}$（公式 2）；(2) 计算归一化熵 $H_{t,\ell} = -\frac{1}{\log E}\sum_e p_{t,\ell,e} \log p_{t,\ell,e}$，并令噪声尺度 $\sigma_{t,\ell} = \sigma_{\min} + (\sigma_{\max} - \sigma_{\min})(1 - H_{t,\ell})$（公式 3-4）；(3) 锚定集 $S^{\text{anchored}}_{t,\ell} = \text{Top}_{K_{\text{anchored}}}(\{l_{t,\ell,e}\})$，直接来自原始 logits（公式 5）；(4) 候选池 $C^{\text{explore}}_{t,\ell}$ 取剩余专家中原始 logits 前 $M_{\text{explore}}$ 名（公式 6）；(5) 仅在池内注入高斯噪声 $\tilde{l}_{t,\ell,e} = l_{t,\ell,e} + \xi_{t,\ell,e}$，$\xi \sim \mathcal{N}(0, \sigma^2_{t,\ell})$，取扰动后 Top-$K_{\text{explore}}$ 为探索集（公式 7-8）；(6) 最终激活集 $S^{\text{roll}}_{t,\ell} = S^{\text{anchored}}_{t,\ell} \cup S^{\text{explore}}_{t,\ell}$，门控权重用原始 logits 在 $S^{\text{roll}}$ 上重新 softmax（公式 10），输出为激活专家的加权和（公式 11）；(7) 记录完整稀疏计算路径 $Z_i = \{S^{\text{roll}}_{t,\ell}\}$ 及 rollout 对数概率 $\log \pi_{\text{roll}}$（公式 12）。优化阶段：(8) router 重算当前 logits $l_{\theta}$ 但绕过 Top-K，固定 $S^{\text{train}}_{t,\ell} = S^{\text{roll}}_{t,\ell}$，用当前 logits 在重放路径上重算门控权重与 MoE 输出（公式 13-14）；(9) 策略比率 $\rho_{i,t}(\theta) = \pi^Z_\theta(y_t|x, y_{<t}) / \pi_{\text{roll}}(y_t|x, y_{<t})$，代入 GRPO 的 clip 目标（公式 15-16）更新，优势为组相对归一化奖励 $\hat{A}_i$。训练采用 batch size 256、每 prompt 8 条 rollout、MATH 数据集、on-policy 风格。

技术新颖性体现在四个层面。第一，问题定义新颖：这是首批把 MoE 路由空间当作 RL 探索维度的工作，此前 MoE RL 文献全部围绕稳定性与效率，路由被视作不可动的架构常量；论文第 2 节的多层次实证（专家利用率、下一 token 分布的 PCA 位移、序列级 Self-BLEU）本身即是独立贡献，确立了『路由扰动具有温度式多样性效应』的经验事实。第二，机制设计上，锚定+候选池构成一组与解码参数同构、但作用在专家空间的控制旋钮：消融分析（Figure 9）表明 $\sigma$ 类似温度控制探索强度，$M_{\text{explore}}$ 类似 top-k/top-p 截断控制备选集合（不同池大小的结果在准确率–Self-BLEU 平面上坍缩到同一条共享拟合曲线），而 $K_{\text{anchored}}$ 与扰动层位置则能改变质量–多样性曲线的几何形状——这种参数化解剖非常系统。第三，工程上把探索与 R3 路由重放衔接，解决了『探索到的路径在训练时被重新路由丢掉』的根本矛盾，使探索信号真正可学习。第四，正交性：方法不改奖励、不改目标函数、不加采样成本，实验证明在温度、组大小、MoE 结构（top-K/top-1/共享专家）变化下均鲁棒，且与更强基线（GSPO、RO-GRPO）直接可比并胜出。

独立分析出的弱点及改进方向：(1) 探索强度由手工设定的熵映射端点 $\sigma_{\min}/\sigma_{\max}$ 控制，训练过程中最优强度可能漂移——可引入 bandit 或以优势信号为反馈的在线自适应调节噪声尺度，而非固定映射；(2) 探索只发生在 rollout 采样层，router 参数本身没有被显式激励去维持可探索性，Figure 10 显示训练中专家负载 CV 仍缓慢上升、策略仍在收敛——可将路由熵正则或 RO-GRPO 式路由奖励与 ESRL 在正交方向上联合；(3) 路由重放把 rollout 路径固定下来，探索产生的路径立即被当作 on-policy 数据全盘接受，缺少对『坏路径』的信任域校正——可结合拒绝采样或对纯探索路径施加保守的置信调整；(4) 候选池 $M_{\text{explore}}$ 与 token 解码的 top-k/top-p 截断是分开调参的，而 Figure 9d 显示两者在质量–多样性平面上高度同构（不同池大小坍缩到共享拟合曲线）——可设计专家空间与 token 空间共享多样性预算的统一自适应截断；(5) 论文观察到后层扰动对输出分布影响大于前层（Figure 9b，最后 8 层扰动可达最广范围）但未给出机制解释，若能定位关键层，也许只需扰动少数层即可获得同等收益，从而降低路径记录与重放的工程开销；(6) Pass@1 与 Pass@8 的最优配置不同（$K_{\text{anchor}}=4$ 利于单样本精度、$=2$ 利于覆盖面），实际训练应按部署时的推理预算反推配置，论文未给出这类决策指引。

作者明确提出的方向：ESRL 作用于 rollout 阶段、不改奖励与优化目标，因此可与奖励级（RO-GRPO）、损失级（GSPO、DAPO 等）改进直接组合，作者将这种组合列为后续工作。基于本文成果可延伸的方向：(1) 解耦训练已显示『纯路由噪声 + 贪心解码（$T=0$）』的第一阶段能产出最优的大 N Pass@N 曲线（每 prompt 2048 样本），这天然适合与 test-time scaling、best-of-N 推理预算分配研究衔接；(2) 把专家空间探索前移到 mid-training 或预训练退火阶段，检验受控路由扰动对专家分工形成的长期影响；(3) 反向利用熵自适应机制做推理期可控多样性——不训练、仅用 ESRL 的扰动作为推理时替代温度的多样性旋钮，尤其在 MoE 推理服务中几乎零成本；(4) 系统研究噪声分布设计（附录 E 比较了高斯之外的分布）及其在 expert-choice 路由、细粒度专家等更稀疏结构上的适配；(5) 理论层面刻画路由扰动与策略熵塌缩的相互作用，为探索强度给出收敛或下界保证；(6) 将『锚定 + 候选池』的受限探索模式推广到其他离散结构化决策空间，如注意力头稀疏化、token 剪枝、代码生成中的工具与 API 选择等。

复现条件评估：论文页眉给出 Code Link 与 Project Link，若代码如期开源，复现可及性较好。模型与数据全部公开：Qwen3-30B-A3B-Base/Instruct 与 Moonlight-16B-A3B 为开源权重，评测基准（OlympiadBench、AIME 2024、AMC、MinervaMath、GPQA、MMLU-Pro、MMLU-Redux、LiveCodeBench v6）均为公开基准，附录 A 声称提供子集、提示词、答案抽取与指标细节；训练用 Hendrycks MATH，跨域实验用 NVIDIA Nemotron-RL-knowledge-mcqa 与公开代码数据集。关键超参可从正文与消融表读出：GRPO 优化、batch size 256、每 prompt 8 条 rollout、on-policy 风格、$K_{\text{anchored}}=4$、$M_{\text{explore}}=16$、全层注入高斯噪声、最优噪声尺度在 $\sigma=0.4$ 附近；附录 B 声称含更多实现细节。主要门槛在算力：30B 级 MoE 的 RL 训练（batch 256、8 rollouts/prompt，评测每 prompt 32 样本，Pass@N 分析需 2048 样本）需要多节点 GPU 集群。总体判断：有 MoE RL 框架（如 verl 类）使用经验的团队可在缩小规模上复现趋势与消融结论，但要完整对齐论文数字需要数百卡时量级的投入，复现难度评估为『中高』。