Dr. MAS：面向多智能体LLM系统的稳定强化学习 Dr. MAS: Stable Reinforcement Learning for Multi-Agent LLM Systems
通过按智能体归一化优势值，解决多智能体LLM系统中RL训练的梯度不稳定问题
前置知识
GRPO（Group Relative Policy Optimization）
GRPO是一种基于组的强化学习方法，由DeepSeek提出用于LLM后训练。其核心思想是：对同一任务生成多个rollout轨迹，然后在组内对这些轨迹的奖励进行相对比较和归一化，计算优势函数 $A_i = \frac{R_i - \mu}{\sigma}$，其中 $\mu$ 和 $\sigma$ 是该组所有轨迹奖励的均值和标准差。这种方式避免了传统PPO中需要显式学习价值函数的复杂性，通过组内相对比较来估计每条轨迹的优劣。
本文的核心创新点正是基于对GRPO在多智能体场景下的理论分析，理解GRPO的工作机制是理解本文问题和解决方案的基础。
多智能体LLM系统
多智能体LLM系统将多个大语言模型组织成一个协作系统，每个智能体专注于特定的子任务或角色。例如，在数学推理中可以有求解器（solver）和验证器（verifier）两个智能体；在搜索任务中可以有验证器、搜索器和回答器三个智能体。系统通过编排机制（orchestration）管理智能体之间的交互流程，支持动态调用和层级决策。
本文研究的就是如何稳定地训练这类多智能体系统，其中不同智能体具有不同的奖励分布是问题的根源。
优势归一化（Advantage Normalization）
在策略梯度方法中，优势函数 $A(s,a) = R - b$ 表示某个动作相对于平均水平的好坏程度，其中 $b$ 是基线。归一化操作 $A_{normalized} = \frac{R - \mu}{\sigma}$ 通过减去均值并除以标准差，将优势值标准化到相似的尺度。这个过程对于稳定训练至关重要，因为如果不归一化，不同轨迹之间差异巨大的原始奖励会导致梯度更新幅度不一致。
本文的核心贡献就是发现全局归一化在多智能体场景下会导致梯度爆炸，并提出按智能体分别归一化的解决方案。
梯度范数不稳定（Gradient-Norm Instability）
梯度范数不稳定指的是在训练过程中，某些步骤的梯度范数突然飙升到异常高的值，形成梯度尖峰（spike）。这种现象会导致参数更新幅度过大，破坏已学到的知识，甚至导致训练发散。在LLM的强化学习训练中，这个问题尤为严重，因为LLM的参数空间极其庞大，一次异常大的更新可能将模型推向次优区域。
本文的理论贡献正是证明了为什么全局归一化会导致梯度范数爆炸，并通过实验验证了按智能体归一化能有效消除这种尖峰。
LLM共享与非共享设置
在多智能体LLM系统中，智能体可以共享同一个LLM（共享设置），即所有智能体使用相同的模型权重但有不同的提示；也可以各自使用独立的LLM（非共享设置），例如一个7B模型负责高层规划，一个3B模型负责底层执行。共享设置更节省资源，但非共享设置允许更大的专业化灵活性。
本文发现非共享设置下的训练不稳定性更为严重，因为不同模型的奖励分布差异更大，这使得Dr. MAS的智能体级归一化变得更加关键。
研究动机
多智能体LLM系统通过角色分工实现高级推理和工具使用，但使用强化学习进行后训练（post-training）时面临严重的训练不稳定性问题。具体而言，当将GRPO等基于组的RL方法直接扩展到多智能体设置时，由于不同智能体扮演不同角色（如信息检索vs.答案合成、高层规划vs.底层执行），它们的奖励分布往往存在显著差异。论文通过理论分析证明，使用全局基线 $(\mu, \sigma)$ 对所有智能体进行优势归一化会导致梯度范数爆炸。例如，在Qwen2.5-7B的非共享多轮搜索任务中，vanilla GRPO的性能仅为28.0/40.5（avg@16/pass@16），远低于单智能体基线的42.1/55.6，原因是梯度过大导致智能体学会完全避免调用搜索工具。图4清晰展示了GRPO训练中搜索智能体、回答智能体和验证器都出现频繁的高幅度梯度范数尖峰。
本文的目标是本文的具体目标是：(1) 从理论上解释为什么vanilla GRPO在多智能体LLM系统中会导致训练不稳定；(2) 提出一种简单而有效的解决方案——Dr. MAS，通过按智能体分别归一化优势值来稳定训练；(3) 构建一个完整的端到端RL训练框架，支持可扩展的多智能体编排、灵活的智能体-模型分配、按智能体配置优化参数以及高效的资源共享调度。
与已有工作不同的是，本文的独特切入角度在于：与现有方法依赖启发式技巧不同，Dr. MAS首次从理论层面精确定位了多智能体RL训练不稳定的根源——全局归一化基线可能偏离各智能体的奖励分布，导致梯度估计器的二阶矩膨胀。这一理论洞见直接导出了一个简洁的解决方案：按智能体使用各自的奖励统计量进行归一化，即用 $(\mu_k, \sigma_k)$ 替代 $(\mu, \sigma)$。这种理论驱动的设计不仅解释了为什么现有方法不稳定，还提供了一个有数学保证的稳定化方案，这在多智能体LLM RL领域是首创的。
核心方法
Dr. MAS的方法整体思路可以从两个层面理解：算法层面和系统层面。在算法层面，核心直觉是：当多个智能体协作完成任务时，由于角色分工不同，它们经历的奖励分布往往大相径庭。例如，搜索智能体可能经常获得中等奖励（因为搜索结果质量参差不齐），而验证器可能经常获得高或低的极端奖励（因为它的决策直接决定任务成败）。如果用同一个全局均值和标准差来归一化所有智能体的优势值，那些奖励分布偏离全局基线较远的智能体会获得异常大的梯度更新，最终导致训练不稳定。解决方案很简单：让每个智能体用自己的奖励均值 $\mu_k$ 和标准差 $\sigma_k$ 来归一化自己的优势值。在系统层面，Dr. MAS构建了一个完整的端到端训练框架，支持多智能体编排、灵活的智能体-模型映射、按智能体配置优化参数、以及共享资源池调度。
Dr. MAS的核心创新点与已有方法的本质区别在于：现有方法（如MARTI、PettingLLMs等）虽然也将GRPO扩展到多智能体设置，但它们通常依赖启发式方法，缺乏稳定性保证。Dr. MAS首次提供了严格的理论分析，证明了全局归一化导致梯度范数膨胀的数学机制。具体来说，论文证明了在vanilla GRPO下，智能体 $k$ 的梯度二阶矩满足 $E[\|\tilde{g}_k^{global}\|^2] = E[\|z_k^{(i,t)}\|^2] \cdot \frac{\sigma_k^2 + (\mu_k - \mu)^2}{\sigma^2} + \Delta_k$，其中缩放因子 $\frac{\sigma_k^2 + (\mu_k - \mu)^2}{\sigma^2}$ 会在智能体奖励分布与全局基线偏离较大时急剧膨胀。而按智能体归一化后，这个因子恒等于1，梯度范数仅由智能体自身的分数统计量决定，从根本上消除了不稳定性来源。这种从理论分析到解决方案的完整闭环是本文最大的贡献。
方法步骤详情
Dr. MAS的方法可以分为以下步骤：(1) 轨迹采样：对每个任务 $x$，系统生成 $N$ 条轨迹 $\{\tau^i\}_{i=1}^N$，每条轨迹包含一系列状态-动作对 $(s_t, a_t, k_t)$，其中 $k_t$ 标识当前活跃的智能体。(2) 按智能体分组：将所有轨迹中的动作按智能体分组，定义 $Y_k = \{a_{it} | k_{it} = k\}$ 为智能体 $k$ 产生的所有动作集合。(3) 计算智能体级统计量：对每个智能体 $k$，计算其专属的奖励均值 $\mu_k = \frac{1}{|Y_k|} \sum_{a_{it} \in Y_k} R_i$ 和方差 $\sigma_k^2 = \frac{1}{|Y_k|} \sum_{a_{it} \in Y_k} (R_i - \mu_k)^2$。(4) 按智能体归一化优势：计算 $A_{i,k}^{agent} = \frac{R_i - \mu_k}{\sigma_k}$。(5) 策略更新：使用归一化后的优势值计算各智能体的策略梯度目标 $J_k(\theta_k)$，其中使用重要性采样比率 $\rho_{\theta_k}(a_{it})$ 和PPO风格的裁剪机制。(6) 系统执行：多智能体编排器管理分布式rollout，智能体映射到LLM工作器组，共享资源池调度actor后端。
技术新颖性
Dr. MAS的技术新颖性体现在多个方面：首先，这是首个对多智能体LLM RL训练不稳定性提供严格理论解释的工作，论文给出了梯度二阶矩的精确分解（Lemma 4.2），并证明了梯度范数膨胀的充分条件（Proposition 4.3）。其次，提出的按智能体归一化方案极其简洁——仅需将全局统计量 $(\mu, \sigma)$ 替换为智能体级统计量 $(\mu_k, \sigma_k)$，无需引入额外的超参数或复杂的架构修改。第三，系统框架支持灵活的智能体-模型分配，包括LLM共享和非共享两种设置，以及异构模型配置（如7B模型负责高层决策、3B模型负责底层执行），这在现有框架中是少见的。第四，通过资源共享池和Ray placement group的设计，实现了多个LLM actor后端的高效调度，提升了硬件利用率。
实验结果
本文在两个多智能体任务上进行了全面评估，实验结果清晰地验证了Dr. MAS的有效性。在数学推理任务（两智能体：求解器+验证器）中，Dr. MAS在Qwen3-4B上将共享设置的平均性能从56.8/70.7提升到59.0/73.2（avg@16/pass@16），在非共享设置下从57.5/74.4提升到61.1/77.7。在Qwen3-8B上，最显著的改进出现在AIME'24基准上，性能从42.7/66.7跃升至54.8/80.0。在多轮搜索任务（三智能体：验证器+搜索器+回答器）中，改进更为显著。Qwen2.5-7B在非共享设置下，vanilla GRPO的性能仅为28.0/40.5，而Dr. MAS恢复到43.8/58.3，不仅超越了vanilla基线，还超过了单智能体基线（42.1/55.6）和共享设置基线（41.5/57.0）。消融研究表明，同时使用智能体级均值和标准差（$\mu_k, \sigma_k$）的效果优于单独使用其中任何一个。梯度范数分析显示，Dr. MAS有效消除了训练过程中的梯度尖峰，使所有智能体的梯度范数保持在较低且稳定的水平。异构模型实验表明，使用7B模型作为验证器、3B模型作为搜索器和回答器的配置，在保持性能的同时实现了31.6%的延迟降低和41.8%的成本节省。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理（AIME'24, Qwen3-8B, 非共享设置） | avg@16 / pass@16 | 54.8 / 80.0 | 42.9 / 70.0 (GRPO) | +11.9 / +10.0 |
| 数学推理（Qwen3-4B平均, 非共享设置） | avg@16 / pass@16 | 61.1 / 77.7 | 57.5 / 74.4 (GRPO) | +3.6 / +3.3 |
| 多轮搜索（Qwen2.5-7B, 非共享设置） | avg@16 / pass@16 | 43.8 / 58.3 | 28.0 / 40.5 (GRPO) | +15.8 / +17.8 |
| 多轮搜索（Qwen2.5-3B, 非共享设置） | avg@16 / pass@16 | 36.9 / 53.0 | 34.5 / 46.7 (GRPO) | +2.4 / +6.3 |
| 多轮搜索（Qwen2.5-7B, 非共享设置, Bamboogle） | avg@16 / pass@16 | 39.8 / 57.6 | 31.9 / 46.4 (GRPO) | +7.9 / +11.2 |
局限与改进
作者在论文中坦诚地指出了Dr. MAS的几个局限性：首先，Dr. MAS并不能解决多智能体LLM RL中的所有不稳定性来源，例如跨智能体和跨轮次的信用分配问题（credit assignment）仍然存在。其次，虽然框架支持灵活的多智能体编排和资源池化，但论文尚未评估智能体数量大幅增加的场景（如数十个智能体），在这种情况下资源分配和潜在的异步执行问题可能变得更加棘手。从我的观察来看，还有几个值得关注的局限：(1) 论文的理论分析假设奖励信号是低维的（如通过/失败），但在更复杂的奖励设置下（如连续奖励或多目标奖励），智能体级归一化是否同样有效需要进一步验证；(2) 实验仅涉及两智能体和三智能体的配置，对于更大规模的多智能体系统（如软件开发团队、复杂工作流），方法的可扩展性有待验证；(3) 论文没有讨论智能体数量动态变化的场景（如根据任务复杂度动态增减智能体），这在实际应用中很常见；(4) 消融研究仅在搜索任务上进行，数学任务上缺乏类似的细粒度分析。
独立分析的弱点
尽管Dr. MAS取得了显著成果，但存在以下弱点需要改进：(1) 理论分析的简化假设：论文的理论分析基于无裁剪的GRPO梯度，并假设奖励是低维信号，这与实际LLM训练中的复杂情况有差距。改进方向是将分析扩展到带裁剪的目标函数和更复杂的奖励结构。(2) 智能体间奖励相关性未建模：论文假设智能体的奖励统计量独立计算，但在实际协作中，智能体的奖励往往高度相关（如一个智能体的错误会导致整个轨迹失败）。改进方向是研究奖励相关性对归一化策略的影响。(3) 缺乏自适应机制：当前的归一化使用固定的智能体级统计量，没有考虑训练过程中奖励分布的动态变化。改进方向是引入滑动窗口或指数移动平均来自适应调整归一化参数。(4) 仅支持同步训练：框架的设计假设所有智能体同步更新，没有考虑异步训练或不同智能体以不同频率更新的场景。(5) 实验范围有限：仅在数学推理和搜索两个任务上验证，缺乏对代码生成、对话、游戏等其他多智能体任务的评估。
未来方向
基于本文的成果，可以延伸出以下研究方向：(1) 扩展到更大规模的多智能体系统：研究当智能体数量增加到几十甚至上百时，Dr. MAS的归一化策略是否仍然有效，以及是否需要层次化的归一化方案。(2) 动态智能体编排：结合论文提到的层级多智能体框架，研究如何根据任务复杂度动态调整智能体数量和配置，同时保持训练稳定性。(3) 信用分配的进一步改进：论文承认信用分配问题尚未解决，未来可以结合智能体级归一化与更精细的信用分配方法（如基于Shapley值的奖励分解）。(4) 异构奖励信号：将Dr. MAS扩展到支持不同智能体使用不同类型奖励信号的场景（如一个智能体使用二元奖励，另一个使用连续奖励）。(5) 与模型压缩技术结合：论文展示了异构模型分配的潜力，未来可以结合知识蒸馏、量化等技术进一步降低部署成本。(6) 多模态多智能体系统：将Dr. MAS扩展到包含视觉、语音等多模态智能体的系统中。
复现评估
论文的复现条件较为友好：(1) 开源情况：论文提供了GitHub代码仓库（https://github.com/langfengQ/DrMAS），这对于复现非常重要。(2) 数据集：使用了公开的数学推理数据集（DAPO-Math）和搜索数据集（NQ, HotpotQA），这些数据集都是广泛使用的基准。(3) 模型：使用了开源的Qwen2.5和Qwen3系列模型（3B/4B/7B/8B参数），这些模型都可以公开获取。(4) 算力需求：论文没有明确说明训练所需的GPU数量和时间，但考虑到使用了7B模型和多智能体设置，预计需要至少8张A100或同等算力。(5) 复现难度：方法本身非常简洁（仅需将全局归一化改为智能体级归一化），但完整的多智能体训练框架涉及分布式训练、rollout编排等复杂工程，完整复现有一定难度。(6) 关键细节：论文在附录中提供了详细的实验配置（附录B），包括学习率、batch size、rollout数量等超参数，这有助于精确复现。总体而言，复现难度中等——核心算法改动简单，但完整的系统框架需要较多工程工作。
论文图表
