MetaAgent-X：通过端到端强化学习突破自动多智能体系统的性能上限

首个端到端联合优化设计者与执行者的自动多智能体强化学习框架。

前置知识

多智能体系统 (Multi-Agent System, MAS)

多智能体系统通过把一个复杂任务拆给若干个具备特定角色（如解题者、评判者、测试员）的 LLM 智能体来协作完成。比起单一智能体，MAS 通常借助结构化交互、对抗验证或并行投票等机制提升推理和代码生成质量，但代价是 prompt 和控制流需要人工精心设计，且不同任务的最优结构并不相同。

本文解决的核心问题就是"如何自动决定 MAS 应该长什么样"，理解 MAS 的角色划分与通信协议是看懂 Designer 输出脚本的前提。

GRPO (Group Relative Policy Optimization)

GRPO 是面向 LLM 的 RL 算法：对同一 prompt 采样一组输出，用组内奖励的均值/标准差归一化得到 advantage，无需价值网络。损失函数含重要性采样比 $\rho_i$ 与 clip 操作。

本文的层次化信用分配机制就是基于 GRPO 的分组思想扩展而来：先按"同一 query 下的所有 design"分组计算 designer advantage，再按"同一 query 下的所有执行轨迹"分组计算 executor advantage。

自动多智能体 (Automatic MAS / Meta-Agent)

Automatic MAS 用一个 meta-agent（本文称之为 Designer）针对每个查询自适应地生成 MAS 的拓扑、角色和提示词，然后再交给执行智能体去运行。它和传统"固定模板 MAS"的区别在于：组织结构本身成为被学习/搜索的对象，而不是工程人员预先写死的脚本。

本文是 automatic MAS 方向的代表作之一，必须理解它和 AFlow、ADAS、MaAS 等"测试时搜索/半训练方法"的差异才能体会端到端训练的价值。

信用分配 (Credit Assignment)

在多智能体 RL 中，最终奖励该归功于哪个智能体的哪一步动作是个核心难题。当一个 MAS 任务失败时，原因可能出在 Designer 选错了结构，也可能是 Executor 推理能力不足，还可能是两者都不行。错误的归因会导致训练不稳定甚至崩溃。

本文提出的 Bi-level Tree-Structured Rollout 和 Decomposed Advantage Estimation 就是为了把 Designer 和 Executor 的奖励信号在结构上解耦，这是该方法能稳定收敛的关键。

研究动机

现有多智能体自动设计方法普遍存在"部分自适应"问题，限制了 MAS 的性能上限。第一类是"测试时搜索"方法如 AFlow、ADAS，它们用 MCTS 或元智能体搜索工作流但完全不更新模型参数，在小模型（如 Qwen3-4B/8B）上往往比单智能体还差——AFlow 在 4B 上仅 22.52%、ADAS 在 8B 上仅 20.35%，相对单智能体甚至退化 −6.81%。第二类是"半训练"方法如 MAS-GPT、FlowReasoner、MaAS、ScoreFlow，它们只优化 meta-designer 的参数，但下游 executor 始终冻结，于是 executor 给 designer 套上了一个"性能天花板"：designer 再怎么挑选更好的工作流，executor 本身的能力不会提升。例如 MaAS 在 Qwen3-8B 上的平均准确率仅 32.22%，比 GRPO 单智能体 (29.10%) 略好但远未突破上限。第三类 Chain-of-Agents (AFM) 虽然做了端到端训练，但把整个 MAS 视作一条无上下文管理的 CoT，无法做结构和执行的协同进化。

本文的目标是本文提出 MetaAgent-X，目标是把 designer 和 executor 真正放进同一个端到端 RL 循环里联合优化，在数学和代码共六个基准上同时提升单智能体基线最多 21.7 个百分点，并系统揭示 designer-executor 共进化机制。具体量化目标包括：在 Qwen3-8B 上达到平均 38.33% 准确率、在 Qwen3-4B 上达到 34.18%，相比单智能体分别提升 +11.17% 和 +12.80%；同时通过对比实验证明"阶段式共进化"显著优于耦合训练、单独训练 designer 或单独训练 executor。

与已有工作不同的是，现有工作都没有认真回答"designer 和 executor 究竟应该如何一起训练"。要么完全不训练，要么只训一半，要么把它们当成一个无差别整体。本文抓住的独特切入角度是：(1) 显式把 MAS 学习形式化为 designer-executor 耦合在线 RL 问题 $J(\theta) = \mathbb{E}_{d\sim\pi^D_{\vartheta_D}}\mathbb{E}_{e\sim\pi^E_{\vartheta_E}(\cdot|d)}[R(e,d)]$；(2) 用树状分层 rollout 提供角色级别的信用分配；(3) 提出阶段式 (stagewise) 交替优化，把"互相作为对方的非平稳环境"这一多智能体 RL 老难题用工程化方式化解。这套组合拳让"自设计 + 自执行"的 agentic model 成为可训练的范式，而不仅是搜索问题。

核心方法

MetaAgent-X 的核心直觉是：把"自动 MAS 学习"类比为训练一支足球队——教练 (Designer) 决定打什么阵型 (单前锋、4-3-3、4-2-3-1)，球员 (Executor) 负责在选定阵型下把球踢进。如果只训练教练、球员永远不变，那么教练无论多聪明也受限于球员的天花板；反之如果同时训练双方，又会因为两边的能力都在变而导致训练目标剧烈漂移。MetaAgent-X 的解法分三步：第一步让 Designer 写出"轻量级 Python 工作流脚本"，把角色、提示词、协议、工具调用全部参数化；第二步在每个 query 上做 Bi-level Tree-Structured Rollout，采样 M=4 个设计 × N=4 次执行，得到 M×N 的奖励矩阵，再分别按行/列聚合得到 Designer 和 Executor 的 advantage；第三步采用 Stagewise Co-evolution，每 K=30 步切换一次"激活角色"，只让当前激活角色的轨迹贡献梯度，从而把耦合优化拆成可管理的小段。

本文最核心的创新是"分层 rollout + 阶段式共进化"这一对配套机制。已有工作如 MaAS 只优化 designer 而 executor 冻结；AFM 把整条 chain 当成不可分策略；AFlow/ADAS 完全不训练，导致 frozen-executor ceiling、协同进化动力学不可见、credit 纠缠三类问题。MetaAgent-X 的关键区别：(a) 同一组参数 $\vartheta=\{\vartheta_D,\vartheta_E\}$ 既支持共享也支持分离策略；(b) M×N 树状 rollout 同时解出 designer advantage $\hat{A}^D_i=(\bar{R}^D_i-\mu^D_q)/(\sigma^D_q+\epsilon)$ 和 executor advantage $\hat{A}^E(\tau)=(R-\mu^E_q)/(\sigma^E_q+\epsilon)$，让每个角色得到与自身贡献匹配的奖励；(c) K=30 步切换的 stagewise 调度稳定了非平稳环境，使 RL 在 SFT 冷启动之上平稳推进。

方法步骤详情

方法分四步。第一步 SFT 冷启动：用 DeepSeek-V3.2 在 single、ensemble-voting、solver-critic、solver-tester 四种 workflow 模板下蒸馏，过滤正确答案得 3K Designer + 8K Executor 样本。第二步在线 rollout：Designer 生成 M=4 个 Python 工作流脚本 $d_i$，Executor 对每个执行 N=4 次得奖励 $R(e_{i,j},d_i)\in\{0,1\}+\lambda R_{\text{format}}$（$\lambda=0.4$）。第三步分层信用分配：Designer advantage 对每设计 N 次奖励取均值后再在 M 个设计间组内归一化；Executor advantage 把所有 $M\times N$ 条轨迹放入同一 GRPO 组按 query 归一化。第四步阶段式共进化：每 K=30 步切换激活角色，仅 mask 非激活角色梯度，用 GRPO clipped objective 优化。

技术新颖性

技术新颖性体现在四个维度。第一，把"自动 MAS"从搜索问题升级为端到端可训练策略学习问题，用 M×N 树状 rollout 把多智能体信用分配转化为两个独立但耦合的 GRPO 子问题。第二，奖励 $R(e,d)=R_{\text{correct}}+\lambda R_{\text{format}}$（$\lambda=0.4$）既保证数学 SymPy 验证、代码隐藏测试执行的严格二元正确性，又通过 `` 标签约束抑制智能体间"广播完整推理"导致的上下文膨胀。第三，Stagewise 调度借鉴多智能体 RL 非平稳性应对思路，首次与角色级 advantage 结合，并系统比较 1/10/30 步切换，发现 K=30 时训练最稳定、最终奖励最高。第四，坚持用 lightweight Python script 而非 JSON/YAML 来表征 MAS，使设计师可组合自定义节点和工具。

**Figure 2**: Overview of the end-to-end online MetaAgent-X pipeline

**Figure 4**: Sensitivity analysis on the stage length for designer-executor alternation

实验结果

Qwen3-8B 上 MetaAgent-X RL 平均 38.33%，相对 SA 提升 +11.17%，比最强基线 MaAS 高 +6.11%，在 LiveCodeBench (41.00%)、AIME24 (40.00%)、AIME25 (33.33%)、OlympiadBench (61.00%) 四项夺冠。Qwen3-4B 平均 34.18%，相对 SA 提升 +12.80%。搜索类 AFlow/ADAS 几乎全部低于 SA，AFM-Coder-7B 严重偏科。Table 3 表明 M=4,N=4 分层 rollout 比 M=8,N=1 在 AIME 上高 6.7/3.3 个百分点。Table 4 表明 Stagewise 优于 Coupled、Designer-only、Executor-only，耦合训练会崩溃。Table 5 显示 shared policy 比 separate policy 高 6.7 个百分点。Table 6 揭示 designer 学到任务敏感路由。Table 7 定性展示 RL 既改善 design 也改善 execute。

**Table 1**: Qwen3 8B results on coding and math benchmarks

**Table 2**: Qwen3 4B results on coding and math benchmarks

**Table 3**: Ablation results of Executor-Designer Hierarchical Rollout settings

**Table 5**: Ablation results of shared vs. separate policy

**Table 6**: Structure share selected by the RL designer

**Table 7**: SFT-to-RL case comparison: RL improves both MAS design and executor repair behavior

**Figure 3**: Training-reward dynamics ablations of the proposed stagewise co-evolution

查看结构化数据

任务	指标	本文	基线	提升
LiveCodeBench (Qwen3-8B)	Pass@1	41.00%	Single Agent 22.80%; MaAS 24.29%; MetaAgent-X SFT 36.00%	+18.20% (相对 SA)
APPS (Qwen3-8B)	Pass@1	38.00%	Single Agent 30.20%; MaAS 30.00%; AFM-Coder 28.00%	+7.80% (相对 SA)
CodeContests (Qwen3-8B)	Pass@1	17.00%	Single Agent 15.75%; AFM-Coder 21.20%	+1.25% (相对 SA)
AIME24 (Qwen3-8B)	Accuracy	40.00%	Single Agent 18.30%; SA+GRPO 18.30%; MaAS 45.80%	+21.70% (相对 SA, 论文报道的最大单项增益)
AIME25 (Qwen3-8B)	Accuracy	33.33%	Single Agent 20.90%; MaAS 29.20%	+12.43% (相对 SA)
OlympiadBench (Qwen3-8B)	Accuracy	61.00%	Single Agent 55.00%; SA+GRPO 54.80%; MaAS 48.90%	+6.00% (相对 SA)
六基准平均 (Qwen3-4B)	平均准确率	34.18%	Single Agent 21.38%; SA+GRPO 28.96%; MaAS 24.01%	+12.80% (相对 SA)

局限与改进

作者在 Discussion 中坦承，受算力限制未在更大 backbone (32B+) 或更长训练预算下做扩展实验，结论对超大规模模型的可迁移性未经验证。训练数据混合偏向 math/code，对开放域对话、工具使用、多模态任务尚未评估。Table 2 显示 MetaAgent-X RL 在 CodeContests 上比 SA 还低 0.6 个百分点，说明该基准上多智能体协作未带来净收益。Shared-policy 设置在 designer 和 executor 能力差异过大时可能引入梯度干扰。Stagewise 切换频率 K 是超参数，Figure 4 仅给出 1/10/30 的对比，缺乏连续 K 的曲线分析。我的额外观察是：脚本化 workflow 设计虽然灵活，但 Python 程序语法错误和工具调用失败是隐式训练信号，若不在 reward 中显式惩罚执行错误（当前 $\lambda R_{\text{format}}$ 只约束输出格式），可能导致 designer 写出"花哨但跑不起来"的 workflow。

独立分析的弱点

独立分析四个弱点。其一，Designer 输出 Python 脚本的失败模式未被很好惩罚：当前 $\lambda=0.4$ 的 format reward 只看是否包含 `` 标签，不区分"workflow 跑通但答错"和"workflow 跑不通"，改进方向是在 $R_{\text{correct}}$ 中加入 workflow 可执行性验证。其二，共享策略在 designer/executor 角色差异扩大时存在参数冲突，论文只对比 shared vs separate，没有探索 MoE 或 LoRA-only-for-executor 中间粒度。其三，分层 rollout 的 M=4、N=4 是算力妥协，敏感性研究只覆盖 M×N 总数固定的情况；建议 asymmetric 配置——困难任务增 M、简单任务增 N。其四，Stagewise K=30 是经验值，没有讨论切换瞬间是否需要 warm-start 或 replay buffer；理论上对手策略突变可能导致 executor advantage 估计偏移。

未来方向

作者明确指出的未来方向：(1) 把自动 MAS 范式扩展到 32B+ 规模甚至闭源 API 模型蒸馏出的超大教师模型；(2) 探索任务多样性（对话、网页操作、多模态）和更长训练预算下的 scaling law；(3) 把 MAS 视为模型内部"原生机制"而非外部 harness，向 agentic foundation model 演化。基于成果可延伸：(a) 把 Designer 设计空间从 Python 脚本扩展到 DSL 或图结构，配合结构化探索（如 NEAT）降低脚本错误；(b) 引入 reward model 而非纯 outcome reward，缓解稀疏奖励偏差；(c) 把 stagewise 调度与 curriculum learning 结合，让 K 随训练推进逐步缩小；(d) 与 MAPoRL/AT-GRPO/MAE/MARFT 等 self-evolving agent 范式正面对比。

复现评估

复现难度中等偏高。算力方面，论文使用单节点 8 张 H200 GPU 训练 Qwen3-4B/8B，未公布 RL 总 GPU-hour；按 batch size 8、K=30、M=4、N=4、max 8192 tokens 推算，完整复现一次 RL 训练估计需数百到上千 GPU-hour。数据方面，SFT 冷启动数据 (3K Designer + 8K Executor) 来自 DeepSeek-V3.2 蒸馏，RL 训练数据混合 Polaris-53K + APPS introductory + CodeContests，可获取性强。代码方面作者标注将开源，但本文为 preprint，开源状态需进一步确认。基线实现细节在 Appendix D 写得很详尽（AFlow 的 sample/initial_round/max_rounds，MaAS 的 L=4、cost penalty 网格，ScoreFlow 的 LoRA r=8/α=16），照搬复现不难。最难复现的是 DeepSeek-V3.2 蒸馏这一步，因为不同教师生成的轨迹分布会影响后续 RL 起点。

MetaAgent-X：通过端到端强化学习突破自动多智能体系统的性能上限 MetaAgent-X : Breaking the Ceiling of Automatic Multi-Agent Systems via End-to-End Reinforcement Learning