使用过程奖励扩展多智能体系统 Scaling Multiagent Systems with Process Rewards

MAPPA的训练流程包括以下步骤：首先，定义多智能体系统的拓扑结构，例如MathChat中的顺序流水线（Problem Solver → Code Executor → Verifier）或DSBench中的数据科学流水线（Data Engineer → Modeler → Analyst）。然后，对于每个训练样本，多个智能体按拓扑顺序依次执行，每个智能体在其轮次生成一个或多个动作，可能包含工具调用。工具调用在沙箱环境中处理和执行，智能体会收到环境反馈（如标准输出、错误信息）。每个智能体动作都会被发送给教练LLM进行评估，教练根据智能体的角色、输入上下文、动作内容和工具执行结果给出0-10分的过程奖励。教练使用Gemini 2.5 Flash（MathChat）或Gemini 2.5 Pro（DSBench）作为评估模型。收集到所有动作的奖励后，计算KL惩罚奖励 $r_t = r_t^{coach} - \beta \cdot D_{KL}(\pi_\theta \| \pi_{ref})$，其中 $\beta = 0.01$。然后计算每个动作的优势函数 $A_t = \sum_{\tau \geq t} r_\tau$，使用无折扣的回报到终值。优势函数在所有智能体和所有经验上进行全局归一化：$\hat{A}_t = (A_t - \mu) / \sigma$。最后，使用PPO裁剪目标函数进行策略梯度更新，裁剪范围 $\epsilon = 0.2$。整个训练在8块NVIDIA H100 GPU上进行，使用Ray进行分布式协调，vLLM进行推理，DeepSpeed ZeRO-3进行内存高效的参数更新。

MAPPA的技术新颖性体现在多个方面。首先，将语言模型定位为'教练'而非'裁判'是一个重要的概念转变。裁判使用固定评分标准评估最终输出，而教练提供上下文感知的反馈来指导训练过程中的改进。教练具备两种关键不对称性：信息不对称（教练可以看到工具输出和环境反馈，而智能体无法看到）和任务不对称（评估动作比提出动作更容易）。其次，教练的隐式信用分配机制是原创贡献。当下游智能体遇到文件缺失错误时，教练能够追溯到上游智能体的错误动作并给予低分，而不是惩罚下游智能体。第三，选择REINFORCE++而非GRPO是基于对多智能体训练特性的深刻理解。GRPO假设相同prompt的样本具有相同状态，但在多智能体系统中，上游智能体的随机输出导致状态发散。REINFORCE++的全局批量归一化自然处理了这种状态多样性。第四，MAPPA能够在有或没有真实标签的情况下工作，当有真实标签时，教练能够智能地综合多个指标（如准确率、F1、RMSE）为单个动作生成公平的过程评分。

MAPPA存在几个值得关注的弱点。首先，教练的无状态评估是一个根本性限制。当前教练对每个动作独立评分，不知道其评分会驱动梯度更新，因此无法检测或纠正自身评分行为的不平衡。例如，DSBench中教练对回归任务的系统性偏好导致智能体专业化到回归任务而分类性能下降。改进方向是开发具有记忆和自我反思能力的教练，能够访问训练历史和性能趋势，发现如'我一直在给回归任务+1.2的高分——我是否在制造不平衡？'这样的模式。其次，纯标量奖励浪费了教练的丰富反馈能力。当智能体的动作次优时，教练可以生成修正后的动作，用于监督微调（SFT）或通过DPO进行偏好学习，但当前方法未能利用这种潜力。第三，奖励反向传播（Reward Backpropagation）虽然在附录中提出但未实现，这种自上而下的信用分配方法可能比当前的自下而上方法更高效。最后，MAPPA仅在竞赛数学和数据科学两个领域验证，对于更复杂的长时间跨度任务（如科学研究、企业工作流）的适用性尚未验证。

作者提出了多个未来研究方向。首先，训练可学习的教练（Trainable Coach）是一个重要方向。教练本身可以作为多智能体系统中的可训练智能体，但关键问题是：什么信号应该训练教练？选项包括来自更强外部模型的元评估、与结果验证的一致性、或人类对教练决策的反馈。一个完全自包含的系统——智能体和教练共同进化而无需外部监督——是否能够避免退化均衡，这是一个开放问题。其次，奖励反向传播（Reward Backpropagation）值得深入探索。给定特定结果，反向追溯识别哪个智能犯了哪个错误，哪个智能体的动作拯救了团队。在每个反向步骤，裁判尝试从当前智能体的动作解释结果；如果存在合理的解释，信用或责备就归因于那里，否则裁判剥离次要贡献并将残差传递给前一个智能体。第三，从'LLM-as-Judge'（被动、无状态）到'Agent-as-a-Coach'（主动、战略性）的范式转变值得发展。战略性教练可以使用工具计算训练历史的统计数据、运行代码验证正确性、或检查中间工件，做出基于完整训练上下文的评估决策。第四，扩展到大规模多智能体系统（数十个或更多智能体）处理复杂、长时间跨度的任务（如科学研究）是一个重要方向。

MAPPA的复现评估需要考虑多个因素。在开源方面，作者提供了GitHub仓库（https://github.com/ltjed/multiagent-coaching）的源代码，这大大降低了复现门槛。在数据方面，MathChat使用从1983-2024年随机采样的512道AIME题目进行训练，使用2025年的30道AIME和32道AMC题目进行评估；DSBench使用64个任务训练、6个任务评估，数据规模合理。在算力方面，所有实验在单节点8块NVIDIA H100 GPU上进行，MathChat训练约8-12小时完成106步，API成本估计在50-150美元（使用Gemini 2.5 Flash）。这个算力要求对学术研究机构来说是可承受的，但对个人研究者可能较高。在复现难度方面，MAPPA的训练基础设施扩展自MARTI框架，使用Ray进行分布式协调、vLLM进行推理、DeepSpeed ZeRO-3进行内存优化，需要一定的分布式系统经验。教练评估使用Gemini 2.5 Flash/Pro作为评估模型，需要API访问。总体而言，MAPPA的复现难度中等，主要挑战在于分布式训练架构的搭建和调试。