异构智能体协作强化学习 Heterogeneous Agent Collaborative Reinforcement Learning
异构LLM智能体共享rollout协作训练，仅用一半计算成本平均提升3.6%
前置知识
RLVR（Reinforcement Learning with Verifiable Rewards）
RLVR是一种利用可自动验证的奖励信号来训练大语言模型推理能力的范式。与依赖人类偏好的RLHF不同，RLVR使用单元测试、形式化验证器等自动检查工具作为奖励来源，使得奖励信号更加客观可靠。在数学推理任务中，可以自动验证答案是否正确；在代码生成任务中，可以通过运行测试用例来判断代码质量。这种可验证性大大降低了奖励建模的噪声，提升了训练效率。
本文的HACRL问题定义在RLVR框架下，共享rollout能够成立的前提就是所有智能体面对同一任务使用相同的可验证奖励函数，从而保证跨智能体的知识迁移是有意义的。
GRPO/GSPO（Group-based Sequence Policy Optimization）
GRPO是DeepSeek提出的一种无需Critic网络的策略优化算法，通过在同一个prompt上采样一组（group）响应，计算组内相对优势来替代PPO中的价值函数估计。GSPO在此基础上引入序列级别的importance sampling，更适合处理长序列生成任务。标准的group-relative优势估计公式为：对于响应 $y_i$，其优势 $A_i = \frac{R(y_i) - \frac{1}{G}\sum_{j=1}^{G} R(y_j)}{\text{std}(R)}$，其中 $G$ 是采样数，$R$ 是奖励。
本文的HACPO是在GSPO基础上的扩展，理解GRPO/GSPO的group-relative优势估计和importance sampling机制是理解HACPO四个创新模块的前提。
Importance Sampling（重要性采样）
重要性采样是一种从不同分布的样本中估计目标分布期望值的统计技术。在强化学习中，当用于更新策略的样本是由旧策略 $\pi_{\theta_{old}}$ 生成时，需要用重要性比率 $\frac{\pi_\theta(y)}{\pi_{\theta_{old}}(y)}$ 来校正分布偏移。序列级别的重要性采样将整个响应序列视为一个整体计算比率，而不是逐token计算，这在LLM场景中更为稳定。比率过大或过小都会导致梯度估计方差增大，因此通常需要clip操作来限制比率范围。
HACPO中跨智能体的rollout来自完全不同的策略分布，重要性采样比率的分布特性与自智能体情况截然不同，因此需要专门设计指数重要性采样和逐步裁剪机制来处理。
异构LLM智能体（Heterogeneous LLM Agents）
本文将异构性分为三个层次：(1) 异构状态（Heterogeneous State）：相同架构但训练阶段不同的模型，如Qwen3-4B和Qwen3-4B-Instruct；(2) 异构大小（Heterogeneous Size）：同系列但参数量不同的模型，如Qwen3-1.7B和Qwen3-4B；(3) 异构模型（Heterogeneous Model）：架构、分词器、训练目标完全不同的模型，如Qwen3和Llama3.2。异构程度从状态到模型逐级递增，对协作学习的挑战也越大。
本文的核心贡献就是解决异构智能体之间的协作学习问题，这三种异构性分类构成了实验设计的基础框架，也决定了不同技术模块的设计动机。
Advantage Estimation（优势估计）
优势估计用于衡量一个动作相对于平均水平的好坏程度，是策略梯度方法的核心组件。在GRPO中，优势通过组内相对奖励归一化得到：$A_i = \frac{R(y_i) - \mu}{\sigma}$，其中 $\mu$ 是基线均值，$\sigma$ 是标准差。基线的选择直接影响梯度估计的偏差和方差——基线过高会导致学习信号过弱，基线过低会导致过估计。在多智能体场景中，如何选择合适的基线变得尤为复杂，因为不同智能体的能力水平差异巨大。
HACPO的第一个关键创新就是Agent-Capability-Aware Advantage Estimation，通过能力感知的基线调整来保证跨智能体优势估计的无偏性，这是整个方法的理论基石。
研究动机
当前RLVR训练范式存在严重的计算浪费问题。在实际的LLM生态系统中，不同模型（来自不同厂商、不同架构、不同规模）经常需要在相同的任务集上进行强化学习训练。例如，Qwen3、Llama3.2、DeepSeek等模型都需要在数学推理基准上优化。然而，现有做法是每个模型完全独立地执行on-policy采样和验证——对于本质上相同的目标，它们重复生成轨迹并获取可验证的奖励，而这些昂贵的中间结果仅用于自身的训练。以一个两智能体系统为例，如果每个智能体每步采样 $G$ 个响应，总共产生 $2G$ 个rollout，但实际上每个智能体只能利用其中一半（$G$ 个）用于自己的策略更新。更关键的是，不同智能体生成的rollout包含了互补的知识——强者可能提供正确的推理路径，弱者可能产生有价值的探索性错误——但这些互补信息完全被忽略。
本文的目标是本文的目标是形式化并解决一个新问题：给定一组异构LLM智能体，能否让每个智能体通过复用其他智能体生成的rollout来同时提升训练效果和效率？具体而言，作者希望实现：(1) 最大化样本利用率——在 $n$ 个智能体的系统中，每个rollout最多可被复用 $n$ 次；(2) 双向知识迁移——智能体之间互相学习，获取仅靠自身无法获得的互补知识；(3) 控制分布偏移——在利用跨智能体rollout的同时，控制因异构性带来的策略分布差异。最终目标是在保持独立推理部署的前提下，实现协作训练的增益。
与已有工作不同的是，本文的独特切入角度在于发现了现有范式的空白地带。一方面，LLM多智能体强化学习（MARL）要求推理时多智能体协调部署，而在实际场景中往往只需要单智能体推理；另一方面，知识蒸馏（KD）是单向的教师→学生模式，通常在同构智能体之间进行，且教师模型是冻结的。HACRL填补了这两个极端之间的空白：它允许多个异构智能体在训练时双向互学、共享rollout，但在推理时完全独立运行。这种训练协作、推理独立的设定更符合实际部署需求，因为用户通常只部署单个模型，但可以在训练阶段利用多个模型的集体智慧。作者还首次系统地定义了三种异构性层次（状态、大小、模型），为这一研究方向提供了理论框架。
核心方法
HACPO的整体思路可以这样理解：想象一个学习小组，成员水平参差不齐（异构智能体），大家做同一套练习题（共享任务分布）。传统的做法是每个人独立做题、独立对答案，互不交流。HACPO的做法是：每个人做完题后，把答卷共享给全组，但不是简单地平均使用所有人的答卷，而是根据每个人的能力水平和答卷质量进行智能加权。具体技术路线是：首先建立能力感知的优势估计，让每个智能体在计算自己的学习信号时，根据其他智能体的能力水平调整基线；然后引入能力差异系数来调制梯度，从强者那里学习更积极，从弱者那里学习更保守；接着用指数重要性采样来校正跨智能体的策略分布差异；最后通过逐步裁剪来稳定训练过程。整个算法建立在GSPO基础上，通过四个精心设计的模块将单智能体RL扩展到多智能体协作RL。
HACPO的核心创新在于它与现有方法的本质区别。与知识蒸馏相比，KD是单向的、同构的——一个冻结的教师模型向学生模型传递知识，而HACPO是双向的、异构的——每个智能体同时扮演知识提供者和学习者的角色，没有冻结的参数，所有智能体都在持续学习和进化。与MARL相比，MARL要求智能体在推理时协调部署、联合决策，而HACPO的智能体在推理时完全独立，协作仅发生在训练阶段的rollout共享。与朴素的多智能体rollout共享（Naive baseline）相比，HACPO不简单地合并所有rollout然后统一计算优势，而是通过四个机制（能力感知优势估计、能力差异系数、指数重要性采样、逐步裁剪）来智能地处理异构性带来的挑战。实验表明，Naive baseline的表现甚至不如单智能体GSPO（平均0.583 vs 0.691），说明没有这些机制的简单共享是有害的。
方法步骤详情
HACPO的执行流程如下：(1) 采样阶段：对于prompt $x \sim \mathcal{D}$，每个智能体 $k$ 从其当前策略 $\pi_\theta^{(k)}$ 独立采样 $G$ 个候选响应 $\{y_1^{(k)}, ..., y_G^{(k)}\}$，共享奖励函数 $R(\cdot)$ 对所有响应进行评分。(2) 能力感知优势估计（Section 3.1）：计算能力调整基线 $\mu_t^{(k)} = \frac{1}{nG}\sum_{j=1}^{n}\sum_{i=1}^{G} \omega_t^{(k,j)} R(y_i^{(j)})$，其中 $\omega_t^{(k,j)} = P_t^{(k)}/P_t^{(j)}$ 是能力比率，$P_t^{(k)}$ 是智能体 $k$ 在当前batch上的平均奖励。优势为 $A_t^{(k)}(y_i^{(k)}) = \frac{R(y_i^{(k)}) - \mu_t^{(k)}}{\text{std}(R_t(x))}$。(3) 能力差异系数调制（Section 3.2）：对跨智能体的响应，有效优势为 $\tilde{A}_t^{(k)}(y_i^{(j)}) = \omega_t^{(j,k)} \cdot A_t^{(k)}(y_i^{(j)})$（当 $j \neq k$ 时），放大来自强者的信号，衰减来自弱者的信号。(4) 指数重要性采样（Section 3.3）：计算序列级重要性比率 $s_t^{(k,j)} = \frac{\pi_\theta^{(k)}(y_i^{(j)})^{1/L_k}}{\pi_{\theta_{old}}^{(j)}(y_i^{(j)})^{1/L_j}}$，对不兼容的分词器进行反分词再分词处理。当 $s < 1.0$ 时，应用指数重加权 $\tilde{s} = s \cdot \text{sg}[s]^\alpha$。(5) 逐步裁剪（Section 3.4）：对自智能体比率使用紧密裁剪范围（如 $[0.9997, 1.0004]$），对跨智能体比率使用非对称逐步收紧的裁剪 $\text{clip}(s, 1-\delta + m \cdot \delta_{step}, 1.0)$，其中 $m$ 是当前步内的更新次数。
技术新颖性
HACPO的技术新颖性体现在多个层面。首先，能力感知优势估计在理论上是有保证的——作者在附录D中证明了oracle情况下的能力感知基线是完全无偏的，其期望恰好等于智能体的真实期望奖励；在有限batch情况下，通过Hoeffding不等式和联合界证明了估计误差的高概率上界，这在多智能体RL文献中是少见的理论贡献。其次，指数重要性采样是一个巧妙的设计——当跨智能体的重要性比率 $s < 1.0$ 时（即跨智能体的输出分布概率低于自身），通过停止梯度的指数因子 $\text{sg}[s]^\alpha$ 来保守地降低学习信号，而不引入额外的梯度方向偏差。$\alpha$ 参数控制保守程度，实验发现最优值是模型组合依赖的（如Qwen3-1.7B/4B最优 $\alpha=1.0$，而4B/8B最优 $\alpha=0.0$），这体现了方法的灵活性。第三，逐步裁剪机制是专门为跨智能体场景设计的——与自智能体的importance ratio随参数更新自然衰减不同，跨智能体的比率波动不规则，需要在每个训练步内动态调整裁剪边界，这是对现有PPO-clip范式的重要扩展。
实验结果
HACPO在三种异构性设置、7个数学推理基准上的实验结果展现出一致且显著的改进。在异构状态设置（Qwen3-4B和Qwen3-4B-Instruct）中，HACPO分别达到0.755和0.818的平均准确率，相比GSPOx2基线提升+6.4%和+1.9%，同时仅使用一半的rollout成本。值得注意的是，虽然4B模型改进更显著（从0.691到0.755），但Instruct模型也获得了可观提升（从0.799到0.818），说明即使在能力相近的情况下，互补的探索信号（如替代推理路径和信息性错误）也对强者有益。在异构大小设置（Qwen3-1.7B-Base和Qwen3-4B-Base）中，两个模型分别获得+2.8%和+2.6%的提升，验证了双向知识迁移的有效性——1.7B模型虽然能力较弱，但作为独特的探索者，产生了4B模型无法生成的有价值错误响应和少数独特正确解。在最具挑战性的异构模型设置（Qwen3-4B-Base和Llama3.2-3B-Instruct）中，尽管两模型在架构、分词器和训练目标上差异巨大，HACPO仍实现了+2.2%和+5.6%的提升。Llama3.2模型的改进尤为显著（从0.334到0.390），说明HACPO能够有效从跨模型rollout中提取可迁移知识。跨5个随机种子的复现实验显示，HACPO在MATH500上的改进标准差很小（Qwen3-1.7B-Base平均+3.56%，Qwen3-4B-Base平均+2.84%），确认了增益的鲁棒性。消融实验进一步验证了每个模块的必要性：移除能力感知优势估计导致1.7B模型在AIME2025上从0.225骤降到0.126；移除能力差异系数导致1.7B模型平均准确率下降0.031；移除逐步裁剪导致训练严重不稳定。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理（7个基准平均） | 平均准确率 | HACPO: 0.755 (4B), 0.818 (4B-Instruct) | GSPOx2: 0.691 (4B), 0.799 (4B-Instruct) | +6.4% (4B), +1.9% (4B-Instruct) |
| MATH-500 | 准确率 | HACPO: 0.910 (4B), 0.948 (4B-Instruct), 0.690 (1.7B), 0.808 (4B-Base), 0.786 (Qwen3), 0.566 (Llama3.2) | GSPOx2: 0.876, 0.932, 0.664, 0.756, 0.756, 0.488 | +3.4%, +1.6%, +2.6%, +5.2%, +3.0%, +7.8% |
| AIME2025 | 准确率 | HACPO: 0.622 (4B), 0.757 (4B-Instruct), 0.225 (1.7B), 0.267 (4B-Base), 0.268 (Qwen3), 0.054 (Llama3.2) | GSPOx2: 0.522, 0.740, 0.177, 0.208, 0.208, 0.000 | +10.0%, +1.7%, +4.8%, +5.9%, +6.0%, +5.4% |
| AMC23 | 准确率 | HACPO: 0.850 (4B), 0.950 (4B-Instruct), 0.450 (1.7B), 0.575 (4B-Base), 0.600 (Qwen3), 0.350 (Llama3.2) | GSPOx2: 0.675, 0.900, 0.375, 0.550, 0.550, 0.175 | +17.5%, +5.0%, +7.5%, +2.5%, +5.0%, +17.5% |
局限与改进
作者在论文中坦诚地指出了当前的局限性。首先，虽然HACPO在理论上支持 $n \geq 3$ 个智能体的协作，但当前实验仅限于两智能体设置，原因是计算资源的限制和verl框架的非平凡工程修改需求。作者认为6个不同的模型组合和3种异构性类型的广泛验证可以作为有效的实证代理，但这仍然是一个重要的未验证假设。其次，实验仅在数学推理任务上进行评估，未涉及代码生成、指令跟随等其他下游任务，方法的泛化性有待进一步验证。第三，指数重要性采样中的 $\alpha$ 参数是模型组合依赖的（实验显示不同组合的最优 $\alpha$ 不同），目前没有自动选择机制，需要额外的超参数调优。此外，逐步裁剪中的 $\delta$ 和 $\delta_{step}$ 也需要经验性调整。从独立观察来看，HACPO隐含地假设所有智能体使用相同的可验证奖励函数，这限制了它在奖励信号不一致或不可验证的任务（如开放域对话）上的适用性。此外，token分词器不兼容时的反分词-再分词操作引入了额外的计算开销和信息损失，虽然实验显示token数量差异仅约4%，但在更极端的异构情况下可能成为瓶颈。
独立分析的弱点
HACPO存在几个值得关注的弱点。(1) 超参数敏感性：$\alpha$、$\delta$、$\delta_{step}$ 等关键超参数需要针对不同模型组合进行调优，这增加了方法的使用门槛。改进方向可以是设计自适应机制，例如根据训练过程中importance ratio的统计特性动态调整 $\alpha$，或利用元学习思想自动学习裁剪边界。(2) 仅限两智能体：虽然理论上支持多智能体，但缺乏实验验证。随着智能体数量增加，能力比率矩阵 $\omega^{(k,j)}$ 的复杂度为 $O(n^2)$，可能存在缩放问题。可以探索分层协作或采样策略来降低计算开销。(3) 同步采样假设：当前方法假设所有智能体在同一训练步同步采样和更新，这在分布式训练场景中可能成为瓶颈。异步协作机制是一个值得探索的方向。(4) 奖励信号依赖：方法完全依赖可验证的标量奖励，对于需要过程奖励（process reward）或稠密反馈的任务，可能需要扩展。(5) 缺乏智能体选择机制：当前对所有智能体的rollout一视同仁地处理，实际上可以引入智能体选择策略，根据任务难度和智能体特长动态决定哪些rollout更有价值。
未来方向
作者提出未来将解决工程瓶颈以实证验证多智能体（$n \geq 3$）场景。基于当前成果，可以延伸出多个研究方向：(1) 规模化验证：将HACPO应用于更大规模的模型（如70B+）和更多智能体组合，探索协作增益是否随模型规模增大而放大或缩小。(2) 跨任务协作：当前所有智能体在相同任务上训练，可以探索不同专长的智能体（如数学专家和代码专家）在各自领域互相借鉴的场景。(3) 动态协作策略：根据训练进度自动调整哪些智能体参与协作、协作强度如何，类似于课程学习的思路。(4) 与蒸馏结合：将HACPO的协作训练与传统知识蒸馏相结合，先通过HACPO让多个智能体互相学习，再通过蒸馏压缩到单一高效模型。(5) 非推理任务扩展：将方法推广到代码生成、工具使用、多轮对话等需要复杂推理但奖励信号不那么直接的任务。(6) 理论深化：进一步分析多智能体协作的收敛性质，特别是在能力差异极大的情况下（如1.7B和70B模型的协作）。
复现评估
从复现角度来看，HACPO的复现条件相对明确但门槛不低。代码方面，作者在论文中提供了GitHub页面链接（https://zzx-peter.github.io/hacrl/），但论文中未明确说明是否已开源完整代码。数据方面，训练使用7.5k高质量数学题目（来自MATH数据集），评估使用7个标准基准（MATH-500、MATH、GSM8K、AIME2025、AMC23、Minerva、OlympiadHe），这些都是公开可用的数据集，复现数据获取无障碍。算力方面，虽然论文报告了峰值GPU内存和训练时间（详见附录F.3），但两智能体同时训练意味着至少需要双倍的单模型训练资源，对于Qwen3-4B级别的模型组合，可能需要多卡A100集群。技术实现上，作者基于verl框架进行修改，处理token分词器不兼容的反分词-再分词操作、能力比率的在线计算、逐步裁剪的实现都需要对RL训练框架有深入理解。总体而言，核心算法逻辑清晰、数学定义完整，具备良好复现基础，但算力需求和工程实现细节可能对独立研究者构成挑战。
论文图表
