AgentArk：将多智能体智能蒸馏到单个大语言模型中 AgentArk: Distilling Multi-Agent Intelligence into a Single LLM Agent
将多智能体辩论的推理能力蒸馏到单个LLM，提升推理效率
前置知识
多智能体系统（Multi-Agent Systems, MAS）
MAS是一种由多个独立的大语言模型实例组成的协作系统。在推理任务中，多个智能体通过迭代辩论（debate）、批评（critique）和共识（consensus）机制进行多轮对话。每个智能体基于问题和其他智能体的推理轨迹生成自己的推理链，系统通过集体智慧探索多种假设、发现逻辑错误并迭代优化解决方案。典型的MAS架构包括5-20个智能体，每轮交互中每个智能体会看到其他智能体的推理轨迹，从而进行自我修正和交叉验证。论文指出，在密集连接的网络中，计算量可能随智能体数量呈二次增长，这种多角色、多轮对话的结构导致推理成本远超单模型推理。
本文的核心目标是将MAS的推理能力蒸馏到单个模型，理解MAS的工作机制是理解整个蒸馏框架的前提
知识蒸馏（Knowledge Distillation）
知识蒸馏是一种模型压缩技术，核心思想是将教师模型（通常是大模型或多模型集合）的知识转移到学生模型（通常是较小的单个模型）。传统蒸馏通过模仿教师模型的输出分布或最终答案来训练学生模型。本文将这一概念扩展到多智能体场景，不仅要蒸馏最终答案，还要蒸馏多智能体交互过程中产生的推理动态，包括自我修正、错误检测和迭代优化等推理行为模式。AgentArk提出的三种层次化蒸馏策略——推理增强监督微调（RSFT）、数据增强蒸馏（DA）和过程感知蒸馏（PAD）——分别从不同层面捕获MAS的推理能力。
本文提出的AgentArk框架本质上是一种针对多智能体推理的知识蒸馏方法，理解传统蒸馏的原理有助于理解本文的创新之处
过程奖励模型（Process Reward Model, PRM）
PRM是一种专门为推理过程设计的奖励模型，与传统的结果奖励模型（Outcome Reward Model, ORM）只关注最终答案是否正确不同，PRM会对推理过程中的每一步进行评分。具体来说，PRM接收一个推理链，预测每个推理步骤的正确性概率 $z_t \in \{0, 1\}$。本文使用对比学习的方式训练PRM，使其能够判断哪些推理步骤与多智能体辩论的共识更一致。训练分为两个阶段：第一阶段冻结主干网络只训练奖励头（Feature Alignment），第二阶段解冻全部参数进行端到端微调（Full Specialization），使模型能够发展出检测逻辑谬误的专门化注意力模式。
PRM是本文第三种蒸馏方法（PAD）的核心组件，理解PRM的工作原理是理解Process-Aware Distillation的关键
GRPO（Group Relative Policy Optimization）
GRPO是一种强化学习算法，专门用于语言模型的策略优化。与PPO（Proximal Policy Optimization）需要单独的Critic网络不同，GRPO通过在同一输入上采样一组输出，然后利用组内奖励的相对排名来计算优势值。具体而言，对于每个输入 $x$，从固定行为策略 $\pi_{old}$ 中采样 $G$ 个推理输出 $o_1, ..., o_G$，然后通过PRM评分计算优势值：$\hat{A}_i = (R_\phi(o_i) - \mu_R) / \sigma_R$，其中 $R_\phi(o_i)$ 是PRM对输出 $o_i$ 的评分，$\mu_R$ 和 $\sigma_R$ 分别是组内评分的均值和标准差。这种方法避免了单独训练价值函数的复杂性，同时保持了策略优化的稳定性。
GRPO是PAD方法中将PRM的监督信号转化为模型参数更新的具体优化算法
测试时计算（Inference-Time Compute）
测试时计算是指在模型推理（而非训练）阶段消耗的计算资源。MAS通过多轮多智能体的迭代辩论实现了测试时计算缩放——在推理阶段投入更多计算来提升输出质量。然而，这种策略在密集连接的网络中，计算量可能随智能体数量呈二次增长，即 $O(n^2)$，其中 $n$ 是智能体数量。本文的核心洞察是：可以将这种测试时的计算负担前移到训练阶段，通过离线学习将MAS的推理动态内化到单个模型的参数中，从而在推理时只需一个前向传播即可获得多智能体推理能力。
理解测试时计算的概念有助于理解本文的核心动机——将推理阶段的计算代价转移到训练阶段
研究动机
多智能体系统（MAS）在复杂推理任务中展现出卓越的性能，但其实际部署面临两大核心挑战。首先是计算成本问题：在密集连接的网络中，推理延迟和计算开销随智能体数量快速增长，计算量可达 $O(n^2)$ 级别，使得MAS在实时应用场景中成本高昂。以5个智能体的辩论系统为例，每轮交互需要每个智能体生成完整的推理轨迹并传递给其他智能体，这种多角色、多轮对话的结构导致推理成本远超单模型推理。其次是错误传播风险：虽然MAS设计初衷是通过集体智慧修正个体错误，但在高密度交互场景中，个体的偏见或幻觉可能在群体中传播和放大，导致集体性的鲁棒性和安全性失败。例如，一个智能体的错误假设可能通过交叉验证被其他智能体接受，进而污染整个推理链。这些问题使得MAS在资源受限或实时部署场景中的应用受到严重限制。
本文的目标是本文提出AgentArk框架，旨在实现一个根本性的目标：将多智能体系统的推理能力蒸馏到单个大语言模型中，使单个智能体在保持计算效率的同时，获得多智能体系统的推理增强能力。具体而言，AgentArk通过离线学习将MAS的推理动态内化到单个模型的参数中，实现从显式的测试时交互到隐式的模型能力的转换。这种方法的目标是让单个模型能够在一个前向传播过程中完成生成、评估和优化的推理循环，从而将多智能体系统的集体智慧转化为单个模型的内在能力。实验目标是通过120个实验，系统评估三种蒸馏策略在不同模型、数据集和评估设置下的有效性，证明蒸馏后的单智能体性能平均提升4.8%，同时仅比原始MAS稍低。
与已有工作不同的是，现有工作在多智能体蒸馏方面存在明显局限。早期方法仅通过监督最终答案或简化的交互轨迹来训练学生模型，无法有效捕获MAS的核心推理动态。近期方法虽然尝试传递更丰富的监督信号（如基于图的交互建模、技能选择框架、辩论驱动的偏好监督），但通常依赖于特定任务的智能体设计、预定义的交互结构或环境相关的奖励函数，限制了跨任务的泛化能力。AgentArk的独特之处在于：第一，它不依赖特定的智能体角色或交互结构，而是抽象出交互推理过程本身；第二，它引入了三种层次化的蒸馏策略，从浅层的推理增强监督微调（RSFT）到深层的基于过程奖励模型的蒸馏（PAD），逐步深化蒸馏程度；第三，它通过正确性优先的轨迹选择策略，优先保留包含自我修正行为的推理轨迹，而非单纯的正确路径。这种设计使得AgentArk能够捕捉跨任务、跨智能体配置的通用推理模式。
核心方法
AgentArk的核心直觉是：多智能体辩论中的迭代反思和错误修正轨迹包含了丰富的推理动态，这些动态可以通过适当的蒸馏策略内化到单个模型的参数中。整体技术路线分为三个阶段：第一阶段是数据生成，利用多个教师智能体（基于Qwen3-32B或Gemma3-27B-it）进行多轮辩论，产生多样化的推理轨迹；第二阶段是知识提取，从辩论日志中筛选出高质量的推理轨迹，特别是那些包含自我修正行为的轨迹；第三阶段是层次化蒸馏，通过三种逐步深化的策略训练学生模型。这三种策略分别从不同层面捕获MAS的推理能力：RSFT学习模仿最终推理轨迹，DA学习多条正确的推理路径以增强鲁棒性，PAD通过过程奖励模型学习推理过程中的中间逻辑转换和自我修正行为。论文通过图1展示了完整的框架概览。
AgentArk的核心创新在于将MAS的推理动态抽象为可蒸馏的知识形式，而非依赖特定的智能体结构或交互协议。与已有方法的本质区别体现在三个方面：第一，传统蒸馏仅关注最终答案的模仿，而AgentArk强调推理过程的学习，特别是包含自我修正和错误检测的推理轨迹；第二，本文发现MAS的核心贡献在于其诱导的推理动态，而非交互结构本身，因此可以将这种动态内化到单个模型中；第三，PAD方法创新性地将过程奖励模型（PRM）与GRPO结合，实现对推理过程中每一步的精细监督，而非仅对最终答案进行二元判断。实验表明，PAD在推理连贯性（Reasoning Coherence）指标上达到3.96分（满分5分），显著优于RSFT的2.25分和DA的3.07分。
方法步骤详情
AgentArk的方法流程包含以下关键步骤。第一步，多智能体辩论数据生成：对于每个输入问题 $x$，初始化 $n$ 个教师智能体 $A = \{a_1, a_2, ..., a_n\}$，它们共享相同的LLM主干。智能体进行 $K$ 轮交互，每轮中每个智能体 $a_i$ 基于问题 $x$ 和其他智能体前一轮的推理轨迹 $\{\tau_{j,k-1}\}_{j \neq i}$ 生成自己的推理链 $\tau_{i,k}$。第二步，正确性优先的轨迹选择：从辩论日志中提取最终共识答案 $y^*$（与真实标签验证）和成功导向 $y^*$ 的中间推理轨迹 $\{r_i\}$，优先选择包含自我修正行为的轨迹。第三步，知识提取：使用高容量教师LLM作为蒸馏器解析原始辩论日志，为每个问题提取 $k \in \{1, 2, 3\}$ 条既正确又多样化的推理轨迹。第四步，层次化蒸馏训练：RSFT在推理轨迹和最终答案上进行监督微调，目标函数为 $\mathcal{L}_{SFT}(\theta) = -\mathbb{E}_{(x,r,y^*) \sim D} [\mathcal{L}_{res} + \mathcal{L}_{ans}]$；DA使用增强数据集训练 $\mathcal{L}_{Aug}(\theta) = -\frac{1}{k} \sum_{i=1}^{k} \sum_{t=1}^{T} \log p_\theta(y_t | y_{<t}, r_i, x)$；PAD先训练PRM，然后使用GRPO优化策略。
技术新颖性
AgentArk的技术新颖性体现在多个层面。首先，它是第一个系统性探索多智能体蒸馏策略的框架，通过三种层次化的蒸馏方法建立了从浅层模仿到深层推理动态捕获的完整方法论。其次，正确性优先的轨迹选择策略是创新的——传统蒸馏通常使用无错误路径，而AgentArk优先保留包含自我修正行为的推理轨迹，这反映了MAS推理的核心特征。第三，PAD方法将PRM与GRPO结合用于多智能体蒸馏是新颖的，PRM通过两阶段课程学习（第一阶段冻结主干只训练奖励头，第二阶段解冻全部参数）来捕获推理步骤的正确性，GRPO通过组相对优势估计避免了单独训练Critic网络的复杂性。第四，实验设计上，本文进行了120个实验的系统性评估，覆盖3个模型家族（Qwen3、Gemma3、Llama3）、7个基准数据集、多种模型规模（0.6B到32B），这种规模的系统性研究在多智能体蒸馏领域是前所未有的。
实验结果
本文通过120个实验的系统性评估，得出以下核心发现。首先，AgentArk显著提升了单智能体的推理能力，平均提升4.8%，仅比原始MAS稍低。从Qwen3-32B蒸馏到不同学生模型，在GSM8K上实现约2-4%的提升，在MetaMathQA上实现最大约30%的域内提升。其次，三种蒸馏方法中PAD表现最为稳定和一致，在所有数据集和模型上均能稳定提升性能，而RSFT和DA的提升则不一致且可能随数据集波动。第三，PRM的能力比学生模型规模更重要：高容量PRM即使对小模型也能带来显著提升，而弱PRM会限制收益。第四，推理质量比数量更重要：简单增加推理轨迹数量并不能提升性能，PAD的高质量过程监督才能带来稳定收益。第五，PAD模型展现出更好的推理行为——在推理连贯性指标上达到3.96分，而RSFT仅2.25分；在步骤分解上PAD为3.23，RSFT为3.13；在中间验证上PAD为4.07，RSFT为3.48。第六，跨家族蒸馏（如Qwen3到Gemma-7B或Llama3-8B）比同家族蒸馏获得更大、更一致的性能提升。第七，AgentArk扩展到多模态模型和不同MAS协议（AgentVerse、Self-Consistency）均有效，证明了其通用性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GSM8K数学推理 | 准确率 (%) | PAD蒸馏后Qwen3-8B约90%，Qwen3-0.6B约44% | 单智能体基线：Qwen3-8B约88%，Qwen3-0.6B约40% | 提升2-4个百分点，小模型受益更多 |
| MedMCQA医学推理 | 准确率 (%) | PAD蒸馏后Qwen3-8B约61% | 单智能体基线：Qwen3-8B约59% | 提升约2个百分点，依赖专业知识的提升较小 |
| MetaMathQA数学增强 | 准确率 (%) | PAD蒸馏后Qwen3-8B约35% | 单智能体基线约5%（域内极端情况） | 最大提升约30个百分点（域内设置） |
| TruthfulQA鲁棒性评估 | BLEU / ROUGE-1 / ROUGE-2 / ROUGE-L | PAD: 0.6634 / 0.6659 / 0.6414 / 0.6573 | 单智能体: 0.6034 / 0.6144 / 0.5704 / 0.6132 | PAD在所有指标上均显著提升，表明更好的事实准确性和推理鲁棒性 |
| 推理质量评估（多项指标） | 困惑度/步骤分解/中间验证/推理连贯性（满分5分） | PAD: 1.7996 / 3.23 / 4.07 / 3.96 | 单智能体: 1.9211 / 2.75 / 2.41 / 1.88 | PAD在所有维度上均显著优于基线和RSFT/DA |
局限与改进
本文存在以下局限性。首先，实验仅覆盖推理任务的一个子集和特定的多模态模型，未评估工具使用（tool use）和记忆管理（memory management）等其他智能体能力，作者也在脚注中明确承认了这一点。其次，本文聚焦于特定的蒸馏管道，未探索替代或混合方法，如自适应蒸馏策略或根据不同推理组件选择性地应用不同蒸馏程度。第三，虽然PAD在多个数据集上表现稳定，但在MedMCQA等依赖专业知识的数据集上提升有限（仅约2%），表明蒸馏主要增强推理能力而非知识获取能力。第四，实验主要基于同构设置（所有智能体共享相同LLM主干），异构设置的评估相对有限，仅在表2b中展示了两个学生模型的结果。第五，训练数据规模的影响并非单调——对于RSFT和DA，性能在中等数据规模时提升，但进一步扩展可能导致停滞或下降。第六，本文未提供详细的计算成本分析，虽然声称离线训练成本温和，但未给出具体的训练时间、GPU小时数或与原始MAS推理成本的量化对比。
独立分析的弱点
本文存在几个值得关注的弱点。第一，RSFT和DA方法的性能不一致——在某些数据集和模型组合上可能带来提升，但在其他情况下效果波动甚至下降，这表明这两种方法缺乏鲁棒性，可能受限于训练数据的质量或学生模型的容量。改进方向包括引入自适应机制，根据学生模型的容量和任务复杂度动态选择蒸馏策略。第二，小模型（如0.6B）在教师智能体数量增加时可能出现性能下降（图3a），说明当前方法对模型容量和教师多样性的匹配不够优化。改进方向是设计容量感知的蒸馏策略，限制小模型接收到的监督信号的多样性。第三，PAD方法依赖于PRM的质量，而PRM的训练本身需要高质量的步骤级标签，这可能在某些领域难以获取。改进方向是探索无需PRM的过程监督方法，如直接从辩论日志中提取步骤级偏好信号。第四，本文未探索在线蒸馏方法，即学生模型在推理过程中动态调整其从教师学习的策略。
未来方向
作者提出了几个有前景的未来研究方向。首先，探索自适应蒸馏策略，根据任务复杂度、模型容量或集成多样性动态选择推理轨迹。其次，研究模块化或层次化PRM，允许对不同推理组件进行选择性指导。第三，探索替代策略优化技术，在稳定性和可扩展性之间取得平衡。第四，研究在多智能体设置中对中间自我修正与最终答案进行差异化加权的方法，以提高学习效率和推理保真度。基于本文成果还可以延伸以下方向：将AgentArk扩展到工具使用和记忆管理场景，探索其在代码生成、规划任务中的应用；研究跨语言的推理蒸馏能力，特别是在中文推理任务上的表现；探索少样本或零样本蒸馏方法，减少对大规模辩论数据的依赖；将PAD与自一致性（Self-Consistency）等其他推理增强方法结合，形成更完整的推理增强方案。
复现评估
本文的复现条件相对较好。代码已开源在GitHub（https://github.com/AIFrontierLab/AgentArk），提供了完整的数据生成、知识提取和蒸馏训练流程。数据方面，本文使用了多个公开基准数据集（GSM8K、MATH、MedMCQA、MetaMathQA等），这些数据集均可公开获取。模型方面，本文使用的基座模型（Qwen3系列、Gemma3系列、Llama3系列）均为开源模型，可以通过Hugging Face获取。算力方面，实验涉及从0.6B到32B的模型规模，其中32B模型作为教师模型需要较大的GPU资源（可能需要多卡A100或H100），而学生模型（0.6B-8B）的训练成本相对较低。复现的主要挑战在于：第一，需要生成大规模的多智能体辩论数据，这本身需要较多的推理计算；第二，PRM的训练需要高质量的步骤级标签，可能需要额外的自动标注流程；第三，120个实验的完整复现需要相当的计算资源。总体而言，对于有充足计算资源的研究团队，复现本文的核心结果是可行的。
论文图表
