AgentFugue：通过集体推理实现长周期任务的智能体扩展 AgentFugue: Agent Scaling for Long-Horizon Tasks through Collective Reasoning
提出共享推理枢纽让多智能体协作交换中间推理过程，提升长周期任务性能
前置知识
长周期任务
指需要多个推理步骤、工具调用和环境交互才能解决的复杂任务。这类任务的解决方案空间巨大，单个轨迹很难覆盖所有必要信息，需要通过多轮探索、证据收集和推理链构建来完成。典型场景包括多跳网页搜索、开放式问题解决和多步骤推理任务。
本文研究的就是如何让多个智能体更好地协作解决这类复杂任务，理解长周期任务的特性（如探索空间大、需要多步推理、容易陷入局部最优）是理解本文动机和评估指标的基础。
ReAct
一种经典的智能体交互模式，通过交替进行推理（思考下一步该做什么）和行动（调用工具或与环境交互）来逐步解决任务。智能体维护一个包含过去推理步骤、工具调用和观察结果的上下文窗口，每个新步骤都基于这个上下文做出决策。
本文的基线方法（包括所有单智能体和多智能体系统）都基于ReAct循环，理解ReAct有助于理解本文如何在现有框架上添加共享推理枢纽。
横向通信
指多智能体系统中的对等通信方式，智能体之间直接或通过共享中介交换信息，而不是通过层级式的指挥结构。与纵向通信（由中心规划者分配任务、收集结果）不同，横向通信允许智能体在探索过程中就交换中间发现。
这是本文的核心创新点。AgentFugue的共享推理枢纽就是一种横向通信机制，它让智能体可以在探索过程中就互相学习，而不是等所有探索完成后再聚合结果。
意图驱动读取
一种信息检索机制，智能体不是被动接收所有队友的发现，而是主动声明自己的信息需求，然后由系统根据这个需求从相关来源中提取和合成最有用的信息。这样可以避免信息过载，只获取与当前搜索方向相关的发现。
这是AgentFugue避免多智能体系统噪音放大问题的关键设计。智能体只读取对自己当前有用的队友推理片段，既利用了协作的好处，又保持了探索的多样性。
GRPO
一种强化学习算法，特别适合处理多智能体系统。它通过在组内计算相对优势（每个输出相对于组内平均的表现），然后用PPO-style的裁剪目标来优化策略。这样可以处理稀疏奖励，同时保持对基线参考策略的KL约束。
本文使用GRPO来优化共享推理枢纽的读写函数，使其不仅能够总结中间进度，还能返回对整个Agent循环有用的指导。理解GRPO有助于理解如何让通信层学习产生真正有帮助的信息。
研究动机
现有对长周期任务的研究主要关注扩展单个智能体，通过更强的基础模型、更好的工具使用和更有效的脚手架来提升性能。这种范式显著增强了单个智能体的能力，但它只是加强了单个轨迹，没有扩展探索的广度。同时，现有的多智能体系统主要依赖角色分工、任务分解和明确的交互流程。这些方法通过结构化的协调提升能力，但都需要预先设计好的组织结构。而对于更简单的同构智能体设置——多个智能体作为对等体在同一任务上并行探索，没有预定义的责任分工——我们对其是否也能产生能力提升的理解还很有限。在这种设置中，多个智能体可能发现不同的部分推理路径、中间证据或失败的分支，但没有通信机制，这些发现相互隔离；而如果通信不受限制，有用信号会被原始轨迹的噪音淹没，探索多样性也会迅速塌缩。
本文的目标是本文的研究目标是探索扩展出作为一个独立的能力增长轴：增加在同一任务上工作的对等智能体的数量或多样性，使它们的轨迹能够相互通知和重定向。具体来说，本文要解决两个核心问题：第一，在没有明确角色分工的情况下，多个同构智能体并行探索同一任务时，能否通过某种通信机制实现能力提升，而不仅仅是消耗更多计算资源？第二，这种机制是否适用于异构智能体团队（使用不同模型或配置的智能体），让不同的推理偏差能够相互补充？本文的目标不是设计新的任务架构或智能体脚手架，而是设计一个即插即用的通信层，让现有的智能体能够在探索过程中交换中间推理进度。
与已有工作不同的是，本文的独特切入角度是将多智能体协作从角色分工加中心编排转向对等探索加横向通信。现有工作要么让智能体承担不同角色并遵循预定义的交互协议，要么让多个智能体完全独立运行直到最后才聚合结果。而本文研究的中间地带：多个智能体在对等模式下并行探索同一任务，在探索过程中就选择性交换中间推理进度。这种设置避免了需要预先设计角色和流程的复杂性，同时充分利用了并行探索的互补性。另一个独特的角度是关注中间推理的重用而不是最终结果的聚合。Best-of-N等方法采样多个轨迹后只选择最好的最终答案，而本文的机制允许智能体在探索过程中就重用其他智能体已经建立的证据、已尝试的方法和已排除的分支。
核心方法
AgentFugue的核心思想是在多个并行探索同一任务的对等智能体之间插入一个共享推理枢纽。这个枢纽不取代本地推理或中心化规划团队，而是将一个智能体的中间发现选择性地提供给其他智能体，从而扩展每个智能体的有效知识空间。其工作原理可以分为两层：粗粒度层通过压缩的片段笔记提供团队进度的概览，帮助智能体识别哪些队友的工作值得深入了解；细粒度层通过意图驱动的读取让智能体在需要时深入获取特定队友的原始推理内容。这个设计避免了两个极端：没有通信时多个轨迹相互隔离，无法互相借鉴；完全广播时有用信号被噪音淹没。通过选择性、意图驱动的通信，AgentFugue将多个独立的轨迹转变为一个选择性共享的推理生态系统。
核心创新在于将多智能体协作从纵向的规划-执行-聚合结构转变为横向的探索-共享-重用结构。与现有方法的本质区别在于：第一，不依赖角色分工，所有智能体是对等的，能力提升必须来自轨迹间的交互，而不是内置的角色差异；第二，不中心化规划，枢纽作为外部通信层而非中央控制器，智能体继续独立探索，只在需要时查询队友的发现；第三，在探索过程中而非探索完成后交换信息，智能体可以重用队友已经排除的分支、已收集的证据和已建立的事实，而不需要重复这些工作；第四，两阶段通信设计（片段笔记加意图驱动读取）既保持了轻量级的团队进度感知，又支持按需深入获取特定信息。这种设计使得团队规模的增加本身成为能力扩展的有效轴，无论是同构团队（多个相同智能体）还是异构团队（不同模型或配置的智能体）。
方法步骤详情
AgentFugue的方法包含五个关键步骤。第一步是片段划分：当智能体的活跃上下文达到固定的写入预算时，累积的交互段落被关闭为一个片段，其中是行动，是观察结果。第二步是片段写入和上下文驱逐：枢纽模型将片段压缩成片段笔记，捕获团队相关内容——建立了什么、收集了什么证据、尝试了什么、排除了什么分支。一旦笔记被写入，原始片段内容被驱逐并替换为片段笔记，既压缩了智能体自身的历史以释放上下文容量，又产生了适合共享的表示。第三步是意图驱动的读取：智能体向枢纽发出包含意图和片段引用的请求，根据可见的片段笔记选择要深入了解的队友片段。第四步是枢纽读取操作：枢纽检索引用片段的完整原始内容并根据意图进行综合，产生针对请求智能体当前需求的专注证据或指导。第五步是枢纽优化：枢纽从Qwen3.5-9B骨干初始化，经过监督微调和GRPO两个阶段优化。监督微调阶段使用标准LM损失训练读写函数。GRPO阶段保持任务智能体冻结，在完整的多智能体循环中对齐枢纽与下游任务成功，优化目标结合任务成功与简洁性奖励。
技术新颖性
AgentFugue的技术新颖性体现在多个方面。首先，它将集体推理框架化为巴洛克赋格曲式的并行搜索，多个轨迹保持独立同时相互发展彼此的部分进展，而不是共享对话或固定工作流。这提供了一个新的多智能体协作范式，无需预定义的角色或交互协议。其次，片段化的读写机制与现有方法有本质区别：与单智能体记忆不同，笔记被写入是为了支持跨智能体重用，而不仅仅是起源轨迹；与多智能体辩论或群聊不同，智能体不被强制进入同步轮流或共享对话上下文；与Best-of-N采样不同，轨迹在完成前就通过可重用的中间进度相互影响；与RAG风格检索静态语料库不同，读取路径是意图驱动的，按需综合原始片段内容而不是返回预先形成的段落。第三，AgentFugue在同构和异构团队中都展示了团队规模的有效扩展，这与认为需要明确角色分工才能从多智能体协作中受益的传统观点形成对比。第四，枢纽作为即插即用通信层的设计使其能够适应不同的推理智能体，同时保持它们本地轨迹的独立性。最后，实验设计清晰地分离了同构和异构扩展效应，分析了每智能体效率何时改进、何时产生更大的团队级增益、通信机制在何处崩溃，为理解集体推理何时以及为何有效提供了深入见解。
实验结果
论文在BrowseComp、WideSearch和HLE三个基准上评估了AgentFugue。Table 1显示AgentFugue在每个基准上都有最强表现。在Qwen3.5-35B-A3B骨干下达到54.4平均值，比Swarm和Naive分别提升5.4和5.9；在DeepSeek-v4-Flash下达到65.0平均值，比相应基线提升7.4和7.7。增益推广到异构基准：AgentFugue/DeepSeek在BrowseComp上提升15.0（56.2到71.2），HLE上提升5.5（44.0到49.5），WideSearch上保持领先（72.7到74.2）。Figure 2分析同构扩展：每智能体质量在N等于5左右饱和，但轨迹多样性保持。枢纽将孤立探索换取共享协调：每智能体搜索和访问调用单调下降，每问题内存流量增长几倍。Figure 3显示扩展在每个聚合规则下都成立。Figure 4分析异构扩展：每个模型单独受益，弱对等体获得双位数边际。总体而言，共享推理枢纽使智能体计数成为真正的扩展轴。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| BrowseComp深度多跳网页搜索 | 准确率 | 71.2%（DeepSeek-v4-Flash骨干） | 56.2%（Swarm-Multi-Agent基线） | +15.0绝对百分点 |
| BrowseComp深度多跳网页搜索 | 准确率 | 50.0%（Qwen3.5-35B-A3B骨干） | 45.2%（Swarm-Multi-Agent基线） | +4.8绝对百分点 |
| WideSearch广度证据收集 | 准确率 | 74.2%（DeepSeek-v4-Flash骨干） | 72.7%（Swarm-Multi-Agent基线） | +1.5绝对百分点 |
| HLE多领域推理 | 准确率 | 49.5%（DeepSeek-v4-Flash骨干） | 44.0%（Swarm-Multi-Agent基线） | +5.5绝对百分点 |
| BrowseComp同构团队扩展 | Avg准确率（N=8） | 51.7%（Qwen3.5-35B-A3B，N=8） | 36.0%（N=1单智能体） | +15.7绝对百分点 |
| BrowseComp异构团队扩展 | Avg准确率（N=4） | 63.8%（Qwen+DeepSeek+GLM+Kimi） | 36.0%（Qwen单智能体N=1） | +27.8绝对百分点 |
局限与改进
作者承认的局限性包括：当团队规模过大（如N大于8）或任务知识空间相对较小时，每智能体质量可能饱和，轨迹多样性可能塌缩到平均值，限制了集体推理的边际收益。通信层需要在选择性和可靠性之间取得平衡——太选择性会错过有用的队友发现，太不可靠会让错误的中间假设在团队中传播。枢纽的上下文窗口预算是关键设计选择：太小的预算在总结前截断证据，太大的预算用陈旧内容稀释枢纽注意力。消融研究显示准确率在32K达到峰值并在两端退化。作者还观察到，当异构团队引入能力相似的模型时，团队性能可能出现短暂震荡。我自己观察到的额外局限性包括：当前设计要求智能体主动决定何时查询枢纽以及查询哪些队友片段，更弱的智能体可能无法准确识别有用的协作机会。枢纽模型基于Qwen3.5-9B骨干，其能力可能限制了对更复杂推理片段的总结和综合质量。论文主要关注信息检索和推理任务，在需要更复杂交互或工具使用的任务中的泛化能力尚未充分验证。通信开销也是一个需要考虑的因素：当团队规模增大时，每问题的内存调用会显著增加。最后，论文的聚合策略主要基于启发式规则，更智能的聚合方法可能释放额外的性能头部空间。
独立分析的弱点
基于论文内容和我的分析，AgentFugue存在以下可以改进的弱点：第一，智能体需要主动决定何时查询枢纽以及查询哪些队友片段，这依赖于智能体自身的判断能力。更弱的智能体可能无法准确识别哪些队友的发现与当前搜索方向相关，从而错过有用的协作机会。改进方向可以是让枢纽主动推荐相关的片段。第二，枢纽的上下文窗口预算是固定的，而不同任务和不同阶段可能需要不同的预算。改进方向可以是实现动态的、自适应的上下文预算调整机制。第三，当前设计假设片段笔记是诚实的，如果智能体产生幻觉或错误地总结自己的进展，这些错误会传播给队友。改进方向可以是引入验证机制。第四，通信层的设计相对独立于具体任务，这意味着它可能在某些任务类型上表现更好，而在其他类型上表现较差。改进方向可以是设计任务特定的通信模式。第五，论文主要评估了相对较小的团队规模，对于更大规模团队的扩展行为尚不清楚。改进方向可以是研究层级化的枢纽结构或更智能的片段选择机制。第六，枢纽模型基于中等规模的Qwen3.5-9B骨干，对于非常复杂的推理任务，其总结和综合能力可能不足。改进方向可以是使用更强的骨干模型或专门为枢纽功能训练的模型。
未来方向
基于论文成果和当前局限性，未来研究方向包括：作者明确提到的未来方向是探索如何使通信更加选择性以保持多样性，同时足够可靠以防止误导的中间假设在团队中传播。这涉及设计更好的片段评分和相关性机制，以及更复杂的去重和冲突解决策略。基于本文成果可以延伸的方向包括：第一，研究更智能的聚合策略。论文显示Pass和BoN之间存在持续差距，表明更智能的聚合方法可以释放额外性能。第二，扩展到更复杂的任务类型。当前评估集中在信息检索和推理任务，未来可以探索AgentFugue在编程、多步骤系统操作、创意写作等任务上的表现。第三，研究动态团队组成和退出机制。当前实验使用固定的团队规模和组成，未来可以探索根据任务进展动态添加或移除智能体的策略。第四，探索跨任务的集体推理。未来可以研究如何让枢纽学习跨任务的通用推理模式和知识。第五，分析集体推理的可解释性。共享枢纽产生的片段笔记提供了推理过程的显式表示。第六，探索与人类专家的协作。枢纽机制也可能用于人机协作，人类专家可以作为对等体加入团队。
复现评估
论文在复现性方面表现良好。作者已在GitHub开源代码，这是积极的开源实践。论文提供了详细的实验设置描述，包括数据集的选择、评估协议、基线系统的实现细节，以及枢纽优化的超参数设置。论文还报告了具体的骨干模型和枢纽骨干，这为复现提供了明确的基础。算力需求方面，论文没有提供具体的计算成本细节，但从实验规模来看（多骨干、多团队大小、多基准的训练和评估），算力需求应该相当可观，这可能对资源有限的研究者构成挑战。难度评估方面，复现工作需要多方面技能：实现多智能体系统和枢纽读写机制、训练和优化枢纽模型、运行大规模评估实验、处理不同骨干模型的集成。对于有LLM和多智能体系统经验的研究者，复现难度中等；对于新手，可能需要更多时间理解和实现各个组件。论文还提供了消融研究和详细的结果分析，这些额外的细节有助于理解方法的工作原理和边界条件，也为进一步分析和改进提供了基础。总体而言，论文在代码开源、实验细节和结果透明度方面表现良好，但算力需求和实现复杂性可能是复现的主要障碍。
论文图表
