面向长周期智能体任务并行扩展的智能体聚合方法 Agentic Aggregation for Parallel Scaling of Long-Horizon Agentic Tasks
将聚合本身视为智能体任务，通过轻量级工具导航并行轨迹实现高效跨轨迹推理
前置知识
并行测试时缩放
指在推理阶段生成多个独立路径，通过聚合函数综合提升输出质量的方法。公式形式为：给定查询$q$，运行$K$次智能体得到轨迹集合，通过$f: (q, \mathcal{T}) \mapsto \hat{y}$生成最终解决方案。
这是论文研究的核心技术范式，理解并行扩展的工作原理和聚合挑战是掌握全文的关键基础。并行扩展通过生成多个独立路径来探索解空间，然后通过聚合函数综合这些路径的优势。在智能体任务中，每个路径都是一个完整的交互轨迹，包含工具调用和观测结果，这使得聚合变得更加复杂。理解这个概念有助于读者认识到，为什么简单的投票方法在长周期智能体任务中失效，以及为什么需要更精细的轨迹导航和跨轨迹推理能力。这种理解也为后续讨论工具设计和成本分析奠定了基础。
长周期智能体任务
指需要多轮交互、工具调用和外部环境互动的复杂任务，如深度研究、软件工程、网页导航等。这类任务跨度数百步，轨迹包含数十万token，需要长期规划和推理。
这是论文针对的问题域，理解其与标准链式思维任务的差异对于理解现有方法的局限性至关重要。链式思维任务通常是单轮推理，输出简短答案；而长周期智能体任务需要多轮工具交互，轨迹长度和复杂性呈指数级增长。这种差异意味着为链式思维设计的聚合方法（如多数投票）在智能体任务上完全失效，因为它们无法处理轨迹中的中间信息和工具观测结果。理解这个差异有助于读者认识到为什么需要全新的聚合范式，以及为什么工具设计必须考虑轨迹的特殊结构。这种理解也为评估方法的创新提供了背景。
LLM-as-a-judge
使用大型语言模型作为评估器自动判断生成内容的质量。本研究使用Qwen3.5-397B评估ResearchRubrics，GPT-4.1评估其他数据集，针对不同任务采用相应评估标准。
这是论文实验评估采用的核心方法，理解其工作原理有助于解读性能指标的可信度和局限性。由于长周期智能体任务的输出往往是长文本或开放性回答，传统的基于规则或自动化的评估方法难以适用。LLM-as-a-judge提供了一种灵活的评估方案，但也引入了新的偏差来源，如评估模型本身的偏见和对某些任务的偏好。理解这一点有助于读者批判性地看待实验结果，认识到性能提升的幅度可能受评估方法影响。同时，这也解释了为什么研究者在不同数据集上使用不同的评估模型，以及为什么需要报告详细的实验设置。
研究动机
现有方法在长周期智能体任务的并行聚合上面临严重局限性。启发式方法（多数投票、加权多数投票、Best-of-N、最少工具调用）仅依赖表面信号如答案频率或置信度，无法处理多答案或长形式生成任务，且完全忽略轨迹内容中的丰富证据。LLM-based方法（Solution Aggregation、Summary Aggregation）虽然利用了LLM推理能力，但仍有明显缺陷：Solution Aggregation只聚合最终解决方案，丢弃所有中间推理证据；Summary Aggregation需要先压缩每个轨迹，会带来不可逆的信息损失，且需要$K$次额外的LLM调用，成本高昂。实验数据显示，GLM-4.7-Flash在BrowseComp上从Pass@1的27.42%提升到Pass@8的59%，说明正确解决方案存在于并行rollouts中，但现有聚合方法无法有效提取和综合这些分散在长轨迹中的证据。
本文的目标是本文的目标是设计一种新的聚合范式，能够在不牺牲信息保真度的情况下实现高效的跨轨迹推理，同时保持可扩展的成本结构。具体来说，需要在以下三个维度取得突破：一是任务无关性，能够处理短答案、多答案和长形式报告等多种输出类型；二是非启发式性，超越简单的频率或置信度信号，进行深度推理；三是轨迹信息利用，充分挖掘多轮轨迹中的中间证据而非仅关注最终输出。最终目标是证明智能体式聚合是一种可扩展、高效且有效的测试时计算扩展方法。
与已有工作不同的是，本文的独特切入角度是将聚合本身重新构想为一个智能体任务，而不是一个固定的函数。传统方法将聚合视为从轨迹集合到最终解决方案的确定性映射$f: (q, \mathcal{T}) \mapsto \hat{y}$，而本文将聚合器视为一个能够在轨迹环境中主动探索和推理的智能体。这种视角转变允许聚合器按需检索信息，在保持全保真度的同时避免加载所有轨迹到上下文中。与WebResearcher（仅聚合最终答案）和ParallelMuse（有损压缩）等并发工作不同，AggAgent通过轻量级内存工具实现无损、高效的跨轨迹推理。
核心方法
AggAgent的核心思想是将并行轨迹视为一个可交互的环境，聚合器作为智能体在其中导航并综合信息。从直觉上看，这类似于一个调查员面对多份证人证词，不会简单投票选择多数观点，而是会交叉验证细节、查找矛盾、综合分散的线索以还原真相。技术路线上，AggAgent初始接收问题$q$和轨迹元数据（每个轨迹$T_i$的步数、总token数、工具使用统计），但轨迹本身不预加载到上下文，而是通过工具按需检索。这种设计确保聚合成本受限于单个上下文窗口，与并行轨迹数量$K$无关。聚合器遵循由粗到精的调查工作流：首先通过元数据和解决方案识别共识和分歧，定位值得深入检查的轨迹，然后通过搜索和片段读取验证关键主张，最后综合提交最终解决方案。
AggAgent的核心创新点在于通过轻量级内存工具实现轨迹环境的智能体式交互，这与现有方法存在本质区别。多数投票、加权投票等启发式方法完全不接触轨迹内容；Solution Aggregation只看最终输出；Summary Aggregation虽然接触轨迹但有损压缩。AggAgent通过四个工具实现了全保真、按需的轨迹访问：get_solution获取最终方案（默认返回所有$K$个）、search_trajectory用ROUGE-L检索关键词相关步骤、get_segment读取指定步数范围的完整内容、finish提交最终方案。这些工具完全在内存中的轨迹数组上运行，不调用外部服务（如网页搜索或代码执行），因此没有外部API的成本和延迟。这使得AggAgent能够在不牺牲细节或连贯性的情况下进行细粒度轨迹推理，且聚合成本仅相当于单次智能体rollout。
方法步骤详情
AggAgent的工作流程分为四个主要步骤。第一步：初始化与元数据加载，聚合器接收问题$q$和轨迹元数据集合，其中包含每个轨迹的步数、总token数和工具调用统计。第二步：解决方案调研，调用get_solution()获取所有$K$个最终解决方案，识别共识和分歧区域，快速判断哪些轨迹可能包含正确答案。第三步：按需深度探索，对于需要验证的主张或存在分歧的点，使用search_trajectory进行关键词搜索，返回按ROUGE-L得分排序的相关步骤；当关键词搜索不足时，使用get_segment读取完整思考块和工具观测结果。第四步：综合与提交，在充分跨轨迹验证后，调用finish()提交最终综合解决方案及聚合理由。整个过程遵循粗到精策略，避免不必要的全轨迹读取。
技术新颖性
AggAgent的技术新颖性体现在三个层面。在范式层面，首次将聚合本身建模为智能体任务，打开了训练聚合器智能体的新方向。在工具设计层面，提出完全在内存中操作的轻量级轨迹交互工具，避免了外部工具的成本和延迟，同时保持了全保真度的信息访问能力。在效率层面，实现了成本与性能的帕累托最优：在$K=8$时，AggAgent的开销仅为rollout成本的5.7%，而Summary Aggregation为41%，却提供更好的性能。更值得注意的是，AggAgent能够超越Pass@K表现（如在BrowseComp-Plus上用MiniMax-M2.5作为聚合器超越GLM-4.7-Flash的Pass@8），这证明了有效聚合可以从部分正确的轨迹中合成完全正确的解决方案，这是一种超越简单选择的新能力。
实验结果
在六个长周期智能体基准测试和三个模型家族上的实验证实了AggAgent的优越性。对于GLM-4.7-Flash，AggAgent在平均得分上达到47.90，相比Pass@1的30.01提升17.89点，相比最强基线Solution Aggregation的42.58提升5.32点。具体任务上，BrowseComp从27.42%提升到56.00%（+28.58），BrowseComp-Plus从49.08%提升到71.33%（+22.25），HLE从25.00%提升到37.42%（+12.42），DeepSearchQA从32.42%提升到49.33%（+16.91）。在深度研究任务上表现尤为突出：Healthbench-Hard从8.67%提升到27.99%（+19.32），ResearchRubrics从37.47%提升到45.31%（+7.84）。Qwen3.5-122B和MiniMax-M2.5模型展现了类似趋势。成本分析显示，AggAgent在$K=8$时的开销仅为5.7%，远低于Summary Aggregation的41%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| BrowseComp | Accuracy (%) | 56.00 | 53.33 (Solution Aggregation) | +2.67 |
| BrowseComp-Plus | Accuracy (%) | 71.33 | 70.67 (Solution Aggregation) | +0.66 |
| HLE | Accuracy (%) | 37.42 | 32.90 (Solution Aggregation) | +4.52 |
| DeepSearchQA | Accuracy (%) | 49.33 | 46.00 (Solution Aggregation) | +3.33 |
| Healthbench-Hard | LLM-as-a-judge Score | 27.99 | 15.72 (Solution Aggregation) | +12.27 |
| ResearchRubrics | LLM-as-a-judge Score | 45.31 | 36.84 (Solution Aggregation) | +8.47 |
局限与改进
作者承认的局限性包括：AggAgent目前是训练无关的，完全依赖于通用LLM的推理能力，未来可以专门训练聚合器智能体；当前工具设计相对简单，可以扩展更多高级工具如跨轨迹模式检测或自动冲突发现；评估采用了LLM-as-a-judge，虽然与官方设置一致，但可能存在模型特定的偏见。观察到的额外局限性包括：工具使用虽然高效但并非最优，search_trajectory的ROUGE-L检索可能不够语义精确；在某些简单任务上，AggAgent的收益可能不如复杂任务明显，对于答案高度一致的场景，简单的多数投票可能就足够；该方法假设轨迹已经完成生成，对于流式或增量生成的场景需要额外设计；当前实现在处理超长轨迹（如超过128K token）时可能面临挑战，尽管工具按需访问机制缓解了这个问题。
独立分析的弱点
AggAgent在特定场景下存在几个可改进的弱点。首先是工具检索的语义精度问题，当前search_trajectory使用ROUGE-L进行关键词匹配，这在处理同义词、概念漂移或跨语言术语时可能效果不佳，改进方向可以是集成语义嵌入检索或学习式的检索模型。其次是策略优化空间，虽然观察到粗到精的工作流是有效的，但具体的搜索和读取决策完全依赖LLM的隐式策略，可以考虑引入显式的策略学习或强化学习来自动化工具使用决策。第三是在资源受限场景下的效率，虽然开销很低但仍有改进空间，可以考虑更激进的轨迹剪枝或早期终止机制。最后是鲁棒性问题，当所有轨迹都完全错误时，AggAgent可能无法合成正确答案，这时可以考虑引入外部知识源或回退机制。
未来方向
作者提出的未来方向包括专门训练聚合器智能体，这可能进一步提升性能并减少工具调用次数。基于本文成果可延伸的方向有：一是多层级聚合架构，设计分层聚合器在不同粒度上综合信息；二是动态并行扩展，根据任务难度自适应调整轨迹数量$K$；三是跨模型聚合，利用不同模型的优势生成异构轨迹；四是实时聚合，支持流式生成的增量聚合；五是可解释性增强，提供聚合决策的细粒度追踪和可视化。另一个有趣的方向是研究聚合器的泛化能力，探索在一个任务集上训练的聚合器能否迁移到新任务。此外，可以将AggAgent的思想扩展到其他测试时缩放技术，如连续扩展与并行扩展的混合架构。
复现评估
论文提供了完整代码（https://github.com/princeton-pli/AggAgent），这为复现提供了良好基础。实验使用了三个主流模型家族（GLM-4.7-Flash 30B、Qwen3.5-122B-A10B、MiniMax-M2.5 229B），这些模型通过API可访问。评估采用的标准基准都是公开可用的：BrowseComp、BrowseComp-Plus、HLE、DeepSearchQA、Healthbench-Hard、ResearchRubrics。由于长周期rollout的高成本，研究者对数据集进行了子采样。主要复现挑战在于成本：单个查询在BrowseComp上的成本约0.05-0.25美元，完整实验需要数千美元预算。此外，一些工具依赖外部API（如Serper用于Google搜索、crawl4ai用于网页抓取），需要相应配置。总体而言，复现难度中等，主要障碍是计算成本而非技术复杂性。
论文图表
