AOrchestra:自动化子智能体创建用于智能体编排 AOrchestra: Automating Sub-Agent Creation for Agentic Orchestration
通过四元组抽象动态创建专用子智能体,实现复杂长周期任务的自动化编排。
前置知识
智能体编排(Agentic Orchestration)
智能体编排是指一个主智能体(编排器)负责将复杂任务分解为多个子任务,并将每个子任务委托给专门的子智能体执行。编排器不直接执行任务,而是通过动态调度和资源分配来优化整体任务完成效果。这种模式类似于交响乐团指挥,指挥不演奏乐器,但协调各个乐手以实现整体演出目标。
理解智能体编排是理解本文核心贡献的基础,AOrchestra正是通过改进编排机制来提升复杂任务处理能力。
子智能体作为工具(Sub-Agent as Tools)
这是一种新兴的智能体协作范式,其中主智能体通过显式工具调用将子任务委托给子智能体。与传统的多智能体系统不同,子智能体被视为可动态创建和配置的工具,而不是固定的角色。这种设计允许系统根据任务需求灵活调整子智能体的能力和配置。
本文正是基于这一范式提出了改进方案,解决了现有方法中子智能体灵活性和专用性不足的问题。
四元组抽象(Four-Tuple Abstraction)
这是本文提出的核心概念,将任何智能体抽象为一个四元组 Φ = (I, C, T, M),其中 I 是任务指令,C 是工作上下文,T 是工具集,M 是底层模型。这个抽象将智能体的工作记忆(I, C)和能力(T, M)显式分离,允许系统根据具体任务需求动态组合这些组件。
四元组抽象是AOrchestra框架的技术基础,理解它才能理解系统如何实现动态子智能体创建和配置。
帕累托效率(Pareto Efficiency)
在性能与成本权衡的背景下,帕累托效率指的是在不增加成本的情况下无法进一步提高性能的状态。AOrchestra通过学习编排策略,能够在不同模型选择间实现帕累托最优的成本-性能权衡,使得系统在给定预算下达到最佳性能,或在给定性能目标下最小化成本。
本文的一个重要贡献是展示了如何通过学习编排策略来优化成本-性能权衡,理解帕累托效率有助于评估这一贡献的实际价值。
上下文退化(Context Rot)
随着对话轮次增加,大型语言模型的性能会逐渐下降的现象。在长周期任务中,过多的上下文信息会干扰模型对关键信息的关注,导致任务执行效果下降。这类似于人类在信息过载时难以集中注意力。
AOrchestra通过精心设计的上下文管理机制来缓解上下文退化问题,这是其相对于现有方法的一个重要优势。
研究动机
在复杂长周期任务场景中,现有智能体系统面临两个主要问题。首先,多智能体系统(如MetaGPT、OWL)通常依赖固定的工作流程和预定义角色,这导致系统在面对动态变化的开放环境时缺乏灵活性。其次,现有的子智能体作为工具的范式(如THREAD、ContextFolding)存在两种局限模式:一种是将子智能体视为隔离的上下文线程,虽然缓解了上下文退化问题,但缺乏专用化能力;另一种是将子智能体视为静态角色,虽然提供了专用化能力,但需要大量人工工程且难以适应新任务。例如,在SWE-Bench代码修复任务中,静态角色系统可能无法根据具体bug特性动态调整调试策略,而隔离上下文系统则可能丢失关键的代码修改历史。
本文的目标是本文旨在设计一个框架无关的智能体编排系统,能够自动化创建专用子智能体来解决复杂长周期任务。具体目标包括:1)通过统一的四元组抽象实现子智能体的动态创建和配置;2)在保持框架无关性的同时提供即插即用的能力;3)通过学习编排策略实现成本-性能的帕累托最优权衡。系统需要在GAIA、Terminal-Bench和SWE-Bench三个挑战性基准测试中取得优于现有框架的性能,特别是在与Gemini-3-Flash结合时实现显著的性能提升。
与已有工作不同的是,本文的独特视角在于将子智能体视为可动态实例化的抽象单元,而不是固定的实体。与现有工作相比,AOrchestra抓住了两个被忽视的关键点:第一,上下文管理应该是编排器的核心职责,而不是子智能体的附带功能,编排器应该主动为每个子任务筛选和压缩最相关的上下文信息;第二,编排本身是一个可学习的技能,可以通过监督微调和上下文学习来优化,而不是依赖固定的人工设计规则。这种视角将编排从简单的任务分配提升为动态的能力组合和资源优化问题。
核心方法
AOrchestra的核心思想可以用一个简单的比喻来理解:想象一个交响乐团指挥,他不演奏任何乐器,但根据乐曲需求动态选择乐手、分配乐谱片段、协调演奏节奏。类似地,AOrchestra的编排器不直接执行任务,而是根据任务需求动态创建专用的子智能体。技术路线上,系统首先将任何智能体抽象为四元组 Φ = (I, C, T, M),其中 I 是任务指令,C 是工作上下文,T 是工具集,M 是底层模型。编排器通过两个核心操作工作:Delegate(Φ) 创建并委托任务给子智能体,Finish(y) 终止交互并返回最终结果。这种设计将编排与执行完全解耦,编排器专注于任务分解和资源配置,而子智能体专注于具体任务执行。
AOrchestra最本质的创新在于提出了子智能体的动态专用化(on-demand specialization)概念,这与现有方法有本质区别。现有的静态角色方法(如Claude Code)预定义了一组固定的子智能体角色,每个角色有固定的能力和职责;而隔离上下文方法(如THREAD)虽然允许动态创建子智能体,但缺乏对子智能体能力的精细控制。AOrchestra通过四元组抽象实现了两者的结合:编排器可以动态创建子智能体,同时为每个子智能体精确配置任务指令、上下文信息、工具集和底层模型。这种设计使得每个子智能体都是为当前子任务量身定制的专家,既避免了静态角色的僵化性,又避免了隔离上下文的能力不足问题。
方法步骤详情
AOrchestra的工作流程包含以下关键步骤:首先,编排器接收用户任务 G 并初始化系统状态 s₀。在每个步骤 t,编排器基于当前状态 sₜ 选择动作 aₜ ∈ {Delegate(Φₜ), Finish(y)}。如果选择 Delegate(Φₜ),系统会实例化一个子智能体 A(Φₜ),其中 Φₜ = (Iₜ, Cₜ, Tₜ, Mₜ) 是编排器精心配置的四元组。子智能体执行任务后返回结构化观察 oₜ,通常包括结果摘要、相关文件和错误信息。编排器将这些观察整合到下一状态 sₜ₊₁ = δ(sₜ, aₜ, oₜ) 中,然后决定下一步动作。如果选择 Finish(y),交互终止并返回最终答案 y。整个过程中,编排器专注于任务分解和资源配置,而子智能体专注于具体执行。
技术新颖性
AOrchestra的技术新颖性体现在三个方面。首先,统一的四元组抽象是框架无关的,可以适配任何现有的智能体框架(如ReAct、Mini-SWE-Agent),这区别于现有方法通常绑定特定框架的做法。其次,编排器的学习能力是独特的:通过监督微调(SFT)优化任务编排能力,在GAIA上实现11.51%的pass@1提升;通过上下文学习(ICL)优化成本感知路由,在保持性能的同时将平均成本降低18.5%。第三,系统实现了编排与执行的完全解耦,编排器从不直接执行环境动作,只通过Delegate和Finish两个工具与子智能体交互,这种设计简化了系统复杂度并提高了可维护性。
实验结果
AOrchestra在三个挑战性基准测试中均取得了显著优于现有框架的性能。在GAIA基准测试中,使用Gemini-3-Flash作为编排器和子智能体模型,AOrchestra达到了80.00%的pass@1和86.06%的pass@3,比最强的基线框架OpenHands(66.06% pass@1)提高了13.94个百分点。在Terminal-Bench 2.0中,系统实现了52.86%的pass@1和57.14%的pass@3,比Mini-SWE(34.29% pass@1)提高了18.57个百分点。在SWE-Bench-Verified中,AOrchestra达到了82.00%的pass@1和86.00%的pass@3,比Mini-SWE(56.00% pass@1)提高了26.00个百分点。值得注意的是,即使使用较弱的Claude-4.5-haiku作为子智能体模型,系统仍然在GAIA上达到60.61%的pass@1,证明了改进的鲁棒性。上下文控制消融实验表明,精心设计的上下文管理机制是关键:No-Context设置仅达到86.00%的平均准确率,Full-Context设置为84.00%,而AOrchestra的上下文管理达到96.00%。学习实验显示,监督微调将Qwen3-8B编排器的性能从56.97%提升到68.48%,而上下文学习在混合模型设置下将准确率从72.12%提升到75.15%,同时将平均成本从0.70美元降低到0.57美元。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GAIA(通用AI助手基准) | Pass@1 | 80.00% | OpenHands (66.06%) | +13.94个百分点(相对提升21.1%) |
| Terminal-Bench 2.0(终端环境) | Pass@1 | 52.86% | Mini-SWE (34.29%) | +18.57个百分点(相对提升54.1%) |
| SWE-Bench-Verified(软件工程) | Pass@1 | 82.00% | Mini-SWE (56.00%) | +26.00个百分点(相对提升46.4%) |
| GAIA(成本优化) | 平均成本 | $0.57 | $0.70(原始混合模型) | 成本降低18.5%,准确率提升3.03个百分点 |
局限与改进
尽管AOrchestra取得了显著成果,但仍存在一些局限性。首先,系统的性能高度依赖编排器的能力:当使用较弱的Qwen3-8B作为编排器时,GAIA准确率从80.00%下降到56.97%,这表明编排质量是系统性能的瓶颈。其次,成本-性能权衡仍需优化:虽然上下文学习能够降低成本,但监督微调反而增加了成本(从0.36美元增加到0.68美元),这可能是因为微调后的模型倾向于进行更多尝试。第三,系统在Terminal-Bench上的改进相对较小(52.86% vs 最佳基线34.29%),这可能是因为终端环境任务需要更精细的状态管理和错误恢复机制。此外,论文未充分讨论系统在真实生产环境中的可扩展性和延迟问题,特别是当子智能体数量增加时编排器的决策开销。
独立分析的弱点
从独立分析的角度看,AOrchestra存在几个值得关注的弱点。首先,四元组抽象虽然灵活,但缺乏对子智能体间依赖关系的显式建模:在需要多个子智能体协作的复杂任务中,编排器只能通过顺序委托来处理依赖,这可能导致效率低下。例如,在软件工程任务中,代码修改和测试验证可能需要并行或迭代进行。其次,编排器的学习过程需要大量高质量的轨迹数据,论文中使用TaskCraft作为种子数据集并通过Gemini-3-Flash收集2000条轨迹,这种数据收集方式可能难以扩展到新的任务领域。第三,系统的错误恢复机制依赖编排器的反思能力,但未提供形式化的保证,在关键任务场景中可能不够可靠。
未来方向
基于AOrchestra的成果,未来研究可以在以下几个方向展开。首先,可以探索更复杂的编排拓扑,如允许子智能体之间直接通信或形成层次化结构,以处理具有复杂依赖关系的任务。其次,可以研究编排策略的迁移学习,将在一个任务领域学到的编排经验应用到新领域,减少数据收集成本。第三,可以引入更精细的成本控制机制,如实时监控子智能体的资源消耗并动态调整模型选择。第四,可以探索编排器与子智能体的联合优化,而不是当前的两阶段优化方式,以实现端到端的性能提升。最后,可以研究如何将人类反馈整合到编排策略学习中,以提高系统在真实应用场景中的可用性。
复现评估
AOrchestra在可复现性方面表现良好。论文提供了完整的代码实现(GitHub仓库:FoundationAgents/AOrchestra),包括所有提示词模板和实验配置。数据集方面,GAIA、Terminal-Bench和SWE-Bench都是公开可用的基准测试,但论文中Terminal-Bench和SWE-Bench的评估分别使用了70和100个样本的子集,这可能影响结果的统计显著性。算力需求方面,系统使用Gemini-3-Flash等商业API,成本相对可控(GAIA任务平均成本0.79美元),但完整的基准测试评估可能需要数百美元。复现难度中等,主要挑战在于正确配置各个基准测试的沙箱环境和API密钥。论文还提供了详细的超参数设置和基线实现细节,有助于研究者进行公平比较。
论文图表