通过策略拍卖扩展小型智能体

提出基于拍卖的多智能体路由框架SALE，让小型智能体竞标任务，实现成本降低35%且性能超越最大智能体

前置知识

智能体（Agent）

在本文语境中，智能体指的是配备了工具使用能力的语言模型系统。与普通聊天模型不同，智能体能够执行多步骤任务：调用搜索工具获取信息、运行代码、检查文件等。智能体的执行轨迹（trace）可能跨越数万到数百万个token，涉及复杂的推理和规划过程。本文研究的智能体基于Qwen3系列模型（4B到32B参数），在Agent Research Environment（ARE）平台上运行。

理解智能体的概念是理解本文核心问题的基础——不同大小的智能体在处理不同复杂度任务时表现差异巨大，如何高效分配任务是本文要解决的关键问题。

任务复杂度 τ(t)

本文采用人类解题时间作为任务复杂度的代理指标。具体来说，τ(t)定义为专业标注员完成任务t所需的平均时间（分钟）。标注员是计算机科学或相关领域的毕业生，只能使用允许的工具（如搜索引擎或IDE），不能使用语言模型。标注采用三人独立标注，Krippendorff's α = 0.86，表明标注一致性良好。任务按τ(t)分为5个区间：≤0.1分钟（≤6秒）、≤0.5分钟、≤2.5分钟、≤12.5分钟、≤60分钟。

任务复杂度是本文分析的核心变量，所有实验结果都按此维度分层展示。理解这个指标有助于理解为什么小型智能体在简单任务上表现好但在复杂任务上表现差。

Pass@1

衡量智能体在单次尝试中给出正确答案的概率。在本文中，使用LLM-as-a-judge（GPT-4o）来评估答案正确性：搜索任务直接与标准答案匹配，编码任务则进行功能等价性判断。Pass@1是评估智能体性能的主要指标，数值越高表示智能体越可靠。

这是本文衡量智能体性能和拍卖效果的核心指标，所有实验对比都基于Pass@1。理解这个指标才能理解SALE带来的性能提升幅度。

拍卖机制（Auction Mechanism）

一种经济机制，多个参与者（智能体）对某个物品（任务）进行竞标，由拍卖规则决定胜者。在SALE中，每个智能体提交一个战略性计划作为'出价'，系统通过成本-价值评分函数选择最优智能体。这借鉴了自由职业者市场的概念——工作者竞标项目，雇主根据价格和预期质量选择最合适的工作者。

SALE的核心创新就是将拍卖机制引入智能体路由，这是一种全新的多智能体协调方式，区别于传统的预测性路由器或非预测性路由器。

Shapley值

合作博弈论中的一个概念，用于衡量每个参与者对联盟整体价值的边际贡献。计算方式是考虑所有可能的联盟组合，计算某个参与者加入前后的价值差异，然后取加权平均。在本文中，Shapley值用于量化每个智能体对整个SALE系统的贡献，包括直接贡献（被选中执行任务）和间接贡献（参与陪审团评分和记忆库）。

Shapley值分析揭示了一个有趣现象：即使小型智能体不常被选中执行任务，它们通过陪审团评分和记忆库对系统整体性能仍有重要贡献。

研究动机

当前对小型智能体的乐观态度主要基于简单任务上的表现——在这些任务上，4B参数的智能体可以达到32B智能体约90%的Pass@1性能。然而，这种乐观忽视了任务复杂度的影响。本文通过系统实验发现，当任务复杂度增加到人类需要60分钟才能解决的水平时，最便宜的智能体（4B）在深度搜索任务上仅能达到最贵智能体（32B）25%的Pass@1，在编码任务上更是只有17%。更糟糕的是，虽然人们可能期望更大的智能体通过更高效的执行（更短的轨迹）来'自我证明'其更高的每token成本，但实验表明这种模式仅在低复杂度任务上存在。在复杂任务上，更大智能体的token使用量与小智能体相当甚至更高，无法抵消其更高的每token成本。这意味着简单地为所有任务使用小型智能体会严重损害复杂任务的性能，而无脑使用最大智能体则会浪费大量资源在不需要其能力的简单任务上。

本文的目标是本文的目标是设计一个轻量级的路由机制，能够在测试时动态地将任务分配给最合适的智能体，实现三个具体目标：（1）匹配甚至超越最大智能体的Pass@1性能；（2）显著降低总体推理成本；（3）将工作负载从最大智能体转移到更小、更便宜的智能体上。具体而言，作者希望在深度搜索和编码任务上，将对最大智能体的依赖降低50%以上，同时将总体成本降低30%以上，且不牺牲甚至提升Pass@1性能。

与已有工作不同的是，现有的路由方法在智能体场景下存在根本性缺陷。非预测性路由（如FrugalGPT）需要运行多个模型到完成，对于可能跨越数百万token的智能体轨迹来说成本不可承受。预测性路由（如WTP、CARROT、TO-Router）需要训练单独的路由模型，这些模型本身成本高昂，无法很好地泛化到新模型，且随着任务难度增加而性能下降。更重要的是，现有路由器都是静态的——一旦训练完成，路由策略不会随测试时的反馈而改进。本文的独特视角是：智能体在执行任务前通常会生成战略性计划，这些计划包含了任务分解策略、工具选择、预期挑战等信息，但这些信息从未被用于路由决策。SALE抓住了这个被忽视的点，将战略计划作为拍卖中的'出价'，利用计划质量与执行质量之间的相关性来做出路由决策。

核心方法

SALE的核心思想可以用自由职业者市场的类比来理解：想象一个项目发布到自由职业平台，多个工作者提交他们的执行方案（竞标），雇主根据方案质量和报价选择最合适的工作者。在SALE中，每个'工作者'是一个不同大小的语言模型智能体，'项目'是要解决的任务，'执行方案'是智能体生成的战略计划。技术路线如下：给定一个任务，每个候选智能体生成一个战略性计划作为竞标；系统通过成本-价值评分函数评估每个竞标，选择成本-价值权衡最优的智能体；被选中的智能体使用其计划执行任务。关键创新在于引入了'拍卖记忆'机制：所有竞标（包括胜者和败者的）都被存储，比当前胜者更便宜的智能体可以检索类似任务的历史成功和失败案例，生成改进后的竞标，如果改进后的竞标更优则可以翻转初始选择。这使得小型智能体能够随时间'升级'，逐步承担更多工作。

SALE与已有方法最本质的区别在于它使用'战略性计划'作为路由信号，而非任务描述。传统路由器（如WTP、CARROT、TO-Router）基于任务文本描述预测哪个模型表现最好，但智能体场景中任务输入与最终成功之间的映射是间接的、由长轨迹中介的，导致基于描述的路由失效。SALE的洞察是：智能体的计划虽然只有几百个token，但已经编码了足够的任务相关信息来预测执行质量——这有大量实证支持（计划质量与执行成功率相关）。更关键的是，SALE不是一次性的路由器，而是通过拍卖记忆实现了持续自我改进。廉价智能体可以从过去拍卖的反馈中学习，逐步改进其计划质量，这类似于自由职业者通过积累经验获得更多工作机会。这种将路由与测试时自我改进耦合的机制是SALE独有的创新。

方法步骤详情

SALE的工作流程包含5个步骤。步骤1：初始竞标。每个智能体 $a_i \in A$ 生成初始战略计划 $s_{t,i}$，系统计算每个智能体的成本 $C_{t,i} = w_c \cdot \pi(a_i) \cdot |s_{t,i}|$（其中 $\pi(a_i)$ 是每百万token价格，$|s_{t,i}|$ 是计划长度）和价值 $V_{t,i} = w_h \cdot H(s_{t,i}) + \sum_{a_j \in A} w_j \cdot \gamma_j(s_{t,i})$（其中 $H(s_{t,i})$ 是归一化熵，$\gamma_j(s_{t,i})$ 是陪审团评分），选择成本-价值差最小的作为临时胜者 $\hat{i}(t) = \arg\min_i (C_{t,i} - V_{t,i})$。步骤2：共享记忆检索。比临时胜者便宜的智能体从拍卖记忆库 $M$ 中检索与当前任务最相似的 $k=8$ 个历史任务的竞标对（包含一个失败和一个成功的竞标）。步骤3：对比提示。使用对比提示模板，将检索到的成功/失败案例格式化，指导智能体学习什么使计划成功或失败。步骤4：重新分配。每个符合条件的智能体生成改进后的竞标 $s_{t,i}^r$，如果任何改进竞标的成本-价值差优于临时胜者，则选择最优改进竞标；否则保留临时胜者。步骤5：执行。被选中的智能体 $a_{i^*(t)}$ 使用其胜出计划执行任务。

技术新颖性

SALE的技术新颖性体现在三个维度。首先，在路由信号方面：传统路由器依赖任务文本描述进行预测，需要训练专门的编码器模型；SALE使用智能体自身生成的战略计划作为路由信号，无需额外训练路由模型，直接适用于现成的智能体。计划长度、熵和陪审团评分这三个信号的组合提供了丰富而廉价的路由信息。其次，在路由与自我改进的耦合方面：现有路由器是静态的，一旦训练完成就不会随经验改进；SALE通过拍卖记忆实现了动态路由，廉价智能体可以从历史反馈中学习，逐步提升竞争力，这是一种'系统级的扩展'而非'模型级的扩展'。第三，在优化目标方面：SALE采用min-max优化 $C_{t,i} - V_{t,i}$，同时考虑成本和价值，避免了需要手动设置阈值的约束优化或需要选择归一化统计量的标准化方法。这种无约束公式通过学习的权重隐式地编码了成本-价值的正确权衡。

实验结果

本文在HST-Bench（753个任务）上进行了全面实验，涵盖深度搜索和编码两个领域、5个复杂度区间。核心发现如下：在深度搜索任务上，SALE的总体Pass@1达到67.3%，超越最佳单智能体（63.8%）3.5个百分点，同时将每百万token成本从0.36美元降至0.21美元（降低42%）。在编码任务上，SALE达到61.1%的Pass@1，超越最佳单智能体（58.4%）2.7个百分点，成本从0.36美元降至0.27美元（降低25%）。分复杂度看，SALE在所有区间都表现优异：在最简单的任务（τ(t) ≤ 0.1）上，深度搜索达到91.3%（超越32B的87.5%），成本仅0.22美元；在最复杂的任务（τ(t) ≤ 60）上，深度搜索达到16.3%（超越32B的12.5%），成本0.23美元。与现有路由器对比，WTP在编码任务上虽能降低成本但严重牺牲性能（高复杂度时仅6.3% vs 最佳单智能体22.8%）；CARROT在深度搜索上降低22%成本但性能略低于最佳单智能体；TO-Router倾向于默认选择最强智能体，成本和性能都接近基线；FrugalGPT在复杂任务上性能急剧下降且成本反而增加（编码任务0.61美元 vs 0.36美元）。SALE是唯一能在所有条件下同时提升Pass@1并降低成本的方法。拍卖机制的开销可忽略不计：平均每任务仅增加669-1042个token，占总token消耗不到1%，墙钟时间增加约3.59秒，占总执行时间约1%。

**Table 1**: 深度搜索和编码性能（Pass@1）及每百万token成本的详细对比

查看结构化数据

任务	指标	本文	基线	提升
深度搜索（全部复杂度）	Pass@1	67.3%	63.8%（最佳单智能体32B）	+3.5个百分点
深度搜索（全部复杂度）	成本 $/Mt	0.21	0.36（最佳单智能体32B）	-42%
编码（全部复杂度）	Pass@1	61.1%	58.4%（最佳单智能体32B）	+2.7个百分点
编码（全部复杂度）	成本 $/Mt	0.27	0.36（最佳单智能体32B）	-25%
深度搜索（τ ≤ 0.1）	Pass@1	91.3%	87.5%（32B）	+3.8个百分点，成本-39%
编码（τ ≤ 60）	Pass@1	26.1%	22.8%（32B）	+3.3个百分点，成本-19%

局限与改进

作者坦诚地指出了几个局限性。首先，研究仅涵盖深度搜索和编码两个领域，虽然这两个领域代表了典型的智能体工作负载，但不能涵盖所有应用场景（如数据分析、长篇报告写作等）。其次，实验仅使用Qwen3系列模型（4B-32B），选择单一模型家族是为了隔离规模效应与架构差异的影响，但这也限制了发现的泛化性。不过作者提供了跨家族泛化的初步证据（附录M），在Gemma 3和混合Llama/Ministral池上也观察到类似的趋势。第三，拍卖记忆库随任务数量线性增长，虽然消融实验表明即使激进裁剪记忆也能保持效果（10-25条记录就足够），但尚未研究更大规模、跨模型版本升级或任务分布漂移下的检索效果。第四，成本计算仅考虑语言模型token，未显式定价工具调用，虽然在作者的设置中token成本占主导，但在工具成本不可忽略的部署场景中需要扩展。此外，我观察到SALE在高复杂度任务上的绝对性能仍然较低（深度搜索τ ≤ 60时仅16.3%，编码τ ≤ 60时仅26.1%），与Oracle路由器（25%和34.2%）相比仍有较大差距，这表明路由机制本身无法完全弥补小型智能体在复杂任务上的根本性能力不足。

独立分析的弱点

基于独立分析，我识别出SALE的几个弱点及改进方向。第一，过度保守路由问题：错误分析显示，SALE在低复杂度任务上存在显著的过度升级（over-escalation）——当SALE选择14B或32B智能体时，65.1%（深度搜索）和55.2%（编码）的情况本可以由4B智能体处理。这表明系统识别简单任务的能力已经具备（选择4B时的正确率高达54-70%），但触发这种路由过于保守。改进方向可以是引入自适应阈值机制，根据近期路由成功率动态调整升级策略。第二，记忆利用效率：虽然记忆机制有效，但当前的检索仅基于文本嵌入的余弦相似度，可能无法捕捉任务结构层面的相似性。可以探索更精细的检索策略，如基于任务分解模式或工具使用模式的相似度。第三，Shapley值分析揭示4B智能体的贡献主要来自间接参与（陪审团和记忆），而非直接执行——这意味着系统可能低估了小型智能体的直接执行潜力。可以设计鼓励更多直接执行尝试的机制。第四，跨家族泛化实验显示MILP权重在不同模型家族间需要重新学习，限制了即插即用能力。

未来方向

作者和本文成果共同指向几个有前景的研究方向。首先，扩展到更多任务领域（如数据分析、多模态任务、长篇写作）是自然的下一步，以验证SALE的泛化能力。其次，将SALE与更大规模的模型（70B+）结合，探索在更极端的成本差异下拍卖机制的行为。第三，改进拍卖机制本身：当前的成本函数可以扩展以包含工具延迟、内存使用等维度；陪审团可以引入专门的评估智能体而非仅使用候选池中的智能体。第四，研究记忆的长期维护：跨模型版本升级时如何迁移或更新记忆，任务分布漂移时如何淘汰过时记录。第五，将SALE与其他测试时优化技术（如思维链、自我纠正）结合，可能产生协同效应。第六，探索更复杂的拍卖形式，如多轮拍卖或允许智能体组合执行同一任务。最后，SALE提出的'系统级扩展'视角——通过协调机制而非更大模型来提升能力——可以启发更多受经济学和市场机制启发的智能体协调方法。

复现评估

SALE具有良好的可复现性。代码和基准测试已开源（https://github.com/facebookresearch/hst-bench）。实验使用开源的Qwen3模型系列，通过公开的推理API定价进行成本计算。所有实验在标准化的Agent Research Environment（ARE）平台上进行，该平台也是开源的。拍卖机制本身实现简单：仅需实现战略计划生成、成本-价值计算、min-max权重优化和记忆检索，无需复杂的深度学习训练。权重优化使用开源的PuLP库和CBC求解器。主要的算力需求来自运行智能体轨迹：每个任务可能消耗数万到数百万token，完整评估753个任务需要大量GPU小时（作者使用A100和H100集群）。不过，拍卖阶段本身的开销很小（每任务<4秒墙钟时间），可以与智能体执行分离。对于资源有限的研究者，可以从较小的任务子集开始验证，作者提供了100任务子集的消融实验作为参考。

通过策略拍卖扩展小型智能体 Scaling Small Agents Through Strategy Auctions