AgencyBench：在百万token真实场景中基准测试自主代理的前沿能力 AgencyBench: Benchmarking the Frontiers of Autonomous Agents in 1M-Token Real-World Contexts
AgencyBench评估代理在百万token真实场景中的长时间跨度能力。
前置知识
自主代理（Autonomous Agents）
基于大语言模型的智能系统，能够通过工具调用与外部环境交互，自主完成复杂任务。它们通常包含规划模块、推理引擎和执行循环，通过观察环境状态、制定行动计划、调用工具并处理反馈来逐步完成任务。在AgencyBench中，代理需要管理文件系统、执行命令、搜索网络等，平均每个场景需要90次工具调用和100万token的交互。
理解自主代理的概念是评估其能力的基础，AgencyBench正是测试这些代理在长时间跨度任务中的自主性、规划能力和错误恢复能力。
长时间跨度任务（Long-horizon Tasks）
需要多个步骤、多次交互才能完成的任务，通常需要维持上下文和长期规划。这类任务的特点是：执行时间长（小时级别）、交互轮次多（平均90次工具调用）、token消耗大（平均100万token），且任务之间存在依赖关系，前一步的结果会影响后续步骤。
AgencyBench专注于长时间跨度任务，这区别于现有基准测试的短任务设置，能够更真实地评估代理在实际应用中的表现，因为现实世界的任务往往需要长时间的迭代和交互。
代理框架（Agentic Scaffolds）
将大语言模型与工具、记忆和规划机制集成的系统架构，使模型能够作为代理运行。框架提供工具接口（如文件操作、命令执行、网络搜索）、上下文管理、错误处理等基础设施。不同框架有不同的设计哲学，例如Claude-Agent-SDK、OpenAI-Agents-SDK和自定义框架。
论文发现代理框架对性能有显著影响，模型在原生生态系统中表现更好，这揭示了代理性能不仅取决于模型本身，还取决于模型与框架的匹配程度。
工具使用（Tool Use）
代理调用外部工具来扩展其能力的技术。在AgencyBench中，工具包括文件操作（读写文件、目录列表）、命令执行（运行shell命令）、网络搜索、记忆管理等。工具使用是代理完成现实任务的核心能力，代理需要决定何时、如何使用工具来解决问题。
AgencyBench评估了代理的工具使用能力，发现不同模型有不同的工具使用偏好和效率，这是代理能力差异的重要体现。
用户模拟代理（User Simulation Agent）
模拟用户反馈的代理，用于自动化评估过程。当任务执行代理的输出不符合评估标准时，用户模拟代理会提供具体的失败原因和改进建议，使代理能够进行迭代改进。在AgencyBench中，用户模拟代理基于Claude-4-Sonnet实现，温度设置为0.0，经过人类验证得分4.69分（满分5分）。
用户模拟代理解决了现有基准测试依赖人类反馈的瓶颈问题，使大规模自动化评估成为可能，同时保持了反馈的质量和一致性。
研究动机
现有代理基准测试存在两个主要问题：第一，缺乏长时间跨度任务，大多数基准测试关注短任务（如SWE-bench的15个工具调用），无法评估代理在真实世界中的长期规划和上下文保持能力。第二，依赖人类反馈进行评估，这限制了评估的自动化和规模化。例如，GAIA基准测试需要人类提供反馈，Toolathlon需要22.5轮平均交互，这些设置无法支持大规模自动化评估。此外，现有基准测试通常聚焦于单一能力（如工具使用或软件工程），无法全面评估代理的多维度能力。
本文的目标是AgencyBench旨在创建一个全面、真实、可自动化的代理基准测试，具体目标包括：1) 构建包含138个任务、32个真实场景的评估集，覆盖6种核心代理能力；2) 任务设计要求平均90次工具调用、100万token和数小时执行时间，模拟真实世界的长时间跨度任务；3) 开发完全自动化的评估框架，包括用户模拟代理和Docker沙箱，无需人类干预；4) 评估前沿模型的性能，量化闭源和开源模型之间的差距，并分析行为模式。
与已有工作不同的是，AgencyBench的独特切入点在于：它不仅关注任务完成度，还关注代理的资源效率、反馈驱动的自我纠正能力和工具使用偏好。论文发现，即使是最先进的模型在长时间跨度任务中仍面临挑战，平均得分仅48.4%（闭源）和32.1%（开源）。此外，论文揭示了代理性能不仅取决于模型本身，还取决于模型与框架的匹配程度，这为代理系统设计提供了新视角。通过分析工具使用模式，论文发现不同模型有独特的“认知风格”，如GPT-5.2偏好shell命令（43.5%），Gemini-3-Pro使用记忆工具（6.9%），这些差异反映了模型架构和训练目标的深层影响。
核心方法
AgencyBench的方法可以类比为一个完整的“代理能力实验室”：首先，通过人类专家设计真实场景和任务，构建评估标准；然后，在隔离的工作空间中让代理执行任务，通过用户模拟代理提供迭代反馈；最后，将任务交付物同步到Docker沙箱进行可视化评估，并使用规则或LLM进行评分。整个流程实现了从任务设计到评估的完全自动化，无需人类干预。技术路线包括：1) 层次化设计（能力-场景-任务三级结构）；2) 隔离的工作空间和评估空间；3) 用户模拟代理提供反馈；4) Docker沙箱进行可视化验证；5) 规则和LLM混合评估机制。
AgencyBench的核心创新在于解决了“长时间跨度任务”和“自动化评估”两大挑战。与现有基准测试（如SWE-bench的短任务）不同，AgencyBench设计了需要数小时、百万token的真实任务，每个场景包含多个递进式任务，模拟真实世界的工作流程。更重要的是，它通过用户模拟代理和Docker沙箱实现了完全自动化评估，无需人类反馈。用户模拟代理能够分析失败原因并提供具体改进建议，使代理能够进行自我纠正。Docker沙箱模拟人机交互（如UI渲染、鼠标点击），生成可视化评估产物。这种设计使得大规模、可重复的评估成为可能，同时保持了评估的准确性和一致性（人类验证得分4.69/5，Kappa系数0.93）。
方法步骤详情
方法分为四个主要步骤：1) 数据收集：20名人类专家（AI研究者、从业者、软件工程师）设计32个真实场景和138个任务，每个任务包含查询（Query）、交付物（Deliverables）和评分标准（Rubrics）。专家还开发可执行的评估脚本，经过4名专家审核，确保100%共识。2) 任务执行：在隔离工作空间中，代理通过工具套件与环境交互，生成交付物。用户模拟代理监控执行过程，当任务未达评分标准时提供反馈（最多K轮）。3) 可视化验证：交付物同步到Docker沙箱，模拟人机操作（如UI渲染、鼠标点击），生成截图和录屏等可视化产物。4) 自动评估：在评估空间中，使用规则或LLM进行评分。规则评估用于客观任务（如工具执行、数学优化），LLM评估用于主观任务（如游戏美学、前端布局）。对于需要视觉交付物的任务，使用文本和视觉LLM分别评估，取平均分。
技术新颖性
AgencyBench的技术新颖性体现在多个方面：首先，它是第一个专注于长时间跨度（平均百万token、90次工具调用）的代理基准测试，这比现有基准测试（如Toolathlon的26.8轮、GAIA的22.5轮）高出一个数量级。其次，它实现了完全自动化评估，通过用户模拟代理（基于Claude-4-Sonnet）提供迭代反馈，避免了人类瓶颈。第三，它采用混合评估机制，结合规则评估和LLM评估，确保评估的准确性和可扩展性。第四，它揭示了代理性能与框架匹配度的关联，发现模型在原生生态系统中表现更好（如Claude-4.5-Opus在Claude-Agent-SDK中提升20.5%）。最后，它通过工具使用模式分析揭示了不同模型的“认知风格”，如GPT-5.2偏好shell命令（43.5%），Gemini-3-Pro使用记忆工具（6.9%），这为模型设计和优化提供了新见解。
实验结果
AgencyBench的实验揭示了多个重要发现：闭源模型显著优于开源模型（平均48.4% vs 32.1%），GPT-5.2得分56.5%，GLM-4.6得分38.6%，差距达17.9个百分点。资源效率差异显著：GPT-5.2消耗3.4M token和89轮交互，Grok-4.1-Fast仅需1.2M token和0.3小时。反馈驱动的自我纠正能力差异巨大：GPT-5.2在反馈后提升88.9%，而DeepSeek-V3.2提升为0%。代理框架影响显著：Claude-4.5-Opus在Claude-Agent-SDK中提升20.5%，表明模型在原生生态系统中表现更好。工具使用模式反映模型“认知风格”：Claude-4.5-Opus和GPT-5.2偏好shell执行（45.5%和43.5%），Gemini-3-Pro使用记忆工具（6.9%），Qwen-3-235B-A22B-Thinking依赖文件操作（77.6%）。平均尝试次数显示代理自主性：GPT-5.2和Gemini-3-Pro需要最少尝试（1.46），而Qwen-3-235B-A22B-Thinking需要最多（1.79）。能力分布不均：Gemini-3-Pro在游戏（60.7%）和前端（81.0%）领先，GPT-5.2在后端和代码方面优秀，Claude-4.5-Sonnet在研究（71.4%）最高。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 整体平均得分 | SAvg (%) | GPT-5.2: 56.5%, Claude-4.5-Opus: 47.7%, Gemini-3-Pro: 46.9%, Claude-4.5-Sonnet: 46.4%, Grok-4.1-Fast: 44.3% | 闭源模型平均48.4%，开源模型平均32.1% | 闭源模型比开源模型高16.3个百分点 |
| 资源效率 | Attempt Efficiency (%) | GPT-5.2: 38.7%, Grok-4.1-Fast: 37.2%, Gemini-3-Pro: 32.1% | Claude-4.5-Sonnet: 11.4% | GPT-5.2比Claude-4.5-Sonnet高27.3个百分点 |
| 反馈自我纠正 | Rise (%) | GPT-5.2: 88.9%, Kimi-K2-Thinking: 300.0%, Claude-4.5-Sonnet: 85.7% | DeepSeek-V3.2: 0.0% | GPT-5.2比DeepSeek-V3.2高88.9个百分点 |
| 代理框架影响 | SAvg提升 (%) | Claude-4.5-Opus在Claude-Agent-SDK中: +20.5%, GLM-4.6在Claude-Agent-SDK中: +10.6% | 使用通用框架 | Claude-4.5-Opus提升20.5个百分点 |
| 平均尝试次数 | Att | GPT-5.2: 1.46, Gemini-3-Pro: 1.46, Claude-4.5-Opus: 1.54 | Qwen-3-235B-A22B-Thinking: 1.79 | GPT-5.2比Qwen-3-235B-A22B-Thinking少0.33轮 |
局限与改进
论文的局限性包括：1) 模型选择覆盖范围有限，由于计算资源和预算限制，无法评估所有新兴模型变体和中间检查点，实验结果仅反映当前状态。2) 领域特异性，基准测试专注于数字环境中的高复杂度任务（游戏开发、软件工程、网络研究等），不涵盖需要物理世界交互的具身代理（如机器人）。3) 评估成本高，尽管实现了自动化，但大规模评估仍需要显著的计算资源（平均百万token、数小时执行时间）。4) 用户模拟代理的局限性，虽然经过验证（得分4.69/5），但仍可能无法完全模拟真实用户的复杂反馈。5) 任务设计的偏向性，游戏开发任务占比最大（36.2%），可能对某些模型类型更有利。6) 评估标准的客观性，尽管使用了规则和LLM评估，但某些主观任务（如UI美学）的评估仍存在主观性。
独立分析的弱点
基于论文分析，我识别出以下弱点：1) 资源效率不平衡：GPT-5.2虽然得分最高（56.5%），但消耗3.4M token和89轮交互，而Grok-4.1-Fast仅需1.2M token和0.3小时，表明高分模型可能过度使用资源。改进方向：开发更智能的规划算法，减少不必要的工具调用和token消耗。2) 反馈依赖问题：某些模型（如DeepSeek-V3.2）在反馈后提升为0%，表明它们无法从错误中学习。改进方向：加强模型的自我反思和错误纠正能力训练。3) 框架敏感性：模型性能高度依赖代理框架，Claude-4.5-Opus在Claude-Agent-SDK中提升20.5%，表明模型与框架的耦合度过高。改进方向：开发更通用的代理框架，减少对特定生态系统的依赖。4) 能力分布不均：某些模型在特定领域表现突出（如Gemini-3-Pro在游戏和前端），但在其他领域表现较差。改进方向：通过多任务训练提高模型的通用能力。5) 评估成本高昂：尽管实现了自动化，但大规模评估仍需要显著计算资源。改进方向：开发更高效的评估方法，如抽样评估或分层评估。
未来方向
基于论文成果，未来研究方向包括：1) 开发更高效的代理架构，减少token消耗和交互轮次，同时保持性能。2) 研究代理的长期记忆和上下文管理机制，提高长时间跨度任务的性能。3) 探索代理与框架的协同优化，开发自适应代理框架，根据任务特性动态调整策略。4) 扩展基准测试到更多领域，如科学发现、创意写作、多模态任务等。5) 研究代理的自我改进能力，使代理能够从任务执行中学习并优化自身行为。6) 开发更可靠的评估方法，减少对LLM评估的依赖，提高评估的一致性和可重复性。7) 研究代理的安全性和对齐问题，确保代理行为符合人类价值观和预期。
复现评估
论文在可复现性方面表现良好：1) 完全开源，提供了完整的基准测试和评估工具包（GitHub链接）。2) 详细的方法描述，包括数据收集过程、评估脚本、用户模拟代理的提示词等。3) 可重复的实验设置，所有模型通过OpenRouter API访问，温度设置为0.7，评估使用相同的工具套件。4) 环境隔离，每个任务在独立的工作空间中执行，确保可重复性。5) 评估验证，人类验证得分4.69/5，Kappa系数0.93，证明评估的可靠性。复现难度中等，需要：1) 计算资源：平均每个场景需要1M token和数小时执行时间，完整评估需要显著计算资源。2) API访问：需要OpenRouter API访问多个模型。3) Docker环境：需要设置Docker沙箱进行可视化评估。4) 专业知识：需要理解代理系统和评估方法。总体而言，论文提供了足够的细节和工具支持复现，但需要一定的技术资源和专业知识。
论文图表