← 返回 2026-04-14

CocoaBench：在真实环境中评估统一数字智能体 CocoaBench: Evaluating Unified Digital Agents in the Wild

CocoaBench Team, Shibo Hao, Zhining Zhang, Zhiqi Liang, Tianyang Liu, Yuheng Zha, Qiyue Gao, Jixuan Chen, Zilong Wang, Zhoujun Cheng, Haoxiang Zhang, Junli Wang, Hexi Jin, Boyuan Zheng, Kun Zhou, Yu Wang, Feng Yao, Licheng Liu, Yijiang Li, Zhifei Li, Zhengtao Han, Pracha Promthaw, Tommaso Cerruti, Xiaohan Fu, Ziqiao Ma, Jingbo Shang, Lianhui Qin, Julian McAuley, Eric P. Xing, Zhengzhong Liu, Rupesh Kumar Srivastava, Zhiting Hu 📅 2026-04-13 👍 37 2026-07-13 08:36
Agent评估 基准测试 多模态智能体 工具使用
arXiv HuggingFace PDF

评估统一数字智能体在复杂任务中组合视觉、搜索和编码能力的基准测试

前置知识

统一数字智能体

统一数字智能体是指能够集成多种核心能力（如视觉、搜索、编码）的单一智能体系统，它可以在不同数字环境中执行复杂任务，而不是局限于单一交互模式或特定领域。例如，一个统一智能体可以同时处理代码编写、网页浏览和图形界面操作等任务。

本文的核心就是评估统一数字智能体的能力，理解这个概念有助于把握论文的研究目标和应用场景。

ReAct框架

ReAct（Reasoning + Acting）是一种智能体推理框架，它让模型在执行行动之前先进行推理，然后根据观察结果进行下一步行动。这个框架通过交替进行推理和行动，使智能体能够更有效地解决多步骤任务。

本文的COCOA-AGENT采用了ReAct框架，理解这个机制有助于理解实验设置和工具使用方式。

工具使用

工具使用是指大语言模型调用外部工具（如浏览器、终端、代码执行器等）来扩展其能力。模型需要学会在合适的时机选择合适的工具，并正确处理工具的输出结果。

本文的主要发现之一就是工具使用模式与性能的关系，理解这个概念有助于把握论文的关键洞察。

视觉定位

视觉定位是指智能体理解视觉内容（如截图、图片）并将其与特定任务目标关联的能力。这包括识别界面元素、读取文本信息、理解图像内容等。

错误分析显示视觉定位是智能体失败的主要原因之一（53%），理解这个概念有助于理解当前智能体的局限性。

研究动机

现有智能体评估基准存在明显的局限性。大多数评估仍然孤立地测试各种能力，例如OSWorld主要评估GUI自动化，SWE-bench Pro专注于软件工程，BrowseComp针对网络搜索，这些基准都只覆盖单一交互模式或特定领域。然而，现实世界中的复杂任务往往需要智能体灵活组合多种能力。例如，一个在线购物任务可能需要：识别商品图片（视觉）、搜索比价信息（搜索）、计算总价（编码）。现有基准无法系统性地评估这种跨能力的统一智能体表现，导致评估结果与实际应用需求之间存在显著差距。此外，一些基准如GDPval虽然覆盖多领域，但依赖人工评估，成本高昂且难以规模化。

本文的目标是本文旨在创建一个能够评估统一数字智能体在复杂数字任务中组合能力的基准测试。具体目标包括：(1)设计需要整合视觉、搜索和编码等多种核心能力的任务；(2)提供与具体智能体基础设施无关的评估框架，使不同系统可以公平比较；(3)开发可靠的自动化评估方法，避免依赖LLM评判或人工评估；(4)提供一个轻量级、可复现的统一智能体框架（COCOA-AGENT），用于控制实验条件并进行模型间比较；(5)通过系统实验揭示当前智能体系统的能力边界和改进方向。

与已有工作不同的是，本文的独特切入角度在于创建一个与具体运行时、接口或工具生态系统解耦的评估框架。与OSWorld等需要特定环境设置的基准不同，COCOABENCH的每个任务仅由指令和评估函数定义，使智能体必须在开放世界环境中自主推理需要使用哪些工具。这种设计不仅使基准兼容多样化的智能体基础设施，更重要的是测试了智能体在不受预定义工具集限制的情况下的工具选择和组合能力。另一个创新点是使用基于结果的代理评估器来验证以行动为中心的任务，既保留了开放式工作流程的现实性，又保持了评估的可重现性和可扩展性。

核心方法

COCOABENCH的整体设计思路是创建一个最小化约束的评估框架，通过人类设计的长视野任务来测试统一数字智能体的核心能力组合。每个任务只需要一个自然语言指令和一个评估智能体最终输出的函数，这种设计使得基准不受特定智能体基础设施的限制。为了确保评估的可靠性而不牺牲任务的复杂性，研究者为每个任务配备了评估脚本，避免了依赖LLM评判或人工评估的主观性。对于正确性依赖于多步交互的行动型任务，设计了基于结果的代理评估器，这些评估器的成功强烈暗示了正确的执行过程。这种从过程到结果的转换既保留了开放式工作流程，又保持了评估的可重现性和可扩展性。

核心创新点在于创建一个与特定运行时或工具生态系统解耦的评估框架，通过最小化的任务定义（指令+评估函数）使智能体必须在开放世界环境中自主推理工具使用，而不是在预定义的应用程序中操作。另一个关键创新是代理评估器的设计，它将复杂的多步交互验证转换为对最终结果的自动检查，既保持了任务的现实性，又实现了可扩展的自动化评估。此外，COCOA-AGENT作为一个轻量级的共享脚手架，集成了AIO Sandbox提供的浏览器、shell、文件系统和代码执行等通用工具，使得可以在一致的环境下比较不同模型的表现。

方法步骤详情

COCOABENCH的构建过程包含以下步骤：(1)任务场景识别，首先识别智能体预期提供帮助的实际场景，覆盖研究、娱乐、购物、商业和日常任务等领域；(2)任务实例化，对每个场景创建3到5个具体任务，形成最终的COCOABENCH数据集；(3)任务设计遵循三个关键标准：每个任务需要整合多种能力，对真实场景下的人类具有非平凡挑战，对外部资源的依赖保持稳定；(4)评估函数开发，每个任务配备自己的评估函数，尽可能要求输出唯一结构化格式（如str、list或dict）；(5)对于需要与环境交互的任务，设计基于结果的代理评估器，使正确的结果不太可能在没有成功执行的情况下获得；(6)质量控制，所有任务、参考答案和评估函数在包含之前都经过严格的同行评审过程，确保指令无歧义、输出格式定义明确、参考答案正确；(7)试点实验，在基准的初始版本上对几个智能体进行试点实验，通过检查智能体日志识别重复出现的失败模式，区分智能体失败和设计问题；(8)迭代优化，通过试点实验的反馈改进任务设计，排除持续模糊的任务。

技术新颖性

技术新颖性主要体现在以下几个方面：(1)评估框架与基础设施解耦，与需要特定环境设置的OSWorld或固定工具生态的Tool Decathlon不同，COCOABENCH每个任务仅由指令和评估函数定义；(2)代理评估器设计，将复杂的多步交互验证转换为对最终结果的自动检查，实现了评估的自动化和可扩展性；(3)任务多样性，涵盖9个不同领域的153个人类设计任务，98%的任务需要多种能力组合；(4)工具使用分析，通过详细的工具调用统计揭示了编程在多步推理和结构化输出中的关键作用；(5)系统错误分类，将失败原因组织为推理与规划、工具与执行、视觉定位三类，为改进方向提供了清晰指引。

实验结果

实验结果揭示了当前统一数字智能体的性能瓶颈和关键洞察。在两个评估设置中（现有代理产品作为完整系统和COCOA-AGENT框架下），表现最好的智能体（Codex下的GPT-5.4）仅达到45.1%的成功率，而领先的开源模型Kimi-k2.5和Qwen3.5分别只有11.8%和9.8%。这表明当前智能体能力仍有显著改进空间。代理脚手架设计也扮演重要角色，以编码为导向的脚手架（如Codex和Claude Code）在超越其原始领域方面表现良好，在COCOABENCH上充当有效的任务解决器。工具使用分析显示，表现最好的模型将其更多的行动分配给代码执行，表明程序化处理是COCOABENCH任务所需的多步推理和结构化输出格式的有效策略。具体来说，GPT-5.4和Gemini 3.1 Pro将超过60%的工具调用分配给编码工具，而Kimi-k2.5和Qwen3.5-397B-A13B只分配约30%的工具调用给编码。错误分析显示，当前系统在统一数字代理的三个关键维度上仍然不可靠：推理和规划（28%）、工具交互和执行（19%）、视觉定位（53%）。

Comparison of representative agent benchmarks by application focus, infrastructure coupling, reward verifiability, and core capability coverage (V=Vision, S=Search, C=Coding).
Table 1: Comparison of representative agent benchmarks by application focus, infrastructure coupling, reward verifiability, and core capability coverage (V=Vision, S=Search, C=Coding).
Statistics of COCOABENCH. (a) Distribution of task domains, covering a wide range of everyday topics. (b) Distribution of resource types required by the tasks. Documents include .csv, .pdf, and .bibtex. (c) Human-annotated key capabilities required for each task, including Vision, Search, and Coding.
Figure 2: Statistics of COCOABENCH. (a) Distribution of task domains, covering a wide range of everyday topics. (b) Distribution of resource types required by the tasks. Documents include .csv, .pdf, and .bibtex. (c) Human-annotated key capabilities required for each task, including Vision, Search, and Coding.
Co-occurrence matrix of required capabilities (Vision, Search, and Coding).
Figure 3: Co-occurrence matrix of required capabilities (Vision, Search, and Coding).
Overall performance on COCOABENCH for representative agent systems and model backbones under the shared COCOA-AGENT scaffold.
Figure 4: Overall performance on COCOABENCH for representative agent systems and model backbones under the shared COCOA-AGENT scaffold.
Accuracy-cost (left) and accuracy–time (right) trade-offs across agents. Marker shapes denote agent/scaffold types and colors denote base models.
Figure 5: Accuracy-cost (left) and accuracy–time (right) trade-offs across agents. Marker shapes denote agent/scaffold types and colors denote base models.
Top 10 most frequently used tools, ranked by total call count.
Figure 6: Top 10 most frequently used tools, ranked by total call count.
Per-model distribution of tool calls across the three capability categories under COCOA-AGENT.
Figure 7: Per-model distribution of tool calls across the three capability categories under COCOA-AGENT.
Left: Error type distribution across all six models evaluated on COCOABENCH using the COCOA-AGENT framework (based on 712 failure trajectories). Right: Comparisons of error distributions between GPT-5.4 and Kimi K2.5.
Figure 8: Left: Error type distribution across all six models evaluated on COCOABENCH using the COCOA-AGENT framework (based on 712 failure trajectories). Right: Comparisons of error distributions between GPT-5.4 and Kimi K2.5.
查看结构化数据
任务指标本文基线提升
COCOABENCH整体任务 成功率 45.1% (Codex w/ GPT-5.4) 无统一基准 建立了首个统一数字智能体基准
COCOABENCH整体任务 成功率 34.0% (OpenClaw w/ Claude Sonnet 4.6) 无统一基准 Claude Sonnet 4.6在不同脚手架下表现不稳定
COCOABENCH整体任务 成功率 11.8% (Kimi-k2.5) 无统一基准 开源模型与闭源模型差距明显
COCOABENCH整体任务 成功率 9.8% (Qwen3.5-397B-A13B) 无统一基准 开源模型与闭源模型差距明显
COCOABENCH整体任务 平均成本 $0.75/任务 (Codex w/ GPT-5.4) $2.31/任务 (COCOA-AGENT w/ GPT-5.4) Codex在成本效率上最优
COCOABENCH整体任务 平均完成时间 380-3400秒/任务 N/A 建立了时间-性能权衡基线
工具使用分析 编码工具调用比例 64.0% (GPT-5.4) 26.4% (Kimi-k2.5) 编码工具使用与性能正相关
任务覆盖 任务数量 153个任务 OSWorld (369任务), SWE-bench Pro (约2000任务) 更强调多能力组合
能力覆盖 核心能力组合 98%任务需要多能力 大多数基准单能力为主 更真实反映复杂任务需求

局限与改进

作者承认的局限性包括：COCOABENCH的任务可能不涵盖所有可能的统一智能体应用场景，虽然覆盖了9个不同领域，但某些专业领域可能仍未充分代表。自动化评估可能无法捕捉所有细微的任务要求，特别是对于开放式或创造性任务，代理评估器可能不够全面。另外，研究者尽量保持外部资源的稳定性，但依赖互联网资源意味着某些任务可能因第三方内容变化而失效。我自己观察到的局限性是：COCOABENCH主要关注任务完成的成功率，而没有深入分析智能体的推理过程质量；测试的环境相对受控，可能无法完全反映真实世界中的复杂性和不可预测性；评估主要基于英文任务，可能不适用于其他语言环境；没有考虑智能体的安全性和伦理问题，这在真实应用中是重要因素。

独立分析的弱点

独立分析的弱点包括：(1)长期规划可靠性不足，当工具输出与预期不符时，智能体容易陷入重复的工具调用循环而无法恢复，特别是在Kimi-k2.5等较弱的模型上这个问题更加突出，改进方向可以引入更强大的错误检测和恢复机制，以及更明确的规划工具；(2)工具交互策略不够优化，不同模型在工具使用模式上差异很大，一些模型过度依赖视觉工具而低估编码的作用，改进方向可以引入工具使用的学习机制，让智能体更好地学习何时使用哪种工具；(3)视觉细节理解能力不足，特别是在处理界面元素和读取细微视觉信息时，改进方向可以增强视觉定位能力，或者提供更详细的界面描述；(4)输出格式跟踪不稳定，在长交互过程中容易忘记早期的指令要求，导致格式错误，改进方向可以引入更强的记忆机制和指令跟踪；(5)对反机器人屏障的处理能力不足，一些网站的反机器人措施可能阻碍智能体完成任务，改进方向可以开发更智能的绕过策略。

未来方向

作者提出的未来研究方向包括：基于COCOABENCH和COCOA-AGENT进行数据工程，收集智能体解决这些任务的轨迹数据，用于训练更好的统一数字智能体；探索基于强化学习的方法，利用COCOA-AGENT集成的沙箱环境进行强化学习训练；扩展任务覆盖范围，包括更多专业领域和更复杂的任务类型；改进评估方法，包括更精细的错误分类和更全面的性能指标。基于本文成果可以延伸的方向包括：(1)开发更智能的工具选择机制，使智能体能够更有效地组合不同的核心能力；(2)研究长期规划和策略保持的方法，解决智能体在长交互中失去目标的问题；(3)探索多智能体协作的可能性，让多个智能体分工合作解决复杂任务；(4)开发更强大的视觉定位能力，特别是在理解复杂GUI和细微视觉信息方面；(5)研究如何将人类反馈和监督更好地整合到智能体的训练和评估中。

复现评估

COCOABENCH和COCOA-AGENT完全开源，包括所有任务指令、评估脚本和COCOA-AGENT脚手架的完整实现，这极大地促进了可重现的研究。研究者在GitHub上提供了项目页面（https://cocoabench.github.io/），使得研究者可以轻松获取所有资源。COCOA-AGENT基于AIO Sandbox构建，集成了浏览器、shell、文件系统在单个Docker容器中，这提供了更安全的执行环境和更可扩展的并行评估。实验使用了一系列代表性的代理系统和模型骨干，包括GPT-5.4 thinking high、Claude Sonnet 4.6 thinking high、Gemini-3.1-pro thinking high、Gemini-Flash-3.0、Kimi-k2.5和Qwen3.5-397B-A13B，这些模型都是公开可访问的。每次运行使用30分钟墙钟预算，最多50个交互轮次，这些参数在论文中明确说明。然而，复现的难度在于一些模型（如GPT-5.4）可能需要付费API访问，而且某些代理系统（如Codex、Claude Code）可能需要特定的账户或权限。总体而言，项目的开源程度很高，为可重现评估提供了良好的基础。

论文图表

COCOABENCH evaluates agents on complex digital tasks that require flexible composition of core capabilities such as vision, search, coding. The shopping example shown here illustrates one such task and highlights the multi step, compositional nature of the benchmark.
Figure 1: COCOABENCH evaluates agents on complex digital tasks that require flexible composition of core capabilities such as vision, search, coding. The shopping example shown here illustrates one such task and highlights the multi step, compositional nature of the benchmark.

Figure 1展示了一个在线购物任务的例子，说明了COCOABENCH任务的多步骤和组合性质。图中显示了智能体需要识别商品图片（视觉能力）、搜索比价信息（搜索能力）、计算总价和对比预算（编码能力）等多个步骤。这个例子很好地说明了统一数字智能体需要在真实环境中灵活组合不同的核心能力来解决复杂任务。

这张图对理解论文很重要，因为它直观地展示了COCOABENCH的核心设计理念：测试智能体在复杂任务中组合多种能力的能力。通过一个具体的购物例子，读者可以清楚地理解为什么需要统一数字智能体以及COCOABENCH如何评估这种能力。