← 返回 2026-03-06

AgentVista：在超挑战性现实视觉场景中评估多模态智能体 AgentVista: Evaluating Multimodal Agents in Ultra-Challenging Realistic Visual Scenarios

Zhaochen Su, Jincheng Gao, Hangyu Guo, Zhenhua Liu, Lueyang Zhang, Xinyu Geng, Shijue Huang, Peng Xia, Guanyu Jiang, Cheng Wang, Yue Zhang, Yi R. Fung, Junxian He 📅 2026-02-26 👍 45 2026-07-13 08:35
基准评估 多模态智能体 工具使用 视觉推理 长时序任务
arXiv HuggingFace PDF

评估多模态智能体长时序工具使用能力的现实视觉基准

前置知识

多模态智能体

多模态智能体是指能够同时处理和理解多种类型输入如图像、文本、音频并能够自主调用外部工具来完成复杂任务的AI系统。这类系统通常基于大语言模型或多模态大模型，具备视觉感知、语言理解、工具调用、规划决策等能力。工作流程通常是先从输入中提取关键信息，规划解决步骤，根据需要调用搜索、代码等工具，整合信息后给出最终答案。

本文核心就是评估多模态智能体在复杂现实场景中的综合能力，理解这个概念有助于明白为什么需要长时序工具调用和视觉grounding。

长时序工具调用

长时序工具调用指智能体在解决复杂任务时需要连续多次调用不同类型的工具，每次调用都依赖于前一步的结果，最终逐步接近解决方案。与传统单轮问答不同，这里涉及多步推理、信息验证、策略调整。例如识别图片中的产品，搜索其规格信息，根据约束条件筛选，计算成本等。平均调用次数可以衡量任务复杂度，本文中GPT-5.2平均需要13.85轮调用。

本文基准的独特之处就在于要求智能体进行长时序的、跨模态的、交错式工具调用，这是区分简单问答和真实智能应用的关键。

视觉grounding

视觉grounding是指将语言描述或抽象概念与图像中的具体视觉元素对应起来的能力。在多模态智能体中，这表现为能够从杂乱的真实图像中准确定位到关键物体或区域如产品标签、地图标记、技术符号等，并基于这些精确的视觉证据进行后续推理。失败案例包括读错标签文字、混淆相似组件、忽略微小指示器等。本文中视觉误识别是所有模型的主要失败模式，占比高达39.9%到59.6%。

本文强调所有任务都必须视觉中心，即答案的关键证据必须来自图像理解，而非纯文本搜索，这是理解任务难度和模型瓶颈的核心。

研究动机

现有的多模态智能体基准存在两大核心缺陷。一是能力评估过于片面，通常只针对单一能力，如视觉操作、网页浏览或代码生成，无法评估通用智能体在多技能整合和长时序工作流中的可靠性。二是真实性与难度之间存在权衡，许多基准通过简化视觉状态或依赖偏离日常工作的工具模式来增加难度，例如VisualToolBench会对输入图像进行预处理以方便特定的视觉操作，这使得评估从推理自然视觉状态变成了操作经过筛选的输入。

本文的目标是本文旨在构建一个能够评估通用多模态智能体在多样化、现实、具有挑战性任务上的基准AGENTVISTA，该基准需要覆盖广泛的领域和场景，每个任务都必须基于细节丰富的真实视觉状态，并要求智能体进行长时序的、交错的工具调用，包括网络搜索、图像搜索、网页导航、以及用于图像处理和通用编程的代码操作。

与已有工作不同的是，本文的独特切入点在于同时解决了三大问题：通用性覆盖7大类25个子领域，而非单一技能；真实性使用来自公共模型竞技场、标注员真实日常场景、私有社区论坛的30万加真实图像和用户需求，不进行简化预处理；长时序交错工具使用强制要求每个任务至少跨两个工具类别进行交错调用，平均工具调用轮数达12.67，最难的实例超过25轮。这种设计使得AGENTVISTA能够暴露现有智能体在精确视觉grounding和约束跟踪方面的关键瓶颈。

核心方法

AGENTVISTA的构建采用四阶段流水线。阶段一使用CLAUDE-OPUS-4进行模型辅助过滤，从30万加原始候选图像池中筛选出具有丰富视觉信息和强智能体潜力的候选状态，并生成初始任务查询。阶段二由经过培训的专家标注员进行人工筛选，将初始查询改写为自包含的、视觉中心的现实用户请求，并生成确定性的目标答案。阶段三通过在实际工具环境中执行候选任务来验证可复现的工具输出，强制要求交错调用至少两个工具类别，并移除禁用工具访问后仍可解决的简单任务。阶段四进行两轮人工验证，第一轮移除视觉证据不足、视觉依赖弱或答案有效性存疑的实例，第二轮由另一组人员重新检查每个实例，确认最终答案得到视觉线索和工具输出的支持。

核心创新点在于坚持视觉中心、自然交错混合工具使用、易验证且稳定三大设计原则。视觉中心确保每个任务的关键证据必须从视觉输入获得，避免文本捷径和关键词搜索。自然交错混合工具使用强制要求任务必须使用不同工具类型，且交互必须包括跨至少两个工具类别的交错调用，遵循真实世界的工作流程，每个工具调用都是解决问题的必要环节。易验证且稳定通过简明、确定性的目标答案格式和严格的事实来源验证，确保评估过程简单准确，并通过在问题中包含特定时间约束来应对信息随时间变化的问题。

方法步骤详情

数据集构建的具体步骤包括：候选收集从公共用户提交竞技场、标注员捕获的真实生活场景、私有社区论坛三大渠道收集真实图像和用户需求。模型辅助过滤使用CLAUDE-OPUS-4过滤原始图像池，移除纯OCR截图、单物体地标照片等有限视觉信息或弱智能体潜力的案例，并提出与可用工具兼容且具有可验证答案格式的初始任务查询。人工筛选保留具有足够丰富视觉细节的图像，优先选择具有非平凡约束且自然需要多步推理而非单次直接查找的候选。专家最终化培训专家标注员对项目范围、分类法和质量要求，将初始查询改写为保留原始视觉状态和意图的现实用户请求，确保答案依赖于细粒度视觉线索且无法通过单次直接查找获得。执行过滤在实际工具环境中验证每个实例，运行GEMINI-3-FLASH进行工具使用多样性筛选，仅保留需要交错调用至少两个类别的任务。两轮验证第一轮移除视觉证据不足、视觉依赖弱或答案有效性存疑的实例，第二轮重新检查并确认最终答案得到视觉线索和工具输出的支持。最终从300k加候选图像中筛选出568个潜在初始状态，经过专家最终化得到315个任务，执行过滤后保留241个任务，两轮验证后最终得到209个任务。

技术新颖性

技术新颖性体现在多个维度：真实性优先拒绝简化视觉状态的常见做法，保留原始图像中的杂乱背景、微小但重要的线索、多个相关物体或跨视角的细微差异，确保任务依赖于真实视觉理解而非文本捷径。工具交错强制明确要求每个任务必须包含跨至少两个工具类别的交错调用，遵循真实世界的自然工作流程，而非为了增加交互长度而添加不必要的工具调用。答案稳定性采用简明、确定性的目标答案格式，标注员根据可靠来源验证事实，必要时在问题中包含特定时间约束以确保ground truth随时间保持有效。严格的四阶段质量控制模型辅助筛选、专家最终化、执行验证、两轮人工检查，从30万加候选中最终筛选出209个高质量任务，通过率仅为0.07%，确保每个任务都视觉中心、工具交错必要、答案唯一可验证。

Overview of the AGENTVISTA dataset construction pipeline.
Figure 3: Overview of the AGENTVISTA dataset construction pipeline.
The categorization of the AGENTVISTA.
Figure 4: The categorization of the AGENTVISTA.

实验结果

实验结果揭示了三个核心发现。首先，AGENTVISTA极其具有挑战性，即使表现最好的模型GEMINI-3-Pro也只达到27.27%的整体准确率，4个模型评分低于15%平均准确率，表明智能体在需要基于真实视觉证据进行多步工具使用的复杂长时序设置中仍有巨大改进空间。平均工具调用轮数进一步反映了这一难度，例如GPT-5.2平均使用13.85轮，14个模型中有5个超过10轮平均，表明许多任务需要扩展的多步交互而非简短的工具序列。其次，不同模型家族的领域优势差异明显，GPT-5系列在实践类别上覆盖能力强，GPT-5.2在TECHNOLOGY上表现最佳且在ENTERTAINMENT上并列最佳，而GPT-5和GPT-5.1在COMMERCE上领先。Gemini系列整体最强，GEMINI-3-PRO达到最高整体准确率，在GEOGRAPHY上领先，在SOCIETY和CULTURE上表现有竞争力。Claude模型在强调仔细阅读和约束遵循的类别上相对更强，最佳结果出现在TECHNOLOGY和GEOGRAPHY。最后，多图像输入并不一致地比单图像输入更难，几乎所有评估模型在多图像输入上的准确率都高于单图像输入，GEMINI-3-PRO从单图像输入的23.68%提升到多图像输入的36.84%，这是因为额外视图通常提供互补证据、减少歧义并揭示单镜头中缺失的细节，可以使grounding和下游检索更可靠。

Comparison with representative multimodal agent benchmarks.
Table 1: Comparison with representative multimodal agent benchmarks.
Summary statistics of the AGENTVISTA benchmark.
Table 2: Summary statistics of the AGENTVISTA benchmark.
Main results on our proposed AGENTVISTA.
Table 3: Main results on our proposed AGENTVISTA.
Test-time scaling results under different sampling budgets on GEMINI-3-FLASH.
Table 4: Test-time scaling results under different sampling budgets on GEMINI-3-FLASH.
Results of representative open-source models on AGENTVISTA by category.
Table 5: Results of representative open-source models on AGENTVISTA by category.
Tool-use distribution across models.
Figure 5: Tool-use distribution across models.
Image manipulation operation distribution of code interpreter calls across four multimodal models.
Figure 6: Image manipulation operation distribution of code interpreter calls across four multimodal models.
Tool ablation on GEMINI-3-PRO and CLAUDE-SONNET-4.5.
Figure 7: Tool ablation on GEMINI-3-PRO and CLAUDE-SONNET-4.5.
Error category distribution on AGENTVISTA across four multimodal models.
Figure 8: Error category distribution on AGENTVISTA across four multimodal models.
查看结构化数据
任务指标本文基线提升
整体准确率 Accuracy (%) 27.27 (GEMINI-3-PRO) 12.92 (QWEN3-VL-235B) +14.35
TECHNOLOGY领域 Accuracy (%) 38.24 (GPT-5.2) 26.47 (QWEN3-VL-235B) +11.77
GEOGRAPHY领域 Accuracy (%) 28.21 (GEMINI-3-PRO) 7.69 (QWEN3-VL-235B) +20.52
COMMERCE领域 Accuracy (%) 23.81 (GPT-5, GPT-5.1) 7.14 (QWEN3-VL-235B) +16.67
测试时扩展(BoN@K=16) Accuracy (%) 30.62 21.05 (K=1) +9.57

局限与改进

作者承认的局限性包括：首先，尽管采用了严格的质量控制和多轮验证，基准构建仍可能反映来源数据和标注员决策的偏差，这可能影响领域和场景的覆盖范围。其次，为了确保答案可验证，任务设计倾向于简明的目标答案格式，这可能无法完全捕捉真实世界智能应用所需的复杂输出类型如详细计划、多步骤推荐。此外，开源模型与闭源模型之间存在显著差距，开源模型准确率在10.05%到12.92%之间，远低于最佳闭源模型GEMINI-3-PRO的27.3%，这可能限制开源社区对基准的有效利用。我自己观察到的局限性还包括：工具环境虽然精简，但并未覆盖真实智能应用可能需要的全部工具类型如数据库查询、API调用、文件系统操作等。所有任务都有确定性的ground truth，这可能无法评估智能体在开放性、创造性任务中的表现。数据来源虽然多样化，但主要集中在英语环境，其他语言和文化背景的场景覆盖不足。

独立分析的弱点

独立分析的弱点包括：视觉grounding脆弱性，视觉误识别是所有模型的主要失败模式，占比39.9%到59.6%，即使智能体能够放大到相关区域，在图像模糊或关键线索视觉细微时仍会失败。改进方向是增强细粒度视觉理解能力，引入更强大的图像增强技术，开发专门的视觉验证模块。长时序约束跟踪，许多任务需要在多步工具调用中保持复杂约束如时间、预算、兼容性、安全性，模型在长序列中容易丢失或混淆约束。改进方向是引入显式的约束表示和跟踪机制，开发自验证和回溯策略。知识幻觉是第二常见错误类型，模型输出的事实并非由提供的图像或检索来源支持，常见模式包括编造看似合理的细节、依赖通用经验法则、断言不符合当前实例证据的标准。改进方向是强化多模态grounding，开发基于检索证据的答案生成策略，引入事实核查模块。工具执行失败，尽管计划合理，但由于工具交互问题导致失败，典型例子包括空工具输出、无效请求、无法打开或解析检索内容。改进方向是改进错误处理和恢复机制，开发工具输出验证策略。多图像对齐挑战，虽然多图像输入总体表现更好，但仍需要跨图像对齐能力，当前模型在需要精确匹配跨图像细节的任务上仍可能失败。改进方向是开发专门的跨图像对齐和推理模块。

未来方向

未来研究方向包括：强化学习优化，测试时扩展显示BoN@16仅达到30.62%，而Pass@16达到51.67%，存在显著改进空间，可以通过强化学习或其他优化方法更好地缩小选择与可实现上限之间的差距。开源智能体发展，当前开源模型与闭源模型存在巨大差距，需要开发更强的开源多模态智能体框架和训练方法。扩展工具环境，当前工具环境虽然精简但覆盖核心交互模式，未来可以扩展到更多工具类型如数据库查询、API调用、文件系统操作等以支持更丰富的真实场景。跨语言和文化扩展，当前数据主要来自英语环境，未来可以扩展到更多语言和文化背景，评估智能体的跨文化适应能力。动态和开放任务，当前任务都有确定性ground truth，未来可以探索开放性、创造性任务的评估方法，如设计计划、生成报告、提供推荐等。人机协作评估，除了全自动评估，还可以探索人机协作场景下的智能体能力评估，如智能体辅助决策、协作完成任务等。

复现评估

复现评估方面，作者承诺发布AGENTVISTA基准和一个轻量级但通用的智能体框架以促进可复现评估。基准包含209个任务，平均查询长度401.4字符，平均答案长度40.8字符，包含308张图像，72.2%为单图像查询，27.8%为多图像查询。实验使用了温度0.6和30轮工具交互预算的固定设置，评估指标为最终答案与标注ground truth在要求格式下是否匹配的准确率，使用GPT-4.1作为固定判别模型。评估了14个前沿多模态模型，包括GPT-4.1、O3、O4-MINI、GPT-5、GPT-5.1、GPT-5.2、GEMINI-3-FLASH、GEMINI-3-PRO、GROK-4、CLAUDE-SONNET-4、CLAUDE-OPUS-4、CLAUDE-OPUS-4.1、CLAUDE-SONNET-4.5、QWEN3-VL-235B-A22B。虽然论文未提供详细的算力需求和代码开源状态，但承诺发布基准和智能体框架，且所有任务都有确定性的ground truth和严格的工具环境定义，这有助于复现。然而，由于使用商业模型如GPT-5、Gemini-3等作为评估对象，完全复现实验结果需要访问这些模型的API，可能存在成本和可用性问题。

论文图表

A representative AGENTVISTA task grounded in a real home-renovation scenario.
Figure 1: A representative AGENTVISTA task grounded in a real home-renovation scenario.

图1展示了一个基于真实家庭装修场景的代表性AGENTVISTA任务。智能体需要跨图像匹配地板样式，通过图像操作验证目标房间，检索产品规格信息，并通过交错式工具使用计算最终材料成本。该任务包含用户查询、三个图像输入和中间步骤输出，展示了智能体需要进行跨图像对齐、视觉验证、外部信息检索和数值计算等多个步骤。

这张图对理解论文极其重要，因为它直观地展示了AGENTVISTA任务的核心特征，基于真实视觉场景、长时序工具使用、跨模态推理。通过一个具体的家庭装修任务，读者可以清楚地理解智能体需要做什么、为什么难、以及工具交错调用的必要性。

Sampled AGENTVISTA examples from each domain.
Figure 2: Sampled AGENTVISTA examples from each domain.

图2展示了AGENTVISTA中每个领域的采样示例，包括Society、Entertainment、Commerce、Geography、Culture、Technology、Academics七大类别，每个示例都包含查询文本、图像输入和gold answer。例如Society类别中的Manual Assembly and Troubleshooting任务，要求从编号零件图中识别组装错误的零件号。Commerce类别中的Product Selection and Specification任务，要求在无坚果产品中找到每100克糖含量最低的产品及其价格。

这张图对理解论文非常重要，因为它全面展示了AGENTVISTA覆盖的任务多样性和领域广度，帮助读者理解基准的设计理念和任务难度。每个示例都体现了视觉中心、工具交错必要、答案唯一可验证的核心原则。