AgentVQA：面向智能体视觉理解的统一基准 AgentVQA: A Unified Benchmark for Agentic Visual Understanding
统一五大智能体领域的离线评测基准，最强VLM准确率仅58.5%
前置知识
视觉语言模型（VLM）
视觉语言模型是以图像或视频加文本为输入的多模态大模型，通常在海量网页图文对上预训练，具备通用视觉理解与语言推理能力，代表包括 GPT-4o、Gemini、Qwen-VL、Claude 等。它们既能被提示词直接驱动完成视觉问答，也可经微调或脚手架改造为机器人、网页导航、游戏等智能体系统的决策核心。
AgentVQA 评测的对象正是 22 个 VLM，理解 VLM 的输入形态（单帧、多帧、视频）与输出方式（选择题字母）是读懂实验设置和结果表的前提。
在线评测 vs 离线评测
在线评测让智能体在真实或模拟环境中实际交互（如网页沙盒、机器人仿真器），能捕获环境的非确定动态，是衡量交互性能的金标准，但环境搭建、重复 rollout 和基础设施成本高昂且难以复现；离线评测则用预先固定的视觉输入配可验证的问答任务静态打分，便宜、快速、可复现。AgentVQA 属于后者。
论文的核心主张就是高质量离线基准可以低成本近似在线评测的模型排序，这一区分是全文立论与实验验证（SpatialWorld 对比）的基础。
困难干扰项（Hard Negatives）
困难干扰项指多选题中与正确答案高度相似但仍错误的选项，分为近似失误型（仅在细粒度属性上不同，如点击坐标偏移到相邻 UI 元素）和语义相似型（同类别下看似合理但错误的对象、动作或位置）。它们迫使模型真正理解视觉内容，而不是靠排除明显荒谬的选项得分。
AgentVQA 的难度控制核心是让 Gemini 2.5 Pro 生成这类干扰项再经人工验证，这直接决定了基准能否暴露模型的细粒度弱点，是理解其构建方法的关键。
Spearman 秩相关系数
Spearman 秩相关系数 $\rho$ 衡量两组排序的单调一致性：把每个模型在两个基准上的名次配对比较，$\rho = 1$ 表示排序完全一致，$\rho = 0$ 表示无关，$\rho < 0$ 表示相反。它只关心名次而非分值大小，适合回答'基准 A 能否复现基准 B 的模型排名'这类评测方法学问题。
论文用 $\rho$ 量化 AgentVQA 与在线基准 SpatialWorld（$\rho = 0.895$）及通用基准 MMMU-Pro、GPQA-Diamond、ChartQAPro（0.44 到 0.67）的排序关系，是判断其外部效度的关键数字。
视觉定位（Grounding）
视觉定位指在图像或截图中确定目标元素（按钮、图标、文本框、物体）的精确位置，通常以坐标或包围框表示，是 GUI 智能体执行点击、输入等动作的基础能力。ScreenSpot 等屏幕定位基准专门评测该能力，定位精度常用坐标命中判定。
错误分析显示 Web Agents 领域 78% 的失败源于定位错误，是全文'失败发生在感知与状态构建而非推理'这一核心结论的最重要证据。
研究动机
智能体系统的决策核心正越来越多地交给视觉语言模型，但与数学、编程领域有 SWE-bench 这类标准化基准系统性追踪能力、暴露差距不同，VLM 的智能体能力缺乏可比的评测框架。在线评测（在真实或模拟环境中交互）虽是金标准，却因环境搭建、重复 rollout 与基础设施成本高昂而难以快速大规模比较，且存在复现性问题。通用 VQA 基准如 MMMU、MMBench、GPQA 的问题与视觉输入并不反映智能体决策场景：已有工作发现 GPT-4o 在传统基准上表现优异，但在需要多轮交互的真实客服任务上成功率不足 50%。而现有的离线智能体基准大多局限于单一领域，GUI、机器人、空间推理各自为政，答案格式、选项难度和样本分布互不一致，难以跨域聚合分析，部分评测集还已饱和或受噪声标注影响。
本文的目标是作者要构建一个统一、可靠、可扩展的离线评测基准 AgentVQA，系统评估通用 VLM 在真实智能体场景下的能力。具体目标有三：一是覆盖全面，把 Web Agents（GUI 数字交互与导航）、Robotics（具身感知与操作）、Egocentric Videos（第一人称时序理解与规划）、Games（策略决策）、Spatial Planning（3D 空间导航与规划）五种典型的智能体-环境交互形式纳入同一框架，每领域 200 题、共 1000 道人工策展的多选题，素材来自 23 个源数据集；二是标准化评测，把坐标、动作、空间关系、状态预测等异构目标统一为单选题接口，保证每题只有一个无歧义的正确答案；三是有意义的难度，用难以区分的困难干扰项暴露模型细粒度弱点。最终希望其模型排序既追踪在线评测结果（成为低成本替代品），又与通用基准的排序显著分化。
与已有工作不同的是，本文的独特切入有三点。首先是'人在回路、模型辅助'的策展哲学：不依赖自动转换，而是让 VLM（Gemini 2.5 Pro、Claude）做大规模初筛和困难干扰项生成，人类标注员逐题审核、修复、验证，最终只有约 22% 的初始候选存活——这种严苛的质控在现有基准构建中很少见。其次是跨域统一视角：以往基准局限于单一领域，AgentVQA 首次把五种交互形式放进同一个 1000 题框架，使'智能体能力是否跨域泛化'本身成为可研究的问题（结果显示没有模型全领域称霸）。第三是外部效度验证：作者不仅构建基准，还用 Spearman 秩相关量化其排序与在线闭环评测 SpatialWorld 的一致性（匹配领域 $\rho = 0.895$，$p = 8\times10^{-5}$），以及与通用基准的分化程度（ChartQAPro 仅 $\rho = 0.44$），为'离线 VQA 可否替代在线评测'提供实证支持而非仅凭直觉。
核心方法
AgentVQA 的整体思路是：从 23 个现有数据集中人工筛选真实智能体场景样本，统一转换为答案唯一、干扰项有区分度的多选题，构成 1000 题、五领域均衡的离线基准，用于低成本、可复现地近似在线智能体评测的模型排序。直觉依据是：在线评测贵在环境交互，而模型失败大多发生在感知当前视觉状态这一步，这一步可以被静态问题捕获——前提是问题质量与难度足够接近真实交互。具体构成上，Web Agents 含 ScreenSpot、ScreenSpot-Pro、MONDAY、AitW 各 50 题；Egocentric Videos 含 EgoPlan-Bench、OpenEQA、Perception-Test、VidEgoThink、VSI-Bench 各 40 题；Robotics 含 Robo2VLM、ManipBench、Roborefit、Share-Robot、ERQA 各 40 题；Games 含 GameQA、MarioQA、Atari、VideoGameBunny 各 50 题；Spatial Planning 含 Spatial-MM、SpaCE-10、OmniSpatial、3DSRBench、EmbSpatial-Bench 各 40 题。输入覆盖单张截图、具身场景图像、多帧轨迹与视频，无原生视频输入的模型均匀采样 32 帧，评测温度推理模型设 0.8、非推理模型设 0.2。
核心创新是'模型辅助、人做决定'的策展流水线与严格的难度控制。与已有工作的本质区别在于：其一，已有领域基准要么直接复用原始标注（噪声大、格式不一），要么纯自动转换（歧义多），AgentVQA 让 Gemini 2.5 Pro 基于视觉输入、任务提示、正确答案、动作历史等元数据生成近似失误型和语义相似型两类困难干扰项，再由 Gemini 与 Claude 的多轮验证流水线高召回地筛除约 45% 候选，最后人类标注员逐题修复、再拒掉约 60%，仅约 22% 初始候选存活。其二，论文明确指出自动空间检查的盲区：矩形包围框包含背景导致点框外也算对、'删除 Lyft 账号'存在多条合法路径导致正确动作不唯一等问题，只有人工审核能发现并修复。其三，坐标、动作、空间关系、状态预测等异构目标被统一进同一个四选一接口的同时保留原任务语义，使跨域聚合与对比首次成为可能。
方法步骤详情
流水线分五步。第 1 步候选收集：从 23 个源数据集跨任务类型和输入模态采样，保留原始问题、标注和答案格式，形成候选池。第 2 步 MCQ 构建：非选择题样本由 Gemini 2.5 Pro 输入视觉内容、任务提示、正确答案、动作历史和相关元数据，生成三个困难负选项。第 3 步 VLM 辅助筛查：用 Gemini 与 Claude 的多轮验证流水线标记指令歧义、标注错误、多个合理答案、状态格式错误、干扰项不可信等问题，高召回移除约 45% 候选以减少人工量。第 4 步人工策展与修复：标注员检查正确性、难度、多样性与智能体相关性，过筛样本仍约 60% 被拒（歧义、标注错误、无效干扰项或难度不足），有价值的样本则修复问题、答案、视觉输入或选项。第 5 步人工验证与组装：每题二次复核确保唯一正确答案且干扰项合理地错误，最终组装 1000 题、每领域 200 题、每源数据集 40 或 50 题的均衡基准。评测端配套标准化：坐标选项按各模型原生约定格式化（Gemini 用归一化 $[0,1000]$ 的 $(y,x)$ 顺序、Qwen 用绝对像素坐标），程序化抽取答案字母，视觉输入保持原生分辨率。
技术新颖性
技术新颖性体现在四个层面。其一，质量控制强度前所未有：自动化筛查与人工双重审核叠加后仅约 22% 候选存活，远高于一般基准'自动转换加抽样人检'的保留率，论文用 Figure 4 的具体案例（包围框歧义、多路径动作歧义）证明这类问题只有人工能识别，自动空间检查会引入假阳性或误杀有效交互点。其二，跨域统一化：把 23 个异构数据集的异构目标映射到统一的 MCQ 接口并保留原任务语义，使领域间对比和'能力是否泛化'的分析成为可能，这是此前碎片化基准做不到的。其三，以外部效度为核心验收标准：作者不满足于构建基准本身，而是用 Spearman 秩相关把'离线排序约等于在线排序'量化（SpatialWorld Physical 轨道 $\rho = 0.895$），为离线基准的合法性提供实证。其四，配套错误模式分类学：对 Gemini 3.1 Pro 的错误预测建立五领域错误分类体系，人工复核 100 条分配结果，使基准不仅能排名还能诊断能力缺口。
实验结果
当前 VLM 的智能体视觉能力远未解决：22 个模型中最强的 Gemini 3.7 Flash 仅 58.5% 准确率，其后是 Gemini 3.1 Pro（55.7%）、GPT-5.6-sol thinking-high（55.0%）、Qwen3.7 Flash（55.0%）；最强开源模型 Qwen3.8 27B 达 50.9%，与闭源第一仅差 7.6 分，Kimi K3（48.3%）、Qwen3.5 35B（47.9%）超过 Claude Opus 4.8（44.0%），GPT-4o（31.4%）和 Llama-4-Maverick（28.0%）垫底。分领域看，模型最擅长 Egocentric Videos（均值约 59%）和 Games（约 51.5%），最弱于 Web Agents（约 29%，仅 3 个模型超 40%）、Robotics（38%）和 Spatial Planning（46%）；没有模型全领域称霸——Gemini 3.7 Flash 领跑 Games（70%）、Spatial Planning（62.5%）、Robotics（52.5%），Web Agents 最佳是 GPT-5.6-sol（47%），Egocentric 最佳是 Qwen3.7 Flash（72.5%）。扩展推理效果不一：GPT-5.6-sol 开 thinking 提升 16.8 分，GLM 4.1V-Thinking（35.4%）反而低于 Base（36.3%）并陷入思考循环。动作历史消融（5 个模型）显示去掉历史使 AitW 平均降 9.5%、MONDAY 降 10%。排序上，AgentVQA 与通用基准显著分化（MMMU-Pro $\rho=0.67$、GPQA-Diamond $\rho=0.59$、ChartQAPro $\rho=0.44$），而与在线评测 SpatialWorld 匹配领域强相关（$\rho=0.895$，12 个共享模型）。错误分析（Gemini 3.1 Pro）显示各领域主导错误均为感知类：Web Agents 定位错误占 78%、Games 视觉状态误读占 71%、Robotics 空间混乱占 65%、Spatial Planning 视角缺口占 62%、Egocentric Videos 运动误判占 39%——失败主要发生在感知与状态构建，而非任务误解或下游逻辑推理。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 总体评测（五领域 1000 题） | 平均准确率 (%) | 最佳模型 Gemini 3.7 Flash 达 58.5 | 最强开源 Qwen3.8 27B 为 50.9；GPT-4o 为 31.4；Llama-4-Maverick 为 28.0 | 闭源最佳领先开源最佳 7.6 分；最高分距满分仍差 41.5 分，任务远未饱和 |
| Web Agents（200 题） | 准确率 (%) | GPT-5.6-sol thinking-high 达 47.0（领域最佳） | 领域均值约 29，Qwen3.7 Flash 达 43.0 | 仅 3 个模型超过 40%，是最难领域，暴露精确 GUI 定位短板 |
| Egocentric Videos（200 题） | 准确率 (%) | Qwen3.7 Flash 达 72.5（领域最佳） | 领域均值约 59，GPT-4o 仅 40.0 | 模型整体最强的领域，说明时序上下文理解相对较好 |
| Games（200 题） | 准确率 (%) | Gemini 3.7 Flash 达 70.0（领域最佳） | 领域均值约 51.5，Llama-4-Maverick 仅 23.0 | 领域内分差最大（23% 到 70%），策略推理只在最强模型上成立 |
| Spatial Planning 与 Robotics（各 200 题） | 准确率 (%) | Gemini 3.7 Flash 分别达 62.5 和 52.5（领域最佳） | Spatial Planning 均值约 46，Robotics 均值约 38 | 具身与 3D 空间推理明显弱于时序理解，是主要能力缺口 |
| 与在线评测排序一致性（12 个共享模型） | Spearman 秩相关系数 | Spatial Planning vs SpatialWorld Physical 轨道 $\rho = 0.895$（$p = 8\times10^{-5}$） | 与通用基准 MMMU-Pro $\rho = 0.67$、GPQA-Diamond $\rho = 0.59$、ChartQAPro $\rho = 0.44$ | 匹配领域接近排序复现，通用基准则显著分化，证明专用基准的必要性 |
| 动作历史消融（Web Agents，5 个模型） | 平均准确率变化 (%) | 提供动作历史时性能更高 | 去掉历史后 AitW 平均下降 9.5，MONDAY 下降 10 | 历史上下文对多步轨迹任务带来约 10 个百分点的稳定收益 |
局限与改进
作者承认的局限：离线静态问题无法捕获在线环境的非确定动态（随机事件、多轮执行偏差），与 SpatialWorld 的强相关只在匹配领域（Spatial Planning）成立，其他领域相关性较低，说明单一数据集不能代理整体智能体能力。我的补充观察：四选一格式存在 25% 的猜测基线，最高分 58.5% 与基线之间的有效区分区间有限，可能压缩顶尖模型间的差距；错误分析只针对 Gemini 3.1 Pro 一个模型，开源小模型的失败模式可能不同；与 SpatialWorld 仅共享 12 个模型且分数直接取自官方发布结果而非统一重跑，协议差异可能引入偏差；无原生视频输入的模型统一采样 32 帧，帧数选择虽有消融支撑但对长时序任务仍可能丢失关键瞬间；干扰项部分由 Gemini 2.5 Pro 生成，可能继承该模型的偏好偏差；每源数据集仅 40-50 题，模型间 1-2 分的差距缺乏置信区间报告，统计显著性存疑。
独立分析的弱点
独立分析出的弱点及改进方向：MCQ 形式天然限制动作空间表达，真实交互需要在连续空间（精确点击坐标）或长序列动作上决策，四选一会把'接近但不够准'的定位能力压缩成离散选择，可加入开放集定位子集让模型直接输出坐标再判分。单次静态问答无法评估多步执行中的误差累积与重试策略，论文自己指出动作历史贡献约 10 个百分点收益，说明上下文依赖强，可构建'伪在线'基准，按轨迹逐帧提问并模拟执行反馈。领域内样本量仅 200（每源数据集 40-50），未报告置信区间，1-2 分的模型差距可能不具统计显著性，建议扩样并用 bootstrap 给出区间。错误分类依赖 Gemini 自我标注再人工抽查 100 条，标签噪声未量化，可用多人独立标注计算一致性系数。'Reasoning/Non-Reasoning'划分以是否分配长思维链预算为准较粗糙，不同 thinking budget 的系统消融会更公平；坐标选项按各模型原生约定格式化虽务实，但也引入了与选项格式化方式纠缠的混杂变量。
未来方向
作者提出的方向：把离线错误模式与在线交互中的实际失败连接起来，检验离线测得的定位与状态追踪弱点能否预测在线执行失败，从而指导针对性改进；用 AgentVQA 识别弱点领域后，把后续在线测试聚焦到需要深入调查的领域与失败模式。基于成果可延伸的研究：把基准从判别式问答扩展到生成式动作预测与可验证执行（输出坐标序列并用模拟器校验），弥合离线与在线的鸿沟；针对错误分析揭示的四大弱点（UI 定位、运动解读、状态追踪、3D 空间关系）设计专项训练数据或课程，验证能否在 AgentVQA 与在线评测上同步提升；统一动作历史协议并研究历史形式（文本摘要 vs 截图序列）与长度的影响；随模型迭代扩充覆盖并定期维护在线与离线排序的时效性验证；探究跨域相关性差异的成因——为何 Web Agents 弱而 Egocentric Videos 强，这可能指向视觉表示层面的系统性差异而非数据量问题。
复现评估
复现评估：论文首页标注了 Website、Code、Data 三个入口，1000 题基准数据与视觉输入预计随论文发布，复现 Table 1（22 个模型）的主要成本是 API 调用费用——闭源模型包括 GPT-5.6 系列、Gemini 3.1 Pro 与 3.7 Flash、Claude Opus 4.8 与 Sonnet 5、Qwen3.7 Plus 与 Flash；开源模型（GLM 4.6V/4.5V/4.1V、Kimi K3、Llama-4-Maverick、Qwen3.5/3.8 系列）可本地推理，其中 397B 级 MoE 需要较大显存或量化。评测协议完全明确：推理模型温度 0.8、非推理模型 0.2，无原生视频输入的模型均匀采样 32 帧，坐标选项按模型原生约定格式化，程序化抽取答案字母，提示词与抽取细节在附录 K 和 E。数据策展部分依赖大量人工标注（约 22% 存活率），个人完整重建成本高，但复现评测实验门槛低；主要不确定性是闭源 API 行为随版本漂移，分数难以精确复现。总体而言，评测复现容易（中等 API 预算、数天可完成），策展重建困难。
论文图表
以网格形式展示五个领域的真实样例问题与四选一选项：Web Agents 的验证码文本输入坐标与改密码点击位置、Egocentric Videos 的物体方位与钢琴上方物体、Robotics 的路径阻挡与夹爪持物、Games 的马里奥死亡次数与角色行为、Spatial Planning 的公交转向方向与门 8 到 7 的通道选择，直观呈现各领域的任务形态与选项风格。
一图看懂基准测什么：五个领域各代表一种智能体-环境交互形式，样例还揭示了任务的异构目标（坐标、计数、动作、空间关系），是理解论文动机与范围的最佳入口。