Agentic-MME：智能体能力究竟为多模态智能带来了什么？ Agentic-MME: What Agentic Capability Really Brings to Multimodal Intelligence?
过程验证的多模态智能体基准，评估视觉扩展与知识扩展的协同能力。
前置知识
多模态大语言模型（MLLM）
能够同时处理图像、文本等多种模态输入的大语言模型。传统MLLM以被动方式回答问题——给定一张图片直接输出答案，而新一代的'智能体型'MLLM则能主动调用工具对图像进行操作（如裁剪、旋转、增强）后再回答。
本文提出的Agentic-MME正是面向这类'主动型'MLLM的评测基准，理解MLLM的'被动观察'到'主动操作'的范式转变是读懂本文的前提。
视觉扩展（Visual Expansion）
指智能体通过调用视觉工具对图像进行主动变换以挖掘隐藏信息的范式。常见操作包括裁剪（crop）以聚焦局部区域、旋转（rotate）以纠正方向、增强（enhance）以提升低光图像可读性、翻转（flip）以处理镜像内容等。
视觉扩展是Agentic-MME评估的两大核心维度之一，与传统的'端到端VQA'有本质区别：它要求模型判断'何时该调用什么工具'以及'工具调用结果是否包含有效证据'。
知识扩展（Knowledge Expansion）
指智能体通过开放网络搜索等方式获取图像之外的事实性知识的能力。例如识别出图中品牌后搜索该品牌的历史背景，或对模糊视觉线索进行多跳推理（multi-hop search）。
Agentic-MME的Level-2和Level-3任务都强依赖知识扩展，模型必须能够将视觉线索与外部知识进行跨模态联合推理，是评估'真正智能体能力'的关键。
过程级验证（Process-level Verification）
区别于只看最终答案是否正确的'结果级评测'，过程级验证对智能体执行轨迹中的每一步都设置检查点（checkpoint），逐步评估工具调用意图、参数正确性、中间产物是否包含证据。
本文的核心创新点就是'超过2000个逐步检查点'的双轴评估（S轴策略轴与V轴视觉轴），不引入过程验证就无法诊断智能体'答错是因为没调用工具、还是调用了但裁错了区域'等具体失败模式。
工具调用协议（Function Calling与Code Generation）
智能体与工具交互的两大主流方式。Function Calling（结构化API）要求模型按预定义schema输出JSON参数；Code Generation（代码生成）则让模型写Python代码在沙箱中执行图像操作。两种方式各有优劣，API可靠性高但灵活性低，代码灵活但易出错。
Agentic-MME的'统一执行框架'同时支持这两种模式（分别称为Gen和Atm），这是其评估'工具能力是否跨接口泛化'的关键设计。
研究动机
当前多模态大模型的智能体能力评测存在三大关键缺陷。第一，工具集成缺乏灵活性与综合性：现有基准（如VisToolBench、TIR-Bench）将视觉工具和网页搜索解耦，模型无法在同一任务中自由切换不同工具，严重限制智能体行为上限。第二，视觉与知识扩展的协同性几乎未被探索：很多真实场景必须把视觉线索与网页检索结合（如模糊logo需要先裁剪再搜索匹配品牌再回图验证），但MMSearch-Plus、AdaptMMBench等基准都把两者分开测，无法评估'深度耦合'能力。第三，过程验证缺失：现有评测只看最终答案正确性，但模型可能根本没调用工具、调用了错误的工具、或重复低效调用，导致失败原因无法归因——是感知不足、跳过工具、参数错误还是冗余试错？这些失败模式被混为一谈。
本文的目标是本文的核心目标是构建一个'过程验证的多模态智能体能力基准'，系统性地回答'智能体能力究竟为多模态智能带来了什么'。具体而言：构建418个真实任务（6个领域、3个难度等级），每个任务配套人类参考轨迹和超过2000个逐步检查点；提出双轴评估框架——S轴审计知识扩展（验证搜索关键词、URL、中间答案），V轴审计视觉扩展（拆分为V_tool工具调用意图与V_true中间产物忠实性）；引入统一执行框架同时支持代码模式（Gen）和原子API模式（Atm），并通过AST追踪器从代码执行轨迹中提取规范化视觉操作；定义Overthink效率指标惩罚相对人类轨迹的冗余调用。
与已有工作不同的是，本文的独特切入角度在于'过程验证'与'协同评估'两大维度的同时突破。已有基准中，AdaptMMBench虽然做了过程验证但仅针对代码模式，GAIA2支持function calling但视觉工具有限，MM-BrowseComp评估搜索但缺乏过程验证——没有一项工作同时具备'视觉+搜索'、'过程验证'、'统一代码+API'和'效率度量'四个特征。Agentic-MME的真正新颖之处在于：把'2000+人工标注逐步检查点'作为评测的第一公民，结合AST追踪器处理代码模式异构性，以及'S-V双轴+Overthink'的多维指标体系，让'失败原因'从黑箱变成白箱。
核心方法
Agentic-MME的核心思路是把智能体评测从'对答案打分'升级为'对执行轨迹打分'。直觉上，当一个真实用户问'图中这个沙拉多少钱'，模型不能只盯整图猜，而需要先裁剪聚焦价格标签再读数；如果是'这家法国品牌旁边的美国品牌创立那年该州加入美国那年最低时薪多少'这种多跳问题，模型必须裁剪-搜索-再裁剪-再搜索交替进行。方法的技术路线分四层：第一层是任务设计，按交互复杂度分Level 1（单次视觉操作）/Level 2（视觉+搜索链式）/Level 3（视觉-搜索深度耦合）；第二层是过程标注，对每个任务的'人类参考轨迹'逐步标注工具意图、操作、中间产物和检查问题；第三层是统一执行框架，把代码执行和API调用都规范成统一事件流；第四层是双轴评估，V轴通过MLLM-as-a-Judge验证中间图像证据，S轴通过LLM-as-a-Judge验证搜索关键词和URL。
本文最核心的创新是'以逐步检查点为锚点的双轴过程验证'，与已有方法的本质区别有三点。其一，不是把过程验证简化为'工具被调用与否'（AdaptMMBench的做法），而是对每个V轴检查点都配套一个'针对性中间问答对'（如'图中路名是什么'），通过外部Judge对中间产物进行客观判定——这样裁错了区域、裁错区域后再问就会答错，从而把'调用了工具'和'工具调用对了'彻底解耦成V_tool和V_true。其二，统一执行框架不是简单支持两种接口，而是用AST追踪器把代码中的`image.crop()`、`image.rotate()`等操作提取为规范化事件流，从而对'代码风格差异'免疫。其三，通过'模型在回路的反向数据构造'（Model-in-the-Loop Backward Drafting）保证视觉交互的必要性：先用Gemini 3 Pro完整描述原图识别其忽略的细节，再针对该细节设计必须裁剪才能完成的任务——这避免了数据集退化为简单的裁剪游戏。
方法步骤详情
具体方法包含四个阶段。第一阶段是图像采集：从开放网络筛选6个领域（购物、街景、文档、Logo、图表等）的高分辨率复杂图像，特别挑选需要裁剪（>40%任务证据<10%图像面积）、低光增强、旋转纠正、镜像翻转等多样化操作场景。第二阶段是模型在回路的反向标注：标注员先用SOTA模型（Gemini 3 Pro）描述原图，识别其遗漏/幻觉的细节，然后设计必须通过视觉操作才能完成的问题，并用同一模型验证裁剪后能否正确感知——若可，再撰写完整人工参考轨迹。第三阶段是逐步检查点标注：对参考轨迹的每一步，明确记录（1）自然语言意图描述（平均16.38 token），（2）具体工具/Python操作，（3）中间视觉产物及配套的针对性问答对（如'图中路名是什么'+期望答案'建国路'），（4）搜索关键词、人类验证的URL和期望中间答案。第四阶段是评估执行：通过统一执行框架规范事件流，对代码模式用AST追踪器提取规范化操作序列，然后由MLLM-as-a-Judge（GPT-4o-mini）双轴打分——V轴验证中间图像是否包含目标证据，S轴验证搜索关键词/URL/中间答案与人工参考的一致性；最终由Acc、S、V、Overthink构成综合指标。
技术新颖性
本文的技术新颖性体现在五个层面。第一，'模型在回路反向标注'机制：通过让SOTA模型先描述原图再设计必需要求视觉操作的问题，把'视觉交互的必要性'从'人工保证'升级为'模型-人协同保证'，是数据构造方法论的创新。第二，V_tool与V_true的解耦：将'是否调用工具'和'工具调用是否产生正确证据'作为两个独立指标揭示了大量模型的'虚假工具使用'现象（Thyme-rl在Level-1的V_tool=63.3 vs V_true=13.0），为失败归因提供了此前基准无法提供的诊断粒度。第三，AST追踪器：面对不同模型截然不同的代码风格（库选择、变量命名、I/O约定），通过Python AST解析提取规范化的视觉操作事件流，使评分与具体写法解耦。第四，统一执行框架的工程化：通过对I/O路径的沙箱重定向和输出格式规范化，消除'因沙箱实现差异带来的虚假优势'——这是评测领域被普遍忽视的公平性问题。第五，'答案标准化+Accepted-Variant'设计：预先约束输出格式（如必填单位/枚举选项），配合允许偏差列表，使最终答案提取'确定性且正则友好'，避免依赖LLM-as-a-Judge评分最终答案。
实验结果
实验涵盖8个模型（5开源+5闭源）和2种交互模式（Gen/Atm），共产生15组结果，核心发现可总结为四点。**发现1：所有模型远低于人类水平，Level-3断崖式下跌**。人类基线取得93.8%整体准确率（Level-1: 99.0%、Level-2: 92.6%、Level-3: 82.3%），而最佳系统Gemini 3 Pro (Atm)仅56.3%（Level-3仅33.3%），断崖差距达49个百分点。值得注意的是Gemini 3 Pro无工具时Level-3只有7.5%，引入完整工具后提升4.4倍至33.3%——证明工具对困难任务不可或缺，但仍有巨大提升空间。**发现2：开源模型显著落后于闭源模型，主因在搜索与规划**。在Level-3上Qwen3 VL-235B降至10.1%、Thyme-rl崩塌至2.5%。S轴揭示机制：Thyme-rl和Deepeyesv2的S分数<5%，说明在搜索查询和中间答案抽取上几乎完全失败；Qwen3 VL-235B的S≈20%仍远低于闭源模型。**发现3：结构化API普遍优于代码生成，但代码模式有未开发潜力**。Atm模式在所有模型上一致匹配或超过Gen模式。GPT 5.2在Gen模式下V_tool≤7.6%几乎不写图像处理代码（整体V仅10.4），切到Atm后V_tool>70%、V达58.1；Kimi-k2.5呈现同样模式。但Gemini 3 Flash (Gen) 已达47.7%与Atm模式52.2%差距较小，提示代码模式的灵活性（任意操作组合、自定义变换）若能解决可靠性问题仍有价值。**发现4：模型积极调用工具但常产生错误结果**。Thyme-rl (Gen, L1) V_tool=63.3 vs V_true=13.0；Qwen3 VL-32B-think (Gen, L1) V_tool=66.4 vs V_true=9.7——这些模型频繁裁错区域、浪费交互预算、注入噪声产物。对比Qwen3 VL-235B (Atm, L3) V_tool=48.8与V_true=48.4几乎相等，提示其工具参数化更可靠。附加实验还揭示：（a）纯文本baseline几乎为零（Gemini 3 Flash 2.63%、GPT-5-mini 1.44%），证明无数据泄露；（b）Level-3视觉+搜索具有超加性增益（Qwen3 VL-235B：图像+0.99% + 搜索+3.70% → 完整+11.82%），证明协同设计的必要性；（c）逐步引导带来大幅提升（Gemini 3 Flash 52.24% → +视觉线索58.37% → +逐步引导76.21%），证明标注质量高但'执行能力'与'理解能力'之间存在系统性差距。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Agentic-MME整体准确率 | Acc (%) | Gemini 3 Pro (Atm) 56.3% | 人类基线 93.8%；无工具Gemini 3 Pro 30.2% | 比人类低37.5个百分点；比无工具提升26.1个百分点（+86%） |
| Level-3（协同耦合）任务 | Acc (%) | Gemini 3 Pro (Atm) 33.3% | 人类 82.3%；无工具 7.5% | 比人类低49个百分点；工具带来4.4×提升 |
| Level-3（Qwen3 VL-235B协同） | Acc (%) | 完整（图像+搜索）19.23% | 仅视觉 6.25%；仅搜索 11.11%；仅感知 7.41% | 协同增益11.82%远大于单独效应之和0.93%（超加性） |
| S轴（知识扩展策略） | S score (%) | Gemini 3 Pro (Atm) 29.0% | 开源Thyme-rl 1.8%；Deepeyesv2 5.1% | 闭源领先开源约24个百分点 |
| V轴（视觉扩展忠实性） | V score (%) | Gemini 3 Pro (Atm) 64.1% | Qwen3 VL-235B (Atm) 35.7% | 闭源V轴领先28.4个百分点 |
| 工具意图vs产物忠实性解耦 | V_tool vs V_true (%) | Thyme-rl (Gen, L1) V_tool=63.3 vs V_true=13.0 | Qwen3 VL-235B (Atm, L3) V_tool=48.8 vs V_true=48.4 | 揭示模型'虚假工具使用'现象，V_tool≠V_true可作为虚假工具率指标 |
| 效率（Overthink比率） | Avg. Calls / OT | Gemini 3 Pro (Atm) 4.66 calls / OT 0.80 | GPT-5-mini (Atm) 7.22 calls / OT 3.36；DeepeyesV2 (Atm) 1.95 calls / OT 0.00 | Gemini 3 Pro在准确率最高的同时保持最低OT，效率-效果帕累托最优 |
| 逐步引导增益 | Acc (%) | Gemini 3 Flash + 逐步引导 76.21% | Gemini 3 Flash 完整 52.24% | +23.97个百分点，说明人类轨迹包含可执行的规划结构 |
局限与改进
局限性体现在五个方面。第一，**任务规模与领域覆盖有限**：418个任务、6个领域虽然相对精心但绝对量仍偏小（与GAIA、MMSearch-Plus数百至上千任务相当），未来需要扩展到更广泛场景（如科学图表、医学影像、3D点云）。第二，**评估Judge的依赖性**：S轴和V_true都依赖MLLM-as-a-Judge（GPT-4o-mini），虽然Table 7显示与Gemini-2.5-Flash、Qwen3.5-plus以及人类专家的一致性较高（整体Acc 56.28%完全一致，S/V分数差异<3个百分点），但本质上是'用一个模型评估另一个模型'，对长尾案例和对抗样本的鲁棒性需要进一步研究。第三，**Atm vs Gen的公平性争议**：尽管有统一执行框架和AST追踪器，但不同模型在其原生训练分布上仍存在偏差——GPT-5.2的Gen模式V_tool极低可能反映其训练偏好而非真实能力，'Gen模式有未开发潜力'的结论需要更严格控制训练-评估分布匹配。第四，**失败模式分析仍偏粗粒度**：Figure 4将错误归为7类，但缺少与具体能力缺陷（如长上下文记忆衰减、坐标空间理解、工具参数语法）的因果关联。第五，**作者承认的限制**：论文未在附录中明确讨论数据集偏见（如图像源偏向英文/西方场景）、Judge模型偏见、以及'逐步Oracle测试'本身可能引入的特定模型依赖（仅在Gemini 3 Pro上验证）。
独立分析的弱点
基于独立分析，本文存在四个可改进的弱点。**弱点1：Judge依赖性带来的可解释性黑箱**。尽管S/V分数有Judge保障，但'Judge本身是否准确'未被严格审计——建议增加'对抗性检查点'（故意把正确裁剪标注为错误，看Judge能否识别），或对同一检查点使用多个Judge并报告分歧。改进方向：构建Judge-Bench元基准评估Judge能力。**弱点2：'V_tool vs V_true'的差距缺乏根因诊断**。实验展示了Thyme-rl等模型的V_tool=63.3但V_true=13.0这种'虚假工具使用'现象，但未深入分析是'参数预测错误'（如坐标偏移）、'任务理解错误'（如裁错对象）还是'工具执行失败'（如API调用异常）。改进方向：在工具调用日志中增加参数级标注，区分三类错误。**弱点3：'工具必要性'验证不充分**。虽然有Perception-only/Image-only/Search-only/Full四组对比，但只在2个模型上验证，且Level-1的Perception-only已达55.84%（Gemini 3 Flash），说明部分Level-1任务可能不需要工具就能完成——需要更严格的'必须工具才可解'过滤。**弱点4：评测成本与可复现性之间的张力**。完整评测418任务需多轮工具调用，开源模型评估一次可能消耗数千美元API费用，重现全套表格的门槛较高。改进方向：发布离线模拟器+轻量子集（如50任务）作为快速验证入口。
未来方向
未来研究方向可从作者意图和延伸空间两个维度展开。**作者方向**：（1）扩展到更多模态和领域（视频、音频、3D、科学图表）；（2）研究'工具使用可靠性'与'代码生成能力'的解耦训练方法，缩小Atm与Gen差距；（3）将Overthink指标应用于RLHF训练中作为效率正则项。**延伸方向**：（1）**多智能体协作评测**：当前是单智能体场景，可扩展为'一个智能体负责视觉、另一个负责搜索'的协同任务，评估任务分解与交接能力；（2）**工具使用规划预训练**：以S/V分数作为可微分奖励信号，在工具调用轨迹上做RL或DPO训练，验证'过程级奖励'是否比'最终答案奖励'带来更快收敛；（3）**基准时间漂移防护**：随着模型能力提升，418任务的难度可能迅速饱和，需要建立'动态难度调整机制'（如对抗样本生成）；（4）**长程推理评测**：将Level-3的6.67检查点/任务进一步扩展到20+检查点，探索'长链工具调用'的极限；（5）**多模态反事实推理**：在'如果裁剪区域偏移10像素'等反事实场景下评估V_true的稳定性，研究智能体是否具有空间鲁棒性。
复现评估
复现性评估整体良好但存在门槛。**资源**：作者开源了项目页面（agenticmme.github.io）和GitHub仓库（github.com/ChoS3nE11ven/Agentic-MME），数据、检查点标注框架、评估代码均已发布。论文声称平均每任务10+人时人工标注，418任务意味着约4180人时——这是社区难以独立复现的'数据资产'，但评估流程本身是确定性的。**算力门槛**：评估Gemini 3 Pro等闭源模型需要API费用（粗估单次完整评测数百美元），开源模型（Qwen3-VL-235B、Thyme-rl）需要多卡GPU部署。**复现难度**：（1）需要统一执行框架的精确实现（沙箱配置、AST追踪器、I/O重定向），代码开源缓解了这一点；（2）Judge模型（GPT-4o-mini）的API行为可能变化，论文Table 7显示用Gemini-2.5-Flash、Qwen3.5-plus替代可获得一致结果，提示Judge选择具有鲁棒性；（3）'逐步引导实验'的prompt设计未在论文中完全披露，需查附录A.4。**总体可复现性评级**：高（数据+代码+评测协议都公开），但完整复现实验表格需要预算5000-10000美元API费用+约50 GPU小时。
论文图表
将失败归为7类：Missing tools（未调用工具）、Missing query（未生成查询）、Missing search（未搜索）、Bad tool（错误工具调用）、Overthinking Collapse（冗余调用循环）、Unfaithful Tool Execution（参数错误）、Post-Visual-Perception-Deficit（裁剪后仍感知错误）。关键发现：'未调用工具'占约30-50%为主要失败模式；强模型（Gemini 3 Pro）Overthinking高达30.8%。
这是论文最具诊断价值的图——它把抽象的'模型失败'拆解为7种具体模式，并定量分析各模式在15种模型×难度组合中的频率分布。这是从'评测基准'升级为'诊断工具'的关键证据。