VisSearch-Bench：评测多模态智能体长程视觉搜索能力的基准 VisSearch-Bench: Evaluating Long Horizon Visual Search in Multimodal Agents
204道人工长程视觉搜索题揭示：最强多模态智能体也只能完整做对26.47%。
前置知识
ReAct
ReAct（Reasoning + Acting）是一种经典智能体范式：模型每一轮先产生推理（决定下一步做什么），再发起一个工具动作，把工具返回的观察结果拼回上下文，循环往复直到提交最终答案。它把思考与行动交替进行，使模型能根据中途获得的证据动态调整搜索策略，是当前开放网络搜索智能体最常用的基线框架。
本文所有带工具的主实验都把 ReAct 作为默认智能体框架，把同一骨干模型接上五种搜索工具进行配对比较，是读懂主结果表的承载结构。
多模态大语言模型（MLLM）
多模态大语言模型是能同时处理文本与图像输入的语言模型：视觉编码器把图像切分为 patch 并转成 token，与文本 token 一起送入 Transformer。它们从单图问答起步，已扩展到文档阅读、多图理解、视频分析与视觉推理，并进一步与工具调用、多步任务执行结合。
基准的评测对象就是16个此类模型（13个开源+3个闭源），理解其视觉输入机制才能明白视觉上下文管理的瓶颈究竟出在看图、搜图还是汇总环节。
反向图像搜索（Reverse Image Search）
以图搜图：提交一张图片，引擎返回视觉上相似的结果图片及其来源网页，而不是依赖文字查询。它是智能体把看到的视觉内容映射到具体实体名称与原始出处的关键桥梁，常用于追溯图片首次发布地、藏品记录或商品页面。
本文任务大量要求从图像出发定位实体与可信来源，反向图搜是基准允许的五种证据工具之一，也是成功轨迹中出现频率最高的操作之一。
Pass@1
Pass@1 表示每个任务只给系统一次独立作答机会（全新上下文、固定采样配置），以这一次回答计算成功率。它衡量系统单次使用的可靠程度，排除多次重试碰对的可能，是搜索类基准最严格的报告方式之一。
本文主表所有数字（如最佳 26.47% 准确率、49.52% 过程分）均为 Pass@1，读表时必须知道这是单次成绩，不存在多次采样取最优的放大效应。
关键状态与过程得分（Process Score）
把一道题的正确解拆成若干个中间关键状态（如每个对象的判定结果、每个子问题的答案），要求模型在最终答案前逐一报告这些状态，再按字段标签对齐并计数。过程得分定义为正确恢复状态比例的任务平均：$\mathrm{PS}=\frac{1}{N}\sum_i \frac{|R_i|}{m_i}$，其中 $m_i$ 是第 $i$ 题标注的状态数，$R_i=\{j\in[m_i]\mid \hat{g}_{ij}\equiv_{\tau_{ij}} g_{ij}\}$。
它让评测能区分整题全对与部分做对，正是本文发现集合式任务中两者差距巨大（过程分44%但准确率仅8.82%）的度量基础。
视觉上下文管理（Visual Context Management）
指智能体在多轮搜索中组织、连接和使用视觉信息的综合能力：把对象外观、局部细节、空间结构与其身份、外部事实、后续搜索目标链接起来，随证据累积更新假设、比较候选、过滤集合并汇总出完整一致的答案。长上下文窗口并不自动带来这种能力。
这是本文提出的核心评测对象，五个任务家族、双指标设计与全部实验分析都围绕它展开，是理解全文贡献的钥匙。
研究动机
现有多模态搜索基准虽然让视觉证据逐步成为搜索的主动组成部分，但大多数任务中图像的作用止步于识别出一个初始实体：一旦得到人名、物名或地名，后续主要依靠文本检索完成，这类任务无法考察智能体如何在多张图像之间、以及跨搜索步骤地组织视觉信息。更新的基准如 MMSearch-Plus（311题，强调细粒度视觉线索的提取与传播）、MM-BrowseComp（224题，浏览中主动获取视觉证据）、VisBrowse-Bench（169题，视觉原生搜索）虽然显著增加了图像搜索与工具调用次数，但作者指出：调用数量多并不等于视觉上下文复杂，更重要的是这些视觉操作如何相互连接、如何支撑后续搜索与最终答案。真实世界的信息检索远非一串孤立的识图任务：例如在博物馆目录中找出所有满足视觉条件的作品，智能体必须先建立完整条目集合，再逐个检查图像并汇总结论；早期证据提示初始假设，后续证据帮助比较候选、排除错误甚至改写对早期图像的理解。现有评测对这种视觉上下文管理能力的刻画几乎是空白。
本文的目标是本文的目标是构建 VisSearch-Bench，一个专门评测多模态智能体在开放网络搜索中视觉上下文管理能力的基准。具体目标有四层：第一，从任务结构视角出发定义五类长程视觉搜索任务家族——集合式视觉搜索、序列式视觉搜索、混合广深搜索、竞争性视觉消歧、视觉结构引导搜索，覆盖多图像、多对象、步骤互联的真实需求；第二，人工编写204道任务，横跨7个一级领域与25个二级领域，每题提供参考答案、可追溯证据链（gold trajectory）与明确评分规则；第三，设计双指标评测协议：Accuracy 衡量整题是否完整正确地完成，Process Score 按每题 $m_i$ 个关键状态给部分分，同时刻画整体成功与逐步正确性；第四，在16个多模态模型与 ReAct、DeerFlow 两种智能体框架上系统评测，量化搜索工具的真实增益、各任务家族的难度分布与失败模式。
与已有工作不同的是，本文的独特切入角度有三点。第一，不从图像被使用的次数、而从视觉信息如何被连接来定义任务难度：五类任务家族分别刻画集合覆盖、步骤依赖、广深结合、细节消歧与结构引导五种视觉上下文组织模式，这是已有基准从未做过的结构化划分，Table 1 显示本文是唯一同时覆盖开放网络、图像搜索、多图、多跳、集合式答案、证据链接与部分得分的基准。第二，构建流程以人类标注为主导、程序校验为辅助，遵循三条原则——视觉不可或缺性（关键视觉证据不能被问题文本、网页标题、字幕、OCR 或模型知识替代）、视觉证据整合性（必须把视觉观察与对象身份和外部信息连接才能作答）、公开可解与可审计（全部证据公开可检索且参考答案可独立验证），并为每题锁定参考答案与参考搜索轨迹，再经确定性完整性门控、LLM 后过滤、人工复核三重检查淘汰捷径任务。第三，评测协议要求所有系统先报告关键状态再交最终答案，使不同搜索路径只要恢复相同关键状态即得相同过程分，从而公平比较异构智能体框架。
核心方法
直觉上，作者认为真实信息检索不是一连串孤立地看图识物，而是随证据累积不断修正假设的过程：智能体需要把视觉观察与外部信息连接起来比较对象、过滤候选、跟随线索，并把跨步骤的结果合并成完整一致的答案。技术上，每道任务定义为一个三元组：自然语言问题 $q$、可选初始图像集 $I_0$（91.7% 的任务非空，共187题）、目标输出格式 $\sigma$。智能体在开放网络上通过五种证据工具交互：网页搜索、网页阅读、文本图像搜索、反向图像搜索、图像裁剪。在第 $t$ 步，智能体依据交互历史 $h_t=\langle q, I_0,(a_1,o_1),\ldots,(a_t,o_t)\rangle$ 选择下一动作 $a_{t+1}$，其中 $o_t$ 是工具返回的文本或视觉观察；交互结束后产出符合格式 $\sigma$ 的预测答案 $\hat{y}$。数据构建走五阶段流水线：源发现与选择、证据结构化、任务设计、编译任务并锁定 gold trajectory、确定性完整性门控加 LLM 后过滤与人工复核。评测用 Accuracy 与 Process Score 双指标，全部结果为 Pass@1。
核心创新是把视觉上下文管理拆解为五种可操作的任务结构，并配套双指标评测协议。与已有方法的本质区别有二。其一，已有基准主要检查任务中是否在某处用了视觉证据，本文检查的是多个图像、多个对象、多个步骤之间的视觉信息能否被组织成完整一致的答案——这正是集合式任务（68题，占33.3%）要考察的：对每个对象逐一收集核查视觉信息，再过滤、比较、汇总，且个别判断必须与最终总结一致。其二，评分设计上双轨并行：Accuracy 要求答案多一个不对、少一个也不行，$\mathrm{Acc}=\frac{1}{N}\sum_i \mathbb{I}[\mathcal{E}_{\sigma_i}(\hat{y}_i,y_i)=1]$，其中 $\mathcal{E}_{\sigma_i}$ 按任务特定规则比较解析后的答案（归一化实体别名、无序集合去重、有序序列保序）；Process Score 则按每题 $m_i$ 个关键状态给部分分。两个指标联合暴露出一个关键现象：许多系统能拿到不低的过程分，整题通过率却极低，说明瓶颈不在单点识别而在全程组织与汇总。
方法步骤详情
构建流程五步。第一步源发现与选择：标注者选定能提供有界实体集合、可靠实体-图像链接、可独立验证事实字段的公开来源（官方藏品目录、档案馆、权威数据库），并在写题前固定，使参考答案不依赖模型搜索结果或主观判断。第二步证据结构化：把实体、图像、事实字段、候选集合组织成可追溯的证据结构，记录来源 URL 与出处。第三步任务设计：从五个任务家族中选一个施加结构约束，写出隐藏中间节点与最终答案的自然语言问题。第四步编译任务并锁定 gold trajectory：参考答案（每题参考解中位数17.0步、均值17.6步，总计3,593步）、答案类型、可接受别名全部锁定。第五步完整性门控：程序化检查来源可达性、字段完整性、集合覆盖、答案可复算与捷径路径，再经 LLM 后过滤与人工复核，丢弃能绕过关键视觉证据或存在更短非预期路径的任务。评测协议：Pass@1、温度0（GPT-5.5 与 Claude Opus 4.8 除外）；每题最多30轮 ReAct、60次工具调用（每轮至多4次）；图像预算20张（初始+检索+裁剪共享），最长边1536像素，裁剪可放大至多4倍；网页文本截断12,000字符；单次下载上限8 MiB、每任务累计64 MiB；前向搜索用 Serper、反向图搜用 SerpApi。
技术新颖性
技术新颖性体现在四个层面。第一，任务分类学新颖：五家族不是按题材而是按搜索中视觉信息的组织方式划分，其中集合式（参考解均值23.9步、最长51步）与混合广深（均值23.8步、最长61步）显著加重状态管理负担，竞争性消歧平均仅需3.9步（最长5步）却要求极细的视觉比对与身份验证，难度来源完全不同。第二，构建方法论新颖：人工主导加程序辅助的三原则五阶段流水线把可审计性作为一等公民，gold trajectory 使错误分析能定位到具体步骤，Table S5 还区分了人工复核与程序检查的分工。第三，评测设计新颖：关键状态对齐机制允许不同有效搜索路径同等计分，不惩罚合理多解法；Direct Answer 等无工具设定也要求报告同样的结构化状态并按同一规则打分，保证跨设定可比。第四，消融设计新颖：Text/Caption/Full 三档视觉接入消融直接量化了让模型亲眼看检索图像相对看模型生成的图片描述的增益与损失，发现 Caption 通用描述会丢失跨图比较所需细节。
实验结果
16个模型的核心发现如下。第一，无工具直答全军覆没：没有任何模型超过6.37%准确率，多数在0%到6%之间，图中所有系统平均仅8.58%。第二，加搜索大幅提升但天花板很低：ReAct+Kimi-K3 以26.47%准确率居首，ReAct+GPT-5.5 达25.49%准确率并以49.52%过程分居首，两个指标的最佳系统不同，说明整题成功与逐步正确并不同步；最强系统也只能完整解决约四分之一的任务。第三，配对实验中搜索一致有益：Qwen3.5-397B-A17B 直答1.96%提升到 ReAct 15.69%、DeerFlow 10.29%，过程分从12.72%升至32.43%与28.37%；但框架好坏依模型而异，Qwen3.6-35B-A3B 用 DeerFlow（10.78%/24.26%）反而优于 ReAct（7.35%/23.25%），不存在对所有模型都最优的框架。第四，分任务家族差异显著：视觉结构引导最容易（GPT-5.5 50.00%/70.61%），序列式次之（Kimi-K3 32.35%/56.34%），混合广深（GPT-5.5 23.53%/48.36%），集合式最难（最佳准确率仅11.76%；GPT-5.5 过程分44.10%但准确率只有8.82%，部分正确与完整完成之间存在鸿沟），竞争性消歧直答全部为0%，加搜索后 DeepSeek-V4.1-Flash 与 Qwen3.8-27B 均达44.12%。第五，视觉接入消融（3模型）：Full > Caption > Text > Direct，DeepSeek-V4.1-Flash Full 22.55%对比 Text 12.25%（提升10.29个百分点）；改用 Caption 后正确题数有得有失（Qwen3.6-35B -8/+6、Qwen3.5-397B -10/+8、DeepSeek -20/+13），总体损失大于收益。第六，行为分析：视觉工具调用有41.5%到69.2%集中在搜索前20%进度，但后续阶段仍在使用；工具调用次数与准确率不正相关——DeepSeek 每题42.9次调用最多，GPT-5.5 仅18.8次却表现最好。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 全任务整体完成率（最佳系统） | Accuracy（Pass@1, %） | 26.47（ReAct + Kimi-K3） | 6.37（无工具直答最佳：GPT-5.5 / Gemini 3.5 Flash） | +20.10 个百分点（所有系统平均仅8.58%） |
| 关键状态逐步得分（最佳系统） | Process Score（%） | 49.52（ReAct + GPT-5.5） | 22.61（GPT-5.5 直答） | +26.91 个百分点 |
| 竞争性视觉消歧（Competitive Visual Disambiguation） | Accuracy（%） | 44.12（ReAct + DeepSeek-V4.1-Flash 与 ReAct + Qwen3.8-27B 并列） | 0.00（所有16个直答模型全部为0） | +44.12 个百分点，搜索工具在此类任务上是决定性的 |
| 视觉结构引导搜索（Visual-Structure-Guided） | Accuracy（%） | 50.00（ReAct + GPT-5.5，过程分70.61%） | 23.53（GPT-5.5 直答，同类目） | +26.47 个百分点 |
| 集合式视觉搜索（Set-wise Visual Search） | Accuracy（%） | 11.76（ReAct + Kimi-K3，全基准最难类目） | 0.00（多个模型直答，GPT-5.5 同框架过程分44.10%但准确率仅8.82%） | 提升有限：覆盖全部对象并汇总仍是最大瓶颈 |
| 视觉接入消融（DeepSeek-V4.1-Flash，ReAct） | Accuracy（%） | 22.55（Full：可直接查看并裁剪检索图像） | 12.25（Text：仅网页搜索+阅读）/ 19.12（Caption：检索图像转文字描述） | Full 比 Text 高10.29个百分点，比 Caption 高3.43个百分点 |
局限与改进
作者承认的局限散见于正文与结论：最强系统也只完成26.47%的任务，验证多个对象并把发现合并成完整一致的答案仍是未解难题；集合式任务中部分正确与完整完成差距巨大；模型强弱随任务类型与智能体框架组合而变，没有普适最优组合。我自己的观察有六点：第一，规模偏小且类别不均衡——204题中集合式68题、其余各34题，单类别上1道题就是约3个百分点，统计功效有限，报告未给置信区间；第二，评测依赖 LLM judge——Accuracy 与 Process Score 都靠带评分 prompt 的模型调用产出，判定器能力与版本会直接影响绝对分数；第三，Pass@1 单次运行未报告方差，即使温度0，API 侧波动仍可能改变边际结果（GPT-5.5 与 Claude 因接口限制未设温度0）；第四，工具栈固定——只有 Serper/SerpApi 搜索、12,000字符页面截断、20张图像预算，不含点击、截图、登录态等真实浏览交互，可能低估智能体上限，失败案例 S2 中确实出现后续图像请求被图像预算拦截的情况；第五，网络时效性——任务依赖公开网页内容，链接失效或页面改版会侵蚀基准有效性，需要持续维护机制；第六，20张图像预算对集合式任务（如逐个裁剪并反搜12个博物馆藏品）可能构成系统性瓶颈，但论文未对预算做敏感性分析。
独立分析的弱点
独立分析的弱点及改进方向：第一，判分严谨性与可扩展性矛盾——每题都要人工编写 accuracy_prompt 与 Process Score 评分规则，虽然严谨但扩展成本极高，改进方向是为可验证子目标（数量、ID、日期）自动生成程序化部分评分，或训练专门评分器并报告与人判的一致率。第二，类别样本不均衡且集合式只占三分之一——集合式恰是最难最关键的家族（最佳仅11.76%），改进方向是扩展到每类至少100题并按类发布分层置信区间。第三，失败分析停留在定性层面——附录17个案例极具启发（如 GPT-5.5 拿到与原图完全相同的 OOTGU 照片后，仍因商品标题证据更多而倒向错误的 OOBAZ；Qwen3.5 把已反搜命中的 Photosynthometer 重新解释为通用化学器具），但缺乏定量失败模式分类，改进方向是按错误类型（检索失败/证据选择失败/视觉状态管理失败/汇总失败）自动标注全部轨迹并统计占比。第四，图像预算与视觉 token 瓶颈未系统消融——20张图、1536像素、4倍裁剪的组合对性能影响未知，应做预算扫描实验。第五，gold trajectory 只用于审计与错误分析——3,593步参考解轨迹是现成的监督信号，未用于训练，属于明显浪费。
未来方向
作者在结论中指出的方向：改进多图像处理、跨步骤线索链接与完整答案生成，即在验证多个对象、组合发现产生完整一致答案上继续突破。基于本文成果可延伸的方向有六：第一，用3,593步参考解轨迹做监督微调或过程奖励建模，直接优化视觉状态管理策略，这与 SearchOS 等用轨迹做 SFT 的思路衔接；第二，设计显式视觉状态记忆模块——维护候选集合、已验证/已排除状态、待办视觉检查清单，把 ReAct 的隐式上下文管理外置成结构化状态；第三，研究自适应视觉接入策略——Caption 消融显示看描述与看原图互有胜负（Caption 能解出 Full 失败的6/8/13题），何时该看原图、何时描述足够值得建模；第四，把五类任务结构作为模板，从公开藏品库与目录批量自动合成新题并用确定性门控自动验证，缓解204题的规模限制；第五，跨语言评测——发布包已含中文版字段 question_zh，可系统考察中英文任务难度差异；第六，多智能体分工（检索员、视觉审核员、汇总员）在集合式任务上的收益量化，因为集合式瓶颈恰恰在于覆盖与汇总而非单点识别。
复现评估
复现条件良好，难度中等偏低。数据与代码开源：论文给出项目网站、GitHub 仓库与 Hugging Face 数据集链接；发布包为 Parquet 格式、9个字段（id、category_name、domain、question_en、answer、gold_trajectory、内嵌 images、accuracy_prompt、Process Score 评分 prompt），另有中文版（question_zh）。附录 B/C/D 完整公开了全部 prompt（直答、ReAct、格式恢复、判分 system prompt、表格匹配 F1 评分规则 $\mathrm{score}=2C/(M+N)$ 等）与所有超参（温度0、图像最长边1536像素、20张图预算、30轮/60次调用、每轮4次、网页截断12,000字符、单次8 MiB/累计64 MiB下载限制、Serper/SerpApi、Pass@1 协议）。成本方面：无需训练算力，纯评测即可复现主表，但需要 API 费用——16个模型乘以204题乘以多种设定（直答/ReAct/DeerFlow/三档消融），估计数百美元量级。风险点有二：LLM judge 版本漂移会轻微改变分数；搜索 API 返回内容随时间变化可能影响个别题目可达性。附录17个带完整轨迹的案例研究也为复现者调试自己的智能体提供了宝贵参照。
论文图表
