Vision-DeepResearch 基准：重新审视多模态大语言模型的视觉与文本搜索能力

提出 VDR-Bench，揭示现有基准两大缺陷并设计多轮裁剪搜索策略

前置知识

Vision-DeepResearch 系统

Vision-DeepResearch（视觉深度研究）系统是一类能够自主利用搜索引擎进行复杂视觉-文本事实查找的多模态智能体。与传统的视觉问答（VQA）系统不同，这类系统需要结合图像理解、网页搜索和多跳推理能力，通过迭代式检索和跨模态验证来回答需要外部知识支撑的复杂视觉问题。例如，系统可能需要从一张图片中识别出某个建筑，然后通过搜索获取该建筑的历史信息，再结合知识图谱进行多步推理得出最终答案。

本文的核心目标就是评测这类系统的视觉搜索和文本搜索能力，因此理解 Vision-DeepResearch 系统的工作原理是理解论文动机和方法的基础。

Whole-Image Search（WIS）

整图搜索是指直接使用原始完整图像作为查询输入，提交给图像搜索引擎（如 Google Images）进行检索。搜索引擎会返回与查询图像视觉相似的结果，通常包括来源网页的标题、描述等元数据。在现有基准测试中，这种搜索方式往往能够直接找到与原始图像高度相似甚至完全相同的副本，从而获得答案所需的元数据信息，这是一种过于理想化的检索场景。

论文指出 WIS 的「完美检索偏差」是现有基准的核心缺陷之一，VDR-Bench 通过实体级裁剪搜索（CIS）来解决这个问题。

Cropped Image Search（CIS）

裁剪图像搜索是本文提出的核心检索策略，指对原始图像中的感兴趣区域（如特定物体、标志、建筑局部等）进行裁剪，然后使用裁剪后的子图像作为查询提交给搜索引擎。与整图搜索不同，裁剪图像搜索能够聚焦于特定视觉实体，减少背景噪声干扰，实现更精准的实体级定位。这种方法模拟了真实世界中人类进行视觉搜索的行为——我们通常不会用整张照片去搜索，而是聚焦于照片中的关键元素。

CIS 是 VDR-Bench 评测的核心搜索模式，也是论文提出的多轮裁剪搜索工作流的基础组件。

Multi-turn Visual Forcing（MVF）

多轮视觉强制是一种零样本方法，旨在引导模型执行细粒度、多尺度的视觉检索。该策略首先引导模型对输入图像进行多轮迭代的区域裁剪和视觉查询，然后鼓励模型基于检索到的视觉证据进行更深层的推理。MVF 通过交互式搜索引擎迭代，使模型更有可能获取关于关键实体的相关世界知识，从而弥补模型在视觉深度研究任务中「懒惰搜索」的倾向。

MVF 是论文提出的改进策略，实验表明它能显著提升模型在 VDR-Bench 上的性能，是论文的重要贡献之一。

Entity Recall（实体召回率）

实体召回率是本文提出的新评测指标，用于衡量多模态深度研究系统是否成功发现了任务相关实体。对于每个任务 i，设 E_i 为预定义的金标准实体序列，S_i 为从智能体搜索轨迹中提取的实体集合。ER 使用 LLM-as-a-judge 范式评估搜索实体与金标实体之间的语义等价性，而非简单的字符串匹配。成功判定由 LLM 评判器确认检索实体集是否充分覆盖金标需求，指示函数在确认覆盖时返回 1，否则返回 0。

ER 指标能够更全面地评估模型的搜索能力，而不仅仅是答案正确性，这对于理解模型是否真正进行了有效的视觉搜索至关重要。

懒惰搜索（Lazy Search）现象

懒惰搜索现象是指拥有强大先验知识的模型在面对视觉深度研究任务时，倾向于依赖文本推理或避免使用搜索工具，而不是进行真正的视觉搜索和验证。实验发现，具有强大先验知识的闭源模型（如 Gemini 2.5 Pro）在配备搜索工具后的性能提升反而不如先验知识较弱的开源模型。这表明模型的强大先验知识并不能有效转化为视觉搜索能力，模型可能「偷懒」跳过了真正的视觉验证步骤。

这一发现揭示了当前多模态模型在深度研究任务中的根本性问题，直接动机了 MVF 策略的设计。

研究动机

现有的 Vision-DeepResearch 基准测试存在两个根本性缺陷，严重阻碍了对模型真实视觉搜索能力的准确评估。第一个缺陷是基准测试并非以视觉搜索为核心：论文通过对 SimpleVQA、LiveVQA、FVQA、BrowseComp-VL（BCVL）和 MMSearch 五个代表性基准进行定量分析发现，大量实例可以通过纯文本检索或模型先验知识解决，而无需真正的视觉验证。具体而言，在 Table 1 的实验中，仅启用文本搜索（TS）就能在多个数据集上获得显著的性能提升，某些情况下甚至超过图像搜索的效果。例如，在 Gemini 2.5 Pro 上，LiveVQA 的 TS 得分为 67.3，而 WIS 得分仅为 60.3。更令人担忧的是，使用图像描述（Caption）替代原始图像后直接回答（Direct Answer）也能获得有竞争力的性能，说明模型可以完全绕过视觉证据，仅依赖语言先验和参数化世界知识。第二个缺陷是评测场景过于理想化：在图像搜索端，查询原始图像通常能检索到几乎完全相同的副本及其标题或元数据，将任务简化为一次性查找；在文本搜索端，问题通常被表述为直接和浅层的方式，低估了多跳推理和证据聚合的难度。这些条件未能反映真实世界视觉搜索中固有的噪声、模糊性和迭代性。

本文的目标是本文的核心目标是构建一个真正以视觉搜索为中心的基准测试 VDR-Bench（Vision-DeepResearch Benchmark），包含 2,000 个精心策划的 VQA 实例，能够准确评估多模态深度研究系统在真实世界条件下的视觉和文本搜索能力。具体而言，VDR-Bench 需要实现三个目标：（1）确保每个实例的解答都真正需要视觉搜索和文本推理，而非仅依赖文本线索或模型先验知识；（2）通过实体级裁剪图像搜索替代整图搜索，消除「完美检索偏差」，模拟真实世界中需要迭代定位和视觉验证的搜索场景；（3）引入多跳推理问题，通过知识图谱扩展增加文本搜索端的难度，全面测试模型的跨模态证据聚合能力。此外，论文还提出了多轮裁剪搜索工作流（Multi-turn Visual Forcing）来改进现有模型在视觉检索场景中的不足。

与已有工作不同的是，本文的独特切入角度在于从「评测设计」层面而非「模型改进」层面来解决多模态深度研究系统的问题。与以往主要关注提升模型能力的工作不同，本文首先通过系统的定量分析揭示了现有基准测试的根本性缺陷——论文称之为「快捷方式现象」（shortcut phenomenon），即模型可以通过文本线索或先验知识绕过真正的视觉搜索。VDR-Bench 的设计哲学是「视觉优先」（vision-first），通过严格的多阶段数据构建流程确保每个实例都必须进行视觉实体的发现、定位和验证。这种从评测基准设计入手的方法论创新，不仅能够更准确地评估现有系统的真实能力，还能为未来多模态深度研究系统的设计提供实际指导。论文还首次提出了实体召回率（Entity Recall）指标，从实体发现的角度而非仅从答案正确性的角度来评估搜索能力。

核心方法

VDR-Bench 的构建遵循一个严格的数据为中心的多阶段流程，从原始图像出发，最终生成需要视觉搜索和多跳推理的 VQA 实例。整体思路是「视觉实体驱动」：首先通过人工裁剪从图像中提取显著区域（如物体、标志、地标），然后使用裁剪后的子图像进行网络级视觉搜索以发现目标实体，接着基于已验证的视觉实体生成种子 VQA 对，再通过知识图谱进行多跳复杂度扩展，最后经过自动可解性检查和人工质量过滤确保每个实例的质量。这种设计确保了所有问题都真正需要视觉证据，避免了文本线索泄漏和先验知识依赖。在评测方面，论文设计了三种受控推理设置：直接回答（Direct Answer）、裁剪图像搜索+文本搜索（CIS+TS）、以及在此基础上加入多轮视觉强制的 CIS+TS+MVF，以隔离搜索和视觉定位的独立贡献。

VDR-Bench 的核心创新在于两个方面。第一，数据构建层面的「视觉实体验证」机制：与以往将文本 QA 转换为 VQA 的方法不同，VDR-Bench 从图像中的具体视觉实体出发，通过人工裁剪、网络搜索、MLLM 辅助验证和人工确认的多阶段流程，确保每个实例的视觉实体都必须通过实际的视觉搜索才能发现，而非通过整图匹配或文本推理就能获得。第二，评测层面的「多轮裁剪搜索」工作流：论文提出 Multi-turn Visual Forcing（MVF）策略，引导模型对图像进行多尺度、多轮次的区域裁剪和视觉查询，模拟真实世界中人类逐步聚焦、迭代验证的搜索行为。这与现有基准中「一次性完美检索」的理想化设置形成鲜明对比。本质上，本文的方法创新在于认识到视觉搜索是一个迭代、试错的过程，而非一次性查找。

方法步骤详情

VDR-Bench 的构建包含六个关键步骤。Step 0：多领域图像预筛选，从多个数据集收集涵盖不同领域的图像，移除分辨率不足的样本，并使用 Qwen3-VL-235B-A22B-Instruct 作为图像过滤模型，选择包含多个实体且视觉丰富的高质量图像。Step 1：人工裁剪和视觉搜索，标注员从原始图像中提取显著局部区域（如物体、标志、地标或个体），每个裁剪区域作为查询提交给网络级图像搜索引擎，产生候选视觉搜索结果。Step 2：视觉实体提取和验证，从检索结果的网页标题和描述中提取候选实体名称（如人物、产品、地点或组织），首先使用 Qwen3-VL-235B-A22B-Instruct 过滤和验证查询裁剪与搜索结果之间的一致性，然后进行人工验证确保实体名称不能通过整图搜索轻易获得。Step 3：种子 VQA 生成，对于每个已验证的视觉实体，使用 Gemini-2.5-Pro 合成需要显式识别和定位该视觉实体的 VQA 对，如识别地标、品牌或物体类别。Step 4：基于知识图谱的复杂度扩展，将每个视觉实体链接到外部知识图谱，通过随机游走获取相关文本实体（如创始人、城市、年份或关联组织），构建从视觉实体出发、遍历一个或多个知识图谱节点的多跳推理问题。Step 5：可解性和质量验证，所有合成问题经过两阶段可解性检查：首先自动验证答案可以通过结合记录的视觉搜索轨迹和知识图谱扩展恢复，然后人工标注员进一步过滤问题以确保不存在纯文本或基于先验的快捷方式。

技术新颖性

VDR-Bench 的技术新颖性体现在三个层面。第一，评测范式的转变：从「能力展示」转向「能力发现」——现有基准倾向于展示模型能够做什么，而 VDR-Bench 专注于发现模型不能做什么，通过精心设计的难题来暴露模型的真实弱点。第二，搜索模式的创新：引入裁剪图像搜索（CIS）替代传统的整图搜索（WIS），这不仅是技术细节的改进，而是对视觉搜索本质的重新认识——真实世界的视觉搜索是实体级别的、迭代的、需要局部聚焦的，而非基于整图的一次性匹配。第三，指标体系的完善：提出实体召回率（Entity Recall）指标，使用 LLM-as-a-judge 范式评估语义等价性，而非简单的字符串匹配，这能够更准确地衡量模型的搜索轨迹是否覆盖了任务所需的关键实体。此外，论文发现的「懒惰搜索」现象和提出的 MVF 策略也具有重要的方法论意义，揭示了单纯提升模型预训练能力并不能有效提升视觉搜索能力，需要通过特定的策略来引导模型进行有效的搜索。

**Figure 2**: Dataset composition and example instances from VDR-Bench

**Figure 3**: VDR-Bench is constructed via a multi-stage, vision-centric workflow

实验结果

论文在 VDR-Bench 上进行了全面的实验评估，揭示了多个重要发现。首先，所有模型在直接回答设置下得分都很低，最好的模型（GPT-5）也仅有 9.5% 的准确率，这明确表明 VDR-Bench 确实需要模型主动进行搜索才能获得答案，而非仅依赖先验知识。在配备搜索工具（CIS+TS）后，Qwen3-VL-235B-A22B-Instruct 取得了最高的 21.2% 准确率，甚至超越了所有闭源模型，这引出了「懒惰搜索」现象的发现——拥有强大先验知识的模型倾向于依赖文本推理或避免使用搜索工具，导致其强大先验无法有效转化为视觉搜索能力。相反，先验知识较弱的开源模型展现出更强的搜索能力，且这种能力随着模型规模的增加而稳步提升。在引入多轮视觉强制（MVF）策略后，所有模型的性能都得到了显著提升，其中 Gemini 2.5 Pro 从 16.2% 提升至 30.0%（绝对提升 13.8 个百分点），GPT-5 从 19.2% 提升至 26.6%（绝对提升 7.4 个百分点）。Figure 4 的散点图进一步表明，正确回答问题与成功检索任务相关实体之间存在强正相关，MVF 倾向于同时提升这两个指标。在 10 个视觉领域的细分表现中，建筑（Architecture）领域通常获得最高分数，而体育（Sports）和电影（Movie）领域表现相对较低，这可能与不同领域视觉实体的可区分性和搜索难度有关。

**Table 1**: Performance comparison across visual search benchmarks

**Table 2**: Performance Comparison of Models Across Different Categories (Accuracy)

**Table 3**: Performance comparison of models across different categories (Accuracy) on testmini set

**Table 4**: Performance comparison of models across different categories (Entity Recall) on testmini set

**Figure 4**: Relationship between overall answer accuracy and entity-level recall on VDR-Bench

查看结构化数据

任务	指标	本文	基线	提升
VDR-Bench 整体准确率（Gemini 2.5 Pro）	Answer Accuracy (%)	CIS+TS: 16.2, CIS+TS+MVF: 30.0	Direct Answer: 8.2	MVF 相对 Direct Answer 提升 21.8 个百分点（相对提升 266%）
VDR-Bench 整体准确率（GPT-5）	Answer Accuracy (%)	CIS+TS: 19.2, CIS+TS+MVF: 26.6	Direct Answer: 9.5	MVF 相对 Direct Answer 提升 17.1 个百分点（相对提升 180%）
VDR-Bench 整体准确率（Claude-4-Sonnet）	Answer Accuracy (%)	CIS+TS: 13.2, CIS+TS+MVF: 20.6	Direct Answer: 5.6	MVF 相对 Direct Answer 提升 15.0 个百分点（相对提升 268%）
VDR-Bench 整体准确率（Qwen3-VL-30B-A3B）	Answer Accuracy (%)	CIS+TS: 17.2, CIS+TS+MVF: 21.2	Direct Answer: 3.8	MVF 相对 Direct Answer 提升 17.4 个百分点（相对提升 458%）
VDR-Bench 整体准确率（Qwen3-VL-235B-A22B）	Answer Accuracy (%)	CIS+TS: 21.2, CIS+TS+MVF: 27.4	Direct Answer: 8.8	MVF 相对 Direct Answer 提升 18.6 个百分点（相对提升 211%）
Vision-DeepResearch-30B 在 testmini 集	Answer Accuracy (%)	CIS+TS: 37.8	Direct Answer: 4.8	搜索提升 33.0 个百分点（相对提升 688%）
Vision-DeepResearch-30B 实体召回率	Entity Recall (%)	CIS+TS: 45.0	无（新指标）	在所有模型中实体召回率最高

局限与改进

论文承认的局限性包括：VDR-Bench 的 2,000 个实例规模虽然相对较大，但可能仍不足以全面覆盖所有视觉搜索场景；数据构建过程依赖人工标注，成本较高且可能存在标注者偏差；评测使用的 LLM-as-a-judge 方法虽然比字符串匹配更灵活，但仍可能引入评判偏差。从独立分析的角度来看，本文还存在以下局限：首先，论文主要关注图像搜索场景，对于视频、3D 模态等更广泛的视觉搜索场景尚未涉及；其次，VDR-Bench 的问题类型主要是事实性 VQA，对于需要开放性推理或多步规划的复杂任务覆盖不足；第三，论文提出的 MVF 策略虽然有效，但本质上是一种「提示工程」层面的改进，缺乏从模型架构或训练层面的根本性解决方案；最后，论文在不同搜索预算和交互约束下的消融实验不够充分，难以确定最优的搜索策略配置。

独立分析的弱点

VDR-Bench 存在几个值得关注的弱点。首先，数据构建的可扩展性问题：当前的多阶段流程高度依赖人工标注（包括裁剪、实体验证、质量过滤等环节），这使得基准的扩展成本很高，难以快速适应新的视觉领域或问题类型。改进方向可以探索半自动化或全自动化的数据构建流程，利用更强的 MLLM 减少人工参与。其次，评测指标的局限性：虽然实体召回率（ER）是一个有价值的补充指标，但它仍然依赖 LLM 评判器，可能引入系统性偏差；同时，ER 仅衡量实体发现能力，未考虑实体间关系推理的准确性。可以设计更细粒度的指标来分别评估实体定位、关系推理和最终答案生成的能力。第三，搜索策略的固定性：论文中的 CIS+TS 和 CIS+TS+MVF 设置是固定的，未探索自适应搜索策略（如根据问题难度动态调整搜索轮次或裁剪粒度）。第四，领域覆盖的不均衡性：10 个视觉领域的实例数量分布不均（如体育 15.35%、科技 12.1%、其他仅 2.7%），可能影响评测的公平性。

未来方向

论文提出了几个重要的未来研究方向。首先，作者建议未来的工作应致力于提升 Vision-DeepResearch 系统的视觉搜索能力，而不仅仅是提升基础模型的预训练能力——这需要设计更好的搜索引导策略和工具使用机制。其次，论文发现的「懒惰搜索」现象表明需要研究如何激励模型在面对视觉深度研究任务时进行广泛而有效的搜索，这可能涉及强化学习、课程学习或人类反馈等训练方法。基于本文成果可延伸的方向包括：（1）将 VDR-Bench 的构建方法扩展到视频和 3D 场景，构建多模态深度研究的综合评测体系；（2）探索自适应搜索策略，根据问题特性和中间检索结果动态调整搜索策略；（3）研究视觉搜索能力的可迁移性，即在一个领域学到的搜索策略能否泛化到新领域；（4）开发端到端的视觉搜索训练方法，通过大规模搜索轨迹数据来训练模型的搜索能力；（5）结合知识图谱和大语言模型的最新进展，构建更复杂的多跳推理问题。

复现评估

论文承诺代码将在 GitHub（https://github.com/Osilly/Vision-DeepResearch）开源发布，这对于复现研究结果非常重要。从复现难度来看，数据构建过程虽然描述详细，但涉及多个阶段的人工标注和多个外部模型（Qwen3-VL-235B、Gemini-2.5-Pro）的调用，复现成本较高。评测框架相对标准化，使用了固定的搜索预算和交互约束，复现难度中等。算力需求方面，实验涉及多个大型模型（包括 Gemini 2.5 Pro、GPT-5、Claude-4-Sonnet 等闭源模型和 Qwen3-VL 系列开源模型），对于学术研究者可能需要较大的 API 调用预算或计算资源。需要注意的是，论文中的某些实验结果（如 Vision-DeepResearch-30B 的表现）依赖于特定的模型版本，未来模型更新可能导致结果不可复现。建议复现时重点关注数据构建流程的细节和评测指标的实现。

Vision-DeepResearch 基准：重新审视多模态大语言模型的视觉与文本搜索能力 Vision-DeepResearch Benchmark: Rethinking Visual and Textual Search for Multimodal Large Language Models