Vision-DeepResearch：激励多模态大语言模型的深度研究能力 Vision-DeepResearch: Incentivizing DeepResearch Capability in Multimodal Large Language Models
多尺度视觉裁剪+长程轨迹RL，突破多模态深度研究瓶颈
前置知识
多模态大语言模型（MLLM）
多模态大语言模型是能够同时处理文本和视觉信息的大规模预训练模型，如Qwen3-VL、GPT-5等。这类模型通过在大规模图文数据上预训练，学习到视觉-语言的联合表示，能够执行视觉问答、图像描述等任务。然而，MLLM的内部世界知识有限，对于需要外部事实信息的复杂问题，仅依赖模型内部知识往往无法给出准确答案。本文的Vision-DeepResearch正是针对这一局限性，通过引入外部搜索引擎来增强MLLM的事实推理能力。
理解MLLM的基本架构和能力边界是理解本文研究动机的前提，本文的核心目标就是突破MLLM在事实密集型视觉问答中的知识瓶颈。
ReAct范式（Reasoning-then-Tool-Call）
ReAct是一种将推理与工具调用相结合的Agent范式，由Yao等人于2022年提出。在该范式中，模型首先进行推理（Reasoning），然后决定调用什么工具（Tool Call），获取外部信息后继续推理，形成迭代的推理-行动循环。这种范式已被广泛应用于文本问答、代码生成等任务。在多模态场景下，ReAct允许模型在推理过程中调用视觉搜索、文本搜索、网页浏览等工具来获取外部证据。本文在此基础上进行了重要扩展，支持长程（数十步）推理和大规模（数百次）工具交互。
ReAct是本文方法的基础框架，理解这一范式有助于把握本文在推理深度和交互规模上的创新。
命中率问题（Hit-Rate Problem）
命中率问题是指在视觉搜索引擎中，使用单一的全图或实体级查询往往无法检索到所需的证据。在真实世界的网页环境中，图像通常包含多个视觉实体，背景杂乱，且搜索引擎对不同尺度的查询会返回高度不一致的结果。即使对同一视觉实体进行不同尺度的裁剪查询，检索结果也可能差异显著。这一问题在现有工作中被严重忽视，导致多模态检索系统在复杂场景下表现脆弱。本文提出的多尺度裁剪搜索策略正是为了解决这一核心挑战。
命中率问题是本文的核心研究动机之一，理解这一问题对于把握本文方法的创新价值至关重要。
Group Relative Policy Optimization（GRPO）
GRPO是一种强化学习算法，由DeepSeek团队提出，用于优化大语言模型的策略。与传统的PPO算法不同，GRPO通过组内相对比较来计算优势函数，避免了价值函数估计的不稳定性。在本文中，GRPO被用于训练Vision-DeepResearch模型，使其在与真实搜索引擎交互的过程中学习长程推理行为。结合Leave-One-Out技巧，GRPO能够有效处理多轮工具调用场景下的信用分配问题，是实现高效强化学习训练的关键技术。
GRPO是本文强化学习阶段的核心算法，理解其工作原理有助于把握本文的训练方法论。
监督微调（SFT）与强化学习（RL）的两阶段训练
本文采用两阶段训练策略：首先通过监督微调（SFT）让模型学习多模态深度研究的基本行为模式，包括多轮视觉裁剪、搜索和推理；然后通过强化学习（RL）进一步优化模型在真实搜索环境中的长程决策能力。SFT阶段使用30K高质量轨迹数据，RL阶段使用15K验证过的VQA实例。这种两阶段方法结合了离线学习的稳定性和在线交互的适应性，是本文能够训练出强大深度研究模型的关键。
理解这一训练范式对于把握本文的方法论框架和实验设计至关重要。
研究动机
现有多模态深度研究方法面临两个关键问题。第一，命中率问题被严重忽视。在真实世界的网页环境中，图像通常包含多个视觉实体，背景杂乱，搜索引擎对不同尺度的查询会返回高度不一致的结果。如论文图1(A.1)所示，全图检索往往被无关视觉噪声主导，即使对同一实体进行不同尺度的裁剪查询，检索结果也可能差异显著。第二，现有方法在推理深度和检索广度上都受到严重限制。如论文图1(A.2)所示，现有方法的推理轨迹平均只有不到5轮检索，导致模型在复杂任务中过早终止探索，只能获取部分相关证据，而无法系统地从多个信息源聚合证据。
本文的目标是本文的具体目标是设计一个新的多模态深度研究范式，支持数十个推理步骤和数百次搜索引擎交互，将深度研究能力内化到多模态大语言模型中。具体而言，本文希望解决命中率问题，通过多实体、多尺度的视觉和文本搜索来稳健地命中真实搜索引擎；同时突破现有方法在推理深度和检索广度上的限制，使模型能够在长程推理过程中进行试错式的自适应探索。
与已有工作不同的是，本文的独特切入角度在于将多模态搜索建模为一个试错过程，而不是一次性操作。与现有方法将图像查询视为全图或实体级检索不同，本文提出多尺度裁剪搜索策略，通过在不同尺度上对同一实体进行多次查询来提高命中率。此外，本文借鉴了文本深度研究模型的长程ReAct能力，通过图像描述桥接机制将这种能力迁移到视觉领域。这种跨模态的能力迁移是本文的核心创新，使得小规模模型（如8B参数）也能达到与大规模闭源模型相当的性能。
核心方法
本文的方法整体思路是通过高质量的多模态深度研究轨迹合成和两阶段训练，将长程推理能力内化到多模态大语言模型中。首先，本文设计了一个高度自动化的数据合成流水线，包括多实体、多尺度视觉裁剪搜索和文本桥接的深度研究轨迹生成。然后，通过监督微调（SFT）让模型学习基本的多轮搜索和推理模式，再通过强化学习（RL）在真实搜索引擎环境中进一步优化模型的长程决策能力。这种先离线学习、再在线优化的范式，使得模型能够稳健地在嘈杂的真实网络环境中进行多模态深度研究。
本文的核心创新点在于提出了多实体、多尺度视觉裁剪搜索策略和长程轨迹构建方法。与已有方法的本质区别体现在三个方面：第一，现有方法采用单次全图或实体级图像检索，而本文通过多尺度裁剪（包括细粒度实体级区域）进行多次视觉搜索，显著提高了命中率；第二，现有方法的推理轨迹通常只有不到5轮，而本文支持数十个推理步骤和数百次引擎交互；第三，本文通过图像描述桥接机制，将文本深度研究模型的长程推理能力迁移到视觉领域，实现了跨模态的能力转移。这些创新使得Vision-DeepResearch能够在复杂的真实世界场景中进行稳健的多模态深度研究。
方法步骤详情
本文的方法分为数据合成和模型训练两个主要步骤。在数据合成阶段，首先对输入图像进行多实体、多尺度裁剪，生成多个边界框；然后对每个裁剪区域进行视觉搜索，获取匹配的网页URL；接着使用网站访问工具获取页面内容，并用辅助MLLM进行摘要和验证。这一过程会迭代进行，直到外部判断模型认为收集到的视觉证据足够支持后续推理。之后，通过文本桥接机制将视觉轨迹转换为文本形式，利用文本深度研究模型生成后续的文本搜索轨迹。最后合并视觉和文本轨迹，通过拒绝采样选择一致的轨迹用于训练。在模型训练阶段，首先使用30K高质量轨迹进行SFT，教授模型多轮、多实体、多尺度的搜索和推理模式；然后使用15K VQA实例进行RL训练，通过GRPO算法优化模型在真实搜索引擎环境中的长程决策能力。
技术新颖性
本文的技术新颖性体现在多个方面。第一，多尺度裁剪搜索策略是解决命中率问题的关键创新，通过对同一实体进行不同尺度的裁剪查询，显著提高了视觉检索的命中率。第二，长程轨迹构建方法首次实现了数十个推理步骤和数百次引擎交互的多模态深度研究，突破了现有方法在推理深度上的限制。第三，文本桥接机制通过图像描述实现了从视觉到文本的能力迁移，使得小规模模型也能获得强大的深度研究能力。第四，高吞吐量异步rollout架构设计解决了长程Agent强化学习中的效率瓶颈，实现了超过10倍的rollout吞吐量提升。第五，工程技巧如轨迹中断、掩码轨迹等，确保了大规模Agent推理RL训练的稳定性。
实验结果
本文在六个具有挑战性的基准测试上进行了全面的实验评估。核心发现包括：第一，Vision-DeepResearch-8B在平均性能上达到了50.5%，相比基线Qwen3-VL-8B-Instruct（Agentic）的40.1%提升了10.4个百分点，其中在MMSearch上提升了17.6个百分点，在LiveVQA上提升了13.7个百分点。第二，Vision-DeepResearch-30B-A3B达到了56.9%的平均性能，相比基线的40.9%提升了16.0个百分点，在VDR上提升了17.6个百分点，在FVQA上提升了16.5个百分点，在MMSearch-Plus上提升了18.5个百分点。第三，本文方法甚至超越了基于GPT-5、Gemini-2.5-Pro、Claude-4-Sonnet等强大闭源模型构建的Agent工作流。第四，消融实验表明，多尺度裁剪搜索（CIS）相比全图搜索（WIS）在VDR上从11.8%提升到15.4%，结合文本搜索（CIS+TS）进一步提升到37.8%。第五，RL训练相比SFT平均提升了3.1个百分点，证明了在线交互对于优化长程决策的重要性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VDR-Bench视觉深度研究基准 | 准确率（%） | 37.8（30B-A3B）/ 29.2（8B） | 20.2 / 17.0（基线Agentic） | +17.6 / +12.2个百分点 |
| FVQA事实视觉问答 | 准确率（%） | 74.2（30B-A3B）/ 64.7（8B） | 57.7 / 58.7（基线Agentic） | +16.5 / +6.0个百分点 |
| MMSearch-Plus多模态搜索增强 | 准确率（%） | 28.5（30B-A3B）/ 20.4（8B） | 10.0 / 11.3（基线Agentic） | +18.5 / +9.1个百分点 |
| MMSearch多模态搜索 | 准确率（%） | 69.6（30B-A3B和8B） | 55.0 / 52.0（基线Agentic） | +14.6 / +17.6个百分点 |
| LiveVQA实时视觉问答 | 准确率（%） | 77.6（30B-A3B）/ 76.7（8B） | 60.0 / 63.0（基线Agentic） | +17.6 / +13.7个百分点 |
| BC-VL浏览理解视觉语言 | 准确率（%） | 53.7（30B-A3B）/ 42.6（8B） | 42.6 / 38.6（基线Agentic） | +11.1 / +4.0个百分点 |
局限与改进
本文存在以下局限性：第一，由于API成本和训练时间的限制，作者未能充分扩展RL训练规模，预期模型在更大规模的RL优化下能够进一步提升性能。第二，本文的评估主要集中在事实密集型视觉问答任务上，对于其他类型的多模态推理任务（如视觉推理、空间推理等）的泛化能力尚未验证。第三，本文依赖真实在线搜索引擎进行训练和评估，这可能导致结果受到搜索引擎API稳定性和响应时间的影响。第四，本文的轨迹合成流水线虽然高度自动化，但仍需要多个MLLM参与（包括用于判断、摘要、验证的辅助模型），增加了数据生成的复杂性和成本。第五，论文未详细讨论模型在不同语言和文化背景下的泛化能力，考虑到搜索引擎的地域性差异，这可能影响方法的实际应用。
独立分析的弱点
本文存在以下可改进的弱点：第一，多尺度裁剪搜索策略虽然提高了命中率，但增加了计算开销和延迟，未来可以探索更高效的裁剪策略或自适应裁剪机制。第二，文本桥接机制依赖图像描述的质量，如果图像描述不准确或不完整，可能导致能力迁移的损失，可以考虑使用更强大的视觉编码器或多模态融合方法。第三，强化学习阶段的奖励设计仅基于答案正确性，未考虑推理过程的质量，可以引入过程奖励或结构化奖励来优化推理轨迹的质量。第四，本文的异步rollout架构虽然提高了吞吐量，但对于极长轨迹（如数百步）的处理效率仍有提升空间，可以考虑分层rollout或流水线并行等技术。第五，模型在处理需要多轮视觉推理的复杂场景时，可能仍然存在推理深度不足的问题，可以探索更复杂的记忆机制或层次化推理结构。
未来方向
基于本文的成果，未来研究可以从以下方向展开：第一，探索更高效的多模态深度研究数据合成方法，减少对多个辅助MLLM的依赖，降低数据生成成本。第二，研究跨语言、跨文化的多模态深度研究能力，使模型能够在全球范围内进行稳健的信息检索和推理。第三，将本文的方法扩展到其他模态（如音频、视频），构建真正的全模态深度研究系统。第四，探索更复杂的奖励设计和训练方法，如引入人类反馈、过程奖励模型等，进一步优化推理轨迹的质量。第五，研究如何将深度研究能力与具身智能相结合，使Agent能够在物理世界中进行多模态信息获取和推理。第六，探索模型压缩和蒸馏技术，将大规模模型的深度研究能力迁移到更小的模型中，降低部署成本。
复现评估
本文在复现性方面表现良好。作者承诺将在GitHub开源代码（https://github.com/Osilly/Vision-DeepResearch），这有助于社区复现和验证结果。训练数据方面，本文使用了公开可访问的VQA数据集和真实在线搜索引擎，数据获取相对容易。然而，复现本文结果需要显著的计算资源，包括多GPU集群进行SFT和RL训练，以及大量的搜索引擎API调用成本。此外，本文的异步rollout架构和工程技巧（如轨迹中断、掩码轨迹等）对于训练稳定性至关重要，复现时需要仔细实现这些组件。总体而言，本文提供了相对完整的实验设置描述，但完全复现可能需要中等偏高的计算资源投入。
论文图表
该图分为三个部分。Panel A展示了现有方法的两个核心问题：命中率问题和有限的推理深度与检索广度。左侧示意图显示全图检索往往被无关视觉噪声主导，不同尺度裁剪的查询结果差异显著；右侧柱状图显示现有方法的推理步骤数和引擎交互次数都很少。Panel B展示了本文的完整流水线，包括高质量的VQA合成、多轮轨迹生成和Vision-DeepResearch模型训练。底部展示了性能对比，本文模型在六个基准上达到了最优性能，且参数规模更小。
这张图是理解本文核心动机和方法的关键，直观展示了命中率问题的本质和本文方法的整体框架，帮助读者快速把握论文的核心贡献。