V-Retrver：基于证据驱动的智能体推理实现通用多模态检索 V-Retrver: Evidence-Driven Agentic Reasoning for Universal Multimodal Retrieval
通过多模态交错证据推理和视觉工具调用，实现细粒度多模态检索的智能体框架
前置知识
多模态大语言模型（MLLM）
多模态大语言模型是能够同时处理文本、图像等多种模态信息的大型神经网络模型，典型代表包括LLaVA、Qwen-VL、InternVL等系列。这类模型通常基于Transformer架构，通过视觉编码器将图像转换为token序列，再与文本token一起输入语言模型进行联合推理。MLLM在视觉问答、图像描述、多模态检索等任务上展现出强大的能力，其核心优势在于能够将视觉感知与语言推理深度结合。
V-Retrver基于Qwen2.5-VL-7B构建，理解MLLM的工作原理是理解本文方法的基础，特别是模型如何处理视觉输入和生成推理过程。
思维链推理（Chain-of-Thought, CoT）
思维链推理是一种提示技术，要求模型在给出最终答案前展示中间推理步骤。在多模态场景中，CoT可以帮助模型逐步分析查询和候选的特征，进行有条理的比较和判断。传统的文本CoT仅依赖语言描述进行推理，而本文提出的多模态交错CoT则允许模型在推理过程中主动获取视觉证据，实现更可靠的决策。
本文的核心创新在于将CoT推理从纯文本扩展到多模态交错形式，理解传统CoT的局限性有助于认识本文方法的价值。
强化学习与GRPO
强化学习是一种通过与环境交互来学习最优策略的机器学习范式。GRPO（Group Relative Policy Optimization）是一种策略优化算法，通过对同一查询采样多个轨迹，计算组内相对优势来进行策略更新。与传统PPO相比，GRPO不需要单独训练价值函数，而是通过组归一化来估计优势，简化了训练流程。在本文中，GRPO被用于优化模型的检索策略和工具使用行为。
V-Retrver的第三阶段训练采用GRPO进行证据对齐策略优化，理解这一算法对于把握模型如何学习有效使用视觉工具至关重要。
智能体（Agent）与工具调用
智能体是指能够感知环境、制定计划、采取行动并根据反馈调整行为的自主系统。在LLM/MLLM领域，智能体通常指模型能够调用外部工具来增强自身能力。本文中，V-Retrver作为检索智能体，可以调用视觉工具（如图像选择和局部放大）来获取额外的视觉证据，这种工具增强的推理模式使模型能够突破静态视觉编码的限制，在推理过程中动态获取所需信息。
理解智能体范式是理解V-Retrver如何将检索过程重新定义为迭代决策过程的关键，模型不再是被动评分而是主动探索和验证。
研究动机
现有多模态检索方法存在一个根本性局限：即使检索决策严重依赖视觉证据，这些方法本质上仍然是语言驱动的。具体而言，大多数基于MLLM的检索方法（如LamRA、MM-Embed等）将视觉输入压缩为固定的嵌入向量或文本描述，迫使推理过程完全依赖语言来推断视觉差异。这在视觉模糊的检索场景中问题尤为突出——当候选图像共享相似的语义内容但在细粒度视觉属性（如物体外观、纹理、风格或局部上下文）上存在差异时，模型往往无法可靠区分。即使是最近的推理增强检索框架（如Retrv-R1、MM-R5），虽然提升了文本推理深度，但仍然依赖单次视觉编码，缺乏在推理过程中主动验证视觉假设的能力。这导致模型在需要细粒度视觉证据时产生推测性推理或幻觉，严重影响检索准确性。
本文的目标是本文提出V-Retrver框架，旨在解决上述问题，实现以下具体目标：（1）将多模态检索重新定义为基于证据的推理过程，使模型能够在推理过程中主动获取和验证视觉证据；（2）设计多模态交错证据推理（MIER）范式，实现假设生成与视觉验证的交替进行；（3）通过课程学习策略训练检索智能体，使其具备稳定、高效的证据驱动推理能力；（4）在多个多模态检索基准上实现一致的性能提升，特别是在需要细粒度视觉判断的场景中。实验表明，V-Retrver在M-BEIR基准上达到69.7%的平均Recall，相比最强基线提升4.9%。
与已有工作不同的是，本文的独特切入角度在于将检索过程从「被动评分」转变为「主动探索」。现有方法假设所有必要的视觉证据在推理前已被完全编码到嵌入或文本描述中，这种假设在细粒度或视觉模糊的检索场景中失效。V-Retrver抓住了一个被忽视的关键点：检索模型应该像人类一样，在遇到不确定时「再看一眼」关键细节。通过赋予模型选择性获取视觉证据的能力，V-Retrver实现了真正的多模态推理——不再是纯语言推理加上静态视觉特征，而是文本假设与视觉观察的动态交互。这种视角的转变自然引出了智能体检索范式，其中检索模型具备推理、检查和修正决策的能力，而非被动地对候选进行评分。
核心方法
V-Retrver的方法可以用一个直观的比喻来理解：想象一位艺术品鉴定专家在拍卖会上评估多幅画作。传统方法就像专家只看每幅画的缩略图就做出判断，而V-Retrver则允许专家拿起放大镜仔细观察关键细节，甚至将两幅画放在一起对比细微差异。技术上，V-Retrver采用粗细两阶段检索流程：第一阶段使用嵌入模型进行高效的候选提案，从大规模候选池中筛选出Top-K个候选；第二阶段使用推理智能体对候选进行细粒度重排序，关键在于智能体能够通过调用视觉工具（图像选择和局部放大）主动获取视觉证据，在推理过程中动态解决视觉模糊问题。整个框架遵循「假设生成-证据获取-决策修正」的迭代推理模式，实现真正的多模态交错推理。
V-Retrver的核心创新是多模态交错证据推理（Multimodal Interleaved Evidence Reasoning, MIER）范式。与已有方法最本质的区别在于：传统方法将视觉表示视为静态输入，推理过程是单向的「编码-推理-输出」；而MIER将检索过程重新定义为迭代的决策制定过程，推理智能体可以在中间步骤主动调用视觉工具获取新证据。形式上，给定初始文本查询和候选图像集，推理智能体交替产生文本推理步骤、工具调用请求和视觉证据，形成多模态推理轨迹。这种设计的关键优势是显式地将中间推理步骤建立在动态获取的视觉观察基础上，有效缓解推测性推理和幻觉，实现更可靠的排序决策。MIER本质上是一种「选择性感知」机制——模型不是编码所有视觉信息，而是仅在必要时扩展其视觉感受野，这与人类检索行为高度一致。
方法步骤详情
V-Retrver的完整方法流程包含以下几个关键步骤：（1）粗粒度检索阶段：嵌入模型φ将查询q和每个候选c_n编码到共享表示空间，基于相似度检索Top-K个候选，构建缩减后的候选集C。采用与LamRA相同的方法构建嵌入模型。（2）智能体重排序阶段：推理智能体θ对候选集C进行细粒度重排序。智能体接收查询和候选后，首先分析查询的关键特征和需求，然后对所有候选进行快速预筛选，识别出最有潜力的候选子集。对于这些候选，智能体进行详细分析，比较它们与查询的匹配程度。（3）视觉工具调用：当存在重要、模糊或缺失的视觉细节时，智能体可以调用视觉工具。SELECT-IMAGE工具允许选择1-4个候选图像进行聚焦比较；CROP_IMAGE工具对指定区域进行局部放大，实现细粒度分析。工具返回的视觉证据被追加到推理上下文中。（4）滑动窗口重排序：为处理大规模候选池，采用滑动窗口策略，窗口大小K=20，步长10，每次推理后逐步精炼结果，最终完成排序。（5）训练阶段：采用三阶段课程学习策略——冷启动SFT激活基础推理能力，拒绝采样微调提高推理可靠性，证据对齐策略优化（EAPO）显式对齐检索性能与视觉验证行为。
技术新颖性
V-Retrver的技术新颖性体现在多个层面：（1）问题重构的创新：首次将多模态检索明确重构为基于证据的推理问题，而非传统的相似度匹配或语言重排序。这种视角转变将检索从单次推理过程转变为迭代决策过程，模型需要主动获取和验证视觉证据。（2）推理范式的创新：MIER范式实现了文本假设生成与视觉证据获取的真正交错，而非传统方法的「先编码后推理」。这种设计使模型能够根据推理需要动态调整视觉关注点，突破了静态视觉编码的限制。（3）训练策略的创新：三阶段课程学习设计精巧——SFT激活基础能力，RSFT提高可靠性，EAPO优化工具使用策略。特别是EAPO中的复合奖励函数，包含格式合规奖励、软排序奖励和工具使用奖励，显式编码了「有效工具使用而非频繁使用」的原则。（4）工具机制的创新：视觉工具设计简洁但有效，SELECT-IMAGE和CROP_IMAGE两个工具分别处理「看哪个」和「看哪里」的问题，实现选择性感知。
实验结果
V-Retrver在多个多模态检索基准上展现出显著且一致的性能提升，核心发现如下：（1）在M-BEIR基准测试中，V-Retrver-7B达到69.7%的平均Recall，相比最强基线U-MARVEL-7B（64.8%）提升4.9个百分点，建立新的最优水平。这一优势在需要细粒度视觉细节的场景中尤为突出，例如在FashionIQ数据集上，V-Retrver达到51.2%，而U-MARVEL仅为38.2%，提升13个百分点；在CIRR数据集上达到73.5%，相比U-MARVEL的63.2%提升10.3个百分点。（2）零样本泛化能力显著：在5个未见过的数据集上，V-Retrver持续超越专门模型和通用MLLM。在CIRCO数据集上，V-Retrver达到48.2%的MAP@5，显著超越MM-Embed-7B（35.5%）和LamRA-7B（42.8%）。（3）任务级适应性强：在故意排除的检索任务上，V-Retrver仍达到61.1%的平均Recall，相比LamRA-7B（50.9%）提升10.2个百分点，证明MIER框架有效解耦了推理过程与特定输入类型。（4）消融研究验证各组件有效性：无工具的纯文本RL变体仅达61.8%，而V-Retrver达67.2%，证明视觉工具的不可或缺性；完整三阶段训练达到最高性能67.2%，移除任一阶段都会导致性能下降。（5）RAG应用拓展：在知识视觉问答任务中，V-Retrver在检索精度和问答准确率上均优于基线，如在OKVQA上达到90.9%的PR@5和65.7%的ACC。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| M-BEIR综合基准 | 平均Recall@K | 69.7% | U-MARVEL-7B: 64.8% | +4.9% |
| FashionIQ（图像+文本→图像） | Recall@10 | 51.2% | U-MARVEL-7B: 38.2% | +13.0% |
| CIRR（图像+文本→图像） | Recall@5 | 73.5% | U-MARVEL-7B: 63.2% | +10.3% |
| CIRCO零样本 | MAP@5 | 48.2% | LamRA-7B: 42.8% | +5.4% |
| GeneCIS零样本 | Recall@1 | 30.7% | LamRA-7B: 24.8% | +5.9% |
| 排除任务泛化 | 平均Recall | 61.1% | LamRA-7B: 50.9% | +10.2% |
| OKVQA RAG | PR@5 | 90.9% | LamRA-7B: 89.0% | +1.9% |
局限与改进
尽管V-Retrver取得显著成果，但仍存在以下局限性：（1）视觉工具集受限：当前仅支持图像选择和局部放大两种工具，对于需要物体级操作或多步空间分析的复杂视觉推理可能不足。例如，无法进行跨图像的物体追踪、无法执行旋转或变换操作。（2）训练数据偏差：训练依赖合成的推理轨迹和精心设计的奖励函数，可能引入偏差，在更多样化或嘈杂的真实世界场景中泛化能力可能受限。特别是合成数据由Qwen2.5-VL-72B生成，其质量上限受限于生成模型的能力。（3）计算开销：滑动窗口策略需要多次MLLM推理调用（每个查询4次），相比单次推理方法增加了计算成本，可能限制其在大规模实时检索场景中的应用。（4）工具使用效率：虽然EAPO鼓励有效工具使用，但模型在早期训练阶段仍会产生冗余或无效的工具调用，尽管后期会收敛，但这一过程需要额外的训练资源。（5）泛化边界：虽然在未见数据集上表现良好，但对于与训练数据分布差异极大的全新检索场景（如医学图像、遥感图像等专业领域），性能可能下降。
独立分析的弱点
基于独立分析，V-Retrver存在以下弱点及改进方向：（1）视觉工具粒度不足：当前的CROP_IMAGE工具仅支持矩形区域放大，无法处理不规则形状或需要分割的场景。改进方向：集成SAM（Segment Anything Model）等分割工具，支持基于语义的区域选择和放大，或引入交互式分割能力。（2）推理效率问题：滑动窗口策略虽然有效但计算密集，每个查询需要4次完整的MLLM推理。改进方向：设计自适应窗口大小策略，根据候选相似度分布动态调整窗口；或探索并行推理和缓存机制减少重复计算。（3）奖励设计敏感性：EAPO中的复合奖励函数包含多个超参数（α、β、η、ρ、τ），需要仔细调优。改进方向：研究自动奖励函数搜索或基于元学习的自适应奖励调整机制。（4）缺乏多轮交互：当前模型仅进行单轮推理，无法根据检索结果进行查询细化或交互式检索。改进方向：扩展为支持多轮对话的检索智能体，允许用户反馈指导后续检索。（5）跨模态对齐不足：虽然处理多种查询类型，但在不同模态组合间的知识迁移仍有提升空间。改进方向：引入跨模态对比学习或知识蒸馏技术增强模态间的一致性。
未来方向
基于论文成果和当前研究趋势，未来研究方向包括：（1）扩展视觉工具集：作者计划探索更多样的视觉工具，如物体检测、场景图解析、关系推理等，支持更复杂的视觉推理需求。同时研究轻量级和自适应推理策略降低计算开销。（2）更广泛的任务应用：将框架扩展到多模态推荐、检索增强生成（RAG）等下游任务，进一步发展通用智能体MLLM。论文已初步展示了在KVQA任务上的潜力。（3）更鲁棒的训练方法：探索减少对合成数据依赖的训练方法，如基于人类反馈的强化学习（RLHF）或主动学习策略，提高模型在真实场景中的鲁棒性。（4）工具学习自动化：研究模型自动学习何时以及如何使用工具的能力，而非依赖预定义的工具集和使用规则。（5）多智能体协作：探索多个检索智能体协作的框架，不同智能体专注于不同类型的视觉分析，通过协作提高整体检索质量。（6）实时优化：针对大规模实时检索场景，研究模型蒸馏、量化和推理加速技术，使证据驱动推理能够在生产环境中部署。
复现评估
V-Retrver的复现性评估如下：（1）开源情况：论文提供了GitHub仓库（https://github.com/chendy25/V-Retrver）和HuggingFace页面（https://huggingface.co/V-Retrver），表明作者有意开源代码和模型，这大大降低了复现门槛。（2）数据集：训练使用M-BEIR数据集（110万训练样本），这是一个公开可用的标准基准，包含8个检索任务和10个数据集。评估数据集（M-BEIR测试集、CIRCO、GeneCIS等）均为公开数据集。（3）算力需求：训练在8块A800 GPU上进行，SFT和RSFT阶段训练2个epoch，RL阶段训练1个epoch。这种算力需求对于学术研究机构是可承受的，但对个人研究者可能有挑战。（4）基座模型：基于Qwen2.5-VL-7B-Instruct初始化，这是公开可用的模型。（5）复现难度：中等偏高。虽然框架设计清晰，但三阶段训练流程较为复杂，特别是RL阶段需要使用verl-tool框架和精心设计的奖励函数。超参数设置（如奖励权重α=0.2、β=0.8，工具使用参数η=0.2、ρ=0.1、τ=1等）需要准确复现。此外，合成CoT数据的生成过程也需要复现。（6）总体评估：凭借开源代码和公开数据集，V-Retrver具有良好的复现前景，但需要一定的工程能力和计算资源。
论文图表
图1展示了传统文本CoT推理（左）与V-Retrver多模态交错CoT推理（右）的对比。左图显示纯文本推理依赖语言推断静态视觉表示，常常无法解决细粒度差异；右图显示V-Retrver通过调用视觉工具检查候选图像，实现基于证据的推理和更可靠的排序决策。
这张图直观展示了本文的核心动机和创新点——从纯语言推理到多模态交错推理的转变，是理解论文最关键的一张图。
图6展示了用于生成CoT训练数据的标注提示模板，详细定义了推理过程应遵循的阶段：查询特征分析、候选预筛选、详细比较、工具使用决策、证据整合和最终排序。
这张图揭示了合成训练数据的生成过程，对于理解模型如何学会结构化推理很重要。
表9展示了V-Retrver在知识视觉问答（KVQA）任务上的RAG能力。在OKVQA、Infoseek和E-VQA三个基准上，V-Retrver在检索精度（PR@5）和问答准确率（ACC）上均优于基线，如OKVQA上PR@5达90.9%，ACC达65.7%。
这张表展示了V-Retrver在下游RAG任务中的实际应用价值，证明证据驱动推理能够增强生成质量。