XR：面向组合式图像检索的跨模态智能体框架 XR: Cross-Modal Agents for Composed Image Retrieval
训练无关的多智能体框架，通过想象、粗筛、精筛三阶段跨模态推理实现组合式图像检索
前置知识
组合式图像检索 (Composed Image Retrieval, CIR)
CIR 是一种检索范式，用户通过一张参考图像和一段修改文本来表达检索意图。例如，用户给出一张红色连衣裙的图片并附上文字「改成蓝色，加上条纹」，系统需要在数据库中找到符合这些修改的目标图像。与传统的文本-图像检索不同，CIR 要求模型同时理解视觉内容和文本修改，并将两者融合为统一的检索信号。这一任务的核心挑战在于跨模态组合推理——不仅要理解参考图的视觉特征，还要准确应用文本中的修改指令，最终检索到既保留参考图语义又忠实反映修改的图像。
CIR 是本文要解决的核心任务。理解 CIR 的定义和难点（跨模态组合推理）是理解全文动机和方法设计的基础。
多模态大语言模型 (Multimodal Large Language Model, MLLM)
MLLM 是能够同时处理文本和图像输入的大语言模型，如 InternVL3、Qwen2.5-VL 等。这类模型通过将视觉编码器（如 ViT）与语言模型结合，实现了对图像内容的理解、推理和生成能力。MLLM 可以根据图像回答问题、生成图像描述、进行视觉推理等。在本文中，MLLM 作为各智能体的核心引擎，负责生成目标图像描述（想象）、计算相似度分数（粗筛）和进行事实验证（精筛）。
本文的三个核心智能体（想象、相似度、问答）都依赖 MLLM 的多模态理解和推理能力。理解 MLLM 的能力边界有助于判断框架的适用范围和局限。
CLIP (Contrastive Language-Image Pre-training)
CLIP 是 OpenAI 提出的视觉-语言预训练模型，通过对比学习在大规模图像-文本对上训练，将图像和文本映射到同一嵌入空间。给定一张图像和一段文本，CLIP 可以计算它们的余弦相似度来衡量匹配程度。CLIP 有多种规模的变体，如 ViT-B/32（基础版）和 ViT-L/14（大版），分别对应不同的参数量和性能。在 CIR 领域，CLIP 是最常用的视觉编码器，用于将候选图像和文本表示到同一空间进行相似度匹配。
本文使用 CLIP-ViT-B/32 和 CLIP-ViT-L/14 作为相似度智能体的编码骨干网络，理解 CLIP 的工作原理有助于理解粗筛阶段的相似度计算机制。
倒数排名融合 (Reciprocal Rank Fusion, RRF)
RRF 是一种排名融合算法，用于将来自不同信息源的排名列表合并为一个统一的排名。其核心公式为：对于候选 $a$，融合分数 $\text{RRF}(a) = \frac{1}{z + \text{rank}(s^t_a)} + \frac{1}{z + \text{rank}(s^v_a)}$，其中 $z$ 是平滑常数，$\text{rank}(s^t_a)$ 和 $\text{rank}(s^v_a)$ 分别是该候选在文本分数和视觉分数排名中的位置。RRF 的优势在于它基于排名而非绝对分数值，因此对不同模态分数的尺度差异具有鲁棒性，能够有效聚合来自多模态的互补信息。
RRF 是本文粗筛阶段聚合文本和视觉相似度分数的关键机制，理解其工作原理有助于理解多模态信号如何融合为统一的检索排序。
零样本/训练无关 (Training-free / Zero-shot)
训练无关方法是指不需要在特定 CIR 数据集上进行微调或训练的方法。这类方法直接利用预训练模型（如 CLIP、MLLM）的能力，通过巧妙的推理流程设计来完成 CIR 任务。与训练相关方法（如 SEARLE、Pic2Word 等需要在 CIR 数据上微调文本反演）相比，训练无关方法具有更好的泛化能力和更低的部署成本，因为它们无需收集标注数据或进行昂贵的训练过程。
本文强调其训练无关的特性，这意味着方法可以直接应用于新领域而无需领域特定的训练数据。理解这一概念有助于评估方法的实际部署价值。
研究动机
组合式图像检索（CIR）的现有方法存在三个核心局限。首先，联合嵌入方法（如 SEARLE、Pic2Word）将多模态查询映射到共享向量空间进行相似度匹配，但由于跨模态对齐的不完美性，这类方法难以捕获细粒度的编辑语义。例如，在 FashionIQ 数据集上，当用户要求「将红色改为蓝色」时，联合嵌入方法可能因为颜色特征在嵌入空间中被模糊化而检索到错误颜色的服装。其次，基于相似度的单分数匹配管道（Caption-to-Image 方法如 CIReVL）虽然能生成目标描述再进行检索，但它们缺乏跨模态验证机制——单次匹配无法同时捕获文本语义和视觉细节，导致在 CIRR 等需要精确物体替换的场景中频繁出现语义漂移。第三，Caption-to-Caption 方法将比较限制在文本空间，丢弃了视觉线索，进一步削弱了检索的可靠性。这些问题在大规模候选池中尤为严重：在 CIRCO 的 123,403 张候选图中，静态相似度匹配方法在干扰项密集时性能急剧下降。
本文的目标是本文的目标是提出一个训练无关的多智能体框架 XR，通过跨模态推理来解决 CIR 中的细粒度编辑检索问题。具体而言，XR 旨在：（1）通过想象阶段精确近似理想目标图像的语义表示，捕获现有嵌入方法遗漏的细节信息；（2）通过多视角相似度评估（文本和视觉双通道）替代单分数匹配，提供更鲁棒的候选排序；（3）通过问答式事实验证机制，确保检索结果忠实满足用户的文本修改意图。实验目标是在 FashionIQ、CIRR 和 CIRCO 三个代表性基准上超越现有训练无关和训练相关基线方法，在 CIRR 子集检索任务上达到 90%+ 的 Recall@3。
与已有工作不同的是，本文的独特切入角度在于将「智能体化 AI」（Agentic AI）范式引入检索领域。现有 CIR 方法都是静态的单次推理管道——输入查询后一次性输出结果，缺乏迭代修正能力。而人类在检索时实际上是动态推理的过程：先想象目标的样子，然后快速浏览筛选候选，最后仔细验证是否符合要求。XR 模仿这一认知过程，将检索重构为「想象-粗筛-精筛」的渐进式多智能体协调过程。更重要的是，本文发现多模态检索中存在一个被忽视的设计空间：通过隐式耦合和显式解耦的跨模态机制，可以在保持各模态独立可解释性的同时实现有效的多模态整合。这种设计使得 XR 能够捕获单模态管道无法处理的细粒度修改信号，填补了「智能体擅长推理但缺乏检索，检索方法利用检索但缺乏推理」之间的空白。
核心方法
XR 的核心直觉可以用一个类比来理解：当你在电商平台上寻找一件特定服装时，你会先在脑海中想象目标的样子（「蓝色条纹衬衫，带翻领」），然后快速浏览候选商品进行初筛（排除明显不符合的），最后仔细检查剩余候选是否真的满足所有要求（「颜色对不对？条纹方向对不对？领子类型对不对？」）。XR 正是将这个认知过程形式化为三个模块：想象模块（Imagination）、粗筛模块（Coarse Filtering）和精筛模块（Fine Filtering）。想象模块由两个跨模态智能体组成——文本想象智能体和视觉想象智能体，它们分别从文本和视觉两个模态出发，生成对理想目标图像的互补描述。粗筛模块由文本相似度智能体和视觉相似度智能体组成，它们分别从文本和视觉两个维度评估每个候选图像，产生多视角分数，再通过倒数排名融合（RRF）进行聚合。精筛模块引入问答智能体，生成针对关键属性的验证性问题，对粗筛后的候选进行事实验证和重排序。整个流程是训练无关的，不需要任何 CIR 数据集上的微调。
XR 最本质的创新在于两个设计原则。第一，跨模态想象（Cross-modal Imagination）：不同于现有方法直接将参考图和修改文本编码为向量进行匹配，XR 首先通过两个想象智能体「预见」理想目标图像。文本想象智能体 $A_{it}$ 接收参考图描述 $C_r$ 和修改文本 $T_m$，输出文本视角的目标描述 $C_t$ 和修改操作列表 $M_t$；视觉想象智能体 $A_{iv}$ 接收参考图 $I_r$ 和修改文本 $T_m$，输出视觉视角的目标描述 $C_v$ 和视觉属性指示 $M_v$。这两个描述虽然都基于修改文本，但分别从不同模态获取信息，形成互补的「想象」。第二，跨模态多视角评分（Cross-modal Multi-perspective Scoring）：每个候选图像同时从文本通道（用候选描述 $C_a$ 与目标描述 $C_t$、$C_v$ 比较）和视觉通道（用候选图像 $I_a$ 与目标描述 $C_t$、$C_v$ 比较）获得分数。这种设计实现了三个层次的跨模态融合：（1）想象阶段从不同模态生成互补描述；（2）评分阶段每个智能体产生跨模态分数；（3）文本和视觉智能体分别评估候选的不同方面。这种多层跨模态设计是 XR 区别于所有现有方法的核心——它不是简单地融合模态，而是在每个阶段都保持模态的独立性同时建立跨模态连接。
方法步骤详情
XR 的完整流程包含以下步骤。步骤 1-2（初始化）：使用字幕智能体 $A_c$ 为所有候选图像 $I$ 生成描述集合 $C$，同时为参考图 $I_r$ 生成描述 $C_r$。步骤 3-4（想象阶段）：文本想象智能体 $A_{it}$ 接收 $(T_m, C_r)$ 输出 $(M_t, C_t)$，其中 $C_t$ 是从文本视角描述理想目标的字幕，$M_t$ 是从 $C_r$ 到 $C_t$ 的具体修改操作列表；视觉想象智能体 $A_{iv}$ 接收 $(T_m, I_r)$ 输出 $(M_v, C_v)$，其中 $C_v$ 是从视觉视角描述理想目标的字幕，$M_v$ 是视觉属性存在/缺失的指示集合。步骤 5-9（粗筛阶段）：对于每个候选 $a$，文本相似度智能体 $A_{st}$ 计算两个分数 $s^t_t$（$C_t$ 与 $C_a$ 的相似度）和 $s^v_t$（$C_v$ 与 $C_a$ 的相似度）；视觉相似度智能体 $A_{sv}$ 计算两个分数 $s^t_v$（$I_a$ 与 $C_t$ 的相似度）和 $s^v_v$（$I_a$ 与 $C_v$ 的相似度）。步骤 8-9 聚合分数：$s^t_a = s^t_t + s^t_v$，$s^v_a = s^v_v + s^v_t$。步骤 10 使用 RRF 融合文本和视觉排名，选出 top-$k'$ 候选 $I_{k'}$。步骤 11-16（精筛阶段）：问答智能体 $A_q$ 基于 $(M_t, M_v, T_m)$ 生成验证性问题 $Q$ 和答案 $A$；文本问答智能体 $A_{qt}$ 和视觉问答智能体 $A_{qv}$ 分别用 $C_a$ 和 $I_a$ 回答这些问题，答对得 1 分，答错得 0 分；最后通过跨模态重排名公式 $S_{k'} = (S^q_t + S^q_v) \times \text{norm}(\lambda S_t + (1-\lambda)S_v)$ 将验证分数与相似度分数结合，得到最终排序。
技术新颖性
XR 在技术上的新颖性体现在三个层面。首先，在框架范式上，它是第一个将 CIR 重构为多智能体协调推理过程的工作。现有方法无论是训练相关（SEARLE、Pic2Word、FTI4CIR）还是训练无关（CIReVL、LDRE、ImageScope），都是静态的单次推理管道，缺乏迭代修正能力。XR 通过想象-粗筛-精筛的渐进式流程实现了动态推理。其次，在跨模态设计上，XR 提出了「隐式耦合与显式解耦」的跨模态机制。显式解耦是指所有比较都在文本空间进行（$C_t$ 与 $C_a$、$C_v$ 与 $C_a$），保持了各模态的独立可解释性；隐式耦合是指 $C_v$ 虽然是文本描述，但包含了视觉信息（由视觉想象智能体从图像中提取）。这种设计使得 XR 能够在不直接比较图像-图像相似度的情况下捕获视觉线索。第三，在验证机制上，XR 引入了基于事实验证的精筛步骤。不同于简单增加更多相似度指标，XR 通过 True/False 格式的验证性问题来检查候选是否满足关键属性要求，提供了离散、可解释的信号，这是 CIR 领域首次引入此类验证机制。
实验结果
XR 在三个代表性 CIR 基准上全面超越了现有方法，展现出训练无关框架的强大潜力。在 FashionIQ 数据集上（包含衬衫、连衣裙、上衣三个类别），使用 CLIP-ViT-B/32 骨干网络时，XR 达到平均 R@10=36.66%、R@50=57.10%，相比最强训练无关基线 CIReVL（R@10=28.29%、R@50=49.35%）分别提升了 8.37 和 7.75 个百分点；相比最强训练相关基线 iSEARLE-OTI（R@10=25.06%、R@50=44.79%）提升更为显著。使用 CLIP-ViT-L/14 时，XR 进一步提升至 R@10=37.18%、R@50=57.30%。在 CIRR 数据集上，XR 达到 R@1=43.06%、R@10=83.15%（CLIP-ViT-B/32），相比 ImageScope（R@1=34.36%、R@10=71.40%）提升 8.70 和 11.75 个百分点；在细粒度子集 CIRR_subset 上更是达到 R@3=95.21%，接近完美检索。在 CIRCO 数据集上（包含 123,403 张候选图像的大规模干扰项设置），XR 达到 mAP@5=27.51%、mAP@50=30.95%（CLIP-ViT-B/32），相比 LDRE（mAP@5=17.96%、mAP@50=21.11%）提升约 10 个百分点，表明多智能体推理在大规模噪声场景中具有显著优势。消融实验显示，每个模块都不可或缺：从单模态基线开始，逐步添加视觉相似度智能体、文本相似度智能体、文本问答智能体和视觉问答智能体，FashionIQ R@10 从 14.78% 逐步提升至 36.66%，CIRCO mAP@25 从 4.14% 提升至 30.28%，CIRR_subset R@3 从 74.96% 提升至 95.21%。参数分析表明：RRF 平滑常数 $z=60$ 时效果最佳；3 个验证性问题足以捕获关键属性；$k'=100$ 是候选池大小的最佳平衡点；融合权重 $\lambda=0.15$ 时文本-视觉平衡最优。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FashionIQ 平均 (CLIP-ViT-B/32) | R@10 | 36.66% | CIReVL 28.29% | +8.37pp |
| FashionIQ 平均 (CLIP-ViT-B/32) | R@50 | 57.10% | CIReVL 49.35% | +7.75pp |
| CIRCO (CLIP-ViT-B/32) | mAP@5 | 27.51% | ImageScope 22.36% | +5.15pp |
| CIRCO (CLIP-ViT-B/32) | mAP@50 | 30.95% | ImageScope 23.83% | +7.12pp |
| CIRR (CLIP-ViT-B/32) | R@1 | 43.06% | ImageScope 34.36% | +8.70pp |
| CIRR (CLIP-ViT-B/32) | R@10 | 83.15% | ImageScope 71.40% | +11.75pp |
| CIRR_subset (CLIP-ViT-B/32) | R@3 | 95.21% | ImageScope 93.83% | +1.38pp |
| CIRCO (CLIP-ViT-L/14) | mAP@5 | 31.38% | LDRE 23.35% | +8.03pp |
| CIRR (CLIP-ViT-L/14) | R@10 | 83.09% | ImageScope 71.49% | +11.60pp |
局限与改进
作者在论文末尾坦诚地指出了几个局限性。首先，XR 目前仅针对图像-文本组合设计，尚未探索涉及视频、音频或时序数据等更丰富模态的场景。这意味着方法的适用范围目前局限于静态图像检索。其次，XR 对 MLLM 生成的字幕和验证性问题存在依赖——这些由大模型生成的内容可能引入微妙的偏差，影响检索结果的一致性。例如，如果视觉想象智能体生成的描述遗漏了某个关键属性，整个流程都会受到连锁影响。第三，扩展到非常大的候选池时需要进一步优化效率。从延迟分析来看，当 $k'=500$ 时，平均每查询延迟达到 5.98 秒，这在实时检索场景中是不可接受的。此外，作者的实验仅在单张 NVIDIA H800-80G GPU 上进行，对于资源受限的部署环境，多次调用 MLLM 的成本可能成为瓶颈。从我的观察来看，XR 的性能高度依赖 MLLM 的质量——在消融实验中，使用较小的 InternVL3-1B 时性能大幅下降（FashionIQ R@50 从 57.10% 降至 35.32%），这意味着方法对模型规模有较高要求。
独立分析的弱点
基于对论文的深入分析，我识别出以下几个可改进的弱点。第一，效率瓶颈：XR 需要对每个候选图像调用 MLLM 生成描述（初始化步骤），对于大规模候选池（如 CIRCO 的 123,403 张图），这是一个巨大的计算开销。改进方向可以是预计算所有候选的描述并缓存，或使用轻量级编码器替代 MLLM 进行候选描述生成，仅在精筛阶段使用 MLLM。第二，验证问题的质量控制：当前问答智能体仅生成 3 个 True/False 问题，且问题的多样性和覆盖范围缺乏保证。在某些场景下，这 3 个问题可能无法覆盖所有关键属性。改进方向可以是引入自适应问题生成机制，根据修改文本的复杂度动态调整问题数量和类型。第三，缺乏负反馈和纠错机制：XR 的流程是单向的，如果想象阶段产生了错误的目标描述（如误解了修改意图），错误会传播到后续阶段。可以引入类似 Reflexion 的自我反思机制，在精筛后检查是否存在不一致性并触发重新想象。第四，融合权重 $\lambda$ 是固定的（0.15），未根据查询特性自适应调整。在某些查询中文本信号更强（如「改为蓝色」），而在另一些查询中视觉信号更重要（如「保持相同款式」），动态权重可以进一步提升性能。
未来方向
作者提出和基于成果可延伸的未来方向包括以下几个方面。首先，将 XR 扩展到更多模态：视频检索（用户给出参考视频片段和修改文本）、音频检索、3D 模型检索等。跨模态多智能体推理的框架设计具有通用性，只需替换对应的想象和评估智能体即可适配新模态。其次，开发更轻量和自适应的智能体：当前 XR 使用通用 MLLM 作为所有智能体的骨干，未来可以训练专用的小型智能体来替代，降低计算成本。第三，将 XR 与训练相关方法结合：XR 的训练无关特性使其可以作为任何训练相关 CIR 方法的后处理模块，先用训练相关方法进行初始排序，再用 XR 的精筛阶段进行验证和重排序。第四，探索检索增强的多智能体推理：XR 展示了检索可以作为智能体推理的外部知识来源，未来可以将这种范式应用到更广泛的多模态推理任务中，如视觉问答、图像描述生成等。第五，引入更丰富的验证信号：当前的验证仅限于 True/False 问题，未来可以探索连续分数的验证、多步推理验证、或基于规则的形式化验证。
复现评估
从复现的角度来看，XR 具有较好的可复现性。作者承诺将发布所有实验代码、数据集和详细教程（代码仓库：https://01yzzyu.github.io/xr.github.io/）。方法本身是训练无关的，不需要收集标注数据或进行训练，只需加载预训练模型即可运行。使用的数据集（CIRR、CIRCO、FashionIQ）都是公开可获取的标准基准。算力需求方面，实验在单张 NVIDIA H800-80G GPU 上进行，使用 FP16 精度。对于 CLIP-ViT-B/32 + InternVL3-8B 的配置，模型参数量相对适中，但在消费级 GPU（如 RTX 4090 24GB）上可能需要进行模型并行或量化。主要的复现难度在于：（1）InternVL3-8B 模型的加载和推理需要特定的框架支持；（2）对每个候选图像生成描述的预处理步骤耗时较长；（3）RRF 参数 $z=60$ 和融合权重 $\lambda=0.15$ 的选择可能需要在新数据集上重新调优。总体而言，对于有 GPU 资源的研究者，复现难度为中等。
论文图表
