重新审视组合图像检索评估：基于图像编辑的细粒度基准 Rethinking Composed Image Retrieval Evaluation: A Fine-Grained Benchmark from Image Editing
构建5000查询15子类的CIR细粒度基准EDIR，揭示现有模型在纹理、否定等能力上的显著不足
前置知识
Composed Image Retrieval (CIR, 组合图像检索)
CIR 是一种多模态检索任务，用户给出一张参考图像（reference image）和一段自然语言修改描述（modification text），系统需要从图库中检索出既与参考图像相似、又满足文本描述修改要求的目标图像。例如，用户上传一件蓝色T恤的照片并说「我想找红色的」，系统应返回红色T恤的图片。这个任务的核心难点在于模型必须同时理解图像内容和文本意图，并进行组合推理——将两者的语义融合后做出检索决策，而不是简单地分别匹配视觉和文本特征。
本文的核心贡献是为 CIR 任务构建了一个新的评估基准，理解 CIR 的定义和挑战是理解本文动机和实验设计的前提。
Multimodal Large Language Model (MLLM, 多模态大语言模型)
MLLM 是将视觉编码器与大语言模型结合的架构，能够同时处理图像和文本输入，进行跨模态理解和推理。在 CIR 领域，基于 MLLM 的嵌入模型（如 Qwen2-VL、LLaVA 等）通过将图像和文本映射到统一的嵌入空间来实现检索。相比传统的 CLIP 等模型，MLLM 具有更强的语义理解和组合推理能力，能够更好地处理复杂的修改描述。
本文评估了 10 个基于 MLLM 的嵌入模型和 3 个非 MLLM 模型，理解 MLLM 架构有助于理解为什么不同模型在 EDIR 上表现差异巨大。
Recall@K (召回率@K)
Recall@K 是检索任务的核心评估指标，表示在返回的前 K 个检索结果中包含正确目标的比例。对于单查询场景，Recall@1 表示排在第一位的结果是否正确（0 或 1），在大规模测试集上取平均值。Recall@1 最为严格，要求模型精准地将正确结果排在首位；Recall@3 则允许前三个结果中包含正确答案。本文主要使用 Recall@1 作为核心指标，因为细粒度检索场景要求模型做出精确的判断。
本文所有实验结果均基于 Recall@1 和 Recall@3 报告，理解这个指标才能正确解读模型性能数据和基准对比。
Hard Negative Mining (困难负样本挖掘)
在检索任务中，负样本是指不应被检索到的图像。困难负样本是那些与正确答案在视觉上非常相似、容易被混淆的样本。本文通过图像编辑管线构造困难负样本：对同一张源图像施加不同的编辑指令，生成多张视觉上相似但修改内容不同的图像。其中一张作为目标图像，其余作为困难负样本。这迫使模型必须精确理解文本查询中的修改细节，而不能仅靠视觉相似性来检索。
EDIR 的高质量困难负样本设计是其区别于已有基准的关键特征之一，直接影响评估的严格程度和区分度。
Modality Bias (模态偏差)
模态偏差是指模型在多模态任务中过度依赖单一模态（通常是文本）的信号来做出决策，而忽略了另一模态（通常是图像）的贡献。在 CIR 任务中，如果基准数据集的文本查询足够具体，模型可能仅凭文本就能检索到正确结果，完全不需要参考图像。这种偏差导致评估失真——表面上模型在 CIR 任务上表现优秀，实际上并没有真正学会跨模态的组合推理。本文通过对比文本-图像联合输入、纯文本输入和纯图像输入的性能来量化这一偏差。
揭示现有基准的模态偏差是本文的核心发现之一，也是构建 EDIR 的重要动机。
研究动机
现有 CIR 基准存在两大根本性缺陷。第一是粗粒度评估问题：CIRR（Liu et al., 2021）和 FashionIQ（Wu et al., 2021）等早期基准的查询类别覆盖范围狭窄，主要集中在「颜色」和「物体添加」等少数类别上，无法反映真实世界中用户对纹理修改、视角变换、天气变化、物体移除等多样化需求。CIRCO（Baldrati et al., 2023）虽然引入了更多类别定义，但类别分布严重不均衡——大量查询被标记为「直接指向」（direct addressing）标签，与更具体的类别（如「颜色」）存在重叠，稀释了评估的细粒度。I-CIR（Psomas et al., 2025）仅提供七个类别，同样缺乏足够的粒度。第二是查询规模不足问题：FashionIQ 虽有约6000个查询但局限于时尚领域，CIRR 有4148个查询但缺乏空间关系等类别（其验证集中甚至没有空间类查询），CIRCO 仅有1000个查询。这些基准的构建方法也是问题的根源——标准做法是先为源图像检索到目标图像，再事后人工标注描述差异的查询文本。这种依赖检索器输出的方法导致某些修改类别完全缺失，其他类别查询数量不足。
本文的目标是本文的具体目标是构建一个大规模、细粒度、高质量的 CIR 评估基准，能够全面覆盖真实世界中的多样化修改需求。具体而言，该基准需要：（1）建立一个层次化的分类法（taxonomy），将 CIR 的修改需求系统地组织为多个主类别和子类别，确保每个类别都有清晰的定义和足够的查询数量；（2）设计一个可控的数据合成管线，能够精确控制每个查询的修改类型和内容，避免依赖人工标注的事后对齐；（3）在该基准上对现有前沿模型进行全面评估，揭示模型的真实能力边界和不足之处；（4）通过域内训练实验区分哪些挑战可以通过数据补充解决、哪些是模型架构的固有局限。
与已有工作不同的是，本文的独特切入角度在于「从图像编辑出发构建评估基准」。与以往工作不同，EDIR 不是先检索目标图像再标注查询，而是反其道而行之——先从源图像出发，通过文本指令控制图像编辑模型生成目标图像，再将编辑指令改写为自然语言的 CIR 查询。这种「先编辑、后查询」的管线提供了对查询类型和内容的精确控制，确保每个生成的三元组（源图像、查询文本、目标图像）都准确对应一个特定的细粒度类别。此外，本文首次系统地量化了现有基准的模态偏差——在 CIRCO 上，纯文本输入的表现甚至优于文本-图像联合输入，说明该基准的参考图像几乎是冗余的。EDIR 通过要求模型真正融合两种模态来填补这一评估空白。
核心方法
本文的方法可以类比为「逆向工程」评估基准的构建过程。传统方法像是先拍一张照片，再想办法描述它与另一张照片的区别——这种事后标注天然受限于检索器能找到什么。而 EDIR 的方法更像是一位美术老师：先告诉学生「把这张画里的天空改成夕阳」，学生画出修改后的版本，然后老师把指令改写成「找一幅夕阳下的风景画」这样的检索查询。整个流程分三大步骤：（1）种子图像筛选——从 LAION-400M 数据集中筛选适合编辑的高质量图像；（2）三元组生成——对每张源图像，利用 MLLM 生成多个类别的编辑指令，然后用图像编辑模型（Qwen-Image-Edit）生成修改后的图像，形成（源图像、编辑指令、目标图像）三元组；（3）查询改写——将原始编辑指令通过 LLM 改写为自然语言的 CIR 查询，并进行两阶段质量过滤和人工验证。
本文的核心创新在于利用图像编辑技术实现「可控的数据合成」。这一方法的本质区别在于：已有基准的构建流程是「检索→标注」，即先用检索器找到视觉相似的图像对，再人工描述差异。这种方法有两个致命缺陷：一是受限于检索器的能力，某些修改类别可能根本找不到合适的图像对；二是标注者事后描述的差异可能与实际视觉变化不完全对齐。而 EDIR 的流程是「编辑→查询」，即先明确要做什么修改（如「把裙子改成红色」），然后通过图像编辑模型精确地生成修改后的图像，最后将编辑指令改写为检索查询。这确保了每个三元组的三个元素——参考图像、修改描述、目标图像——之间具有精确的对应关系。更关键的是，通过对同一张源图像施加多个不同的编辑指令，可以自然地生成困难负样本，且保证所有候选图像在视觉上高度相似，迫使模型必须依赖文本查询中的细粒度信息来做出正确判断。
方法步骤详情
EDIR 的构建包含五个具体步骤。第一步，种子图像筛选：从 LAION-400M 中随机采样 70,000 张图像，使用 Qwen2.5-VL-32B 进行质量过滤，剔除纯文本文档、纯色图像、低分辨率图像、抽象图案等不适合编辑的图像。第二步，编辑指令生成：对每张筛选后的源图像，使用 Qwen2.5-VL-32B 识别 5-6 个适合的子类别，并为每个子类别生成 3 条不同的编辑指令，形成指令池。第三步，三元组生成：从指令池中抽取基础修改指令 {a, b}（来自不同类别）和区分性修改指令 {c, d}，使用 Qwen-Image-Edit 模型对源图像施加复合指令 {a, b, c, d} 生成编辑后的图像。从中随机选择一张作为目标图像，其余作为困难负样本。第四步，查询改写：使用 Qwen3-32B 将编辑指令改写为自然语言 CIR 查询。对于简单查询，基于区分性修改 c 或 d 进行改写；对于复杂查询，将一个区分性修改与两个基础操作组合。同时，对颜色、形状、材质、纹理、风格、天气、时间等类别额外生成否定形式的查询（如「不要红色」）。第五步，质量控制：采用两阶段 MLLM 过滤——第一阶段在三元组生成后评估图像是否匹配编辑指令（从 368,437 张中过滤掉 312,009 张），第二阶段在查询改写后重新评估图像-查询对齐（从 1,087,710 个三元组中过滤掉 889,013 个）。最终从剩余的高质量三元组中随机采样，每个简单类别 300 个查询，复杂类别 800 个查询，共计 5,000 个查询，配以 178,645 张图像的图库。
技术新颖性
EDIR 在技术新颖性上有三个显著区别。首先，与 CIRR、FashionIQ 等基于事后标注的基准不同，EDIR 采用「编辑优先」的范式，通过图像编辑模型实现对修改类型的精确控制，这是首次将图像编辑技术系统地应用于 CIR 基准构建。其次，EDIR 的分类法覆盖 5 个主类别和 15 个子类别，远超 CIRR（无显式分类）、CIRCO（9 个类别但分布不均）和 I-CIR（7 个类别）的覆盖范围，且每个类别都有清晰的定义和均衡的查询数量（300 个查询/简单类别，800 个/复杂类别）。第三，EDIR 的困难负样本构造策略具有独特性——通过对同一源图像施加共享基础修改 {a, b} 加不同区分性修改 {c, d} 来生成多个高度相似的候选图像，确保模型必须进行细粒度的跨模态推理才能做出正确选择。这种设计使得 EDIR 能够有效区分「数据可解决的挑战」和「模型架构固有的局限」。
实验结果
本文在 EDIR 上评估了 13 个多模态嵌入模型，包括 3 个非 MLLM 模型（PIC2WORD、SEARLE、MAGICLENS）和 10 个 MLLM 模型（RzenEmbed-7B、Ops-embedding、GME-2B/7B、MMRet-MLLM、E5-V、VLM2Vec-2B、UniME-2B/7B、mmE5），所有模型均使用 Recall@1 作为核心指标。结果揭示了几个重要发现：第一，非 MLLM 模型在 EDIR 上表现极差，平均 Recall@1 仅为 18.4%，其中 MAGICLENS 最低仅 16.8%。这表明基于 CLIP 架构的模型在面对视觉上高度相似的候选图像时，无法仅凭文本查询进行细粒度区分。第二，MLLM 模型显著优于非 MLLM 模型，平均 Recall@1 达到 36.9%，但绝对水平仍然较低。最强的 RzenEmbed-7B 和 Ops-embedding 仅达到 47.2%，说明即使是前沿模型也远未解决 CIR 的细粒度挑战。第三，模型在不同子类别上的表现差异巨大——在 Addition（添加物体）类别上表现较好（RzenEmbed 达到 74.0%），但在 Texture（纹理）、Remove（移除）、Shape（形状）等类别上表现最差（RzenEmbed 分别仅为 36.7%、28.0%、35.7%），揭示了模型在处理否定、细粒度视觉差异和组合推理时的系统性弱点。第四，域内训练实验表明 EDIR-MLLM 通过在 225,000 个合成样本上微调 Qwen2.5-VL-7B，将 Recall@1 从平均 36.9% 提升至 59.9%，其中 Color 从 33.4% 提升至 57.7%，Material 从 28.4% 提升至 59.0%，Texture 从 29.7% 提升至 56.3%，证明这些类别是「数据可解决的」。但 Count（从 40.9% 到 48.0%）、Spatial（从 35.3% 到 48.0%）、Viewpoint（从 19.8% 到 33.0%）等类别的提升有限，暴露了模型架构的固有局限。第五，基准相关性分析显示 EDIR 与现有基准存在正相关，但相关性在不同类别上差异显著，验证了 EDIR 评估了现有基准所遗漏的能力维度。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 整体 CIR 检索 (Total) | Recall@1 | EDIR-MLLM: 59.9% | MLLM 平均: 36.9% | +23.0 个百分点 |
| 整体 CIR 检索 (Total) | Recall@1 | RzenEmbed-7B: 47.2% | Non-MLLM 平均: 18.4% | +28.8 个百分点 |
| 颜色修改 (Color) | Recall@1 | EDIR-MLLM: 57.7% | MLLM 平均: 33.4% | +24.3 个百分点 |
| 材质修改 (Material) | Recall@1 | EDIR-MLLM: 59.0% | MLLM 平均: 28.4% | +30.6 个百分点 |
| 纹理修改 (Texture) | Recall@1 | EDIR-MLLM: 56.3% | MLLM 平均: 29.7% | +26.6 个百分点 |
| 物体移除 (Remove) | Recall@1 | EDIR-MLLM: 37.7% | MLLM 平均: 20.2% | +17.5 个百分点 |
| 物体添加 (Addition) | Recall@1 | EDIR-MLLM: 86.0% | MLLM 平均: 58.0% | +28.0 个百分点 |
| 数量变化 (Count) | Recall@1 | EDIR-MLLM: 48.0% | MLLM 平均: 35.3% | +12.7 个百分点 |
| 视角变换 (Viewpoint) | Recall@1 | EDIR-MLLM: 33.0% | MLLM 平均: 19.8% | +13.2 个百分点 |
| Recall@3 整体 | Recall@3 | EDIR-MLLM: 80.8% | MLLM 平均: 59.9% | +20.9 个百分点 |
局限与改进
本文在实验和方法上存在若干值得深入讨论的局限性。首先，从基准构建角度看，数据合成管线的计算成本较高——从 70,000 张种子图像出发，经过图像编辑生成了 368,437 张编辑图像，但经过两阶段 MLLM 过滤后仅保留了约 5% 的高质量三元组（从约 110 万个候选中保留约 20 万个）。这种极低的通过率（约 18%）意味着大量的计算资源被浪费在了被过滤掉的低质量样本上，限制了基准的进一步扩展。其次，复杂查询的复杂度有上限——当前 EDIR 的复杂查询最多由三个独立条件组成，尚未涵盖四个或更多相互依赖指令的场景，这与真实世界中用户可能提出高度复杂的多约束查询存在差距。第三，域内训练实验虽然证明了某些类别的可解决性，但 225,000 个训练样本的规模相对于实际应用需求仍然有限，且训练策略（LoRA 微调、2500 步）可能不是最优的。第四，EDIR 的图像编辑管线依赖于 Qwen-Image-Edit 模型的质量，如果编辑模型在某些类别上本身就存在系统性缺陷（如无法准确编辑纹理），那么这些类别的评估样本质量也会受到影响，可能引入评估偏差。第五，人工验证的样本量为 12%，虽然发现的错误率（假阳性 8.0%、假阴性 7.3%、全局假阴性 11.7%）在可接受范围内，但对于一个强调质量的基准来说，仍有改进空间。最后，作者也承认本文主要聚焦于评估而非训练方法的改进，针对 EDIR 暴露的弱点开发专门的训练方法仍是开放问题。
独立分析的弱点
从独立分析的角度，EDIR 存在以下几个可以改进的弱点。第一，分类法的覆盖范围仍有盲区：当前 15 个子类别虽然已远超现有基准，但仍主要关注「单物体」或「少物体」级别的修改，缺乏对场景级语义变化的评估，例如「将整个场景从室内变为室外」或「改变图像的叙事语境」等更高层次的组合推理。建议未来引入更抽象的场景语义类别。第二，否定查询的覆盖不够全面：当前仅对颜色、形状、材质、纹理、风格、天气、时间七个类别构造了否定查询，而物体添加/移除、空间关系等类别天然涉及否定语义（如「不要有红色物体的场景」），但未被纳入。建议将否定查询扩展到更多类别。第三，图库的构造方式可能引入偏差：178,645 张图库图像中包含 150,000 张额外编辑图像加上目标图像和困难负样本，这些图像均来自相同的 70,000 张源图像，图库的多样性可能受限于源图像的分布。建议引入更多独立来源的图像以增加图库的真实性和多样性。第四，Recall@1 作为唯一核心指标可能过于严格且信息量有限：对于实际应用，用户可能更关注前 5 或前 10 个结果中是否包含满意答案。建议补充 nDCG 等排序质量指标以提供更全面的评估视角。
未来方向
本文的未来研究方向可以从多个维度展开。作者明确提出的方向包括：（1）降低数据合成管线的成本，开发更高效的自动化基准构建方法，使得基准可以随模型能力的提升而持续扩展；（2）构建更复杂的查询场景，将复杂查询的条件数量从当前的 3 个扩展到 4 个或更多，并探索条件之间存在依赖关系的场景；（3）利用 EDIR 暴露的模型弱点来指导训练数据的构造和模型架构的改进。基于本文成果可延伸的方向包括：将 EDIR 的分类法和合成管线扩展到视频检索领域，构建 Video-EDIR；探索利用 EDIR 的细粒度评估结果来进行自动化的模型诊断和能力归因分析；研究如何将 EDIR 的困难负样本构造策略应用于对比学习训练中，直接提升模型的细粒度检索能力；以及将 EDIR 的评估框架与其他多模态任务（如视觉问答、图像描述）的评估进行交叉分析，探索跨任务的能力迁移模式。
复现评估
本文在复现性方面做出了较好的努力。代码和数据承诺在 GitHub（https://github.com/sighingsnow/edir）上公开发布，这将极大地促进社区的使用和改进。数据合成管线使用的所有工具均为公开可用的模型：Qwen2.5-VL-32B 用于种子筛选和指令生成，Qwen-Image-Edit（Qwen-Image-Edit-2509 版本）用于图像编辑，Qwen3-32B 用于查询改写。训练实验的细节也已充分公开：基于 Qwen2.5-VL-7B-Instruct 进行 LoRA 微调，batch size 128，2500 步，学习率 3e-5，InfoNCE 损失函数温度 0.03。然而，复现的主要障碍在于计算资源——图像编辑管线需要对大量图像进行推理（368,437 次编辑），两阶段过滤需要运行两个 MLLM 进行约 150 万次质量评估，这些计算开销对于普通研究团队来说可能是一个挑战。此外，域内训练实验需要约 110 万个训练三元组的生成，也需要显著的 GPU 资源。总体而言，有足够计算资源的团队应该能够完全复现本文的结果。
论文图表
图1包含三个子图。(a)展示了现有基准（CIRR、CIRCO、FashionIQ、I-CIR）的查询类别分布，使用 EDIR 的分类法重新分类后显示严重偏向复杂类别（18%）和物体添加（24%），而纹理、材质、形状、视角、时间、天气等类别占比极低（各约6%）。(b)展示了 EDIR 的均衡分布——5个主类别（Attribute、Object、Relationship、Global Environment、Complex）和15个子类别，每个简单类别约6%（300个查询），复杂类别占16%（800个查询）。(c)展示了每个子类别的具体查询示例，左侧为源图像，右侧为目标图像，下方为对应的 CIR 查询文本。
这张图是理解本文核心动机的关键——它直观地揭示了现有基准的类别覆盖缺陷和 EDIR 的均衡设计，是论证「为什么需要新基准」的最有力证据。