Qwen3-VL-Embedding 和 Qwen3-VL-Reranker：面向前沿多模态检索与排序的统一框架 Qwen3-VL-Embedding and Qwen3-VL-Reranker: A Unified Framework for State-of-the-Art Multimodal Retrieval and Ranking
统一多模态Embedding与Reranker，MMEB-V2达77.8分
前置知识
Contrastive Learning (对比学习)
对比学习是一种自监督学习范式，其核心思想是将语义相似的样本（正样本对）在表示空间中拉近，同时将不相似的样本（负样本对）推远。在多模态场景中，图文配对被视为正样本对，而随机组合的图文则为负样本。常用的损失函数是 InfoNCE，形式为 $\mathcal{L} = -\frac{1}{N}\sum_{i}\log\frac{e^{s(q_i,d_i^+)/\tau}}{\sum_{j}e^{s(q_i,d_j)/\tau}}$，其中 $s(\cdot,\cdot)$ 是相似度度量（通常为余弦相似度），$\tau$ 是温度参数。通过大规模对比预训练，模型能够学习到跨模态的统一表示空间，使得文本查询可以匹配图像，图像查询可以匹配视频片段等。
本文的 Embedding 模型第一阶段和第二阶段训练均以对比学习为核心，理解其原理是理解整个训练流程的基础
Matryoshka Representation Learning (MRL, 套娃表示学习)
MRL 是一种训练策略，允许模型在推理时灵活选择不同的嵌入维度，而无需重新训练。其核心思想是在训练时同时对完整维度和截断的低维前缀计算损失函数。例如，一个 2048 维的嵌入可以在推理时截断为 1024、512、256 维使用，且每个维度下都能保持较好的检索性能。这种方法的名称来源于俄罗斯套娃，因为高维表示可以被套在低维表示中。通过这种方式，用户可以根据存储和计算约束灵活选择嵌入维度。
本文采用 MRL 技术使得 Embedding-2B 和 Embedding-8B 模型均支持可变维度的嵌入输出，是实现高效部署的关键技术之一
Quantization-Aware Training (QAT, 量化感知训练)
QAT 是在模型训练过程中模拟量化操作的技术，使模型能够学习对量化误差鲁棒的表示。本文采用 Learned Step Size Quantization (LSQ) 方法，将量化步长作为可学习参数与模型权重一起通过反向传播优化。为了处理不可微的取整操作，使用 Straight-Through Estimator (STE) 来传播梯度。通过 QAT，模型的嵌入向量在 int8 或二进制量化后仍能保持较好的检索性能。
QAT 使得 Qwen3-VL-Embedding 的嵌入向量可以在低精度格式（int8/二进制）下存储，大幅降低大规模检索系统的存储和计算开销
Cross-encoder (交叉编码器)
与 Bi-encoder（双编码器）分别编码查询和文档不同，Cross-encoder 将查询和文档拼接在一起，通过交叉注意力机制对二者进行联合编码。这使得模型能够捕获查询与文档之间更细粒度的交互关系，从而提供更精确的相关性估计。其缺点是计算成本较高，因为每个查询-文档对都需要独立推理，无法预先计算文档嵌入。因此，Cross-encoder 通常用于检索系统的重排序（reranking）阶段，对初始检索结果进行精排。
本文的 Reranker 模型采用 Cross-encoder 架构，与 Embedding 模型的 Bi-encoder 架构形成互补，共同构成完整的检索流水线
VLM (Vision-Language Model, 视觉语言模型)
VLM 是一类能够同时理解和处理视觉（图像/视频）与语言（文本）信息的大型预训练模型。典型的代表包括 Qwen-VL、GPT-4o 等。VLM 通常包含视觉编码器、语言模型骨干和跨模态对齐机制，能够在统一的表示空间中处理多种模态的输入。VLM 通过在大规模图文数据上预训练，学习到了丰富的跨模态语义对齐能力，这使得它们天然适合作为多模态检索模型的基座。
本文基于 Qwen3-VL 基础模型构建 Embedding 和 Reranker，继承了 VLM 的多模态理解能力和多语言能力
研究动机
随着互联网上多模态内容（图像、视频、信息图表、文档扫描件等）的指数级增长，传统纯文本检索范式已无法满足现代数字生态系统的需求。现有检索系统在处理跨模态语义匹配时面临显著挑战：一方面，多模态数据来源高度多样化，包括自然图像、文本文档、信息图表、截图和视频等，每种模态都有其独特的语义结构；另一方面，现有方法在处理复杂多模态文档（如包含图文交织的信息图表和演示幻灯片）时表现不足。具体来说，虽然 CLIP 等模型通过大规模对比学习在图文对齐上取得了突破，但它们在视频理解、长文档处理（支持高达 32K tokens）以及跨模态细粒度交互方面存在明显局限。此外，现有多模态嵌入模型在实际部署中面临存储和计算效率的挑战，难以在保持高性能的同时满足大规模生产环境的需求。
本文的目标是本文旨在构建一个端到端的多模态检索与排序框架，将 Embedding 模型和 Reranker 模型统一在同一架构下，实现对文本、图像、文档图像和视频四种模态的高质量检索。具体目标包括：（1）在 MMEB-V2 等综合多模态基准上达到最优性能；（2）通过 Matryoshka 表示学习和量化感知训练，提供灵活的嵌入维度选择和低精度存储支持，满足大规模生产环境的效率需求；（3）支持超过 30 种语言，继承 Qwen3-VL 基础模型的多语言能力；（4）提供 2B 和 8B 两种参数规模，以适应不同的部署场景和资源约束。
与已有工作不同的是，本文的独特切入角度体现在三个层面。首先，在模型架构层面，不同于以往分别训练 Embedding 模型和 Reranker 模型的做法，本文将二者统一在 Qwen3-VL 基础模型之上，形成一个完整的多模态检索流水线，其中 Embedding 模型采用 Bi-encoder 架构负责召回，Reranker 模型采用 Cross-encoder 架构负责精排，二者共享相同的基础模型知识。其次，在训练策略层面，本文设计了一个三阶段训练流水线（对比预训练、多任务微调、蒸馏+模型融合），通过迭代式的数据质量提升和模型性能增强形成正反馈循环。第三，在实用化层面，本文同时集成了 MRL 和 QAT 两种效率优化技术，这在现有多模态嵌入模型中较为少见，使得模型能够同时满足高性能和高效部署的需求。
核心方法
本文的方法整体思路可以概括为'基座复用 + 多阶段训练 + 双模型协同'。首先，基于 Qwen3-VL-Instruct 基础模型，通过 LoRA 微调的方式训练两个互补的模型：Embedding 模型（Bi-encoder 架构）和 Reranker 模型（Cross-encoder 架构）。Embedding 模型负责将多模态输入映射到统一的高维向量空间，通过余弦相似度计算相关性；Reranker 模型则对查询-文档对进行联合编码，通过预测'yes'/'no' 概率输出更精确的相关性分数。训练过程采用三阶段流水线：第一阶段在大规模合成数据上进行对比预训练，建立基础的跨模态相关性理解能力；第二阶段在高质量真实数据和合成数据混合集上进行多任务对比学习和监督微调；第三阶段通过蒸馏将 Reranker 的排序知识转移到 Embedding 模型，并通过模型融合平衡不同任务的性能。整个过程中，数据合成和挖掘贯穿始终，随着模型能力的提升不断优化训练数据的质量。
本文的核心创新点在于构建了一个'Embedding + Reranker'的统一多模态检索框架，并通过三阶段训练流水线实现了二者的协同进化。与已有方法的本质区别体现在以下几个方面：（1）相较于 VLM2Vec、GME 等仅训练 Embedding 模型的工作，本文同时训练了 Reranker 模型，并通过蒸馏将 Reranker 的排序能力转移到 Embedding 模型，形成'训练-蒸馏-融合'的闭环；（2）相较于 ColPali 等视觉文档专用模型，本文的模型支持文本、图像、视频、文档四种模态的统一检索，具有更强的通用性；（3）在数据合成方面，本文扩展了 Qwen3 Embedding 的方法到多模态场景，构建了包含 300M 样本的大规模合成数据集，覆盖图像分类、图像问答、图像检索、视频分类、视频问答、视频检索和时刻检索七类任务；（4）在训练目标上，本文整合了 InfoNCE、CoSent 和蒸馏损失三种目标函数，并创新性地同时应用 MRL 和 QAT 优化技术。
方法步骤详情
方法的具体步骤如下。第一步，种子池构建：收集大量高质量的原始图像和视频数据集，通过分辨率过滤、场景剪切检测和静态/损坏片段移除进行粗粒度质量筛选，然后使用 Qwen3-VL-32B 生成细粒度分类标签，通过置信度过滤和 GME 嵌入模型的相似度过滤保证跨模态对齐质量，最后进行类别平衡得到种子池。第二步，数据合成：基于种子池，使用 Qwen3-VL-32B 对图像和视频生成描述性字幕，然后为七类任务（图像分类、图像QA、图像检索、视频分类、视频QA、视频检索、时刻检索）生成训练样本，每个样本包含指令、查询、文档和相关性标签。第三步，数据挖掘：通过两阶段流程（召回和相关性过滤）优化正样本对并挖掘硬负样本，具体使用嵌入模型检索 top-K 候选，然后通过阈值过滤保留高质量正样本，通过平均分差策略选择硬负样本。第四步，三阶段训练：Stage 1 在 300M 合成数据上使用 InfoNCE 损失进行对比预训练得到 s0 模型；Stage 2 在 40M 混合数据上进行多任务对比学习得到 s1 模型，同时训练 Reranker 模型；Stage 3 使用 Reranker 对高质量子集生成监督信号，通过蒸馏损失训练 s2 模型，最后将 s1 和 s2 融合得到最终的 s3 模型。
技术新颖性
本文的技术新颖性主要体现在以下几个方面。首先，在模型架构设计上，Embedding 模型采用独特的输入模板设计：将指令作为 system message，多模态实例作为 user message，最后追加一个 PAD token，取该 token 的最后一层隐藏状态作为密集向量表示。这种设计使得模型支持任务感知的嵌入生成，同一张图像在不同指令下可以生成不同语义焦点的表示。Reranker 模型则采用创新的'yes'/'no' token 预测方式计算相关性分数，通过 $s = \sigma(\text{logit}(\text{yes}) - \text{logit}(\text{no}))$ 公式将二分类概率转化为连续的相关性分数。其次，在训练目标设计上，Stage 2 移除了查询-查询和文档-文档相似度项，这在高质量多模态检索数据上取得了更好的性能。第三，在模型融合策略上，本文采用 s1 和 s2 模型的加权融合，成功平衡了蒸馏带来的检索任务提升和其他任务（分类、QA）的轻微下降，这是多任务学习中常见的'跷跷板效应'的有效解决方案。
实验结果
本文在多个综合基准上进行了全面评估，核心发现如下。在 MMEB-V2 多模态基准上，Qwen3-VL-Embedding-8B 达到 77.8 分的平均成绩，在所有模型中排名第一（截至 2026 年 1 月），相比此前最优开源模型（RzenEmbed-8B 的 72.9 分）提升了 6.7%。具体来看，在 Image 领域得分为 80.1 分（CLS: 74.2, QA: 81.1, RET: 80.2, GD: 92.3），Video 领域得分为 67.1 分（CLS: 78.4, QA: 71.0, RET: 58.7, MRET: 56.1），VisDoc 领域得分为 82.4 分（VDRv1: 87.2, VDRv2: 69.9, VR: 88.7, OOD: 73.3）。在 MMTEB 多语言纯文本基准上，8B 模型取得 67.9 的平均任务分数，与同规模纯文本嵌入模型（如 Qwen3-Embedding-8B 的 70.6 分）相比仅略有下降，表明其在多模态训练的同时保持了竞争力的纯文本能力。在视觉文档检索基准上，Qwen3-VL-Reranker-8B 在 JinaVDR 上达到 83.6 分，在 ViDoRe-v3 上达到 66.7 分，显著超越了 ColPali 风格的模型。在 Reranker 评估中，8B 模型在 MMEB-v2 上取得 79.2 分，比 2B 模型的 75.2 分高出 4 分，在 JinaVDR 上高出 2.7 分，在 ViDoRe-v3 上高出 5.9 分。此外，MRL 和 QAT 的有效性分析表明，将嵌入维度从 1024 降至 512 时，MSMARCO 文本检索的 MRR@10 仅下降 1.4%，同时存储减少 50%、检索速度翻倍；int8 量化几乎不损失性能。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MMEB-V2 多模态综合评估 | Average Score | Qwen3-VL-Embedding-8B: 77.8 | Seed-1.6-embedding-1215: 76.9, RzenEmbed-8B: 72.9 | 比最优开源模型高 6.7% |
| MMTEB 多语言纯文本 | Mean Task Score | Qwen3-VL-Embedding-8B: 67.9 | Qwen3-Embedding-8B: 70.6 | 略低于纯文本模型但保持竞争力 |
| JinaVDR 视觉文档检索 | Average Score | Qwen3-VL-Reranker-8B: 83.6 | tomoro-colqwen3-embed-8b: 79.2 | +4.4 分 |
| ViDoRe-v3 视觉文档检索 | Average Score | Qwen3-VL-Reranker-8B: 66.7 | tomoro-colqwen3-embed-8b: 61.6 | +5.1 分 |
| MMEB-V2 Retrieval 子集 | Average Retrieval Score | Qwen3-VL-Reranker-8B: 79.2 | Qwen3-VL-Embedding-2B: 73.4 | +5.8 分 |
| MSMARCO 文本检索 (MRR@10) | MRR@10 | dim=1024: 0.497, dim=512: 0.487 | dim=32: 0.138 | 512 维仅比 1024 维低 1%，存储减半 |
局限与改进
尽管本文取得了显著的性能提升，但仍存在以下局限性。首先，在纯文本任务上，Qwen3-VL-Embedding-8B 在 MMTEB 上的 67.9 分低于纯文本模型 Qwen3-Embedding-8B 的 70.6 分，表明多模态训练在一定程度上牺牲了纯文本表示能力，尽管作者通过模型融合进行了平衡但差距仍然存在。其次，二进制量化对检索性能有显著负面影响，尤其在低维嵌入场景下性能下降更为明显，这限制了 QAT 在极端压缩场景下的实用性。第三，在视觉粒度分析中，作者观察到在最高资源消耗水平下存在轻微的性能回归，这可能是模型处理过长上下文时的固有退化。第四，论文主要在英文为主的基准上评估，对于中文等其他语言的多模态检索性能未提供详细分析。第五，模型的推理效率分析相对有限，虽然论文讨论了 MRL 和 QAT 的存储收益，但对端到端检索延迟、吞吐量等实际部署指标缺乏系统评估。最后，论文承认合成数据的质量依赖于 Qwen3-VL-32B 的生成能力，这可能引入系统性的偏差。
独立分析的弱点
独立分析本文的弱点，可以发现以下几个方面。首先，在数据合成方面，本文高度依赖 Qwen3-VL-32B 进行数据标注和合成，这意味着训练数据的质量上限受限于该模型的能力，如果 Qwen3-VL-32B 在某些特定领域（如专业医学影像或卫星图像）存在知识盲区，合成数据的质量将受到影响。改进方向是引入人类专家标注的黄金标准数据进行校准，或者采用多个不同的 VLM 进行交叉验证。其次，在模型融合策略上，s1 和 s2 的简单加权融合虽然有效平衡了不同任务的性能，但这种全局融合可能导致特定任务上的次优表现。可以探索任务自适应的动态融合策略，根据输入的任务类型自动调整融合权重。第三，在评估方面，论文缺乏对长视频（超过 64 帧）和超长文档（接近 32K tokens）的系统性评估，而这些正是实际应用中的关键场景。第四，Reranker 模型与 Embedding 模型的参数规模相同（2B/8B），但在实际部署中，Reranker 通常需要处理大量的候选文档对，计算成本显著高于 Embedding 模型，论文未讨论如何在二者之间进行资源分配的优化。
未来方向
本文在结论中提出了几个有前景的未来研究方向。首先，扩展到更多模态支持，如音频、3D 点云等，构建真正的全模态检索系统。其次，开发更高效的训练范式，当前的三阶段训练流程虽然有效但资源消耗较大，探索更轻量的训练方法（如课程学习、自适应采样等）可以降低训练成本。第三，增强组合推理能力，当前模型在处理包含复杂逻辑约束的查询（如'红色的汽车但不是卡车'）时能力有限，需要发展更强的视觉推理和关系理解能力。第四，建立更全面的评估协议，现有的基准主要关注单轮检索，而实际应用中多轮对话式检索、增量更新等场景同样重要。基于本文的成果，还可以延伸到几个方向：（1）将 Qwen3-VL-Embedding 应用于 RAG（检索增强生成）系统，作为多模态文档检索器；（2）探索 Embedding 和 Reranker 的联合蒸馏，进一步压缩模型规模；（3）研究动态维度选择策略，根据查询的复杂度自动调整嵌入维度。
复现评估
从复现的角度评估，本文具有较好的可复现性。首先，模型权重和代码已在 Hugging Face 和 ModelScope 上公开发布，包括 2B 和 8B 两种规模的 Embedding 和 Reranker 模型。其次，论文详细描述了训练数据的来源和合成方法，虽然部分内部数据未公开，但公开数据集（如 MSMARCO、MMEB-V2 等）足够支撑核心实验的复现。第三，训练采用 LoRA 微调，相比全参数训练显著降低了计算需求，2B 模型在单张 A100 80GB GPU 上即可进行微调。然而，完全复现训练流程仍面临挑战：（1）300M 规模的合成数据需要调用 Qwen3-VL-32B 进行大规模标注，计算成本较高；（2）三阶段训练和模型融合涉及多个中间模型的管理，增加了工程复杂度；（3）论文未提供精确的超参数设置（如 LoRA rank、学习率调度等），需要自行调优。总体而言，使用预训练模型进行评估和应用开发相对容易，但完整复现训练流程需要较大的算力投入。
论文图表
