ViDoRe V3：复杂真实场景下检索增强生成的综合评估基准 ViDoRe V3: A Comprehensive Evaluation of Retrieval Augmented Generation in Complex Real-World Scenarios
人类标注的多模态RAG基准，评估视觉检索、答案生成与定位能力
前置知识
检索增强生成（RAG）
RAG 是一种将信息检索与大语言模型结合的范式：给定用户查询，系统先从外部文档库中检索相关片段，再将检索结果作为上下文输入生成模型以产生最终答案。这种方法能够弥补语言模型参数化知识的局限性，使系统能够基于最新、特定领域的信息进行回答。典型流程包括三个核心组件：检索器（Retriever）负责从文档库中找到与查询相关的页面或段落，生成器（Generator）基于检索到的上下文产生自然语言回答，以及可选的定位（Grounding）组件将回答溯源到具体文档位置。
本文的核心主题就是评测端到端 RAG 管线在多模态、多语言、复杂真实场景下的表现，理解 RAG 的基本架构是理解全文实验设计和结论的前提。
视觉文档理解（VDU）
视觉文档理解指利用计算机视觉和多模态模型处理包含丰富视觉元素（如表格、图表、信息图、图片等）的文档。传统 NLP 管线仅处理纯文本，会丢失文档中以视觉形式编码的关键信息。VDU 方法通过将文档页面渲染为图像，使用视觉语言模型（VLM）直接理解页面布局、表格结构和图表含义，从而捕获文本提取流程无法获取的信息。
ViDoRe V3 的核心发现之一就是视觉检索器在多数场景下优于纯文本检索器，理解 VDU 的工作原理对于理解为何视觉方法更优至关重要。
NDCG@10（归一化折损累积增益）
NDCG@10 是信息检索领域最常用的排序质量指标。它衡量的是检索系统返回的前 10 个结果的相关性质量。具体计算方式为：首先对每个检索结果赋予相关性等级的增益值，然后除以一个随位置递增的折损因子，最后除以理想排序下的最大可能得分进行归一化。NDCG@10 的取值范围为 [0, 1]，值越高表示检索质量越好。
本文所有检索实验的核心评测指标就是 NDCG@10，理解该指标才能正确解读 Table 1 等核心实验结果。
晚期交互模型（Late Interaction）
晚期交互模型是一种介于双塔稠密检索和交叉编码器之间的检索架构。传统双塔模型分别将查询和文档编码为单个向量，通过向量相似度计算相关性分数；而晚期交互模型将查询和文档分别编码为多个 token 级别的向量，在检索时通过细粒度的 token 交互来计算相似度。典型代表如 ColBERT 系列，即对查询的每个 token 找到文档中最相似的 token 并求和。
论文实验表明晚期交互模型显著优于传统稠密检索模型，理解其原理有助于理解为何 ColEmbed 系列模型表现最佳。
Gwet's AC2 系数
Gwet's AC2（Agreement Coefficient 2）是一种用于衡量评分者间一致性的统计指标，特别适合在数据存在类别不平衡（prevalence skew）的情况下使用。与 Cohen's Kappa 不同，AC2 不容易受到类别分布偏斜的影响，因此在某一类别远多于其他类别时仍能给出稳定的一致性估计。AC2 的取值范围为 [-1, 1]，值越接近 1 表示一致性越高。
本文使用 Gwet's AC2 来衡量人工标注的查询-页面相关性标注的一致性（报告值为 0.760），理解该指标才能评估标注质量和实验结果的可信度。
研究动机
现有的 RAG 评测基准存在多重不足，无法真实反映实际部署中的复杂挑战。早期的视觉文档理解（VDU）基准如 DocVQA 仅关注单页理解，忽略了大规模文档库中的多页检索复杂性。近期的检索导向基准如 Jina-VDR 和 ViDoRe V1/V2 虽然评估了检索性能，但不评估生成质量和溯源定位能力。一些多模态数据集如 M3DocRAG 和 Real-MM-RAG 虽然试图弥合这一差距，但依赖于抽取式短答案任务，无法考察复杂推理能力；UniDocBench 虽然贡献了多样化的查询类型，但使用知识图谱遍历生成合成查询，仅限于英文文档，且定位标注受限于解析后的文档元素。具体而言，现有基准忽略了三个关键问题：第一，文档中关键信息常常编码在表格、图表、图片等视觉元素中，纯文本管线会忽略这些信息；第二，用户查询往往需要对分散信息进行开放式综合、比较和推理，而非简单的事实查找；第三，可信系统必须将回答定位到具体的源文档位置（如边界框），以缓解幻觉问题。
本文的目标是本文旨在构建一个全面、真实、端到端的多模态 RAG 评测基准，名为 ViDoRe V3。该基准的具体目标包括：覆盖 10 个来自不同专业领域的文档库（涵盖金融、计算机科学、能源、制药、人力资源、工业维护、电信和物理），包含 26,000 个文档页面和 3,099 个人类验证的查询，每个查询提供 6 种语言版本；通过 12,000 小时的人工标注，为每个查询提供检索相关性标注、边界框定位和经过验证的参考答案；对检索准确性（按模态和语言分组）、答案质量（跨不同检索管线配置）和视觉定位保真度进行全面评估，为 RAG 从业者提供可操作的洞见。
与已有工作不同的是，本文的独特切入角度在于三个方面。首先，在标注方法论上，提出了一种限制标注者在查询制定阶段接触文档内容的盲注协议，通过仅提供文档摘要而非原始页面来抑制标注者倾向于简单抽取式查询的偏差，从而捕获更真实的搜索行为。其次，在评测维度上，首次将检索、生成和定位三个 RAG 核心组件的评估统一在一个基准中，通过边界框级别的视觉定位评估来衡量模型的证据溯源能力，这是现有基准完全缺失的维度。第三，在工程实践上，采用 VLM 预过滤加人类专家验证的混合管线，在保证标注质量的同时实现大规模标注的效率；采用发布 8 个公开数据集、保留 2 个私有测试集的分层发布策略来防止数据污染和过拟合。
核心方法
ViDoRe V3 的构建采用了一套严谨的三阶段人在回路（Human-in-the-Loop）标注流程，分别针对文档收集、查询生成和带定位的答案标注。整体思路是：首先从政府、教育和企业来源手动精选 10 个开放许可的文档库，覆盖英文和法文两种源语言；然后通过三条并行的查询生成流（人类抽取式、人类盲注上下文式和合成盲注上下文式）生成多样化的查询，确保覆盖 7 种查询类型和 3 种查询格式的交叉分类空间；最后通过 VLM 预过滤加人工标注的两阶段管线，为每个查询标注相关页面、绘制边界框并撰写参考答案。技术路线的核心设计原则是：在不牺牲标注质量的前提下实现规模化，同时最大限度减少标注者的认知偏差。
本文的核心创新点在于盲注查询生成方法论和端到端三组件统一评测框架。与已有方法的本质区别体现在：传统基准允许标注者直接查看文档页面来编写查询，这导致标注者自然倾向于编写可从页面中直接复制粘贴答案的抽取式查询；而 ViDoRe V3 通过仅向标注者展示由 Qwen3-235B 生成的文档摘要来抑制这种偏差，迫使查询更加多样化和真实。此外，已有基准要么只评估检索性能（如 ViDoRe V1/V2），要么只评估抽取式答案准确性（如 M3DocRAG），要么缺乏细粒度视觉定位（如 UniDocBench）；而 ViDoRe V3 通过要求标注者为每个相关页面绘制支持性内容的边界框并标注模态类型（文本、表格、图表、信息图、图片、混合或其他），首次实现了检索-生成-定位三维度的端到端评测。
方法步骤详情
方法的具体步骤如下。第一步，文档收集：从政府、教育和企业网站手动精选 10 个开放许可的文档库，涵盖 7 个英文库和 3 个法文库，覆盖金融、计算机科学、能源、制药等 8 个专业领域。第二步，查询生成：构建两条并行流水线，人类抽取式向标注者展示原始 PDF 页面，要求生成遵循特定查询类型和格式的查询；人类盲注上下文式使用 Qwen3-235B-Instruct 从文档各部分生成摘要，通过 Qwen3-Embedding-0.6B 嵌入、UMAP 降维和 HDBSCAN 聚类将摘要分组，再从各聚类中随机选择 2-3 个部分生成跨部分摘要，标注者仅基于这些摘要编写查询。同时，使用 Qwen3-235B 通过 NeMo Data Designer 实现合成查询生成，以随机采样的查询类型/格式为条件，并通过 LLM-as-Judge 按信息丰富度、领域相关性、清晰度和格式遵循度四个标准进行过滤。第三步，查询-页面关联：使用 Qwen2.5-VL-32B-Instruct 对每个查询-页面对进行相关性预过滤，优先保证高召回率，然后由 1-3 名人工标注者对预过滤后的候选页面进行三点相关性评分。第四步，答案生成与定位：人工标注者基于标记的相关页面撰写答案，随后使用 Qwen2.5-VL-32B-Instruct 聚合多个标注者的答案（86.3% 的情况下完全保留了至少一个标注者的信息内容），并为每个相关页面绘制边界框和标注模态类型。第五步，跨语言扩展：使用 Qwen3-235B-Instruct 将查询翻译为英语、法语、西班牙语、德语、意大利语和葡萄牙语 6 种语言。
技术新颖性
本文的技术新颖性体现在多个层面。在标注方法论上，盲注查询生成是首创，通过在查询制定阶段限制标注者接触文档原文来减少抽取式查询偏差，这在大规模 RAG 基准构建中尚属首次。在标注规模与质量的平衡上，采用了 VLM 预过滤（Qwen2.5-VL-32B-Instruct 的高召回率设计）加人类验证的两阶段管线，使得在 26,000 个页面上进行查询-页面关联标注成为可能，同时 Gwet's AC2 达到 0.760 的强一致性。在查询多样性上，设计了 7 种查询类型（开放式、抽取式、数值、多跳、比较对比、布尔、枚举）与 3 种查询格式（问题、关键词、指令）的正交分类体系，并通过随机采样长度、难度等变量属性来促进多样性。在视觉定位上，要求标注者绘制边界框并标注模态类型，这是现有 RAG 基准中完全缺失的维度；通过建立人类标注者间的一致性基线（IoU 0.50，F1 0.60）来为模型评估提供参照上限。在防数据污染策略上，采用 8 公开加 2 私有的分层发布策略来确保评估结果反映真实泛化能力。
实验结果
本文的实验结果涵盖了检索、答案生成和视觉定位三个维度。在检索方面，以 ColEmbed-3B-v2 为代表的视觉检索器在所有模型中取得了最佳平均 NDCG@10 为 59.8，显著优于最佳纯文本检索器 Qwen3-8B 的 51.0（Table 1）。对于给定参数量，视觉检索器普遍优于文本检索器，晚期交互方法优于稠密方法，这一发现与已有文档检索基准一致。文本重排序器的效果远超视觉重排序器：在 Jina-v4 管线上，文本重排序器 zerank-2 带来了 +13.2 NDCG@10 的巨大提升（从 50.4 提升到 63.6），而视觉重排序器 jina-reranker-m0 仅带来 +0.2 的边际提升且在 4 个数据集上性能下降（Table 2）。在答案生成方面（Table 3），视觉上下文优于文本上下文：在 hard 查询子集上，使用图像上下文的 Gemini 3 Pro（64.7%）比使用文本上下文（62.3%）高出 2.4 个百分点。混合检索管线在 hard 查询上取得 54.7% 的准确率，优于最强纯文本（52.1%）和纯视觉（54.5%）基线。然而，即使使用 oracle 上下文，hard 查询的性能仍比 easy 查询低超过 10 个百分点（64.7% vs 79.3%），说明当前模型在多步推理和长上下文综合方面仍有不足。性能与查询复杂度呈负相关：布尔和数值查询得分显著高于开放式和多跳查询；问题格式在几乎所有类别中优于指令和关键词格式。跨模态内容（Mixed 类型）得分最低，表明整合单页内不同模态信息仍是挑战。检索性能随相关页面数量增加而持续下降。跨语言查询比单语言设置低 2-3 个百分点。在视觉定位方面，人类标注者间一致性达到 F1 0.602，而最佳模型 Qwen3-VL-30B-A3B-Instruct 仅为 0.089，Gemini 3 Pro 为 0.065，存在巨大差距。在页面级别，16-17% 的页面被模型和人类同时标注，26-27% 的人类标注页面完全未被模型标注，表明召回率是主要瓶颈。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文档页面检索（视觉检索器，10个数据集平均） | NDCG@10 | ColEmbed-3B-v2: 59.8 | ColPali: 43.1 | +16.7 绝对提升（+38.7% 相对提升） |
| 文档页面检索（文本检索器+重排序器，10个数据集平均） | NDCG@10 | Jina-v4 + zerank-2: 63.6 | Jina-v4 文本基础: 50.4 | +13.2 绝对提升（+26.2% 相对提升） |
| 端到端答案生成（hard 查询） | 准确率（LLM judge） | 混合管线: 54.7% | 最强纯视觉: 54.5%，最强纯文本: 52.1% | 比纯文本 +2.6 绝对提升 |
| 视觉定位（边界框生成） | F1 分数（Dice coefficient） | Qwen3-VL-30B-A3B: 0.089 | 人类一致性: 0.602 | 模型距人类水平仍有 0.513 的巨大差距 |
| 视觉 vs 文本上下文答案生成（hard 查询，oracle） | 准确率 | 图像上下文: 64.7% | 文本上下文: 62.3% | +2.4 绝对提升 |
局限与改进
本文作者坦诚地指出了若干局限性。在语言覆盖上，虽然基准提供了 6 种西欧高资源语言的查询，但源文档仅限于英语和法语，不含非拉丁文字语言，这可能对优化这些语言的 RAG 系统产生隐性偏好。在文档分布上，基准聚焦于政府、教育和企业来源的公开长文档，而实际企业 RAG 可能需要处理更广泛的文档类型，包括噪音大、形式短的电子邮件、工单或手写扫描件。在标注偏差上，虽然盲注方法减少了抽取式查询偏差，但由于标注者来自特定供应商的现有团队，且标注过程涉及 VLM 辅助过滤，可能引入系统性偏差。从独立观察来看，查询-页面关联标注依赖 Qwen2.5-VL-32B-Instruct 进行预过滤，虽然设计上优先保证召回率，但这种上游模型选择可能影响了标注集中相关/不相关页面的分布，进而影响下游检索实验的结果；此外，边界框标注的低一致性（IoU 0.50，F1 0.60）虽然被归因于任务的内在主观性，但也可能反映了标注指南的粒度不足。评测中使用 LLM-as-judge 来判断答案正确性，其评判标准的透明度和可复现性值得关注。
独立分析的弱点
本文存在几个值得关注的弱点。首先，视觉重排序器的效果极差——jina-reranker-m0 在 10 个数据集中仅带来平均 +0.2 NDCG@10 的提升，且在 4 个数据集上性能下降，这表明当前多语言视觉重排序器远不成熟，但论文仅将其作为发现报告而未深入分析原因或提出改进方向。其次，视觉定位的评估存在方法论上的局限：模型评估使用的是最佳匹配策略（将模型预测与最相似的人类标注者比较），但人类标注者间一致性本身仅为 F1 0.602，这意味着评估的天花板较低且噪声较大。改进方向包括：设计更精细的标注指南以提高边界框一致性，或采用基于语义匹配而非像素级 IoU 的定位评估指标。第三，查询翻译使用 Qwen3-235B-Instruct 自动生成，未进行人工验证，翻译质量的不确定性可能影响跨语言实验结论的可靠性。改进方向包括对合成查询进行更严格的人工质量审核，以及在发布基准时标注每个查询的生成来源。第四，论文未充分消融合成查询与人类查询对评测结果的影响差异，虽然 Figure 2 和 Appendix E 提供了按生成来源的分解，但未讨论合成查询是否引入了系统性偏差。
未来方向
作者和本文分析共同指向多个未来研究方向。在检索层面，需要开发更好的多语言视觉重排序器，当前最佳视觉重排序器几乎无效果的现状表明这是一个亟需突破的方向；同时需要改进检索器对开放式和多跳查询的处理能力，这类查询的性能显著低于简单查询类型。在生成层面，即使使用 oracle 上下文，hard 查询的准确率仍比 easy 查询低 10 个百分点以上，说明模型在多步推理和长上下文综合方面需要根本性的改进；此外，需要提升 VLM 从多页视觉上下文中生成准确答案的能力。在定位层面，视觉定位是差距最大的维度（模型 F1 0.089 vs 人类 0.602），需要开发专门的视觉定位训练方法和评估框架。在基准扩展上，未来应纳入更多语言族系（特别是非拉丁文字语言）和更多文档类型（短文档、噪音文档、扫描件等），以更好地反映全球文档检索场景的多样性。基于本文框架，可延伸研究方向包括：探索不同检索-生成-定位组件之间的最优组合策略，开发专门针对视觉内容（表格、图表）的检索和理解模型，以及研究跨语言检索中的语言对齐问题。
复现评估
本文在复现性方面做得较好。所有 8 个公开数据集均在 HuggingFace 上以商业许可发布（hf.co/vidore），并集成到 MTEB 生态系统和排行榜中，方便研究者直接使用。论文详细描述了标注流程的每个阶段，包括使用的具体模型（Qwen2.5-VL-32B-Instruct、Qwen3-235B-Instruct）、标注者数量（76 名领域专家、13 名高级标注者）和标注耗时（12,000 小时）。然而，复现存在若干挑战：首先，2 个私有测试集未公开，完整复现评估结果不可能；其次，管线中的多个环节依赖特定的商业 API 或模型（如 NeMo Data Designer、NeMo Retriever extraction service），增加了外部依赖；第三，计算资源需求较大，评估消耗了 3,000 小时的 NVIDIA H100 GPU 算力（估计碳排放 200 kg CO2e），这对大多数学术团队而言是显著的门槛。总体而言，数据和评测框架的公开程度较高，但完整的端到端管线复现需要显著的计算资源和多个外部服务的支持。
论文图表
