CiteVQA：面向可信文档智能的证据归因基准测试

要求Doc-VQA同时输出元素级BBox引用与答案，揭示『答案对但证据错』的归因幻觉。

前置知识

文档视觉问答（Doc-VQA）

Doc-VQA 是给定一张或多张文档图像（PDF/扫描页），模型需要阅读其中的文字、表格、图表内容并回答用户提出的问题。任务核心包含 OCR、布局理解、跨模态推理三步：先识别图像中的文本与结构元素，再把问题语义映射到具体文档区域，最后生成自然语言答案。

CiteVQA 是在 Doc-VQA 基础上的扩展，传统 Doc-VQA 只评估答案文本是否正确，而本文引入了额外的『证据定位』维度，所以读者必须先理解 Doc-VQA 的基本流程才能体会新基准的增量价值。

多模态大语言模型（MLLM）

MLLM 指同时处理图像、文本等多种模态输入的大语言模型，典型代表有 GPT-5、Claude、Gemini、Qwen3-VL 等。其核心架构是视觉编码器 + 跨模态投影 + 文本解码器三件套，能在统一上下文窗口内对图像和文字进行联合推理。在 CiteVQA 中，被评估的 20 个模型均属于此类。

本文的实验对象全是 MLLM，且很多所谓『答案正确』的失败案例正是 MLLM 内部『视觉-语言对齐不充分』造成的，读者需要理解 MLLM 的输入输出格式才能看懂评测协议。

边界框（Bounding Box, BBox）与 IoU

BBox 是用左上角 $(x_1, y_1)$ 和右下角 $(x_2, y_2)$ 圈出矩形区域的标注方式。IoU 即预测框与真值框的交集/并集面积，取值 $[0,1]$。CiteVQA 用 IoU $\geq 0.5$ 判定召回。

CiteVQA 的核心创新就是把『证据』从过去的『页码』粒度细化到 BBox 粒度，并用 IoU 来量化定位精度，不懂 BBox 和 IoU 就无法理解 SAA 是如何被计算出来的。

幻觉（Hallucination）与证据归因（Attribution）

幻觉指模型生成了看似合理但与事实不符的内容。证据归因则是要求模型在给出答案的同时，把支持该答案的『证据源』显式列出来，让用户能反向核查。归因幻觉特指『答案内容正确，但所引用的证据位置错误』这种『伪忠实』现象，正是本文首次系统化提出的概念。

整篇论文围绕『归因幻觉』这一新概念展开，必须先区分它和普通事实性幻觉，才能理解 SAA 指标的设计动机和命名主张价值。

研究动机

现有的 Doc-VQA 评测协议普遍采用『答案-only』打分模式，例如 ANLS、F1、EM 等指标只比较模型输出的文本与标准答案是否一致。然而这种评测完全忽视了模型『是怎么得到这个答案的』。在法律、医疗、金融这些高风险领域，决策必须可追溯到具体证据段落。在 Table 1 列出的主流基准中，DocVQA、InfoVQA、MP-DocVQA、MMLongBench-Doc 全部只到页级（Page granularity），SlideVQA 和 ViDoRe V3 虽然有 BBox 但缺乏统一的联合评测，ChartQA/Charxiv 又只针对图表单一子域。更严重的是，作者用具体数字揭示了这种评测的盲点：在他们审计的 20 个 MLLM 中，GPT-5.4 答案得分高达 87.1、Qwen3-VL-235B-A22B 答案得分 72.3，但二者在严格归因准确率 SAA 上分别只有 59.0 和 22.5——这意味着大量『看起来对』的答案其实是靠预训练记忆『蒙』出来的，或者把证据引到了错误位置。一旦这种『伪忠实』模型被部署到医生、律师、审计师的工作流中，决策就失去了可审计性，错误将无法回溯。

本文的目标是本文的核心目标是把 Doc-VQA 评测从『答案正确性』扩展为『答案 + 证据联合正确性』，并提供一个统一可复现的评测协议。具体地，作者希望建立一个包含 711 份 PDF、1897 个高质量问答对的基准 CiteVQA，要求每个模型不仅给出文本答案，还要返回支持该答案的元素级 BBox 引用（精确到 PDF 内的 $(doc\_idx, page\_idx, x_1, y_1, x_2, y_2)$），并通过一套以 Strict Attributed Accuracy (SAA) 为核心的指标族（Recall、Relevance、Answer、SAA）来联合打分。最终的目标是暴露当前 MLLM 的归因缺陷，推动社区从『卷答案分数』转向『卷证据可追溯性』，为可信文档智能提供 instrumentation。

与已有工作不同的是，现有方法要么停留在页级粒度（粒度太粗，无法支持『具体哪一段文字支撑答案』的需求），要么引入了 BBox 但缺乏标准化的评测协议（不同数据集定义不一，无法横向比较）。更关键的是，主流 Doc-VQA 数据集大多聚焦单页或纯事实型问答，没有覆盖真实业务中的『多页/多文档、长上下文、跨语言、跨模态（文本+表格+图像+公式）』复杂场景。CiteVQA 的独特切入角度在于『四步全自动化构建流水线 + 元素级粒度 + 联合指标 + 大规模审计』四件套：先用 MinerU 做深度文档解析，再用 Gemini 类强 MLLM 当 agent 拼接散落证据，接着用真实问题蒸馏出的模板合成 QA，最后用『逐元素消融』的方式自动标定 Crucial Evidence。整条流水线在没有人工逐题标注的情况下，实现了元素级精度的可扩展数据集生产——这是过去所有 Doc-VQA 基准都没做到的。

核心方法

CiteVQA 的整体思路是『先建池子，再造证据链，再生成 QA，最后用消融来标定关键证据』，四个步骤环环相扣，确保每个问答对都能追溯到 PDF 内的具体元素。具体而言：第一步从 Common Crawl 1 亿+ PDF 中经 250k 候选 → 711 份精选，分布到 7 大领域 30 个子类；第二步通过『多文档链接』将语义相关的 PDF 合成成证据组 $D$，再用 MinerU2.5 深度解析得到元素级 BBox + OCR；第三步用 Gemini-3.0-Flash-Preview 作为 agent 在 BBox 空间内『导航』拼接散落证据形成 Evidence Package；第四步基于模板蒸馏合成 QA 并实施四项质量控制。整个流程中没有任何人工逐题标注，但通过『消融-失败即关键』的自校验机制保证证据的最小完备性。

CiteVQA 区别于已有方法的核心创新在于把『证据』从隐式的中间状态变成了显式的、可被独立评测的一等公民——过去 Doc-VQA 评测只产出 $(Q, A)$ 一对元组，而 CiteVQA 的样本是 $(D, Q, A_{gt}, B_{gt})$，其中 $B_{gt}$ 是经过消融验证的『最小必要证据集』。这背后是评测哲学的转变：从『看答案』到『看证据』。第二个本质区别是『自动化构建 + 自动化验证』的闭环：传统 BBox 数据集依赖昂贵的人工标注（ViDoRe V3 只有 190 份文档且标注质量参差），而 CiteVQA 用 100 万级 PDF 池 + 强 MLLM agent + 元素级消融验证实现规模化生产。第三个本质区别是 SAA 指标的『二值性』——它不是把答案和证据两个分数简单相加，而是用逻辑与 $\mathbb{1}(Ans.\geq 4 \land (Rel.\geq 4 \lor Rec.\geq 0.6))$ 强制两个条件同时满足，从而暴露『答案对但证据错』的伪忠实行为。

方法步骤详情

CiteVQA 构建流水线分四步，每步有明确输入输出：Step 1 多文档链接，输入是单 PDF 元数据，先用 MLLM 为每篇文档生成『类型/主题/章节』语义画像并编码为向量，再用余弦相似度召回 top-5 候选，最后用 LLM 做 chain-of-thought 段级匹配，输出 1-3 个相关段、最多 5 个匹配组 $\mathcal{G}$，并通过双射函数 $f_{map}$ 把合成页面的 BBox 映射回原始 PDF 坐标。Step 2 证据包抽取，输入是 Step 1 的文档组 $D$，用 MinerU2.5 解析为 $(doc\_idx, page\_idx, x_1, y_1, x_2, y_2, OCR)$ 的细粒度列表，然后由 Gemini-3.0-Flash-Preview agent 在 BBox 空间内搜索、拼接、合并跨页/跨文档的支撑事实，输出 Evidence Package $= \{b_{crucial}\} \cup \{b_{other}\}$。Step 3 QA 构造，输入是 Evidence Package，从 SPIQA、MedQA、PubMedQA、ViDoRe V3、PolicyBench、MaintNorm 等真实数据集中用 Gemini-3.1-Pro-Preview 蒸馏出 4 类模板（事实检索、复杂综合、定量推理、多模态解析），再让 MLLM 选模板并填槽位生成 QA 对，输出 $(Q, A, \text{evidence\ links})$。Step 4 质量控制，包含三道关卡：(a) 可答性验证——只给 evidence screenshot 让 MLLM 重答，答不对就丢弃；(b) 复述改写——同模型改写问题文本以提升语言多样性；(c) 关键证据识别——对每个 BBox 单独 mask 掉，若 MLLM 答错则标为 Crucial Evidence，并用 Qwen3-VL-235B 做『零文档自测』过滤常识题。最终输出 1897 个 $(D, Q, A_{gt}, B_{gt})$ 样本进入评测集。

技术新颖性

技术新颖性主要体现在三点：第一，把『消融』思想从模型可解释性领域借用到证据标定上——通过对每个 BBox 元素单独 mask 后观察模型是否仍能答对，自动识别『最小必要证据集』，这是过去 Doc-VQA 数据集都依赖人工标注的痛点。第二，评测指标设计上引入了 LLM-as-judge 的 Rel. 分数（0-5 连续尺度），与基于几何 IoU 的 Rec. 分数互补，再通过 OR 逻辑组合到 SAA 中，避免了单一指标的盲区。第三，发现了『归因幻觉』这一命名性现象，并通过 20 个模型的实证数据给出量化证据：Closed-source 顶配 Gemini-3.1-Pro-Preview 的 SAA 上限仅 76.0，开源最强 Qwen3-VL-235B-A22B 仅 22.5，而它们的 Ans. 分数分别高达 86.1 和 72.3——这种 10-30 分的系统性差距是过去 answer-only 评测完全看不到的。此外，作者还做了『分辨率消融』和『GT-Pages 消融』两个额外实验：分辨率从 1024² 降到 512² 时 SAA 从 22.5 崩到 5.3，证明证据定位对视觉细节极度敏感；把搜索空间限制在 GT 页面/Gold 文档时小模型可获得 +13.4% 的提升，证明粗粒度检索本身就是关键瓶颈。

**Figure 2**: The automated pipeline for CiteVQA. The workflow begins with Multi-doc Linking for semantic document aggregation, followed by Evidence Package Extraction, QA Construction, and Quality Control with Evidence Ablation.

实验结果

Table 3 报告了 20 个 MLLM 在 1897 道题上的总体表现，最强系统是 Gemini-3.1-Pro-Preview，Overall SAA=76.0，Rec.=66.0，Rel.=83.6，Ans.=86.1；紧随其后的是 Gemini-3-Flash-Preview（SAA=65.4）和 GPT-5.4（SAA=59.0）。三大关键发现：(1) 答案分数和 SAA 之间存在系统性 gap——GPT-5.4 答案分 87.1 但 SAA 仅 59.0（$\Delta=28.1$），Gemini-3-Flash 答案分 84.5 但 SAA 仅 65.4（$\Delta=19.1$），证实了『归因幻觉』的普遍性。(2) 开源/闭源之间存在巨大『性能悬崖』——最强的开源模型 Qwen3-VL-235B-A22B Overall SAA 仅 22.5，比 Gemini-3.1-Pro 落后 53.5 分；小模型如 Qwen3-VL-8B SAA 仅 7.5，Qwen3.5-9B 仅 11.1，根本不满足高风险场景的部署门槛。(3) 多文档场景显著放大难度——Gemini-3.1-Pro 在 Single-Doc 上 SAA=76.0，到 Multi (N-Gold) 跌到 71.6（$-4.4$），而 GPT-5.4 从 61.7 跌到 55.1（$-6.6$），Qwen3-VL-235B-A22B 从 25.0 跌到 17.8（$-7.2$），跨文档证据拼接是公认硬骨头。Figure 5 显示 Quantitative Reasoning 是模型最擅长的题型（Gemini-3.1-Pro SAA=82.6），因为数值计算的目标函数最明确；而新引入的 Multimodal Parsing 题型（需要根据『绿色斜体数字』这种描述性线索定位元素）所有模型都不及格，最强也只有 76.5。Figure 6 揭示了一个有意思的正相关：当 Evidence Quality 跨过 30 分阈值后，Answer Accuracy 随 $\max(\text{Rel.}, \text{Rec.})$ 单调上升，提示『精准定位』和『答对』之间存在因果耦合——不是装饰性的归因，而是推理的功能性前提。Table 4 的消融进一步支持这一假设：把搜索空间限制在 GT 页面时 Qwen3.5-27B 提升 +5.3%，提供 1 个 Gold Doc 时 Qwen3-VL-8B 暴涨 +13.4%。

**Table 1**: CiteVQA vs. representative Doc-VQA benchmarks. Gran.: evidence granularity (P page, B bounding box, E element-level). Joint: answer and citation scored by a single sample-level metric.

**Table 3**: Comprehensive Evaluation of CiteVQA across Different Document Scenarios.

**Table 4**: Ablation studies on Ground Truth (GT) pages and Gold documents.

**Table 12**: Detailed attribution performance of MLLMs across different document scenarios. Page. denotes Page-level Recall; Rec., Prec., and F1 represent bounding-box-level Recall, Precision, and F1-score respectively.

**Figure 5**: Fine-grained results on various question types (SAA).

**Figure 6**: The accuracy of MLLMs exhibits a fluctuating upward trend as evidence quality improves.

**Figure 7**: A Typical Example (KENALOG-40 / KENALOG-80 NDC codes).

**Figure 9**: Case Study 1: Contract Optional Years table citation.

**Figure 10**: Case Study 2: NbO₂ electronic energy gap calculation.

查看结构化数据

任务	指标	本文	基线	提升
Single-Doc 文档问答（711 题）	SAA (0-100)	Gemini-3.1-Pro-Preview: 76.0	Qwen3-VL-235B-A22B（最强开源）: 25.0；Qwen3-VL-8B（最小）: 8.8	闭源 vs 开源差距 51.0 分（绝对），揭示部署可行性差距
Multi (1-Gold) 文档问答（487 题）	SAA (0-100)	Gemini-3.1-Pro-Preview: 79.7	GPT-5.4: 56.9；Qwen3-VL-235B-A22B: 21.6	Gemini-3.1-Pro 相对 GPT-5.4 提升 22.8 分，跨文档推理优势明显
Multi (N-Gold) 多文档联合问答（423 题）	SAA (0-100)	Gemini-3.1-Pro-Preview: 71.6	GPT-5.4: 55.1；Qwen3-VL-235B-A22B: 17.8	相比 Single-Doc 场景，所有模型 SAA 普遍下降 5-8 分，跨文档证据拼接是公认瓶颈
Quantitative Reasoning 题型	SAA (0-100)	Gemini-3.1-Pro-Preview: 82.6	Qwen3-VL-235B-A22B: 26.4（参考值）	在所有题型中表现最好，因为目标函数客观、数值对齐清晰
Multimodal Parsing 题型（按描述性线索定位元素）	SAA (0-100)	Gemini-3-Flash-Preview: 76.5；Gemini-3.1-Pro-Preview: 69.0	GPT-5.4: 27.3	新题型暴露了『用自然语言描述找元素』这一能力在所有模型上的严重不足
FinRAGBench-V（辅助训练验证）	F1_min (0-100)	CiteVQA Pipeline (3k 样本): 81.3	Vidore Original (5k 人工标注样本): 82.7	用 60% 数据量达到接近人工标注效果（差 1.4 分），证明自动化流水线可用性

局限与改进

作者在论文中明确指出了几项局限：第一，CiteVQA 依赖 Common Crawl 数据源，虽然获得了 1 亿+ PDF 的广度，但 711 份精选仍可能存在领域偏差，Gov & Legal、Publishing & Media 等子域样本相对稀少，导致 Figure 8 中这些域的 SAA 普遍低于 75。第二，评测中的『证据』仅限定为 PDF 内的静态视觉元素（文本块/表格/图像/公式），不包含时序性的网页、交互式 UI 元素，因此对动态文档场景不可用。第三，Rel. 分数依赖 LLM-as-judge（Qwen3-VL-235B-A22B），虽然 Table 11 的 Friedman 检验 p>0.14 显示与人类专家无统计显著差异，但 LLM 评判本身存在 0.5-1.0 分的系统性偏差。第四，从 Figure 6 可以看到 Evidence Quality 在 30 以下时 Ans. 出现剧烈波动（55-85 之间），说明 SAA 阈值设计（Rel.≥4 或 Rec.≥0.6）可能过于严格，对中游模型区分度有限。我自己观察到的额外局限是：(1) SAA 是二值指标，无法区分『答得对且引对』和『答得对但引得几乎对』的细微差别，损失了 ranking 粒度；(2) Rec. 用 IoU≥0.5 这一固定阈值，对『小元素』和『大表格』的容忍度一样，可能高估小元素的难度；(3) 评测只在 MLLM 一次性输出 BBox 的范式下进行，没有测试『先答后定位』或『多轮工具调用』等更现实的 agentic 范式——而 Table 8 的训练验证恰恰说明 AgenticOCR 这类多轮方法可以拿到 +5% 的提升。

独立分析的弱点

独立分析三个具体弱点及改进方向：(1) 评估范式单一：当前 SAA 只评估『单轮直接输出 BBox』，但真实业务中医师/律师通常会用多轮对话+工具调用（zoom-in、OCR 二次识别）来定位证据。建议增加一个『Agentic Track』，允许模型调用 image_zoom_and_ocr_tool，通过 rejection sampling 评估多轮轨迹质量，正如作者在 Appendix B.4 已展示的 AgenticOCR 范式可提升 +5%。(2) Rec. 阈值的鲁棒性：IoU≥0.5 对『包含整段文字的长 BBox』过于宽松（只要重叠 50% 就算对），对『小图标/单数字』过于严格（像素级偏差就失败）。建议在 Table 3 的基础上补充一个 IoU≥0.7 的『严格 Rec.』列和基于 Normalized Edit Distance 的 BBox 边界偏差评估，给出连续分数而非二值判定。(3) 语言覆盖不足：Table 2 显示 451 份 EN + 260 份 ZH，但跨语言问答（一份 PDF 包含中英双语）几乎没有覆盖，且 207 道 Multimodal Parsing 题可能集中在中英文本上的视觉描述，无法泛化到日韩阿等小语种。建议在下一版引入 200+ 份多语种 PDF（欧盟法规文件、双语论文等），并按语种分别报告指标，验证模型在低资源语言上的归因鲁棒性。

未来方向

作者在 Conclusion 和 Case Study 中暗示了三个延伸方向，结合成果可再拓展三个：(a) 强化学习的奖励设计——把 SAA 作为 RLHF 的额外奖励信号（而非仅用答案正确性），让模型在微调阶段就学习『先定位再回答』的策略，预期能在小模型上复现 Table 4 中 +13.4% 的提升。(b) 证据-答案因果分析——Figure 6 的正相关提示可以训练一个『证据质量预测器』作为辅助 loss，引导模型在答案生成前先评估自己引用的证据是否充分。(c) 跨模态证据融合——当前 70.12% 文本、21.99% 表格、7.04% 图像、0.84% 公式，未来可专门研究『图文混合证据的归因评估』，因为 Figure 10 的案例中 Qwen3-VL-8B 答错的原因就是没正确读懂 Figure 8 中的图表。可延伸的方向还包括：(d) 实时文档流场景——把 PDF 换成滚动加载的网页或长上下文会议记录，测试证据归因是否随上下文长度优雅降级；(e) 多模态安全审计——把 SAA 范式推广到『模型生成的图表/PPT 中是否正确引用了源数据』，服务科研可复现性；(f) 与 RAG 系统的结合——评估 RAG 检索器返回的 chunk 是否同时满足『答案支持』和『页内定位』两个条件。

复现评估

复现性评估整体良好但有挑战。开源情况：作者明确在论文首页给出仓库链接 https://github.com/opendatalab/CiteVQA ，承诺开源结构化元数据、BBox 坐标、QA 对；PDF 本身按 Common Crawl 学术规范只分发公开下载链接，不直接打包分发，遵守版权。数据规模：1897 个 QA 对 + 711 份 PDF，体量适中（PDF 总页数约 28800 页，按 150 DPI 单页约 200-500KB 估算约 6-15GB）。算力需求：评估 20 个 MLLM 涉及 8×H200 GPU（144GB 显存/卡），其中小模型（Qwen3-VL-8B）单卡可跑，大模型（Qwen3-VL-235B-A22B）需要 4 卡张量并行；评估一次完整 1897 题约需 50-100 GPU 小时。代码可复现性：评测用 Qwen3-VL-235B-A22B 作 judge，prompt 在 Appendix E 给出，IoU 阈值 0.5 等超参明确（Table 9 给出 Gemini/GPT/Qwen3 系列的输入处理策略），所以技术细节充分。复现难度：中等——主要是 MLLM API 成本和 GPU 算力的实际门槛，普通实验室需 2000-5000 美元 API 费用或自建 GPU 集群；且需熟悉 MinerU2.5 文档解析、Qwen3-VL 系列推理。值得指出的是，Table 8 提供了最有价值的可复现证据：用 3k CiteVQA 自动生成样本训练的 AgenticOCR 与 5k 人工标注样本在 FinRAGBench-V 上 F1 相差仅 1.4 分（81.3 vs 82.7），证明流水线不仅能造数据，还能造『可用的训练数据』。

CiteVQA：面向可信文档智能的证据归因基准测试 CiteVQA: Benchmarking Evidence Attribution for Trustworthy Document Intelligence