证据链：面向迭代式检索增强生成的像素级视觉归属方法

用VLM直接对文档截图做多跳推理并输出像素级证据框，让RAG归属从粗粒度文本引用跃迁到可视化审计。

前置知识

检索增强生成（RAG）

RAG是一种将外部知识库的检索结果与大型语言模型生成能力相结合的技术框架。给定用户查询，系统先用一个检索器从语料库中找出相关的文档或段落，再把这些证据拼到prompt里交给LLM生成最终答案，从而缓解模型幻觉和知识过时问题。

CoE是iRAG的归属增强方法，必须先理解RAG如何把检索片段作为证据喂给生成模型，才能体会为什么'证据的可见性'对高风险领域至关重要。

迭代式RAG（iRAG）与多跳问答

多跳问题无法靠一次检索回答，需要先抽出一个中间实体（如'电影《盗梦空间》的导演是诺兰'），再基于该实体做第二次检索（如'诺兰的毕业院校'）。iRAG就是把'检索-推理-再检索'串成链路的RAG范式。

本文研究的核心对象就是iRAG的多跳推理链路，需要先理解'为什么单跳RAG不够'才能看懂Chain of Evidence要解决的多文档、多跳轨迹可视化问题。

视觉语言模型（VLM）

VLM是把视觉编码器（如ViT）和语言模型拼接在一起的多模态模型，可以同时理解图像像素和文本token，输出文字或结构化坐标。Qwen3-VL、GPT-5等都属于此类模型，能够直接对截图进行阅读、定位和推理。

CoE以Qwen3-VL-8B为骨干，直接把文档截图作为输入而非OCR文本，整套方法的可行性完全建立在VLM已经具备视觉阅读能力这一前提上。

边界框（Bounding Box）与IoU

边界框是用左上角$(x_1, y_1)$和右下角$(x_2, y_2)$描述矩形区域的四元组，IoU（交并比）= 预测框与真实框交集面积除以并集面积，是衡量定位精度的标准指标。本文使用IoU≥0.3或预测框中心落入真实框作为定位通过的判定。

CoE的所有核心输出都是边界框，Loc-Acc指标依赖IoU理解，论文Figure 1展示的'可视化证据链'本质就是把若干边界框按推理顺序串起来。

OCR与文本解析的局限

OCR（光学字符识别）把图片中的文字识别成纯文本字符串，传统RAG流水线通常先OCR/解析PDF再喂给LLM。这个过程会丢失阅读顺序、表格结构、箭头连接、空间对齐等视觉语义。

CoE的核心动机之一就是指出'文本化即信息丢失'，需要先理解OCR会破坏什么，才能看懂为什么视觉先行的范式对PPT、流程图等文档是必要的。

研究动机

现有的迭代式检索增强生成（iRAG）系统在面对医疗、金融、法律等高风险领域时，普遍存在三类痛点：第一，归属粒度过粗——系统通常只能给出'[Doc-1]'这种文档级引用，对于2WikiMultiHopQA类需要2-4跳的复杂问题，用户可能拿到3-5份候选文档，每份3-5页，必须肉眼扫描数百页才能定位某一句话，认知负担极高。第二，文本化导致视觉语义彻底丢失——现实世界的知识载体往往不是纯文本，PPT流程图、PDF柱状图、维基百科信息框的视觉对齐本身就承载语义，例如柱状图条形与坐标轴的对应、箭头连接的因果流，这些信息在OCR阶段就被破坏掉，传统RAG根本看不到。第三，多跳推理轨迹本身不可审计——iRAG依赖中间实体做接力检索，但用户无法直观看到'第1跳选Doc4是因为它的 infobox 显示了导演，第2跳转Doc1是因为看到了毕业院校'这种跨文档的推理过程，缺乏统一机制把整条证据链可视化出来。

本文的目标是本文提出Chain of Evidence（CoE）框架，目标是构建一个retriever-agnostic的视觉归属系统，把多跳RAG从'只能给出文档级引用'升级到'能在原始文档截图上输出像素级边界框、并把整条推理链路显式画出来'，从而让用户无需阅读全文即可瞬间验证每一个推理步骤的证据来源。具体而言，CoE要同时解决三件事：在结构化网页（Wiki-CoE，70,418题）上达到≥80%的边界框定位准确率，在非结构化演示稿（SlideVQA）上证明视觉先行的必要性，以及给出可被任何top-5检索器直接调用的统一接口。

与已有工作不同的是，已有工作主要在两个层面努力但都没打通：文本侧的归属方法（如ALCE-citation、IRCOT、KiRAG、SEAKR）只能给出文档或句子级文本引用，对于SlideVQA这种OCR本身就不可靠的场景会彻底崩溃；视觉侧的归属方法（如VISA）只处理单步检索，没扩展到多跳iRAG场景，也无法显式表达跨文档推理轨迹。CoE的独特切入角度是'在像素坐标层面同时建模多跳选择与区域定位'——既跳过OCR环节直接消费截图，又以JSON序列的形式在一次自回归解码中输出完整的(T-hop, image_id, bounding_boxes, sub-question)链。这条路径让证据归属从'事后人工查找'变成'推理过程的同构产物'。

核心方法

CoE的整体思路是把iRAG改造成视觉先行范式：放弃'先OCR再RAG'的链路，让VLM直接消费检索器返回的top-k候选文档截图，输出包含图片编号、边界框、子问题三要素的有序证据链。直觉上，这相当于让模型像人一样'看着PDF页面回答问题'，而不是'看着别人抄录的文字回答问题'。技术上，作者把问题形式化成一个条件生成任务：给定查询$q$与候选集$D_{cand} = \{d_1^{vis}, ..., d_k^{vis}\}$，模型在一次自回归过程中联合生成答案$a$和证据链$E = \{(d^*_t, B_t, r_t)\}_{t=1}^T$，其中$B_t$是hop $t$选中文档内的若干边界框，$r_t$是描述该步意图的子查询。训练采用两阶段课程：Phase I先在单跳数据上学'单图定位'，Phase II再warm-start到多跳数据上学'跨图链路'，并叠加空间增强、多分辨率、证据置换三种数据增广来抑制模型对绝对坐标和候选顺序的过拟合。

CoE与已有iRAG方法的本质区别有三点：第一，输入形态是截图而非OCR文本，从源头规避了视觉语义损失；第二，输出形态是结构化JSON而非自由文本，内置了对'哪一跳选了哪张图、画了哪个框、问了什么子问题'的强监督，这是通用指令微调不会教给模型的；第三，损失函数直接优化'有序图像选择 + 区域级定位'两个目标，而不是只优化最终答案的EM。这三者结合使得CoE即便用相对小的8B模型，也能在归属指标上以40+点优势碾压GPT-5和Qwen3-VL-235B，证明了'视觉归属是一项与答案生成可分离的能力'，必须靠专用监督才能学好。

方法步骤详情

方法的具体步骤可以拆成数据准备、推理协议和训练流程三段：(1) 数据准备阶段，对Wiki-CoE，论文用Selenium WebDriver对维基百科实体页做高分辨率截图，并用2WikiMultiHopQA的supporting fact句对截图中的段落、列表、表格单元格做基于字符/词重叠的匹配，自动产出像素级边界框；最终形成70,418题、175,410个边界框、覆盖60,518张唯一样本的基准。(2) 推理协议阶段，上游任意检索器提供top-k（实验中k=5）候选截图，每张图打上img_0到img_k-1的顺序标签；模型接收查询与全部候选图，必须显式输出'哪个图属于第几跳'，候选顺序会被shuffle，迫使模型不能依赖位置捷径。(3) 训练流程阶段，用Qwen3-VL-8B-Instruct做骨干，先在单跳数据上以紧凑JSON为目标训练Phase I，建立视觉定位基本功；再warm-start到Phase II，用多跳数据继续训练，联合优化答案与证据链；损失函数只对assistant JSON部分计算LM loss，system和user token被mask掉；同时叠加三类增广——空间增广（随机裁剪、平移、宽高比扰动同时同步变换框坐标）、分辨率增广（多尺度输入）、证据置换（打乱候选/证据呈现顺序但保留逻辑顺序），增强模型对布局漂移的鲁棒性。

技术新颖性

技术新颖性体现在四个层面：第一，任务形式化层面，本文首次把iRAG的归属问题写成'像素级Chain of Evidence'，定义了一个统一的四元组$(d^*_t, B_t, r_t)$生成目标，可直接下游对接任意top-k检索器；第二，方法层面，'截图即输入、JSON即输出'的端到端监督范式让VLM具备区域级可审计能力，这在传统OCR-RAG流水线中无法实现；第三，数据层面，Wiki-CoE是第一个大规模、面向多跳视觉归属的基准，70k+题和175k+边界框的规模远超SlideVQA(2.6k deck)，且按entity-chain做了严格train/test划分避免泄漏；第四，工程层面，两阶段课程+三类增广的组合在Table 3消融中被严格验证——任何一项缺失都会带来Loc-Acc 4-9点的下滑，证明这套训练recipe是必要而非trick。

**Figure 2**: The pipeline of generating our Wiki-CoE dataset.

实验结果

实验围绕三个问题展开。Table 2主结果显示CoE-8B在Wiki-CoE上取得82.3% EM / 94.4% Chain-Acc / 80.4% Loc-Acc，比GPT-5的Loc-Acc 31.7高出48.7点；在SlideVQA上取得58.8% EM / 87.5% Chain-Acc / 61.0% Loc-Acc，比GPT-5的Loc-Acc 34.1高26.9点、比Qwen3-VL-235B的6.8高54.2点。最关键的发现是CoE-4B即便EM与Qwen3-VL-235B打平（均为78.6%），Loc-Acc仍领先63.7点，证明'答案正确不等于归属正确'。Figure 3按问题类型切片揭示Inference类存在Chain-Acc 99.5%与Loc-Acc 38.4%的61点鸿沟，模型能选对文档却框不准隐式推理。Figure 4按视觉复杂度展示CoE相对OCR的增益从Text-Dominant的6%扩大到Diagram-Heavy的28.5%。Table 3消融证明Phase I单跳预训练贡献Wiki-CoE Loc-Acc 7.3点、三类数据增广合起来贡献7-10点；Table 4算力账显示CoE-8B仅5.6秒/28GB，4-bit量化后可压到4.3秒/16GB，已接近消费级GPU门槛。

**Table 1**: Comprehensive statistics of the cleaned Wiki-CoE release.

**Table 2**: Main results under the top-5 candidate setting for both Wiki-CoE and SlideVQA datasets.

**Table 3**: Ablation study results comparing the impact of components across structured (Wiki-CoE) and unstructured (SlideVQA) environments.

**Table 4**: Computational efficiency comparison (per question, averaged over 3 hops).

**Figure 3**: CoE-8B performance breakdown by question type and reasoning depth.

**Figure 4**: Performance degradation analysis across increasing visual complexity.

**Figure 5**: Case studies demonstrating CoE's visual attribution.

查看结构化数据

任务	指标	本文	基线	提升
Wiki-CoE多跳问答（结构化网页）	EM (Exact Match)	82.3% (CoE-8B)	60.7% (SEAKR) / 81.2% (GPT-5)	+21.6 / +1.1
Wiki-CoE多跳问答（结构化网页）	Chain-Acc	94.4% (CoE-8B)	68.1% (GPT-5)	+26.3
Wiki-CoE多跳问答（结构化网页）	Loc-Acc (IoU≥0.3)	80.4% (CoE-8B)	31.7% (GPT-5)	+48.7
SlideVQA（复杂幻灯片布局）	EM	58.8% (CoE-8B)	39.4% (SEAKR) / 58.5% (GPT-5)	+19.4 / +0.3
SlideVQA（复杂幻灯片布局）	Chain-Acc	87.5% (CoE-8B)	55.4% (GPT-5)	+32.1
SlideVQA（复杂幻灯片布局）	Loc-Acc (IoU≥0.3)	61.0% (CoE-8B)	34.1% (GPT-5)	+26.9
Inference推理类问题（Wiki-CoE子集）	Loc-Acc vs Chain-Acc	Loc-Acc 38.4% / Chain-Acc 99.5%	差距 ≈ 61 个百分点	暴露'选对文档但框不准推理'的瓶颈
Diagram-Heavy幻灯片	EM	56.5% (CoE-8B)	28.0% (KiRAG+OCR)	+28.5

局限与改进

作者在论文中明确了几项局限：第一，Inference类问题的Loc-Acc只有38.4%，比Chain-Acc低61点，说明当前VLM仍把视觉定位当作语义区域匹配，对'需要综合多元素才能成立的隐式推理'无能为力，例如需要把柱状图的趋势、箭头的方向、时间轴的标注一起框出来才能支撑一个结论的场景。第二，4-hop长链问题的Chain-Acc比2-hop低8.2个点（88.2% vs 96.4%），但Loc-Acc几乎不变（80.5% vs 80.3%），意味着错误传播主要发生在文档选择阶段而非框定位阶段，长链路缺乏纠错机制。第三，模型对检索器给的候选集质量有依赖，如果top-5里压根没有金证据文档，CoE无能为力；论文只在金证据+干扰项的设置下评测，并未在真实检索器错误率下做端到端评估。我自己的观察还包括：Loc-Acc使用IoU≥0.3作为通过阈值，相对宽松，对边界框的精度要求并不严苛；CoE-8B的5.6秒延迟在交互式场景下仍偏慢；以及整套系统隐含假设文档可以被预渲染为静态截图，对动态网页、视频帧或交互式UI的泛化能力尚未验证。

独立分析的弱点

独立分析我认为CoE有四个值得改进的弱点：(1) 推理类问题瓶颈——当前监督只对'可见区域'打框，遇到'需要把分散在三个信息框的要素加总才成立的结论'时，模型无标签可学，建议引入'组合区域'标注（即允许一个hop有多个非连续bbox）或为推理类问题合成显式中间推理文本作为定位目标。(2) 检索器耦合盲区——论文只评测'金证据+干扰项'设置，但真实iRAG可能top-5里只有2-3个金证据甚至0个，且顺序不固定，建议在评测中引入检索器召回率维度，让Loc-Acc指标除以检索质量做归一化。(3) 长链错误传播——4-hop下降8.2点Chain-Acc说明模型缺乏重审机制，可以借鉴Reflexion或Self-RAG的critique思路，让CoE在每跳后做一次置信度判断，对低置信hop触发重新检索。(4) 高分辨率成本——1536×1536虽然涨点但算力翻倍，建议引入自适应分辨率策略，对表格密集区局部放大、对纯文本区降采样，在精度和成本间找平衡点。

未来方向

作者在结论中明确提到两个未来方向：一是把视觉统一框架扩展到异构Web内容，例如动态视频帧和交互式应用界面，让CoE服务于通用自主智能体；二是将其应用到真正的高风险领域，如医疗报告辅助审阅与法律证据链可视化。基于论文成果还可延伸出几条研究线：第一，把Chain of Evidence思想反哺回训练阶段，用'自举伪框'让模型在没有标注的领域（如学术论文、企业内部文档）自训练；第二，将边界框输出扩展到任意形状（多边形、掩码）以支持表格单元格、流程图节点等非矩形证据；第三，与Text-based iRAG做混合架构——先用OCR做粗筛再用视觉做精定位，对OCR已经足够好的Text-Dominant场景节省算力；第四，研究跨模态扰动下的归属稳定性，比如轻微改写文档后边界框是否仍然指向同一语义区域。

复现评估

可复现性整体较好但存在门槛。代码层面，作者在GitHub开源了完整仓库https://github.com/PeiYangLiu/CoE.git，包括数据构建脚本、训练pipeline和评测代码。数据层面，Wiki-CoE被完整发布，按entity-chain划分的train/test各35k题，合计175k+边界框，配合OSSelenium渲染脚本可以重新生成截图。算力层面，主实验CoE-8B在A800 GPU上每题5.6秒、显存28GB，4-bit量化后压到16GB、4.3秒；Phase I + Phase II的全量微调预计需要数十小时A100/A800时间，复现门槛对学术实验室较为友好。难度层面，亮点是Wiki-CoE有完整自动标注pipeline（Selenium截图+token重叠匹配），照着README走即可重建；潜在难点是：(a) 2WikiMultiHopQA本身依赖2018-2020的维基快照，若Wikipedia页面被改写，部分边界框可能需要重新对齐；(b) SlideVQA需自行申请下载，且其原生版本不提供bounding box，需借助CoE自身输出做分析；(c) Qwen3-VL-8B-Instruct底座若版本更新，推理接口可能微调，需锁定transformers/dashscope版本。

证据链：面向迭代式检索增强生成的像素级视觉归属方法 Chain of Evidence: Pixel-Level Visual Attribution for Iterative Retrieval-Augmented Generation