面向可验证推理的多模态事实级归因 Multimodal Fact-Level Attribution for Verifiable Reasoning
提出 MURGAT 基准，评估 MLLM 在复杂推理中为每个事实提供精确多模态引用的能力
前置知识
多模态大语言模型 (MLLM)
能够同时处理文本、图像、视频、音频等多种模态输入的大语言模型。典型代表包括 Gemini 系列（支持视频+音频流输入）和 Qwen3-Omni（支持视觉+音频模态）。这类模型通过将不同模态的信号编码为统一的 token 序列，再由 Transformer 解码器进行推理和生成。与纯视觉语言模型（VL）不同，MLLM 能够处理实时音频流，从而实现对视频中语音、音乐等听觉信息的理解。
本文的核心实验对象就是 MLLM，理解其能力边界——特别是它能「回答正确但引用错误」的现象——是理解全文研究问题的基础。
事实级归因 (Fact-Level Attribution)
指模型在生成回答时，为其中的每一个可验证事实（atomic fact）提供精确的来源引用。引用需要指明具体的模态（视觉/音频）和时间戳段（如 audio, 0:42-0:46）。这不同于文档级引用（引用整篇文章）或句子级引用（引用整段视频），要求更细粒度的对齐。一个句子可能包含多个原子事实，每个事实需要独立验证其引用是否充分且必要。
这是本文提出的核心评估维度。现有工作大多停留在文档级或源级归因，本文将粒度推进到事实级，这是衡量模型可信度的关键标准。
幻觉 (Hallucination)
在本文语境下，幻觉特指模型生成了看似合理但实际上无法被输入证据支持的引用（hallucinated grounding）。例如模型声称某信息来自「audio, 0:42」，但实际上该时间段并没有相关音频内容。这种「引用幻觉」比普通的事实幻觉更危险，因为它给错误信息披上了「有据可查」的外衣，更容易误导用户。
本文的核心发现之一就是：即使强模型能答对问题，也经常产生引用幻觉。理解这种现象的严重性是理解本文价值的关键。
可验证声明识别 (Verifiable Claim Identification)
判断模型生成的句子中哪些包含可直接从输入源观察到的事实（如「视频中出现了一个红色球」），哪些是推理步骤或通用知识（如「因此选项A是正确的」）。可验证声明需要被引用支持，而推理步骤则不需要。这是评估归因质量的前置步骤，因为只有可验证的句子才适合评估引用质量。
这是 MURGAT 评估协议的第一步。如果不区分可验证声明和推理步骤，就会错误地惩罚模型不给推理句子加引用的行为，或者放过模型对可验证声明不加引用的遗漏。
原子事实分解 (Atomic Fact Decomposition)
将一个复合句子拆解为最小的、独立可验证的事实单元。例如「一个穿着粉色衬衫、戴着黑色背心的男性角色站在麦克风前」应拆解为五个原子事实：男性角色存在、有长脏辫、穿粉色衬衫、戴黑色背心、站在麦克风前。拆解时还需要进行去语境化（decontextualization），将代词替换为具体实体，确保每个事实独立可读。
这是实现细粒度评估的关键技术。一个句子可能部分正确部分错误，只有拆解到原子事实级别，才能精确识别模型在哪些具体细节上出了问题。
研究动机
随着多模态大语言模型（MLLM）在现实任务中的广泛部署，用户对其输出的可信度要求越来越高。特别是在需要多步推理和长文本生成的场景中（如视频问答、科学解释），模型的幻觉风险会因错误传播而被放大。现有工作虽然在文本领域和视觉问答领域探索了引用生成和归因评估，但存在三个关键局限：第一，大多数基准（如 MCiteBench、MAVIS）只关注基于图像的简单观察场景，忽略了需要跨模态推理的复杂情境；第二，视频领域的 grounding 任务通常假设目标证据已在提示中给出（如「定位0:15-0:20的画面」），而非要求模型自行选择证据；第三，现有方法大多限于视觉模态，忽略了音频、图表等其他重要信息源。更关键的是，现有评估往往不区分「可直接观察的事实」和「推理步骤」，导致评估结果无法准确反映模型的真实归因能力。这些问题使得我们无法真正回答一个核心问题：当 MLLM 给出一个看似有理有据的答案时，它的引用到底有多可靠？
本文的目标是本文的具体目标是构建一个能够在需要多步推理的复杂多模态场景中，系统评估 MLLM 事实级归因能力的基准和自动评估框架。具体而言，作者希望：(1) 设计一个覆盖视频、音频、图表等多种模态的评估任务 MURGAT，要求模型在回答问题时生成包含精确引用（指明模态和时间戳）的推理过程；(2) 提出一个分解式的评估协议，包含可验证声明识别、原子事实分解、归因质量评估三个子任务；(3) 开发一个与人类判断高度相关的自动评估指标 MURGAT-SCORE，实现可扩展的模型基准测试；(4) 通过该基准揭示当前强 MLLM 在归因方面的真实表现和失败模式。
与已有工作不同的是，本文的独特切入角度在于它抓住了「推理能力」和「归因能力」之间的脱节这一被忽视的问题。现有研究普遍假设：一个能正确回答问题的模型，也应该能正确引用支持证据。但本文通过实证发现这一假设是错误的——模型经常「答对但引错」。更进一步，作者发现了一个反直觉的现象：在简单识别任务上，要求模型生成引用反而会降低其回答准确率（「推理税」效应）；而在复杂推理任务上，引用生成却能提升准确率（「脚手架」效应）。这种任务依赖性揭示了 MLLM 内部推理过程与外部可验证证据之间的深层张力，这是此前工作未曾系统探讨的。此外，本文首次将「可验证声明」与「推理步骤」的区分引入多模态归因评估，使得评估能够更公平地反映模型在不同能力维度上的表现。
核心方法
MURGAT 的方法框架可以用一个类比来理解：想象你在审阅一篇学术论文，你需要检查每个引用是否真的支持了对应的论点。但这里的情况更复杂——你的「论文」是一个 AI 对视频/音频内容的分析，而「参考文献」是视频的不同时间段和音频片段。MURGAT 的评估就像一个严格的审稿人，它不会只看整体印象，而是逐句拆解回答，判断每句话是否需要引用、引用是否充分、引用是否必要。整个框架包含两个层面：任务定义（要求模型做什么）和评估协议（如何衡量做得好不好）。任务定义要求模型面对多模态输入（视频+音频+图表）时，生成包含推理过程和精确引用的回答。评估协议则将「评估引用质量」这个复杂问题分解为三个可独立验证的子任务，每个子任务都可以用专门优化的 LLM 来自动执行，最终组合成一个综合指标 MURGAT-SCORE。
本文最核心的创新是提出了「分解式事实级归因评估」这一范式，其本质区别在于三个层面：第一，粒度突破——不同于以往的文档级或句子级评估，MURGAT 将评估推进到原子事实级别。一个句子可能包含多个事实（如「一个穿粉色衬衫的男人站在麦克风前」包含身份、衣着、位置三个事实），只有拆解到这个粒度才能精确定位模型的错误。第二，可验证性区分——MURGAT 首次在多模态归因评估中明确区分了「可验证声明」（可以直接从输入观察到的事实）和「推理步骤」（需要逻辑推导的结论）。这意味着模型不给推理步骤加引用不会被惩罚，避免了评估的不公平性。第三，双向验证——不仅检查引用是否「覆盖」了事实（Recall），还检查每个引用是否「必要」（Precision），防止模型通过「引用轰炸」（citation dumping）来刷分。这三个设计共同构成了一个既严格又公平的评估框架。
方法步骤详情
MURGAT 的评估协议包含三个有序子任务。Subtask 1：可验证声明识别。输入是模型生成的完整回答 R = {r_1, r_2, ...} 和多模态输入 I。使用 LLM 判断每个句子 r_i 是否可验证（即其内容是否可从 I 中直接观察到），过滤掉推理步骤和通用知识句子，得到可验证句子集合 R_v。然后进一步保留有引用的句子 R_{vc} = {r_i ∈ R_v | C_i ≠ ∅}。Subtask 2：原子事实分解。对 R_{vc} 中的每个句子 r_i，先进行去语境化（将代词替换为具体实体），然后拆解为原子事实集合 A_i = {a_i^1, a_i^2, ..., a_i^n}。每个句子的引用集合 C_i 传播给其所有原子事实。Subtask 3：归因质量评估。对每个原子事实-引用对 (a_i^j, C_i)，进行双向验证：Recall 检查 C_i 的并集是否完全蕴含 a_i^j；Precision 检查 C_i 中每个引用段 c_k^i 是否严格必要。最终，MURGAT-SCORE = Coverage × Attribution F1，其中 Coverage 是有引用的可验证句子比例，Attribution F1 是 Precision 和 Recall 的调和平均。
技术新颖性
MURGAT 的技术新颖性体现在四个维度。首先，在任务设计上，它要求模型「自行选择」证据而非在提示中指定，这更贴近真实应用场景。相比之下，视频 grounding 任务（如 TVQA）通常在问题中就给出了目标时间段。其次，在评估粒度上，它引入了去语境化+原子分解+引用传播的三步流程，这是对 FActScore（文本领域）和 MIRAGE（多模态 RAG）的重要扩展。第三，在评估指标上，MURGAT-SCORE 将 Coverage 和 Attribution 相乘，巧妙地惩罚了「只对少数事实加引用」的行为——如果模型只给 30% 的可验证句子加了完美引用，其 MURGAT-SCORE 也只有 30 分。第四，在自动评估设计上，作者通过系统实验找到了每个子任务的最优模型和提示策略组合（Subtask 1 用 Gemini-3-Pro + JSON 提示，Subtask 2 用 Gemini-3-Flash 句子级处理，Subtask 3 用 Gemini-2.5-Flash），实现了与人类判断高达 0.84 的平均 Pearson 相关系数，远超直接用 LLM 打分的基线（r=0.59）。
实验结果
本文通过人类标注和大规模自动评估，揭示了多个重要发现。首先，在人类标注的 80 个模型回答上（覆盖 WorldSense 和 Video-MMMU 两个数据集），即使是最强的模型也远未达到天花板：Gemini-2.5-Flash 在 WorldSense 上的 MURGAT-SCORE 为 59.9（Coverage 85.0，Attribution 65.8），而在更难的 Video-MMMU 上仅为 21.8。Qwen3-Omni 系列表现更差，Instruct 版在 Video-MMMU 上的 MURGAT-SCORE 仅为 5.6。其次，在 100 个独立样本的大规模评估中，最佳模型 Gemini-3-Flash（+CITATION）在 WorldSense 上达到 64.4 的 MURGAT-SCORE，在 Video-MMMU 上达到 56.9。第三，引用生成对准确率的影响呈任务依赖性：在 WorldSense（识别任务）上，要求引用导致准确率下降（如 Gemini-3-Pro 从 71.4% 降至 70.0%，下降 1.4 个百分点），形成「推理税」；在 Video-MMMU（推理任务）上，引用反而提升准确率（如 Qwen3-VL-Thinking 从 51.0% 升至 60.0%，提升 9.0 个百分点），起到「脚手架」作用。第四，高准确率不等于好归因：Gemini-3-Pro 和 Gemini-3-Flash 在 Video-MMMU 上达到相同的 86.0% 准确率，但 MURGAT-SCORE 分别为 41.8 和 56.9，差距高达 15.1 个百分点。第五，后处理归因（Post-hoc Attribution）在识别任务上有效（WorldSense 上 Gemini-3-Pro 的 MURGAT-SCORE 从 51.7 提升至 65.2），但在推理任务上有害（Video-MMMU 上 Attribution 从 67.3 骤降至 43.7），因为模型会将抽象推理步骤「强行对齐」到不相关的视频片段。第六，程序化方法（Program-aided Generation）平均提升 MURGAT-SCORE 9.6 个百分点，但以牺牲准确率为代价（平均下降 7.4 个百分点）。第七，推理深度的影响因模型而异：Gemini-3-Pro 随推理深度增加而提升归因质量（MURGAT-SCORE 从 45.6 升至 51.7），而 Gemini-3-Flash 反而下降（从 69.7 降至 64.4）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WorldSense (识别任务) | MURGAT-SCORE | 64.4 (Gemini-3-Flash, +CITATION) | 29.0 (Qwen3-Omni-Instruct) | +35.4 个百分点 |
| Video-MMMU (推理任务) | MURGAT-SCORE | 56.9 (Gemini-3-Flash, +CITATION) | 4.8 (Qwen3-Omni-Thinking) | +52.1 个百分点 |
| 可验证声明识别 | Balanced Accuracy | 84.2 (Gemini-3-Pro, JSON) | 68.8 (Gemma-3, CoT) | +15.4 个百分点 |
| 原子事实分解 | F1 | 81.8 (Gemini-3-Pro, 句子级) | 78.8 (单次生成) | +3.0 个百分点 |
| 自动评估与人类相关性 | Pearson r (MURGAT-SCORE) | 0.86 (本文方法) | 0.59 (LLM-as-judge 句子级) | +0.27 |
| 程序化方法 (WorldSense) | MURGAT-SCORE | 76.4 (Logic Imperative) | 64.4 (BASE + CITATION) | +12.0 个百分点 |
局限与改进
本文存在几个值得关注的局限性。首先，人类标注规模相对有限——仅在 20 个输入样本（每个数据集 10 个）上收集了 4 个模型的 80 个回答，虽然由此产生了 580 个可验证性标注、635 个分解标注和 917 个蕴含标注，但输入样本的多样性仍然受限。作者通过 Bootstrap 检验确认了统计显著性（Spearman 相关系数的 95% CI 为 [0.737, 0.911]），但更广泛的输入覆盖无疑会增强结论的可靠性。其次，评估框架依赖于 LLM 作为评判者（LLM-as-judge），尽管作者通过多模型交叉验证减少了偏差，但自动评估器本身的错误（如 50 个样本的手动检查中有 3 个边界案例不一致）会传播到最终得分中。第三，数据集的选择——WorldSense 和 Video-MMMU——虽然覆盖了识别和推理两种类型，但都是选择题形式，未能覆盖开放式长文本生成场景。第四，程序化方法的实验仅在 WorldSense 上进行，未扩展到 Video-MMMU，限制了结论的普适性。第五，作者发现视觉语言模型（VL）会幻觉音频引用（高达 31.6%），但未深入分析这种跨模态幻觉的成因和缓解策略。
独立分析的弱点
本文有几个值得深入分析的弱点。第一，评估协议的子任务间错误传播问题：如果 Subtask 1（可验证声明识别）误判了一个句子的可验证性，后续的分解和归因评估都会受到影响。虽然作者使用了 Gemini-3-Pro（BAcc 84.2）来做这个判断，但 84.2% 的准确率意味着约 16% 的句子可能被误分类。改进方向是引入多模型投票机制或人工校验层来提高第一步的可靠性。第二，引用传播策略的粗糙性：当一个句子的多个引用被传播给其所有原子事实时，可能导致某些原子事实被「过度引用」。虽然作者在附录中分析了 end-dumped 引用模式（79.8% 的多引用句子采用这种模式），但更精细的引用-事实对齐方法（如基于语义相似度的自动匹配）可能更准确。第三，对 Omni 模型和 VL 模型的对比分析不够深入：作者发现 VL 模型会幻觉音频引用，但未探索如何通过架构改进（如添加音频验证模块）来解决这个问题。第四，MURGAT-SCORE 的乘法形式（Coverage × Attribution）可能导致两个维度的不平衡被掩盖——一个 Coverage 90%/Attribution 50% 的模型和一个 Coverage 50%/Attribution 90% 的模型得分相同，但它们的失败模式完全不同。
未来方向
基于本文的成果，有几个有前景的研究方向。首先，将 MURGAT 扩展到开放式生成场景（而非仅选择题），这更贴近真实应用场景，但也需要更复杂的自动评估方法。其次，探索「归因感知」的训练方法——既然作者发现引用生成对推理任务有「脚手架」效应，可以设计专门的训练策略来强化这种正向作用，同时减轻对识别任务的「推理税」。第三，开发跨模态幻觉检测器——专门识别模型在没有音频处理能力时产生的音频引用幻觉，或在没有相关视觉证据时产生的空间幻觉。第四，将程序化方法与测试时计算缩放结合——作者发现 Gemini-3-Pro 随推理深度增加而提升归因质量，但 Gemini-3-Flash 反而下降，理解这种差异的根源可能帮助设计更鲁棒的推理策略。第五，探索实时引用验证——在模型生成过程中动态检查引用的有效性，而非事后修正。
复现评估
本文的复现条件相对友好。代码和数据已在 GitHub 开源（https://github.com/meetdavidwan/murgat），包含了完整的评估协议实现和提示模板。数据集方面，MURGAT 基于 WorldSense 和 Video-MMMU 两个公开数据集构建，无需额外数据收集。算力需求方面，自动评估主要依赖 Gemini API 调用（Subtask 1 用 Gemini-3-Pro，Subtask 2 用 Gemini-3-Flash，Subtask 3 用 Gemini-2.5-Flash），成本相对可控。但有几点需要注意：(1) 人类标注需要对视频内容有深入理解，标注成本较高（每句平均 35.7 秒）；(2) 论文中使用的 Gemini 模型版本可能随时间更新，导致结果略有差异；(3) 程序化方法部分需要实现视频检索工具（find_event 函数），这增加了额外的工程复杂度。总体而言，核心评估框架的复现难度为中等，但要在新数据集上应用该框架需要一定的领域适配工作。
论文图表
