给我看证据：评估证据与自然语言解释在 AI 辅助事实核查中的作用 Show me the evidence: Evaluating the role of evidence and natural language explanations in AI-supported fact-checking
证据比自然语言解释更能减少人们对 AI 事实核查建议的过度依赖。
前置知识
AI overreliance（AI 过度依赖）
指用户在不充分核实的情况下接受或执行了错误的 AI 建议。本文沿用既有定义，将其操作化为“当 AI 预测不正确时，用户仍选择使用 AI 预测”的比例。过度依赖在事实核查、医疗决策等高风险任务里尤为危险，因为它会让错误信息通过自动化流程扩散。文章进一步将“依赖（reliance）”与“信任（trust）”区分：信任是意愿与态度，依赖是实际行为结果，二者相关但不等同。
本文的核心因变量正是‘是否采用 AI 预测’与‘在错误建议下的采用率’，理解 overreliance 的定义才能把握实验指标的含义。
Explainable AI (XAI) 与自然语言解释
可解释人工智能旨在让用户理解模型为何做出某决策。本文比较两类自然语言解释：(1) verdict-focused（基于结论的解释），说明证据中哪些片段影响了模型的预测结果；(2) uncertainty-focused（不确定性解释），说明哪些证据交互提升了或降低了模型对该预测的确信度。两类解释均由 LLM 生成，并经人工质检微调以保证结构一致、长度可比。
解释类型是实验的 3×2×2 设计中的关键因子，决定用户如何评价 AI 输出及其可靠程度。
Model uncertainty（模型不确定性）
本文使用预测熵衡量模型在生成 True/False 判定时的不确定性：$$u(X) = -\sum_{y_i \in \mathcal{Y}} P(y_i|X) \log P(y_i|X)$$，其中概率来自 softmax 归一化后的 token logits。该数值被转化为‘Certainty’百分比展示给用户，并作为实验中“AI certainty: high vs. low”操纵的依据。
不确定性不仅是模型内部信号，也是用户判断是否信赖 AI 的重要线索，文中将其与解释类型交叉操纵以观察交互效果。
DRUID 数据集
DRUID 是一个专业事实核查数据集，包含来自 Snopes、Full Fact 等网站的真实声明及其对应证据文档。本文从该数据集中抽取 8 条声明，保证真/假标签、AI 正确/错误预测以及高/低确信度平衡，用作实验材料。
实验刺激的真实性与复杂性直接来源于此数据集，决定了研究的外部效度。
研究动机
尽管大量研究关注如何用 AI 解释减少用户过度依赖，但“证据本身”的角色仍被严重忽视。在商业搜索系统中，LLM 生成的摘要往往同时附带外部链接，但既有实验显示仅有 10-28% 的用户会点击这些来源，证据是否被真正阅读与核实仍是未知数。与此同时，LLM 的语言流畅性与说服力又容易让用户‘误以为正确’，导致过度依赖在事实核查等高风险任务中成为系统性风险。现有缓解策略（认知强制、解释提供、不确定性标注）分别强调‘让用户自己判断’或‘让用户理解 AI’，但对证据的呈现方式、可访问性及与解释的协同效应缺乏系统性实验。
本文的目标是本研究的具体目标是通过受控实验，系统比较三种解释类型（无解释、verdict-focused、uncertainty-focused）和两种 AI 确信度（高、低）以及两种 AI 正确性（正确、错误）对用户依赖行为、决策准确性、信任与信心的影响，并特别考察“在界面上直接提供证据文档”是否以及如何改变用户对 AI 建议的使用方式。
与已有工作不同的是，本文的独特切入角度在于：(1) 将证据“嵌入实验界面”而非仅提供外部链接，大幅降低访问摩擦；(2) 将证据与自然语言解释并置，观察二者在高/低不确定性、正确/错误建议下的交互作用；(3) 采用混合方法（定量 + 质性），既测量行为数据，也收集用户对‘为什么使用/不使用证据’的自陈解释。此前研究多把证据视为背景材料，本文则把它提升为核心自变量。
核心方法
研究采用 3×2×2 被试间+被试内混合设计：解释类型（Uncertainty / Verdict / No explanation）为被试间因子，AI 正确性（正确 vs 错误）与 AI 确信度（高 vs 低）为被试内因子。参与者（N=208，Prolific 招募）在 Gorilla 平台上完成 8 条事实核查声明的评估任务，每条声明有 5 分钟时限。界面同时展示声明、AI 预测、确信度、解释以及两条可点击展开的证据文档。参与者需决定“使用 AI 预测”还是“进一步研究”，并报告其信息来源、决策信心与解释有用性。随后完成主观信任量表与开放性问卷。
核心创新在于“把证据直接嵌入决策界面”，并将其与两种自然语言解释并列，形成‘解释-证据’组合的实验操纵。既有工作大多只提供外部链接或仅提供解释，本文同时呈现两者，并通过 CLUE 方法生成不确定性解释、通过 few-shot prompting 生成 verdict-focused 解释，确保两类解释均指向同一证据片段，从而直接比较“解释是否足够”与“证据是否被使用”的动态关系。
方法步骤详情
1. 材料生成：从 DRUID 数据集抽取 8 条声明及对应证据，使用 Qwen2.5-14B-Instruct 生成预测与解释；通过 CLUE 生成 uncertainty explanation，通过 3-shot prompting 生成 verdict explanation，并由研究者微调以保证结构一致。2. 不确定性量化：对模型 logits 计算预测熵 $$u(X) = -\sum_{y_i} P(y_i|X) \log P(y_i|X)$$，转化为百分比并划分为高（>50%）与低（<50%）两档。3. 实验任务：参与者在 5 分钟内阅读声明、AI 预测、确信度、解释（或无解释），可点击查看两条证据，随后选择“Use AI prediction”或“Do more research”，并报告信息来源、信心、解释有用性。4. 数据收集：采集行为数据（是否采用 AI、是否查看证据）、主观量表（信任、信心、解释有用性）及开放性回答。5. 数据分析：使用 R 进行 ANOVA、Tukey HSD、相关与回归；对质性回答进行开放式编码与主题归纳。
技术新颖性
技术新颖性主要体现在三方面：首先，研究把“证据可访问性”作为自变量，而非仅仅作为背景材料，揭示了当证据直接可见时，用户对解释的依赖显著下降；其次，借助 CLUE 方法生成的不确定性解释能够显式指出‘哪段证据与声明冲突’，提供了比传统置信度分数更细粒度的线索；最后，混合方法设计使得研究能够发现“用户通过格式、统计数据等线索自行评估证据可信度”这一隐性行为，这是纯定量实验难以捕捉的洞察。
实验结果
实验显示，参与者在所有条件下都将证据视为最有用的信息来源：平均有 67.8% 的决策报告使用了证据，远高于 AI 解释（51.8%）、AI 预测（41.1%）等其他来源，且差异显著（F(5,1035)=200.6, p<.001, η²_p=0.49）。64% 的参与者在每条声明上都打开了两条证据，仅 3 人完全没有查看任何证据。在 AI 正确性与确信度方面，参与者在 AI 正确时更倾向采纳预测（73.44% vs 35.70%），在高确信度时采纳率也更高（62.62% vs 46.51%），分别达到 F(1,207)=208.779（p<.001, η²_p=0.50）与 F(1,207)=55.55（p<.001, η²_p=0.21）的显著性。值得注意的是，解释类型并未显著改变采纳率（F(2,205)=1.825, p=0.164），也未与正确性或确信度产生交互作用。然而，解释类型显著影响了解释的使用频率（F(2,205)=24.668, p<.001, η²_p=0.19）：uncertainty 与 verdict 组均显著高于 no explanation 组（均 p<.001, Cohen’s d≈1.0）。主观信任与行为之间呈现有趣关联：信任与采纳 AI 建议呈正相关（r=0.425, p<.001），但与使用证据呈负相关（r=−0.29, p<.001），说明低信任者更倾向于核实证据。质性数据进一步揭示，当解释与证据不一致时，用户会质疑 AI 的逻辑并更深入地阅读证据，这在一定程度上解释了为何解释类型并未直接降低错误建议的采纳率。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AI prediction usage rate | Use of AI prediction (%) | Overall 54.56%; Correct 73.44%; Incorrect 35.70% | Prior studies with external links: 22–28% click-through | Embedded evidence raised engagement to 64% opening both documents, supporting higher informed decision-making |
| Evidence usage | Reported use of evidence (%) | 67.8% overall | No-explanation group opened all evidence 83% vs explanation groups 55–57% | Direct embedding increased evidence inspection compared to external links; explanations reduced need to open all evidence |
| Explanation usefulness | Explanation usefulness rating (1–7) | Verdict 5.12; Uncertainty 4.98; No explanation 4.70 | No explanation baseline 4.70 | Natural language explanations increased perceived usefulness by 0.28–0.42 points |
| Trust vs reliance | Correlation r | Trust–AI agreement r=0.425; Trust–evidence use r=−0.29 | Prior work suggests explanations can increase overreliance | Evidence-rich explanations did not increase overreliance relative to no explanation (p=0.164) |
局限与改进
作者指出，研究样本主要为英语母语众包工作者，可能不适用于领域专家或非英语情境；实验界面将证据直接嵌入页面，降低了访问摩擦，但在真实新闻检索场景中证据往往需要多次点击或阅读长文，可能改变用户行为。此外，研究仅使用 8 条声明，样本量有限，且所有解释均由同一 LLM 生成，可能存在生成偏差。作者还承认，尽管参与者普遍阅读了证据，但无法确认其是否真正理解或核实了内容。最后，研究未考虑长时间使用或任务复杂度更高的情境，证据与解释的协同效应在连续决策中的累积影响尚需进一步探索。
独立分析的弱点
首先，实验的证据均为短文本摘要，真实事实核查往往涉及长篇报道或专业数据，用户可能因信息过载而放弃深入阅读，建议未来研究引入分层呈现或自动高亮关键句的功能。其次，研究未提供来源信息，参与者只能通过格式或统计数据推测可信度，这在一定程度上削弱了外部效度；后续工作可探索在保留隐私的前提下展示来源声誉指标。第三，uncertainty explanation 虽然理论上能揭示模型内部冲突，但部分参与者反馈其“难以理解”或“自相矛盾”，提示需要改进自然语言不确定性表达的清晰度，例如结合可视化或对比案例。最后，实验仅关注一次性决策，未评估证据与解释在多轮交互或时间压力下的动态演变，建议引入纵向任务或模拟真实新闻工作流。
未来方向
作者呼吁未来研究深入探讨‘证据应如何呈现’的最佳实践，包括自动化摘要、可信度标注、交互式证据地图等方向。此外，可在不同领域（医疗、法律、政治）和不同用户群体（专家、普通读者）中复制本实验，以检验证据可访问性的普适性。将不确定性解释与对比解释（contrastive explanation）结合，或引入用户自选证据片段的交互机制，也有望提升决策质量。最后，探索将本文发现整合到商业搜索引擎或社交媒体平台的实际部署策略，将有助于在真实场景中减少错误信息传播。
复现评估
本文提供了较为完整的复现信息：实验平台为 Gorilla，参与者通过 Prolific 招募，数据处理与分析脚本使用 R，并在文中给出了 ANOVA、回归等统计代码的参考。材料方面，作者说明了从 DRUID 数据集抽取 8 条声明的筛选标准，并提供了生成 uncertainty 与 verdict 解释的 few-shot prompt（见附录 E.2、E.3）。然而，原始实验数据与完整的证据文档未公开，且使用的 LLM（Qwen2.5-14B-Instruct）需要较大算力才能本地运行。总体而言，若具备相应计算资源与 Prolific 账号，复现实验的可行性较高；若希望完全复现材料生成流程，则需访问 HuggingFace 模型并遵循附录中的提示词。
论文图表
列出一条关于风力发电机的声明，给出 AI 预测（False, 31%）、uncertainty explanation、verdict explanation 与 no explanation 的对照文本，展示了两种解释如何分别引用同一证据片段。
让读者直观比较两类解释的表达差异，是理解自变量操控的关键示例。
展示 208 名参与者的年龄、性别、教育水平分布（如 51.44% 男性，35.58% 学士学位）。
评估样本代表性，判断结果外推的可能性。
列出各条件下 AI 采纳率（总体 54.56%）、解释有用性（1-7）及解释有帮助性（1-5）的均值，便于快速比较。
核心结果的量化概览，支持文中对主效应与交互效应的解释。
汇总所有参与者在决策中报告使用的信息来源比例，证据 67.8%、AI 解释 51.8%、AI 预测 41.1% 等。
突出证据作为首要信息来源的地位，是回答研究问题的关键数据。
提供预研阶段 5 名参与者的背景（物理、国际关系、计算机科学等专业），说明预研样本的多样性。
帮助理解预研发现的适用范围，并与主实验样本进行对比。
展示在不同熟悉度（Any knowledge vs. No knowledge）下的 AI 采纳率、信心与有用性，显示熟悉度对行为影响有限。
验证熟悉度是否为主要混杂因素，增强内部效度。
列出各条件下的信心（1-7）与信任量表（10-50）均值，显示解释类型未显著改变信心或信任。
补充主观测量结果，帮助解释为何行为上未出现解释类型的主效应。
展示 CLUE 方法生成 uncertainty explanation 的提示词，明确要求模型说明 span interactions 如何影响确信度。
与 Table 9 对比，凸显两类解释的设计差异。