信任但需验证：DAVinCI语言模型声明推断双重归因与验证框架 Trust but Verify: Introducing DAVinCI -- A Framework for Dual Attribution and Verification in Claim Inference for Language Models
DAVinCI将证据归因与蕴含验证耦合,通过置信度重校准提升LLM声明事实性5-20%。
前置知识
自然语言推理(NLI)
Natural Language Inference 判断前提文本与假设文本之间的逻辑关系,通常分为蕴含、矛盾与中性三类。预训练 NLI 模型(如 DeBERTa-MNLI、RoBERTa-MNLI)将两段文本拼接后用 [SEP] 分隔,经 Transformer 编码输出三分类概率。
DAVinCI 的验证模块直接以 NLI 分类器为骨干,把声明当作 hypothesis、把证据当作 premise,做三分类 Supported/Refuted/NEI,是整个事实性判断的算子。
检索增强生成(RAG)
Retrieval-Augmented Generation 通过外部检索器从语料库中找出与问题相关的段落,再把检索结果作为上下文喂给生成器,从而让模型输出有据可查。一般包含 dense retriever(如 DPR、E5)与生成器两个松耦合模块。
DAVinCI 的归因模块本质上是 RAG 的证据选择环节,只不过它更强调证据质量(完整 vs 片段)对下游验证的影响,本文把它从 RAG 中解耦出来做独立分析。
置信度校准
Confidence Calibration 让模型输出的概率分数与真实正确率对齐,常见方法有温度缩放(temperature scaling)、Platt scaling 等。校准良好的模型在 s=0.8 时大约有 80% 的样本预测正确。
DAVinCI 的核心创新之一是阈值化重校准:当 NLI 置信度 s 低于阈值 τ(默认 0.6)时,直接把标签降级为 NEI*,以保守决策降低过度自信的误判,这是它对信任但要验证的工程化落地。
声明验证数据集(FEVER/CLIMATE-FEVER)
FEVER 是 Thorne 等 2018 年提出的大规模事实核查数据集,每条声明配有来自维基百科的金标准证据句及 SUPPORTS/REFUTES/NOT ENOUGH INFO 标签。CLIMATE-FEVER 是其领域扩展版,聚焦气候变化议题。
DAVinCI 在这两个公开基准上评估,前者覆盖通用百科知识,后者覆盖专业领域,可以同时观察模型在开放域和垂域下的归因-验证表现差异。
研究动机
大语言模型虽然在多种 NLP 任务上表现出色,但普遍存在幻觉问题——会流畅地输出与事实不符的内容。Rawte 等多篇综述指出,LLM 在开放式提示和多源信息综合时尤其容易出现事实性错误。在医疗、法律、科学写作等高风险场景中,这种错误可能造成严重后果。已有工作试图用 RAG 把生成结果锚定到外部知识,但大多数 RAG 系统把检索和生成当成松耦合的两段流水线,缺少对事实一致性的显式验证;而独立的 NLI 验证器又只能判断真伪,无法指出证据来源,导致核查结果不可解释、不可审计,用户无法判断该不该相信这条输出。
本文的目标是本文提出 DAVinCI 框架,目标是在 LLM 推理过程中同时完成两件事:(1)把生成的声明归因到内部模型组件或外部证据来源;(2)基于蕴含推理和置信度校准对每条声明做三分类验证(Supported / Refuted / Not Enough Info),输出带证据支撑且置信度已校准的判断。终极目标是把 LLM 从流畅但不可信提升为可审计、可问责的事实性系统,使其能直接部署到医疗、法律等高风险领域,让终端用户和监管方都能追溯每个输出的证据来源与置信度。
与已有工作不同的是，现有工作要么只做验证(verification-only,例如把声明送进 NLI 分类器打分),要么只做归因(attribution-only,例如 RAG 给出 top-k 段落),几乎没有人把这两件事耦合到一个端到端流水线中。DAVinCI 的独特切入点是:让归因模块产出的证据质量直接驱动验证模块的可靠性,并在验证阶段引入阈值化置信度重校准作为安全阀,从而让系统在面对模糊声明时自动降级到 NEI* 而不是给出过度自信的错误答案——这是此前 RAG+独立 NLI 流水线所没有的协同机制。
核心方法
DAVinCI 的整体思路是先归因、再验证、最后校准的三段式流水线。给定一条 LLM 生成的声明 c,首先在归因模块从候选证据集 $E=\{e_1,\dots,e_n\}$ 中挑出最相关的证据(支持或反驳);然后在验证模块用 Transformer 蕴含分类器 $f_{\text{ver}}$ 给出三分类标签 $y$ 与置信度 $s\in[0,1]$;最后在置信度重校准阶段,若 $s<\tau$(默认 0.6)就把标签强制改为 NEI#,多条证据的最终标签通过多数投票或加权平均聚合。直觉上,这条流水线把事实判断拆解成找证据、判关系、做安全网三步,任何一步的输出都可被审计和复用。
DAVinCI 与已有方法的本质区别在于归因-验证耦合 + 阈值化保守决策。第一,它不把 RAG 和 NLI 当成两个独立工具,而是显式比较全文证据与片段证据对验证精度的影响,从而证明证据完备性比证据简洁性更重要;第二,它在 NLI 输出之上加了一个简单的 $\tau$ 阈值阀门,本质上是把校准问题降级为是否足够确信的二元判断——这与人类事实核查员在证据不足时选择不裁定的行为一致;第三,它把这些组件模块化,可以替换检索器(支持 DPR、E5)或验证器,具备良好的可扩展性。
方法步骤详情
步骤 1(归因):对声明 c 与证据 e_i,用 $S_{attr}(c,e_i)=\mathrm{sim}(c,e_i)$ 算相似度,两策略:全文归因(直接用金标准证据段)与片段归因(用 roberta-squad2-distilled QA 抽 span 模拟真实检索);步骤 2(验证):claim 与证据用 [SEP] 拼接后送入 NLI 分类器(deberta/roberta/bart-large-mnli 或 roberta-large-snli),输出 $(y,s)$,$y\in\{S,R,NEI\}$;步骤 3(重校准):若 $s<\tau$(默认 0.6)则 $y^{\#}$ 强制改 NEI#;步骤 4(聚合):多条证据用多数投票或加权平均得到 $y_{final}$;步骤 5(评估):在 FEVER 与 CLIMATE-FEVER 上以 macro/weighted P/R/F1 与 Accuracy 对比基线与 DAVinCI 变体。
技术新颖性
技术新颖性体现在三点:(1)把归因模式作为可调超参——明确区分 Full-Evidence 与 Span-Based 两种设置,并量化证据粒度对验证精度的敏感度(例如 roberta-large-snli 在 FEVER 上从 span 0.19 F1 跃升到 full 0.48 F1),这是先前工作很少系统对比的;(2)用单一标量阈值 $\tau$ 替代更复杂的温度缩放或 Platt 校准,实现极简的保守决策;(3)把重校标号(#号后缀)作为可审计接口——下游消费者可以一眼区分 NLI 原始输出与经过安全网处理的输出,有助于在事实核查流水线上做风险分级。整体设计偏向工程化落地,代码已在 https://github.com/vr25/davinci 开源。
实验结果
在 FEVER(2287 条)与 CLIMATE-FEVER(1535 条)上的实验给出三个一致结论。第一,DAVinCI 整体优于纯验证基线:在 FEVER 上,deberta-large-mnli 准确率从 0.42 提升到 0.48(+6pp),macro F1 从 0.36 提升到 0.41;roberta-large-mnli 准确率从 0.36 跃升到 0.44(+8pp);bart-large-mnli 与 roberta-large-snli 准确率分别从 0.42→0.43 和 0.38→0.42,5-20% 提升在 micro 指标上得到印证。第二,证据粒度对验证影响巨大:full-evidence 一致优于 span-based,roberta-large-snli 在 FEVER 上 F1 从 0.19 暴增到 0.48,说明完整性优于简洁性。第三,$\tau=0.7$ 是最佳折中:FEVER 上 deberta 准确率 0.47,$\tau=0.9$ 时降到 0.45 但 precision 保持 0.58,用户可按风险偏好灵活调节。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FEVER 三分类事实核查 | Macro F1 / Accuracy | 0.41 / 0.48 (deberta-large-mnli + DAVinCI-Recalibrated) | 0.36 / 0.42 (deberta-large-mnli 纯验证) | Macro F1 +0.05, Accuracy +0.06 |
| FEVER 三分类事实核查 | Macro F1 / Accuracy | 0.38 / 0.44 (roberta-large-mnli + DAVinCI-Recalibrated) | 0.30 / 0.36 (roberta-large-mnli 纯验证) | Macro F1 +0.08, Accuracy +0.08 |
| CLIMATE-FEVER 三分类事实核查 | Macro F1 / Accuracy | 0.38 / 0.66 (roberta-large-snli + DAVinCI-Recalibrated) | 0.31 / 0.65 (roberta-large-snli 纯验证) | Macro F1 +0.07, Accuracy +0.01 |
| FEVER 证据粒度对比 (roberta-large-snli) | Macro F1 | 0.48 (Full-Evidence) | 0.19 (Span-Evidence) | +0.29,证明全文证据显著优于片段证据 |
| FEVER 阈值调优 (deberta-large-mnli) | Accuracy / Macro Precision | 0.47 / 0.60 (τ=0.7) | 0.45 / 0.58 (τ=0.9) | τ=0.7 在准确率与精度上达到最佳平衡 |
局限与改进
作者在论文第 8 节坦承五点限制:(1)框架假设能获取高质量外部证据,在开放域或证据缺失场景下表现未知;(2)验证模块依赖静态 NLI 模型,处理多跳推理和细粒度逻辑时可能力不从心;(3)当前没有建模内部归因——即无法把声明追溯到训练数据或 prompt 内部状态,只能做外部归因;(4)评估仅覆盖英语 FEVER/CLIMATE-FEVER,在多语言/低资源场景下的可迁移性未经验证;(5)置信度阈值是手工调参,可能不跨域泛化。本文的观察还显示,虽然 DAVinCI 在 macro/weighted F1 上稳定提升,但部分基线模型(如 roberta-large-mnli)即使在 DAVinCI 加持下也只达到 0.44 的准确率,绝对水平仍较低,说明在多跳/复杂声明上 DAVinCI 还远未解决幻觉问题;另外 τ=0.9 时的 F1 跌至 0.19,过度保守反而损害覆盖,提示阈值的安全网机制其实是把双刃剑。
独立分析的弱点
独立分析有四个明显弱点。其一,Full-Evidence 模式直接吃金标准证据,这种开卷考试设定在真实部署中无法复现——现实中检索器只能给 top-k 候选,未必包含 gold evidence,这会让 5-20% 提升被高估;改进方向是引入 DPR、E5 等 dense retriever 重做主实验。其二,阈值 $\tau$ 仅做 0.6/0.7/0.8/0.9 网格搜索,缺乏理论指导,实际部署需要昂贵标注数据,改进方向是用温度缩放或 conformal prediction 自动学习。其三,静态 NLI 分类器难以处理多跳声明,改进方向是引入 chain-of-thought 推理或多跳 QA。其四,macro F1 在类不平衡的 CLIMATE-FEVER 上与 weighted F1 差距很大(0.38 vs 0.66),仅看 macro 会过度放大小类影响,应同时报告 per-class PR 曲线与 AUPRC。
未来方向
作者在第 6 节与第 8 节提出四条未来方向:(1)把归因模块扩展到开放域 dense retriever 与多跳推理链,缓解证据必须预先存在的强假设;(2)探索内部归因(Internal Attribution)——通过 prompt tracing、activation clustering 等技术把声明追溯到训练数据或模型内部状态,提升可解释性;(3)将 DAVinCI 推广到生成式任务,让 LLM 在生成阶段就同步输出证据与置信度,而非事后核查;(4)适配多语言与低资源场景,验证框架在非英语事实核查基准(如 X-Fact、XFEVER)上的可迁移性。基于本文成果还可延伸:(a)用大模型做 zero-shot 证据重写,弥合检索证据与声明之间的语义鸿沟;(b)把 DAVinCI 的阈值化重校准与 conformal prediction 结合,获得有覆盖率保证的统计校准区间;(c)把 DAVinCI 与 RLHF/RLAIF 流程结合,把 Supported/Refuted/NEI 标签作为奖励信号反向训练生成器,从源头降低幻觉。
复现评估
复现难度整体较低。作者在 https://github.com/vr25/davinci 开源模块化代码,所有模型(4 个 NLI + 1 个 QA)均来自 Hugging Face Hub 并给出 model id(deberta-large-mnli、FacebookAI/roberta-large-mnli、facebook/bart-large-mnli、ynie/roberta-large-snli_mnli_fever_anli_R1_R2_R3-nli、deepset/roberta-base-squad2-distilled),数据集用 sem_augmented_fever_nli 与 rexarski/climate_fever_fixed,均以 MIT 协议发布商用友好。算力需求极低——论文报告实验在 MacBook M4 + 32GB RAM + 10 核 CPU 上完成,无需 GPU。唯一不确定点是 $\tau$ 网格与聚合方式未在 README 中给出推荐,需读源码才能精确复现,熟练研究生约 1-2 天可复现主结果。
论文图表