HalluGuard：揭秘大语言模型中数据驱动与推理驱动的幻觉

基于NTK理论统一分解幻觉为数据驱动与推理驱动两类，并提出检测方法

前置知识

神经正切核（Neural Tangent Kernel, NTK）

NTK是分析过参数化神经网络训练动力学的核心工具。对于参数为 $\theta$ 的网络输出 $f(x, \theta)$，NTK定义为 $\Theta(x, x', \theta) = \nabla_\theta f(x, \theta) \cdot \nabla_\theta f(x', \theta)$，它量化了两个输入在训练过程中的动力学相似性。在无限宽度极限下，NTK在初始化时收敛为确定性值并在训练过程中保持近似常数，这使得高度非线性的优化问题退化为可处理的核回归。通过分析NTK的特征谱，可以探测内部表征如何在训练中被塑造——哪些特征被优先学习（语法vs语义），不同任务收敛速度差异，以及过参数化网络为何能泛化。

本文的核心方法HALLUGUARD完全建立在NTK几何之上，利用NTK Gram矩阵的行列式、最大奇异值和条件数来量化幻觉风险。不理解NTK就无法理解本文方法的理论基础。

Céa引理与变分近似

Céa引理是有限元分析中的经典结果：在一个Hilbert空间中，若双线性形式 $a(u, v)$ 满足连续性和强制性条件（coercivity），则Galerkin投影误差可以被最优近似误差所控制，即 $\|u^* - \bar{u}\| \leq \frac{\Lambda}{\gamma} \inf_{u \in U_h} \|u^* - u\|$，其中 $\Lambda$ 和 $\gamma$ 分别是连续性常数和强制性常数。

本文用Céa引理来推导数据驱动幻觉的上界，将模型期望输出与真实语义表示之间的偏差与NTK矩阵的最小特征值（强制性常数）联系起来。

Freedman不等式与鞅收敛

Freedman不等式是Bernstein不等式的鞅版本，用于控制鞅差序列的尾部概率。它表明，对于有界鞅差序列，偏离均值的概率呈指数衰减。本文将自回归生成过程建模为鞅过程，每一步的解码偏差（条件于前序token）构成鞅差序列，从而可以用Freedman不等式控制累积偏差。

这是推导推理驱动幻觉上界的关键数学工具，解释了为什么推理错误会随序列长度 $T$ 呈指数级增长——这正是幻觉"滚雪球"效应的理论基础。

自回归解码与幻觉雪崩效应

自回归语言模型逐token生成文本，每一步的输出依赖于所有前序token。这意味着早期的小错误会通过条件概率传播并逐步放大，类似滚雪球。例如在数学推理中，一步计算错误会导致后续所有步骤的连锁错误。Zhang等人（2023）的Snowballing论文实证展示了这一现象。

本文的理论框架正是要刻画这种演化机制：数据驱动的静态偏差在解码过程中被推理驱动的动态不稳定性放大，两者的交互产生了最终的幻觉。理解这种复合机制是理解本文方法设计动机的关键。

LLM幻觉的两类来源

LLM幻觉通常分为两类：数据驱动幻觉（data-driven），源于预训练或微调阶段编码的有缺陷、有偏见或不完整的知识，例如模型记住了错误的医学事实；推理驱动幻觉（reasoning-driven），源于推理时的失败，如逻辑不一致或多步推理中断，例如在数学解题中逐步偏离正确路径。现有方法通常只针对其中一类进行检测。

本文的核心论点就是：实际中幻觉很少是纯粹的某一类，而是两者的混合并在生成过程中演化。理解这一分类是理解本文统一框架的出发点。

研究动机

大语言模型在医疗、法律、科学发现等高风险领域的可靠部署受到幻觉问题的严重制约。幻觉通常源于两个截然不同的机制：数据驱动幻觉来自训练阶段编码的有缺陷知识，推理驱动幻觉来自推理时的逻辑不一致或多步推理中断。然而，现有检测方法存在两个根本性缺陷。第一，绝大多数方法只针对单一类型的幻觉进行检测——例如Perplexity和Semantic Entropy主要捕捉数据驱动的不确定性信号，而SelfCheckGPT和RACE主要捕捉推理时的不一致性——这导致在复杂场景下（两类幻觉混合出现时）检测能力严重不足。第二，现有方法缺乏统一的理论基础，多依赖于任务特定的启发式设计，难以泛化。更关键的是，论文的实证分析揭示了一个被忽视的现象：在Natural基准上，3499个错误中88.9%是推理错误、11.1%是事实错误；而在MATH-500上，1985个错误中98.1%是推理错误、仅1.9%是事实错误——这说明幻觉的组成比例因任务而异，且两类幻觉在生成过程中会相互演化。例如，在疾病诊断场景中，一个初始的疾病分类错误（数据驱动）可能演化为扭曲的诊断建议（推理驱动），最终延误治疗甚至危及生命。

本文的目标是本文的目标是双重的：首先，建立一个统一的理论框架来形式化地分解幻觉风险为数据驱动和推理驱动两个分量，揭示幻觉如何在生成过程中产生和演化；其次，在理论基础上设计一个实用的幻觉检测方法HALLUGUARD，能够同时识别两类幻觉，不依赖外部参考文档或任务特定的启发式规则，并在多种任务类型、多种模型规模上达到最先进的检测性能。具体而言，作者希望在10个多样化基准、11个竞争基线、9个主流LLM骨干上进行全面评估，验证方法的普适性。

与已有工作不同的是，本文的独特切入点在于三个层面。第一，理论层面：现有工作大多提供经验性的检测指标，缺乏对幻觉产生机制的统一数学刻画。本文提出了Hallucination Risk Bound，用NTK几何和鞅集中不等式分别刻画两类幻觉，这是首个将幻觉风险形式化分解的理论框架。第二，方法层面：现有方法要么基于不确定性估计（只捕捉数据信号），要么基于一致性检测（只捕捉推理信号），本文首次利用NTK的诱导几何和捕获表征来同时量化两个维度——NTK Gram矩阵的行列式（$\det(K)$）捕捉表征充分性（数据驱动），而最大奇异值（$\log \sigma_{\max}$）和条件数（$-\log \kappa^2$）捕捉推理放大和稳定性。第三，实证层面：本文不仅评估了检测精度，还展示了HALLUGUARD可以指导测试时推理（test-time inference），通过beam search中的分数引导将MATH-500准确率从72.70%提升至81.00%，证明幻觉检测不仅是诊断工具，更是推理增强器。

核心方法

HALLUGUARD的设计可以用一个类比来理解：想象一个医生诊断疾病的过程。数据驱动幻觉就像医生在医学院学到了错误的知识（系统性偏差），而推理驱动幻觉就像医生在诊断过程中思路跑偏、前后矛盾（动态不稳定性）。现有的幻觉检测方法就像只检查医生的知识水平或只观察他的诊断过程，而HALLUGUARD同时检查两者。技术路线如下：首先，通过一个严格的理论推导，将总体幻觉风险分解为两个可加项——数据驱动项（用NTK Gram矩阵的最小特征值 $\gamma = \lambda_{\min}(K_\Phi)$ 控制，与训练-推理分布失配相关）和推理驱动项（用Freedman不等式控制，随序列长度 $T$ 指数增长）。然后，将理论分解转化为三个可计算的NTK代理分数：$\det(K)$ 量化表征充分性，$\log \sigma_{\max}$ 量化自回归展开的放大率，$-\log \kappa^2$ 惩罚谱条件差的表征。最终将三个分数组合为一个统一的检测分数HALLUGUARD。

HALLUGUARD的核心创新在于利用神经正切核（NTK）的三个谱性质来统一映射幻觉风险的两个维度。这个设计不是随意拼凑的，而是有严格的理论对齐：第一个分量 $\det(K)$ 对应数据驱动项——Theorem B.3证明了 $\inf_{u \in U_h} \|u^* - u\| \leq C_d \det(K)^{-c_d}$，即NTK Gram矩阵的行列式越大，模型可用的假设子空间越能逼近真实语义表示，从而数据驱动偏差越小。Table 1的实证验证了这一点：$\det(K)$ 在数据导向任务SQuAD上与AUROC的相关性高达0.84。第二个分量 $\log \sigma_{\max}$ 对应推理驱动的放大项——Theorem B.4证明了 $\|\prod_{t=1}^T J_t\|_2 \leq \sigma_{\max}^T = e^{(\log \sigma_{\max})T}$，其中 $\sigma_{\max} = \sup_t \|J_t\|_2$ 是逐步Jacobian的谱范数上界，$\log \sigma_{\max}$ 是每步放大率的稳定代理。Table 1显示它在推理任务MATH-500上的相关性为0.88。第三个分量 $-\log \kappa^2$ 是谱稳定性惩罚——Theorem B.6推导出 $\text{Var}[u_h] \leq c_v \kappa(K)^2 \|\delta\|^2$，方差随条件数的平方增长，这个项抑制病态表征。与已有方法最本质的区别是：HALLUGUARD不是从单一信号（如log概率、样本一致性或内部激活统计量）出发的启发式设计，而是从Hallucination Risk Bound这个理论框架逆向推导出的可计算代理，每个分量都有明确的数学含义和与理论界的对齐。

方法步骤详情

HALLUGUARD的计算流程包含以下步骤。第一步，对于给定输入 $x$，使用nucleus sampling生成 $K=10$ 个独立解码轨迹 $Y = \{y_1, \ldots, y_K\}$，这些轨迹自然地构成模型预测分布的语义邻域采样。第二步，从每个轨迹中提取中间层（第 $L/2$ 层）最后token的隐藏状态表示，形成 $K$ 个语义表征向量。第三步，对这些表征进行自适应特征裁剪：维护一个包含 $N=3000$ 个token嵌入的记忆库，将超过上下0.2%百分位的神经元激活值截断，以抑制过度自信的幻觉引发的病态激活。第四步，用投影层将表征映射到对齐的几何空间——这些轻量投影层通过AdamW离线自监督训练，目标是让NTK谱性质在不同骨干模型间可比，不使用任何幻觉标签或任务监督，骨干模型完全冻结。第五步，计算NTK Gram矩阵 $K \in \mathbb{R}^{r \times r}$，添加 $\alpha = 10^{-3}$ 的小岭正则化以保证数值稳定性，通过SVD计算奇异值。第六步，从特征谱中提取三个代理分数：通过Cholesky分解计算 $\log \det(K)$（避免高维数值下溢），计算 $\log \sigma_{\max}$，计算 $-\log \kappa^2$。第七步，对三个分量分别做z-归一化后相加，得到最终的HALLUGUARD分数。该分数越高，表示模型在该输入上的输出越可靠；分数越低，表示幻觉风险越高。

技术新颖性

HALLUGUARD在技术新颖性上体现在以下几个方面。首先，与已有基于NTK的方法不同（如LensLLM用NTK分析微调动态），本文首次将NTK谱几何用于推理时的幻觉检测，将NTK从训练分析工具转变为推理诊断工具。其次，与Inside（分析静态嵌入的协方差谱）和MIND（建模隐藏状态的时序变化）等内部状态方法相比，HALLUGUARD不直接分析激活统计量，而是通过NTK Gram矩阵来捕获表征空间的诱导几何结构——这捕捉的是"推理轨迹的几何形状"而非"单次推理的数值特征"，从而能更好地泛化到不同任务和模型。第三，Table 7的编码器消融实验表明，用BERT、SimCSE、E5替代默认编码器会导致性能下降（例如QwQ-32B上RAGTruth的AUROC从84.59%降至81.44%），证明方法的增益不来自表面语义相似性，而是来自推理轨迹的几何结构。第四，与需要外部检索（如FActScore）或多轮采样后一致性检测（如SelfCheckGPT）的方法相比，HALLUGUARD只需要10个解码轨迹和轻量的矩阵运算，后处理时间不到1毫秒/查询。

**Figure 12**: Snowballing数据集上风险分解随推理深度$T$的演化

实验结果

HALLUGUARD在10个基准、11个基线、9个LLM骨干上进行了全面评估，结果令人信服地展示了其跨任务、跨规模的优越性。在跨任务评估（Q1）中，HALLUGUARD在三类代表性任务上均取得最优：在数据导向的RAGTruth上达到84.59% AUROC和81.15% AUPRC（QwQ-32B骨干），比次优方法Inside高出约7.7个百分点；在推理导向的MATH-500上达到81.76% AUROC和79.76% AUPRC（Mistral-7B骨干），比次优方法高出约8.3个百分点；在指令跟随的TruthfulQA上达到77.05% AUROC和73.79% AUPRC（Mistral-7B骨干），超出次优6.2个百分点。在跨规模评估（Q2）中，HALLUGUARD在小模型上获益最大：Llama2-7B上HaluEval的AUPRC达到72.89%，超出次优方法超过10个百分点；中等规模的Llama2-13B在GSM8K上达到79.01% AUROC；即使在最大的Llama2-70B上也持续获得稳定提升（SQuAD上83.8% AUROC）。消融分析（Q3）显示每个分量确实追踪其对应任务家族的性能趋势：$\det(K)$ 在数据导向的SQuAD上精确跟随AUROC下降曲线，而推理驱动项在MATH-500上忠实反映推理漂移的单调增长。在测试时推理应用（Q4）中，HALLUGUARD作为beam search的引导分数，将Qwen2.5-Math-7B在MATH-500上的准确率从72.70%（IO Prompt）提升至81.00%，将Llama3.1-8B在Natural上的准确率从55.24%提升至70.96%。在PAWS语义幻觉案例研究（Q5）中，HALLUGUARD在QwQ-32B上达到91.24% AUROC和88.53% AUPRC，超出次优方法近5个百分点，证明其能捕捉词汇高度重叠但语义不同的细微幻觉。此外，在Snowballing基准上（Table 12），HALLUGUARD在LLaMA2-70B上达到97.96% AUROC，大幅超越Inside的89.03%和MIND的86.28%。

**Table 2**: 代表性基准上的性能对比（RAGTruth、Math-500、TruthfulQA）

**Figure 2**: 各分量在SQuAD和MATH-500上追踪性能趋势的消融实验

查看结构化数据

任务	指标	本文	基线	提升
RAGTruth（数据导向QA）	AUROCr / AUPRCr	84.59% / 81.15%（QwQ-32B）	Inside: 77.72% / 73.47%	AUROC +6.87pp，AUPRC +7.68pp
MATH-500（推理导向）	AUROCr / AUPRCr	81.76% / 79.76%（Mistral-7B）	Inside: 73.20% / 71.49%	AUROC +8.56pp，AUPRC +8.27pp
TruthfulQA（指令跟随）	AUROCr / AUPRCr	77.05% / 73.79%（Mistral-7B）	RACE: 71.06% / 68.49%	AUROC +5.99pp，AUPRC +5.30pp
SQuAD（事实问答）	AUROCr	83.80%（Llama2-70B）	Inside: 81.24%	AUROC +2.56pp
HaluEval（幻觉评估）	AUPRCr	72.89%（Llama2-7B）	Inside: 67.63%	AUPRC +5.26pp
MATH-500 测试时推理	Accuracy	81.00%	IO Prompt: 72.70%	+8.30pp
Natural 测试时推理	Accuracy	70.96%	IO Prompt: 55.24%	+15.72pp
PAWS语义幻觉（QwQ-32B）	AUROC / AUPRC	91.24% / 88.53%	RACE: 86.38% / 83.41%	AUROC +4.86pp，AUPRC +5.12pp
Snowballing（LLaMA2-70B）	AUROC / AUPRC	97.96% / 95.37%	Inside: 89.03% / 82.77%	AUROC +8.93pp，AUPRC +12.60pp

局限与改进

尽管HALLUGUARD取得了显著成果，但仍存在几个值得关注的局限性。首先，方法依赖于生成多个解码轨迹（$K=10$），这在计算资源受限的场景下可能成为瓶颈——虽然每个查询的后处理时间不到1毫秒，但10次解码本身的计算开销不可忽略，尤其对于大模型。其次，轻量投影层需要在验证集上进行离线训练来对齐不同骨干的NTK谱性质，这意味着引入了一个额外的训练步骤，虽然不需要幻觉标签但需要可用的验证数据。第三，理论推导中的Hallucination Risk Bound是一个上界而非紧界，作者在Figure 10的合成实验中也承认理论曲线是"保守的上包络线"——它正确捕获了误差传播的缩放规律和指数曲率，但与实际风险值之间存在绝对数值偏移。第四，方法提取的是中间层最后token的表征，这可能不适合所有类型的幻觉——例如在极长上下文中，中间层的表征可能不足以捕获早期编码的错误信息。第五，评估中的"ground truth"幻觉标签部分来自ROUGE-based参考评估和LLM-as-a-Judge，这两种评估方式本身可能存在偏差，尤其是在开放式生成任务中。

独立分析的弱点

从独立分析的角度看，HALLUGUARD存在几个可以改进的弱点。第一，三元组分数的简单相加（$\det(K) + \log \sigma_{\max} - \log \kappa^2$）假设三个分量的贡献是等权的，但Table 1的实验已显示不同任务类型对不同分量的敏感度差异很大（SQuAD上$\det(K)$相关性0.84而$\log \sigma_{\max}$仅0.39），简单相加可能不是最优组合方式——改进方向是引入自适应权重或根据任务特征动态调整分量比例。第二，方法使用固定的中间层（$L/2$）提取表征，但不同层的表征编码不同粒度的信息（浅层偏语法、深层偏语义），对于不同类型幻觉可能需要不同层的信息——改进方向是探索多层融合或自适应层选择。第三，投影层的离线训练虽然不使用幻觉标签，但仍依赖于一个固定的验证集来确定归一化参数，这在分布漂移场景下可能失效——改进方向是引入在线自适应机制。第四，NTK Gram矩阵的计算复杂度为 $O(K^2 d)$（$K$为轨迹数，$d$为表征维度），在高维表征空间中可能成为计算瓶颈——改进方向是引入低秩近似或随机投影来降低计算开销。

未来方向

作者在结论中提出了一个极具启发性的方向：利用HALLUGUARD对误差传播的敏感性来开发多轮对话中的预测性指标——在幻觉完全显现之前就进行预测和预防。这从"检测已发生的幻觉"转向"预防即将发生的幻觉"，是一个重要的范式转变。基于论文成果还可以延伸出几个方向：第一，将HalluGuard的敏感性分析应用于交互式系统中的早期预警，例如在医疗对话中实时监测诊断推理的可靠性轨迹；第二，将理论框架扩展到多模态场景——论文在POPE上的初步实验（Table 13）已显示了可行性，但需要针对视觉-语言模态重新推导NTK几何；第三，探索将HALLUGUARD分数作为RLHF或DPO训练中的奖励信号，从源头减少幻觉的产生；第四，在长上下文场景（如论文附录的GovReport和NarrativeQA实验）中进一步优化，可能需要结合滑动窗口或分层NTK计算来处理超长序列。

复现评估

论文在复现性方面做了较好的保障。作者已将HALLUGUARD模型开源在GitHub（HalluGuard仓库），提供了完整的代码。所有实验使用PyTorch和HuggingFace Transformers实现，固定随机种子以保证可复现，计算在混合精度（fp16）下运行。评估使用了10个广泛使用的公开基准（RAGTruth、NQ-Open、HotpotQA、SQuAD、GSM8K、MATH-500、BBH、TruthfulQA、HaluEval、Natural）和9个公开可用的LLM（Llama2系列、Llama3系列、OPT、Mistral、QwQ、GPT-2），所有模型权重来自HuggingFace且无额外微调。主要的算力需求在于生成 $K=10$ 个解码轨迹和提取中间层表征——这对7B模型在A100上是完全可行的。投影层的训练使用AdamW，超参数从一个小的搜索空间中选择。总体而言，复现难度中等，主要门槛在于GPU资源（至少需要一块A100级别的GPU来处理较大的骨干模型）。

HalluGuard：揭秘大语言模型中数据驱动与推理驱动的幻觉 HalluGuard: Demystifying Data-Driven and Reasoning-Driven Hallucinations in LLMs