幻觉起始的最快检测：延迟下界与学习式 CUSUM 统计量 Quickest Detection of Hallucination Onset: Delay Bounds and Learned CUSUM Statistics
用序贯变点检测理论为幻觉起始设定不可逾越的延迟下界并刻画其与实测差距的来源
前置知识
CUSUM（累积和控制图）
Page 1954 年提出的序贯停止规则：统计量 $S_t = \max(0, S_{t-1} + \log\frac{p_1(X_t)}{p_0(X_t)})$，每步累加对数似然比并截断非负，超过阈值 $h$ 即触发警报。它是 Lorden 最小最大意义下渐近最优的检测器，工业质量控制的事实标准。
本文把 token 级幻觉检测器重新解读为"带学习增量的 CUSUM"，没有 CUSUM 的累计与阈值机制就无法理解为何用 Lorden 下界来给检测器性能定界。
Lorden 最小最大延迟下界
Lorden 1971 定理：$D(P_1\|P_0)$ 给定时，任何停止规则 $\tau$ 若 $\mathrm{ARL}_0\geq\gamma$ 则必 $\mathrm{EDD}\geq \frac{\ln\gamma}{D}$，是因果检测器不可逾越的延迟地板。
它是本文最核心的"尺子"——告诉我们在 RAGTruth 上任何幻觉探测器最快只能做到约 1.3 token 反应，所有实测 11–31 tokens 都必须在这把尺下被读出。
Donsker-Varadhan 变分公式
经典结果：对任意可测 $f$，$E_1[f]-\log E_0[e^f]\leq D(P_1\|P_0)$，等号当且仅当 $e^f\propto dP_1/dP_0$（$P_0$-几乎处处）。本文用于 $f=\omega Y$ 以证任何分数函数的信息率不超过特征真 KL 散度。
它给出分数函数相对最优对数似然比的延迟"税"——即 $D/I(\hat g)=4.5$ 倍延迟差距的理论根据。
一阶马尔可夫链模型
假设二元标签 $\{y_t\}$ 服从一阶马尔可夫，转移矩阵由 $p=P(y_t=1|y_{t-1}=0)$ 与 $q=P(y_t=1|y_{t-1}=1)$ 描述。文中似然比检验证明每升一阶只增加 $<0.35\%$ 对数似然，一阶已捕获 99.7% 结构。
一阶马尔可夫是把变点检测问题套进 Lorden 框架的前提；持续比 $q/p>200$ 是幻觉段确实形成"变点"而非白噪声的关键判据。
KL 散度（信息率）
$D(P_1\|P_0)=\int p_1\log\frac{p_1}{p_0}dx$ 衡量变点后分布相对变点前分布每步提供的平均证据量（nats），是 Lorden 下界延迟公式的"分母"。本文估得约 3.5 nats，对应 1.3 token 地板。
它是从信息论角度刻画延迟的标尺——任何分数的"已实现信息率"本质上是它对 KL 散度的逼近。
贝叶斯最优滤波
状态 $Z_t$ 一阶马尔可夫、发射 $p_z$ 的 HMM 中，最小 EDD 的最优在线检测器是后验 $\pi_t=P(\theta\leq t|X_{1:t})$ 上的阈值规则，可由前向递推精确计算（Shiryaev）。本文据此证循环网络一致逼近此滤波。
它把"循环网络为何合理"从直觉变成定理——这是 Corollary 1 (iii) 可实现性的技术根基。
研究动机
现有 token 级幻觉检测器的训练与评估几乎全部使用 AUC 等"分类指标"，把生成的全部 token 当作独立样本看"平均分得多准"。但在真实流式部署场景中，用户关心的是另一回事：当模型开始"胡言乱语"时，检测器平均要等多少 token 才报警？文献 [Snel et al.] 已观察到幻觉段首 token 的可检测性远高于续段 token（AUC 约 0.8 对 0.5），本质上是变点信号，但谁都没把流式幻觉监控放进"虚警-延迟权衡"的序贯检测框架中给出下界。这导致业界上线时缺乏"反应时间"的衡量基准，分类 AUC 高也可能延迟几十 token 才报警，对用户体验无意义。
本文的目标是本文要把幻觉起始检测明确重新定义为一个序贯变点检测问题，并依次回答三个研究问题：RQ1——在固定虚警率下，任何因果检测器能实现的最快延迟（最小上界）是多少；RQ2——实际检测器距离这个上界有多远，时序结构与非线性分数各自贡献多大；RQ3——若存在量级差距，差距的根因是模型深度不够、特征分辨力不足、还是有限水平效应？最终给出从 1.3 token 理论地板到 11.5 token 实测值之间的"延迟账本"。
与已有工作不同的是，本文的独特切入角度有三层：(1) 把"幻觉起始"严格建模为单变点问题，证明一阶马尔可夫已经 99.7% 捕获标签动态，把 Lorden 框架首次引入 LLM 幻觉检测；(2) 提出"带学习增量的 CUSUM"视角——把因果循环标签器解读为 CUSUM，用 Gong et al. 的交叉熵最小化器等价于对数似然比来连接两个领域；(3) 用 Donsker-Varadhan 把"延迟税"形式化为分数函数的 DV 赤字 $D/I(\hat g)$，从而定量说明"加深模型没用，提升特征才有意义"。
核心方法
方法分四层：(1) 用一阶马尔可夫链拟合标签过程，确认幻觉段的持续性 ($q\approx0.907$) 与稀发起 ($p\approx0.0044$) 让其成为合格变点问题；(2) 在 $\mathrm{ARL}_0\geq\gamma$ 的约束下用 Lorden 定理计算理论地板 $\ln\gamma/D(P_1\|P_0)$；(3) 把因果循环标签器解读为 CUSUM：用 Shiryaev 最优性 + 交叉熵最小化器 = LLR + 通用逼近三段论证明它一致逼近最优序贯检测器；(4) 用 Donsker-Varadhan 推导一般分数 CUSUM 的一阶延迟率，实测分数的已实现信息率 $I(\hat g)$，把延迟差距定量归因为 $D/I$ 的 DV 赤字与有限水平残差。
本文与已有方法的本质区别是把"反应速度"作为一等公民指标，并用序贯分析给出可计算的理论地板。具体有新意：(a) 用 Markov 阶选择表证伪"幻觉是 Hawkes/自激发"等高阶假设，把一阶当作充分模型；(b) 把 Gong et al. 的"交叉熵 = LLR" 扩展到变点序贯场景，并组合 Shiryaev 最优性、通用逼近定理形成"循环网络 = 学习式 CUSUM"的三段论；(c) 用 Donsker-Varadhan 给延迟税一个闭合表达 $D/I(\hat g)$，让"模型深度"与"特征分辨力"的边际贡献首次可分。
方法步骤详情
完整方法步骤：(1) 数据准备——RAGTruth 训练集约 198 万 token 拟合转移 $(p, q)$，似然比检验显示 1 阶 Markov 捕获 99.7% 结构；(2) 特征抽取——每 token 33 维（文本统计 + NLI + 生成器对数概率）；(3) KL 估计——对角高斯估 $D\approx3.5$ nats（k-NN 估 2.8 稳健性），$\ln100/3.5\approx1.3$ 得延迟地板；(4) 训练 5 个匹配 $\mathrm{ARL}_0$ 检测器——Naive Gaussian CUSUM、LogReg、HistGBM、ForwardGRU（阈值/显式 CUSUM 两读法）、ForwardGRU-shuffled；(5) 一阶延迟率——对 $\hat g$ 求 Lundberg $\omega$ 与变后漂移 $\delta_1$，$I(\hat g)=\omega\delta_1=0.78$ 算得 $D/I=4.5$ 倍延迟税；(6) 重标定——温度 $s\to s/T$ 不动 $I(\hat g)$，Isotonic 仅回收 +12%。
技术新颖性
技术新颖性主要在三点。其一，把一阶马尔可夫证伪为充分模型——传统研究默认 Hawkes 或更高阶，作者用似然比检验给出"99.7% 结构"的硬证据，简化了理论框架。其二，提出"循环标签器 = 学习式 CUSUM"的可实现性（Corollary 1），首次把交叉熵训练、Shiryaev 最优性、循环网络通用逼近三段论拼装起来。其三，将 Donsker-Varadhan 用于 Lundberg 倾斜后的累计增量 $Y$，得到"一般分数的一阶延迟率"（Proposition 1）和"对数似然比分数是唯一最优"的等价刻画（Theorem 2），从而把经验性观察"分数差就是延迟差"提升到可加性公式 $EDD \approx \ln ARL_0 / I(s)$。
实验结果
在 RAGTruth 测试集（2700 生成、943 含幻觉、~34.1 万 token）的 $\mathrm{ARL}_0=100$（$\alpha=0.01$）操作点：(1) ForwardGRU (CUSUM) 已检出集合 11.5 tokens 延迟，对 LogReg 30.8 tokens 实现 2.7× 加速；(2) 分解：非线性分数 $-12.9$ [CI 8.8, 17.0]、CUSUM 累积 $-4.5$ [1.8, 7.1]、因果上下文 $-1.9$ [-1.0, 4.7] 在噪声内；(3) ForwardGRU-shuffled 15.6 vs 完整 11.5，时序对循环边际仅 4 tokens；(4) Naive Gaussian CUSUM 因错配 33 维达 41 tokens；(5) 学习分数 $I(\hat g)=0.78$ nats 对 $D=3.5$ 给 4.5× 延迟税，Proposition 1 预测 5.9 与实测 11.5 差 2× 残差归因 $\tau\approx22$ 自相关；(6) 地板操作点所有检测器召回率不足 30%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RAGTruth 测试集幻觉起始检测（ARL0=100, α=0.01） | 已检出集合中的检测延迟（token 数，越低越好） | ForwardGRU (CUSUM) 11.5 tokens；ForwardGRU (threshold) 13.4 tokens；ForwardGRU-shuffled 15.6 tokens；HistGBM 17.9 tokens；LogReg 30.8 tokens | Lorden 理论地板 1.3 tokens；Oracle（观察到真实标签）≈0 tokens；Naive Gaussian CUSUM ≈41 tokens | 相对 LogReg 线性基线加速 2.7×，但相对地板仍有约 9× 量级差距 |
| 速度优势的因果分解 | 各种因素贡献的延迟减少量（tokens） | 非线性分数 -12.9 [8.8, 17.0]；CUSUM 累积 -4.5 [1.8, 7.1]；因果上下文 -1.9 [-1.0, 4.7] | LogReg→ForwardGRU (CUSUM) 总减少量 19.3 tokens | 约 67% 来自非线性分数，23% 来自累积，10% 来自上下文（在噪声内） |
| 分数函数已实现信息率 | $I(\hat g) = \omega \cdot \delta_1$（nats/token，越高越接近地板） | $I(\hat g) = 0.78$ nats/token（$\omega=0.95$, $\delta_1=0.82$） | 特征对角高斯 KL 散度 $D = 3.5$ nats | DV 赤字 $D/I = 4.5$，温度缩放不变，Isotonic 仅回收 +12% |
局限与改进
作者承认的局限：(1) 发射不是 i.i.d. 条件于状态——33 个特征中部分是滑动窗口/累计量，条件独立假设破缺，1.3 token 地板"偏乐观"，实测差距实为真差距的下界；(2) KL 散度只在对角高斯下估计（$D\approx3.5$ nats），非参数 k-NN 估 2.8 nats 给地板 1.6 tokens——具体数值应视为量级而非三位精度；(3) Proposition 1 是一阶延迟率，把增量当 i.i.d.，残差因子 2 实测而非可证；(4) 分析仅覆盖每段生成的"首个幻觉段"，多 span 重新装弹不在范围；(5) 数字来自单一语料和单一操作域。我自己的观察：地板 1.3 tokens 在召回率 30% 的现实里几乎不可达——延迟定义本身在回避检测率问题；ForwardGRU 仅用 ARL0=100 一个点就得出"非线性分数占 67%"，跨 ARL0=50/200 的稳健性未详细分析；特征集仅 33 维且为单一 companion system 提供，看不到特征对地板的边际改善。
独立分析的弱点
独立分析的弱点：(1) 召回率被有意回避——11.5 tokens 是"已检出子集的条件延迟"，整体 censored EDD 56–66 tokens 才是部署体验，但 Table 2 把它放在脚注位置；改进方向：报告在固定 EDD 反向求解 ARL0 下的代价曲线；(2) 33 维特征是 companion system 自带，作者没有 ablation 验证"加入更强语义特征"是否能压缩地板——若 k-NN 估的 2.8 vs 高斯 3.5 已经暗示估计器偏差，特征升级 vs 模型升级的对比没做；(3) 循环网络 64 宽 2 层规模偏小，作者没用 Transformer/LLM 探针层验证"更大序列模型是否突破 11.5"；(4) 时序顺序的因果保护（作者引用 Akarlar [1]）是经验性断言，没有幻觉方向不对称的精确定义；(5) Markov 阶选择在训练集上做、阶选择在测试集上没复现；(6) 残差因子 2（11.5 vs 5.9 预测）的物理来源是"自相关但比混合快"，作者承认是开放问题，没给出有限水平定理。
未来方向
作者明确点出两个方向：(A) 把分数能实现的散度翻倍即可将延迟减半——具体是设计更判别性的特征（如 LLM 内部激活、检索置信度的对数比、句法-语义联合嵌入），而不再寄望于更深模型；(B) 给"在自相关分数下但检测比混合快"的 CUSUM 写有限水平延迟定理，把 2× 残差从"测量"变为"可证"。本文成果可延伸的方向还包括：(i) 把单变点扩展到多 span 重新装弹，最优策略可能需要在每段结束后重置 CUSUM 或用 Bayesian 在线变点检测器 (BOCPD)；(ii) 与检索增强 (RAG) 结合，把"幻觉"定义为"上下文不支持"从而把 token 特征与文档证据耦合；(iii) 将地板-召回率联合曲线推到 off-distribution 流上，看 ARL0 在分布漂移下是否仍可控制；(iv) 在 LLM 黑盒 API 上做延迟测试，比较白盒-黑盒差距对 $D(P_1\|P_0)$ 实际估计值的侵蚀。
复现评估
可复现性评估较高：(a) 数据完全公开——RAGTruth 官方 train/test 切分官方下载；(b) ForwardGRU 架构明示：2 层单向 GRU、隐藏宽 64、sigmoid 输出头，AdamW、权重衰减 $10^{-4}$，训练 seed=42，15% 分层验证切分；(c) HistGBM 超参明示：500 棵树、学习率 0.05、最多 63 叶；(d) 33 维特征向量作者宣称随 companion multi-signal 系统发布，但本工作本身未单独开源仓库——这点对独立复现有一定障碍；(e) 文档级 bootstrap $B=1000$ 在 ARL0=100 单点 + 5 seeds (0,1,2,7,42) 校验训练方差；(f) 没有显式 GPU/算力报告，但 2 层 GRU + 64 宽 + 34 万 token 在单卡上几小时可完成，复现难度中等偏低。主要门槛是特征抽取器依赖未开源的 companion system。
论文图表