被共识遮蔽：解耦大语言模型正确性中的特权知识 Masked by Consensus: Disentangling Privileged Knowledge in LLM Correctness
提出分歧子集评估框架，揭示LLM关于答案正确性的特权知识仅在事实任务中存在。
前置知识
线性探针（Linear Probe）
在冻结的隐藏表示 $h$ 之上训练一个简单的线性分类器（通常是带 L2 正则的逻辑回归），用来判断隐藏层是否编码了某一目标属性（如正确性）。它是机制可解释性中最轻量的诊断工具。
本文方法的核心就是在目标模型自己的隐藏状态与外部模型的隐藏状态上分别训练同结构的探针，再比较 AUC，以此衡量所谓“特权信号”是否存在。
隐藏状态/残差流（Hidden States / Residual Stream）
Transformer 每一层在最后一个 token 上输出的向量 $h^{(l)} \in \mathbb{R}^d$。在现代解释性框架（如 TransformerLens）里，整条残差流被视为各层逐步叠加信息的“工作记忆”。
作者每隔 5 层取一次 $h^{(l)}$，并分析“premium gap 随层深度的变化”，从而定位特权信号最早出现的层（事实任务约在 0.25–0.40 归一化深度处开始出现）。
ROC-AUC 与 Nested Stratified K-Fold
AUC 衡量探针在所有阈值下区分正负样本的排序能力，对类别不平衡稳健。Nested Stratified K-Fold（$k=10$）在外折生成测试概率、内折做超参选择，能在保留统计效力的同时抑制过拟合。
论文全文只用 AUC 报告结果，并在 10 折聚合概率上做配对 t 检验与 Bonferroni–Holm 校正，所有“差异显著”的结论都基于此统计流程。
LLM 内省 / 特权知识（Introspection / Privileged Knowledge）
源自心灵哲学的概念：智能体是否拥有外部观察者无法获取的、关于自身心智状态的私有信息。映射到 LLM 即：模型能否仅凭自身隐藏状态判断自己接下来会不会答对，且这一判断无法被任何外部模型复现。
这是论文要回答的根本命题：自探针相对外部探针的“溢价差”（premium gap）是否显著、是否被模型间共识掩盖，是衡量 LLM 是否具备这种自访问能力的关键。
研究动机
近两年大量工作（Kadavath 2022、Seo 2025、Xiao 2025、Chi 2025）反复报告一个反直觉的负面结果：在自回归 LLM 的隐藏状态上训练正确性探针得到的 AUC，与用同规模外部模型（甚至纯 embedding 模型）的隐藏状态训练出的探针几乎相当，部分实验里外部探针甚至反超。例如 Xiao et al. (2025) 提出的广义正确性模型显示跨模型历史答案模式就能匹敌自探针。这些发现让人怀疑：所谓模型知道自己对不对是不是只是因为问题本身可被外部预测？然而这类比较全部建立在全量随机样本上，忽略了模型之间天然存在的强一致性——本文通过在 5 个数据集、3 对模型上统计，正确性标签的跨模型一致率在事实任务上约 80%，数学任务上约 75%（HotPotQA 83%、TriviaQA 77%、Mintaka 80%、GSM1K 82%、MATH 72%）。这种高一致性意味着只要外部探针能预测外部模型答对答错，它就能顺便高准确率地预测目标模型的正确性，从而把真正属于目标模型的私有信号淹没掉。
本文的目标是本文旨在设计一个可识别、可证伪的实验协议，严格区分两种假设：（1）LLM 真的没有关于自身正确性的私有信号，外部探针在全量样本上的成功是真实的；（2）LLM 确实有私有信号，但它被跨模型答案一致性代理了，导致在全量样本上自探针与外部探针差距消失。作者要把高一致率这一关键混淆变量从评估中剔除，再去测自探针相对外部探针的溢价差（premium gap）是否仍然为零，最终回答特权知识是否存在、若存在是否领域特异。
与已有工作不同的是，已有工作要么只做随机样本上的 AUC 比较（Seo 2025、Xiao 2025），要么只观察单层或最终层（Chi 2025、Tamoyan 2025），既没有系统地隔离一致性混淆，也没有沿网络深度做细粒度定位。本文的关键切入角度有两点：其一，引入分歧子集（disagreement subset）评估——在评估时只保留目标与外部模型答案正确性不一致的样本，但训练时仍用全量数据，从而切断外部探针用自身答案当代理的捷径；其二，在所有被采样的层上分别测 premium gap，定位特权信号在网络中的出栈位置。这两个动作把是否存在特权知识从一句笼统的差不多切成了一个具体可被统计检验判定的命题。
核心方法
方法直觉非常朴素：要让外部探针不能再用自己答对答错去代理目标模型，那就只在我和它答案对错相反的那部分样本上做评估。技术上对每个 (target, source) 配对训练三种探针：自探针（source = target）、跨模型探针（source = 同规模不同 LLM）、embedding 探针（source = Qwen3-Embedding-8B），全部是末 token、每隔 5 层取一次隐藏状态 $h^{(l)}$ 上训练的带 L2 正则的逻辑回归（二元分类，标签为目标模型的正确性 $y \in \{0,1\}$），并用 MLP 探针做平行验证。premium gap 即自探针 AUC 减去最强外部探针 AUC，文中同时报告全量测试集与分歧子集上的数值，最后再用归一化层深度 $d = (l - l_{\min})/(l_{\max} - l_{\min})$ 把每一层的 gap 画成曲线，看它从早期零附近到末层显著为正的渐进过程。
和已有方法相比，本文的本质区别不在探针结构，而在评估协议。Seo et al. (2025) 与 Xiao et al. (2025) 都默认在全体测试样本上比较 AUC，但只要模型之间一致率超过 70%，外部探针就能借力——这相当于把 $z_{\text{public}}$ 与 $z_{\text{ext,private}}$ 的总贡献当成 $z_{\text{public}}$，目标模型的 $z_{\text{target,private}}$ 被完全淹没。本文的关键创新是训练用全量、评估用分歧子集，并明确指出在分歧子集上重训是错的（会形成完美的负相关，让探针直接利用反向标签作弊）。这一协议把所有我能从外部特征里看到的都剥离掉，只剩我看不到、但目标模型自己知道的那一点，从而把隐藏状态分解 $h \approx z_{\text{public}} \oplus z_{\text{private}}$ 中 $z_{\text{private}}$ 的存在性变成可证伪命题。
方法步骤详情
流程分五步。1）形式化：固定目标模型 M，对每题 q 收集 M 的隐藏状态与正确性标签 y，同时收集源模型 (目标本身/同规模 peer/embedding) 的隐藏状态。2）训练三类探针：自探针用 (h_self, y)，跨模型与 embedding 探针用 (h_peer, y) 与 (h_emb, y)，标签恒为目标的 y。3）在全量集与分歧子集 {q : y_target ≠ y_source} 上报告 AUC，定义 premium gap Δ = AUC_self − AUC_best external。4）统计推断：对 10 折 Nested Stratified K-Fold 折外概率做配对 t 检验 + Bonferroni–Holm 校正 (p<0.05)。5）分层定位：每 5 层加末层共 6–7 个测量点，把 Δ 画到归一化层深度 d 上。实验 = 3 个 7B–9B 模型 × 5 个数据集 (事实：Mintaka、TriviaQA、HotpotQA；数学：MATH、GSM1K)，附录加 Qwen-3-32B 验证尺度。
技术新颖性
技术新颖性集中在三处。其一是分歧子集评估的协议设计——这一招把哲学讨论中难以落地的内省概念变成了一个具体可执行的统计检验；作者还专门在文中解释为何不能在分歧子集上重训，避免了一个看似自然但实际上会破坏信号的真实陷阱。其二是对 Gemma-2-9B 异常现象的解读：当 Gemma 作为外部源时，在 9 个事实配置里有 7 个（线性）/ 9 个（MLP）是最强外部基线，作者给出两种竞争解释（Gemma 的 $z_{\text{public}}$ 真强 vs Gemma 的 $z_{\text{private}}$ 因高一致率反客为主），并用分歧子集评估在两者之间做出可验证的切分。其三是分层定位：把是否存在特权知识进一步精炼为在网络的哪一段开始累积，并以 mid-layer subject→answer 信息流（Chi 2025）作为机制层面的对应解释，把方法论与底层机制连接起来。
实验结果
Figure 2 显示全量集上自探针与最强外部探针 AUC 差仅 1%–3%、数学几乎完全重叠，呈无 premium gap 的传统负面结果。Figure 3 是核心：分歧子集上事实任务出现显著 premium gap——Gemma-2-9B 在 Mintaka/TriviaQA/HotpotQA 上 Δ 0.017/0.018/0.021，Llama-3.1-8B 最大 0.032，Qwen-2.5-7B 约 0.015–0.016；9 个 (模型×数据集) 组合经 Bonferroni–Holm 校正后全部 p<0.05。右侧显示数学 Δ 全部 ≤ 0 (区间 −0.060 到 +0.012)。Figure 4 把现象归因于高一致率 (事实 77–83%、数学 72–82%)，证明外部探针被借力。Figure 5a 把事实 gap 沿层深铺开：早期 d ≲ 0.25 接近 0，从 d ≈ 0.25–0.40 单调上升并在末层达峰，与 mid-layer subject→answer 检索时间线吻合；Figure 5b 显示 MATH 全程在 0 附近、GSM1K 多数层为负。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Mintaka 事实问答（分歧子集） | AUC 差值 (Self − Best External) | Gemma-2-9B: 0.017 (6.5%)；Llama-3.1-8B: 0.032 (6.4%)；Qwen-2.5-7B: 0.016 (3.2%)，均显著 | Best Cross-Model 与 Embedding 探针（AUC 约 0.50–0.60 区间） | 统计显著 +3%–7% 的 premium gap，证明事实任务存在特权知识 |
| TriviaQA 事实问答（分歧子集） | AUC 差值 (Self − Best External) | Gemma-2-9B: 0.018 (6.7%)；Llama-3.1-8B: 0.018 (3.5%)；Qwen-2.5-7B: 0.015 (3.4%) | Best Cross-Model/Embedding 探针 | +3.4%–6.7% 显著 premium gap，与全量样本上几乎为零的 gap 形成对照 |
| HotpotQA 多跳事实问答（分歧子集） | AUC 差值 (Self − Best External) | Gemma-2-9B: 0.021 (8.9%)；Llama-3.1-8B: 0.020 (4.2%)；Qwen-2.5-7B: 0.015 (3.4%) | Best Cross-Model/Embedding 探针 | Gemma-2-9B 取得全篇最大相对增益 8.9%，说明多跳事实记忆对外部观察者最难 |
| MATH 数学推理（分歧子集） | AUC 差值 (Self − Best External) | Gemma-2-9B: −0.006；Llama-3.1-8B: −0.005；Qwen-2.5-7B: −0.000 | Best Cross-Model/Embedding 探针 | 无显著优势，外部探针在多数配对下持平甚至反超，意味着数学正确性公开可读 |
| GSM1K 数学推理（分歧子集） | AUC 差值 (Self − Best External) | Gemma-2-9B: −0.025；Llama-3.1-8B: −0.014；Qwen-2.5-7B: −0.060 | Best Cross-Model/Embedding 探针 | 全部为负，Qwen-2.5-7B 在 GSM1K 上差距达 −14.5%，强力支持数学任务无特权知识 |
局限与改进
作者在论文第 7 节明确列出四点局限：第一，主分析仅覆盖 7B–9B 模型，附录里 Qwen-3-32B 实验虽然整体趋势一致，但更大的模型是否会出现新的特权结构（如推理链内部的私有正确性信号）仍未知；第二，任务域被限定在事实回忆与数学推理两类，代码、常识、工具使用等混合域是否同样存在领域特异性尚无证据；第三，探针选的是线性与 MLP，对更复杂的特权信号可能容量不足，作者在附录 A.2 报告 MLP 结果趋势与线性基本一致但具体数值更高（特别是 Gemma-2-9B 作为外部源时 9/9 占优），说明探针能力并非主要瓶颈，但确实不能排除更复杂信号被遗漏；第四，结论是相关性的，缺乏因果干预。读者层面还可以再加两点：分歧子集样本量较小、置信区间较宽（Figure 5 阴影区在归一化深度 0.5 处仍达 ±0.05），结论对子集选择敏感；embedding 探针用的是 Qwen3-Embedding-8B 这一具体选择，没有跑其他 embedding 模型，跨家族 embedding 的稳健性未验证。
独立分析的弱点
从实现角度看，最尖锐的弱点是分歧子集评估依赖外部模型答案做过滤，不同外部模型会给出不同的分歧子集。Figure 3 中 Gemma-2-9B 在 Mintaka 的 Llama→Llama 自对照里 $\Delta_{\text{AUC}} = -0.012$、Qwen→Qwen 自对照里 $-0.007$，说明连是否显著都会随选定外部源变动；改进方向是按多外部源求交集或用 leave-one-model-out 子集再检验。第二个弱点是结论高度依赖 AUC 这一聚合指标，分歧子集上 AUC 绝对值本身明显下降（说明该子集是高不确定区），此时 0.018 这样的差异虽统计显著，部署价值有限；可同时报告 precision@K、准确率。第三个弱点是探针只用末 token，对多 token 推理链场景（数学、CoT）信息可能不够；可补充 attention 池化、句中所有 token 平均或思维链末态表征。第四个弱点是层采样粒度为 5，可能错过仅在某一两层出现的瞬时特权信号；改成逐层探针或加 layer-wise 显著性检验。
未来方向
作者在第 6 节末尾与第 7 节点出两条主线：方法上把分歧子集协议扩展到代码、常识、工具使用等混合域；机制上做激活干预（activation steering）——如果在残差流中识别出对应的正确性方向并加扰动，应当能可预测地改变模型答案正确率。本文的层级定位（事实任务在 0.25–0.40 归一化深度起出现）已经为干预点提供了候选区间。可延伸的方向还包括：（a）把正确性换成幻觉、自信度、困惑度等更细粒度属性，看 premium gap 是否随属性类型变化；（b）跨训练阶段追踪——预训练、对齐、RLHF 之后，外部可读性 vs 特权信号的比例如何移动；（c）扩展到多模态 LLM，看视觉/语音 token 是否引入新的 $z_{\text{private}}$；（d）把分歧子集与模型不确定性度量（entropy、consistency）联动，作为哪些问题最有特权信息的检索信号。
复现评估
可复现性中等偏上。代码与数据未在论文正文给出明确链接，但作者声明基于三个开源模型（Llama-3.1-8B、Qwen-2.5-7B、Gemma-2-9B）与开源数据集（TriviaQA、HotpotQA、Mintaka、MATH、GSM1K），数据集规模与协议在 Appendix B/E 给出。计算量是主要门槛：3 个 7B–9B 模型在 5 个数据集上每隔 5 层抽取末 token 隐藏状态，再做 10 折 Nested Stratified K-Fold 训练线性 + MLP 两类探针，单卡 A100（80G）跑完整套估计需要数十到上百 GPU 小时，附录中 Qwen-3-32B 的尺度验证还会再翻倍。实现不依赖私有工具，主要栈是 HuggingFace Transformers + scikit-learn，可解释性框架建议用 TransformerLens 以便按层取 hidden states。复现难度中等——方法清晰但实验矩阵大，分歧子集的具体构造会因外部模型选择而出现数值差异，需要严格按论文 Table 复现 (target, source) 配对。
论文图表
堆叠柱状图，5 个数据集上跨模型对的平均一致/分歧比例：HotPotQA 17%/83%、Mintaka 23%/77%、TriviaQA 20%/80%、GSM1K 18%/82%、MATH 28%/72%。
为全量评估不可信提供机制层面的因果解释：约 80% 的样本里外部探针可以用代理信号直接命中目标，从而稀释了 premium gap。