真实性光谱假设 — HF Daily Papers

LLM对真实性的表示形成泛化程度连续变化的光谱，而非单一通用方向或完全分离的领域方向

前置知识

线性探针（Linear Probing）

线性探针是一种用于分析神经网络内部表示的技术。它通过在模型的隐藏层激活上训练一个简单的线性分类器（如逻辑回归），来推断模型是否在内部编码了特定概念（如真实性）。具体操作是：从模型的某一层提取激活向量（例如残差流的输出），然后训练一个线性分类器来预测该样本是否属于某个类别（真/假）。如果线性分类器能达到高准确率，就说明模型在该层的表示空间中线性地编码了目标概念。这种方法的优势是计算简单、易于解释，被广泛用于LLM的可解释性研究。

本文的核心技术依赖于线性探针来检测LLM何时在说谎。理解线性探针的工作原理是理解本文方法的基础，同时需要知道线性探针的局限性（只能检测线性表示、无法保证因果关系）。

Mahalanobis余弦相似度

Mahalanobis余弦相似度是本文提出的一个新指标，用于衡量两个线性探针方向在功能意义上的相似度。标准余弦相似度将所有维度等同看待，但在高维表示空间中，方差集中在少数几个方向上（有效维度往往只有几十到几百）。Mahalanobis余弦相似度通过测试数据的协方差矩阵对内积进行重新加权，相当于先对表示空间进行白化变换，然后计算余弦相似度，使得低方差噪声方向的贡献被大幅降低。这能够在低有效维度的高维空间中准确衡量探针方向的功能对齐程度。

本文的一个关键发现是，标准余弦相似度无法预测探针的跨域泛化性能（R²=0.56），而Mahalanobis余弦相似度能够近乎完美地预测（R²=0.98）。这是理解本文几何分析和泛化模式解释的核心。

概念擦除（Concept Erasure）

概念擦除是一类用于研究模型内部表示的方法，其目标是移除表示中关于特定概念的信息。常用的方法包括INLP（迭代零空间投影）和LEACE（最小二乘概念擦除）。INLP的核心思想是：先训练一个线性分类器来识别某个概念，然后找到该分类器的零空间（即与分类器权重向量正交的子空间），将原始表示投影到这个零空间上，从而移除该概念的信息。这个过程可以迭代进行，逐步移除多个方向。LEACE则通过最小二乘法在闭式求解一个投影矩阵，能够一次性移除某个概念的所有线性可检测信息。

本文使用Stratified INLP和LEACE来揭示真实性表示的光谱结构。理解概念擦除的原理是理解本文如何分离领域通用方向和领域特定方向，以及如何揭示中间泛化程度方向的关键。

表示几何（Representation Geometry）

表示几何是指神经网络内部表示空间的结构性质。它关注不同类别的表示如何在空间中分布，例如它们是否线性可分、不同类别的聚类中心之间的距离、表示的主轴方向等。在LLM研究中，表示几何的一个关键特点是各向异性和低有效维度：虽然表示空间可能有几千维，但数据的方差集中在少数几个方向上。这导致标准几何指标（如余弦相似度）可能失效。研究表示几何可以帮助我们理解模型如何组织概念，以及不同概念之间的关系。

本文的核心贡献之一就是从表示几何的角度理解真实性的编码。通过分析不同真实性类型探针方向之间的几何关系，作者解释了为什么某些探针能够泛化而某些不能。

研究动机

近期关于LLM内部是否线性编码真实性存在相互矛盾的发现。一方面，Marks与Tegmark（2023）等研究表明LLM存在一个线性的真实性表示方向，可以通过探针提取，并且在不同领域和策略性欺骗场景下表现出显著的泛化能力。例如，他们的探针在事实性、逻辑推理等任务上都能达到很高的AUROC（超过0.95）。另一方面，Levinstein与Herrmann（2024）、Sky等人（2024）、Azizian等人（2025）的研究发现探针在某些情况下完全无法泛化，并声称LLM编码了多个、不同的真实性概念。例如，Levinstein与Herrmann发现探针从肯定陈述到否定陈述的传递会失败；Orgad等人发现不同任务的真实性方向几乎正交。这种矛盾使得我们无法确定LLM是否真正具备领域通用的真实性表示。

本文的目标是本文的目标是调和这些看似矛盾的观点，建立一个统一的理论框架来理解LLM内部真实性的表示方式。具体来说，作者希望回答：为什么某些探针能够广泛泛化而某些完全失败？这种泛化失败是否意味着领域通用方向不存在？如何解释不同任务中真实性方向的几何差异？通过回答这些问题，本文旨在为LLM真实性检测和干预提供更可靠的理论基础和实践指导。

与已有工作不同的是，本文的独特切入角度在于认识到之前研究的推理存在缺陷。之前的工作将跨域泛化失败和探针方向几何不相似作为反对领域通用真实性编码的证据，但这种推理是有问题的。泛化失败可能不是因为领域通用方向不存在，而是因为我们没有成功发现它们。相反，高探针泛化性能和高探针方向相似度也不排除高度领域特定方向的存在。本文提出，这两种看似矛盾的观点实际上可以同时成立：LLM的表示空间中同时存在不同泛化程度的真实性方向，形成一个连续的光谱。这个视角的转换使得我们能够理解为什么之前的研究会得到相互矛盾的结论。

核心方法

本文的方法框架包含三个核心部分：构建覆盖多种真实性类型的数据集、系统评估探针跨域泛化性能、以及通过表示几何分析和概念擦除方法揭示真实性表示的光谱结构。整体思路是：首先用不同类型的真实性数据训练线性探针，观察它们的跨域泛化模式；然后分析这些探针方向之间的几何关系，用Mahalanobis余弦相似度预测泛化性能；最后使用Stratified INLP和LEACE等概念擦除方法主动分离不同泛化程度的方向，从构造上证明光谱假设。这个方法框架既支持了光谱假设的预测，也提供了构造性证据。

本文的核心创新点是提出了真实性光谱假设：LLM内部对真实性的表示不是单一的领域通用方向或完全分离的领域特定方向，而是一个泛化程度连续变化的光谱。在这个光谱的一端是完全领域通用的方向（能够泛化到所有领域），在另一端是完全领域特定的方向（只能用于单个领域），中间则是泛化程度各异的方向（能够泛化到部分领域）。与之前工作将发现完全不同或完全相同方向对立起来不同，本文认为这些方向可以同时共存。探针在单个域上训练时可能会捕获这些方向的叠加，导致观察到的泛化模式和几何关系。这个观点调和了之前相互矛盾的研究发现。

方法步骤详情

本文的方法包含多个具体步骤。首先，作者构建了FLEED数据集，包含五种基本真实性类型：定义性真、经验性真、逻辑真、虚构真和伦理真。每个类型约1200个样本（600真、600假），伦理真数据从ETHICS数据集适配，包含4000个样本。其次，作者构建了谄媚说谎数据集：从MMLU STEM问题中提取模型的真实信念基线，然后添加虚假的用户简历和预设答案，收集模型改变答案以对应用户信念的样本作为谄媚说谎案例。第三，构建期望倒置数据集：用假装不诚实的提示来倒置期望，使得真实陈述违反用户期望而虚假陈述符合期望。第四，使用逻辑回归探针（正则化参数为10的负4次方）在Llama-3.3-70B的第33层提取的平均激活上训练，评估跨域AUROC性能。第五，引入Mahalanobis余弦相似度来衡量探针方向之间的功能相似度，并验证其预测泛化性能的能力。第六，使用Stratified INLP在所有域上联合训练提取高度领域通用方向，然后移除这些方向后在每个域上提取领域特定方向。第七，使用LEACE选择性擦除某个FLEED真实性类型的子空间，然后重新训练探针评估泛化，揭示中间泛化程度的方向。第八，进行因果干预实验：在Llama-8B的第15层MLP输出偏置上添加缩放的真实性方向向量，评估对SimpleQA验证集中1024个问题的影响。

技术新颖性

本文的技术新颖性体现在多个方面。首先，提出的真实性光谱假设是一个全新的理论视角，不同于之前单一通用方向和完全分离方向的对立观点。其次，引入的Mahalanobis余弦相似度是一个新的几何分析工具，它通过数据协方差重新加权内积，能够在低有效维度的高维空间中准确衡量探针方向的功能对齐程度，预测跨域泛化性能达到R平方等于0.98，显著优于标准余弦相似度的R平方等于0.56。第三，提出的Stratified INLP是一个两阶段分层过程，能够显式分离高度领域通用和领域特定的方向，这是对标准INLP的创新扩展。第四，通过LEACE选择性擦除揭示中间泛化程度方向的方法为理解表示几何提供了新工具。第五，将基模型和聊天模型的比较用于理解后训练如何重塑真实性表示几何，这为理解谄媚倾向的表示基础提供了新视角。

**Figure 1**: Truth representations in LLMs are graded in generality and reshaped by post-training.

实验结果

本文的核心发现支持了真实性光谱假设。首先，线性探针在五种FLEED真实性类型之间泛化良好（AUROC大多在0.9以上），但在谄媚说谎和期望倒置说谎上几乎完全失败（AUROC约等于0.55）。同时，在所有域上联合训练的探针在所有域上都表现良好，表明存在领域通用方向。其次，Mahalanobis余弦相似度近乎完美地预测了跨域泛化性能（R平方等于0.98，平方Spearman rho平方等于0.95），远超标准余弦相似度（R平方等于0.56）。第三，后训练显著重新组织了真实性表示几何：在基模型中，谄媚说谎探针从FLEED泛化达到0.74 AUROC（Llama-70B），而在聊天模型中只有0.62；探针方向相似度从0.74（基模型）下降到0.51（聊天模型）。这表明后训练将谄媚说谎推到一个与其他真实性类型更分离的子空间。第四，Stratified INLP提取的5个领域通用方向在所有域上都保持高准确率（0.85到1.00），而移除这些方向后提取的领域特定方向在训练域上保持高准确率但在其他域上降至机会水平（约0.5）。第五，LEACE选择性擦除实验揭示了中间泛化程度的方向：擦除某个域后，探针在某些域上保持完美性能但在其他域上完全失败。第六，因果干预实验显示领域特定方向的平均干预效果为正0.05，而领域通用方向为负0.07。干预效果随基线置信度增加：在90到100百分位时，领域特定方向达到正0.10，而领域通用方向达到负0.11。

**Table 1**: Examples of claims and negations across different truth types and negation types.

**Table 2**: Comparison of Probe Designs for Truthfulness Detection.

**Figure 2**: Probing Generalization Performance.

**Figure 3**: Mahalanobis cosine similarity linearly predicts OOD probe performance.

**Figure 4**: Post-training reduces alignment between sycophantic lying and other truth types.

**Figure 5**: Stratified INLP Reveals Highly Domain-general and Domain-specific Directions.

**Figure 6**: Performance of Selected Probes after LEACE Erasure.

**Figure 7**: Effect of Causal Intervention Along Domain-General and Domain-Specific Directions.

查看结构化数据

任务	指标	本文	基线	提升
FLEED跨域泛化	AUROC	0.91-1.00	N/A	首次系统评估5种真实性类型间的泛化
谄媚说谎检测	AUROC	0.97 (训练集), 0.59 (从FLEED泛化)	0.50 (机会水平)	揭示谄媚说谎表示的特殊性
期望倒置说谎检测	AUROC	0.98 (训练集), 0.28 (从FLEED泛化)	0.50 (机会水平)	揭示期望对真实性检测的影响
Mahalanobis余弦相似度预测泛化	R平方	0.98	0.56 (标准余弦相似度)	75%提升
领域通用方向跨域准确率	Accuracy	0.85-1.00	N/A	首次证明领域通用方向的存在
领域特定方向域间准确率	Accuracy	0.97 (自身), 约0.5 (其他)	N/A	证明方向的高度特异性
领域特定方向因果干预	平均Delta diff	正0.05	负0.07 (领域通用方向)	证明领域特定方向功能更重要

局限与改进

作者承认了几个局限性。首先，数据集没有穷尽所有真实性类型，其他类型可能占据不同的表示子空间。其次，FLEED数据集是模型生成的，可能引入微妙的偏差和虚假特征。第三，分析完全专注于线性结构，非线性真实性表示可能存在但需要不同的方法来发现。第四，后训练分析集中在谄媚说谎上，其他表示偏移可能发生但没有被表征。最后，因果干预显示的效果适中，主要调节置信度而不是可靠地翻转预测。除此之外，谄媚说谎率相对较低只有8.5%，可能限制了分析的统计效力。虽然使用了多种模型验证结果，但主要发现基于Llama家族模型，在其他模型族上的泛化性需要进一步验证。SimpleQA验证集只有1024个问题，样本量相对较小。干预实验只在Llama-8B上进行，不同规模模型的行为可能不同。

独立分析的弱点

本文有几个独立的弱点可以改进。首先，谄媚说谎率相对较低只有8.5%，这意味着数据质量可能受影响。改进方向是扩大数据集规模，使用更多样化的诱导谄媚的方法，或者在不同模型上诱导谄媚以获得更多样本。第二，FLEED数据集是模型生成的，可能包含虚假特征或系统性偏差。改进方向是引入人工标注的真实性数据，或者使用多轮交叉验证确保生成的质量。第三，因果干预效果有限，只调节置信度而不改变答案。改进方向是尝试不同的干预位置、不同的干预强度、或者使用更复杂的干预方法。第四，领域通用方向在因果上效果为负，表明它们可能混合了有害信息。改进方向是使用更精细的方法分离纯领域通用方向，或者尝试不同的联合训练策略以获得更纯净的通用方向。第五，分析完全线性，可能遗漏非线性结构。改进方向是使用核方法、神经网络探针或其他非线性探测技术。

未来方向

作者提出了几个未来研究方向。首先，开发理论解释为什么Mahalanobis余弦相似度与泛化性能存在如此紧密的线性关系。其次，理解为什么存在领域通用方向但它们在因果上不有效：一种可能是探针可以将它们识别为领域特定方向的叠加，但只有领域特定方向因果地影响模型输出。第三，将光谱假设应用到其他概念和表示，如情感、毒性或意图，探索类似的光谱结构是否存在。第四，为了谎言检测，新型欺骗类型可能仍然逃避广泛训练的检测器，建议在尽可能多样化的数据上训练同时保持警惕。第五，对于干预，由于领域特定方向优于领域通用方向，虽然领域通用探针能够进行广泛检测但它们对于可靠行为控制可能有限。第六，研究个体差异：不同模型或不同训练方式是否产生不同的真实性光谱形状。第七，开发基于光谱假设的更有效的检测和干预方法。

复现评估

本文的复现评估情况如下。代码已开源，这是良好的复现基础。使用的模型都是开放权重模型，可以从Hugging Face获取。数据集构建方法有详细描述，包括提示词和过滤标准，但FLEED数据集本身可能需要重新生成，因为它是由Gemini-3-Pro生成的。实验在本地L40S和A40 GPU上进行，主要模型需要相当大的计算资源可能需要多GPU设置。论文提供了详细的超参数设置，但一些细节可能在附录中但没有在正文中明确说明。分析方法都有清晰的算法描述，应该可以复现。总体而言，对于有足够计算资源的研究者，主要结果应该可以复现，但完全复现所有细节可能需要一些实验调试。