语言模型中的线性表征会在对话过程中发生剧烈变化 Linear representations in language models can change dramatically over a conversation
语言模型的线性表征（如事实性维度）会随对话动态翻转，对可解释性构成挑战
前置知识
线性表征假说
神经网络中的高层概念（如事实性、伦理性）可以通过线性方向来表征。具体来说，模型的残差流中存在某些方向向量，当我们将模型对某个陈述的激活投影到这些方向上时，投影值的正负可以指示模型是否认为该陈述是事实性的或符合伦理的。这种结构最早在词嵌入的向量类比（如 king - man + woman ≈ queen）中被发现，后来被推广到大语言模型中更抽象的概念表征。
本文的核心研究对象就是这些线性表征如何在对话中发生变化，理解这一假说是读懂全文的基础
残差流（Residual Stream）
Transformer 架构中，每一层的输出会加到输入上形成残差连接，这个贯穿所有层的连续向量空间被称为残差流。研究者可以在每一层的残差流中提取模型对特定 token 的激活值，用于分析模型内部的表征。本文正是在每一层的残差流中提取对 yes/no 回答 token 的激活，来追踪表征如何随对话进展而变化。
本文的所有表征分析都基于从残差流中提取的激活值
Margin Score
本文定义的一个指标，用于量化线性分类器在表征空间中对正负答案的分离程度。具体计算公式为对所有问题的正答案分类器得分减去负答案分类器得分的平均值。当 margin 为正时，表示分类器能正确区分事实性与非事实性答案；当 margin 为负时，表示表征发生了翻转，分类器将非事实性答案误判为事实性，反之亦然。这个指标是本文追踪表征变化的核心工具。
理解这个指标才能理解论文中所有图表的含义和实验结论
上下文学习（In-Context Learning）
语言模型能够根据输入上下文中的示例或指令调整其行为的能力，而无需更新模型参数。例如通过 few-shot 示例让模型学习新任务。本文研究的是更广泛的上下文适应现象：模型在对话过程中会适应所扮演的角色，这种适应不仅体现在行为上，还体现在内部表征的重组上。
本文的核心论点是表征变化是上下文适应的一种表现形式
角色扮演（Role Play）
语言模型在对话中可能扮演特定角色，这种角色会塑造模型的内部表征。Murray Shanahan 等人提出的角色扮演框架认为，模型的行为变化可以理解为它在扮演不同的角色，而非真正改变了其'信念'。本文的实验证据支持这一观点：当模型在对话中扮演'意识论'的支持者时，其'真实性'表征会相应地翻转。
这是作者解释表征变化现象的核心理论框架
研究动机
近年来，语言模型内部存在线性表征的发现引发了广泛关注。研究者发现模型的残差流中存在与事实性、伦理性等高层概念相关的线性方向，这些方向被用于探测甚至控制模型行为（如通过激活引导实现安全对齐）。然而，这些工作大多假设表征是静态的——即一旦识别出一个'真实性'方向，就可以在整个序列中一致地解读其含义。但语言模型具有强大的上下文适应能力，会根据对话内容调整其行为和'信念'表达。目前尚不清楚这种行为层面的适应是否伴随着内部表征层面的变化。如果表征确实会随上下文变化，那么基于静态表征假设的可解释性方法（如稀疏自编码器 SAE、线性探针）可能会产生误导性的解读。
本文的目标是本文旨在系统研究语言模型线性表征在自然对话过程中的动态变化。具体目标包括：（1）追踪'真实性'和'伦理性'等概念的线性维度在对话进程中如何演变；（2）区分与对话相关的信息和通用信息的表征变化模式；（3）比较在线策略对话（on-policy）和离线策略对话（off-policy）对表征变化的影响；（4）评估这些变化对现有可解释性和安全方法的挑战。
与已有工作不同的是，本文的独特切入角度在于将行为层面的上下文适应与表征层面的动态变化联系起来。以往的可解释性工作要么关注静态表征分析，要么只研究行为层面的上下文学习，而本文首次在自然对话场景中同时追踪两者的关系。此外，作者通过精心设计的'反向日'（opposite day）实验，成功分离了行为变化与概念表征变化，揭示了一个关键发现：即使在行为被刻意反转的情况下，表征仍然会发生翻转，这表明表征变化可能是模型适应所扮演角色的内在机制，而不仅仅是行为模式的副产品。
核心方法
本文的方法可以概括为三个阶段：首先，构建平衡的是/否问题数据集，用于识别和评估模型的线性表征；其次，在对话过程中逐层提取模型对这些问题的激活值；最后，使用正则化逻辑回归识别'真实性'等概念的线性方向，并通过 margin score 量化表征随对话进展的变化。直觉上，如果模型的'真实性'表征是稳定的，那么在任何上下文中，事实性答案都应该投影到该方向的同一侧；但如果表征会随对话变化，那么投影可能在对话中途发生翻转。
本文的核心创新在于揭示了一个看似矛盾的现象：模型可以同时保持'知道'某个事实（通用信息表征稳定）和'改变'其对该事实的表征（上下文相关信息表征翻转）。这与以往认为线性表征具有稳定语义的假设形成鲜明对比。更重要的是，作者发现这些表征变化不需要模型实际生成对话——仅通过重放其他模型编写的对话脚本就能产生类似效果，这暗示表征变化是一种被动的上下文适应机制，而非模型主动'决策'的结果。
方法步骤详情
方法分为以下步骤：（1）数据集构建：为每个实验场景构建两类平衡的 yes/no 问题——通用问题（如基础科学事实）和上下文相关问题（如与对话主题直接相关的问题）。通过让语言模型生成问题然后改写使答案反转，确保数据集平衡。（2）表征提取：将模型置于不同上下文中（空提示、对话进行到第 N 轮），对每个问题的两种可能回答（Yes/No）进行评估，提取模型处理回答 token 时各层残差流的激活值。（3）线性方向识别：使用 90% 训练集和 10% 测试集，拟合正则化逻辑回归来识别'真实性'方向。关键的是，在训练集中包含'反向日'提示下的样本，以确保识别出的方向对行为反转具有鲁棒性。（4）表征变化追踪：在对话的不同轮次提取激活值，投影到识别出的线性方向上，计算 margin score 以量化表征的分离/翻转程度。（5）因果干预：在对话的不同点沿识别出的方向进行 steering，观察行为效果的变化。
技术新颖性
本文的技术新颖性体现在多个方面。首先，这是首次在自然对话场景中系统追踪线性表征的动态变化，而非仅在静态设置中分析。其次，作者设计了一个巧妙的'反向日'实验来分离行为变化与概念表征变化：通过在训练数据中包含反向日样本，识别出的行为鲁棒的'真实性'维度仍然会在后续对话中发生翻转，这证明了表征变化的深层性质。第三，margin score 的定义使得表征翻转可以用单一指标量化，负的 margin 直接表明表征发生了系统性反转。第四，通过对比对话与故事的实验设计，作者揭示了角色扮演（而非纯内容）是驱动表征变化的关键因素。
实验结果
本文的核心发现可以总结为以下几个方面：（1）'反向日'实验（Figure 2）：在空提示下识别的'真实性'维度能清晰分离事实性与非事实性答案，但在反向日对话进行 3 轮后，margin 从正值翻转为负值，幅度达到约 -40，表明表征发生了系统性反转。'伦理性'维度也呈现类似的翻转模式。（2）意识对话实验（Figure 3a）：在重放关于模型意识的对话时，通用问题的事实性表征基本保持稳定（margin 约 50-60），但上下文相关问题（如'你是否体验主观意识？'）的 margin 从 50 左右急剧下降到 -50 以下，表明表征发生了完全反转。（3）脉轮对话实验（Figure 3b）：类似地，在关于精神力量的对话中，上下文相关问题的 margin 从约 100 下降到 -50 以下，而通用问题保持稳定。（4）在线策略对话（Figure 4）：即使与模型实际进行对话（而非重放脚本），表征变化模式也 qualitatively 相似，margin 从约 60 下降到 0 附近。（5）角色扮演实验（Figure 5）：在两个模型就意识问题进行辩论的场景中，表征随着模型扮演不同角色而 oscillate，margin 在正负值之间交替，幅度约 30-90。（6）故事 vs 对话（Figure 6）：在虚构故事场景中，表征变化明显较弱，即使故事内容与对话实验相似，margin 下降幅度也远小于对话场景。（7）模型规模效应：Gemma 3 的 12B 模型显示较弱但相似的表征变化，而 4B 模型几乎没有变化，表明更大的模型具有更强的上下文适应能力。（8）跨模型验证：Qwen3 14B 在反向日实验中也显示了 qualitatively 相似的表征翻转模式。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 事实性表征分离（空提示，通用问题） | Margin Score | 约 60（Gemma 3 27B） | N/A（基线设定） | 验证了线性探针能有效识别事实性方向 |
| 反向日后表征翻转 | Margin Score | 约 -40（3 轮对话后） | 约 60（空提示） | 从正到负的完全翻转，幅度达 100 |
| 意识对话中上下文相关问题 | Margin Score | 约 -50（对话结束） | 约 50（对话开始） | 翻转幅度约 100 |
| 通用问题在对话中的稳定性 | Margin Score | 约 50-60（保持稳定） | 约 50-60（空提示） | 通用信息表征基本不受对话影响 |
局限与改进
作者承认了多项局限性：（1）由于每个问题集需要针对特定对话定制，评估的对话数量相对有限，主要集中在意识和脉轮两个主题上；（2）实验仅在 yes/no 问题上评估表征，对于开放式问题或复杂推理任务的表征变化尚未探索；（3）因果关系尚未完全确立——虽然 steering 实验显示表征干预在不同上下文中产生相反效果，但未能直接证明早期对话中的表征变化是否具有因果作用；（4）提出问题本身可能会改变模型的表征（如改变其扮演的角色），这是实验设计的潜在 confound；（5）机制层面的解释缺失——作者承认尚未建立表征变化的具体机制模型。此外，作者自己的观察表明：（6）实验主要在 Gemma 3 上进行，虽然有 Qwen3 的补充验证，但对其他架构（如 Llama、Mistral）的泛化性尚未充分验证；（7）'反向日'训练策略可能引入了特定的偏差，使得识别出的'鲁棒'维度可能并非真正的概念维度；（8）对于表征变化是'角色扮演'还是'信念更新'的争论，作者倾向于前者但未能提供决定性证据。
独立分析的弱点
本文存在几个值得深入探讨的弱点：（1）问题集的构建依赖语言模型生成然后人工筛选，可能存在系统性偏差——某些类型的问题可能更容易引发表征变化，而这种选择偏差可能影响结论的普适性；改进方向是开发更系统化、可扩展的问题生成方法，并在更大规模的问题集上验证结果。（2）线性探针方法本身具有局限性——逻辑回归只能捕捉线性可分的表征变化，对于非线性的表征重组可能无法检测；改进方向是结合非线性探针或表征相似性分析（如 CKA）来全面刻画表征变化。（3）实验设计中'通用问题'和'上下文相关问题'的划分是人工的，缺乏形式化定义；改进方向是开发自动化的相关性度量方法。（4）因果干预实验（Appendix B.8）仅在对话的不同位置进行 steering，未能直接测试表征变化的因果作用；改进方向是设计更精细的干预实验，如在对话中途干预特定层的表征。（5）缺乏对表征变化机制的深入分析——作者观察到现象但未能解释其背后的计算机制；改进方向是结合因果追踪（causal tracing）或激活修补（activation patching）来定位表征变化的源头。
未来方向
作者提出和本文结果暗示的未来研究方向包括：（1）开发能够适应表征动态变化的新型可解释性方法，特别是改进稀疏自编码器（SAE）以处理时序变化的表征；（2）研究表征变化的机制——是什么导致模型在对话中重组其内部表征，是注意力模式的变化还是特定层的计算？（3）探索表征适应性的双面性——如何利用上下文适应的积极方面（如有效的长文档理解）同时限制其消极方面（如越狱、妄想对话）；（4）开发更鲁棒的安全监控方法，能够适应表征的动态变化而非依赖静态假设；（5）研究表征变化与模型规模、架构、训练数据的关系，以理解为什么更大的模型表现出更强的适应性；（6）将研究扩展到多模态模型和更长的上下文场景（如处理整个代码库）；（7）探索是否可以通过训练策略来调控模型的表征适应程度，使其在需要时保持稳定（如安全关键场景）或保持灵活（如创意写作）。
复现评估
本文的复现条件相对较好：（1）模型方面，主要实验使用 Gemma 3 27B-IT，这是 Google DeepMind 的开源模型，可以直接获取；补充实验使用 Qwen3 14B，也是开源模型。（2）数据方面，作者使用了从 prior work 获取的对话素材以及通过 Gemini 2.5 生成的新对话，部分对话已公开发表（如 Shanahan and Singler, 2024 的意识对话）；问题集的构建方法有详细描述但未提供现成数据。（3）代码方面，论文未明确提及是否开源代码，但方法描述足够详细，使用标准的 scikit-learn 逻辑回归和 PyTorch 提取激活，复现门槛不高。（4）算力方面，Gemma 3 27B 的推理需要较大的 GPU 内存（约 60GB），但不需要训练，主要是前向推理和激活提取。（5）复现难度中等——核心方法（线性探针 + margin score 计算）是标准技术，但需要仔细构建问题集和设计对话脚本。总体而言，有经验的研究者应该能够在 1-2 周内复现核心结果。
论文图表
