稀疏自编码器的合理性检验：SAE是否能超越随机基线？ Sanity Checks for Sparse Autoencoders: Do SAEs Beat Random Baselines?
SAE未能学到有意义的特征分解，随机基线与其表现相当
前置知识
稀疏自编码器 (Sparse Autoencoder, SAE)
SAE是一种用于解释神经网络内部激活的工具。其核心思想是将密集的激活向量 $\mathbf{x} \in \mathbb{R}^n$ 分解为稀疏的特征组合 $\mathbf{x} \approx \sum_{j=1}^{m} z_j \cdot \mathbf{d}_j = \mathbf{W}_{\text{dec}}\mathbf{z}$，其中 $\mathbf{d}_j$ 是字典向量，$z_j$ 是稀疏激活系数。SAE通过编码器 $\mathbf{z} = f(\mathbf{W}_{\text{enc}}\mathbf{x} + \mathbf{b}_{\text{enc}})$ 和解码器 $\hat{\mathbf{x}} = \mathbf{W}_{\text{dec}}\mathbf{z} + \mathbf{b}_{\text{dec}}$ 实现这一分解。训练目标是最小化重构损失并鼓励稀疏性：$\mathcal{L} = \mathbb{E}\|\mathbf{x} - \hat{\mathbf{x}}\|_2^2 + \lambda\|\mathbf{z}\|_1$。典型的扩展因子 $k = m/n$ 为16到64，用于学习超完备字典。
本文的核心研究对象，理解SAE的工作原理是评估其是否学到有意义特征的前提
叠加假说 (Superposition Hypothesis)
叠加假说认为神经网络通过将多个特征编码为激活空间中的方向，从而表示比维度数量更多的特征。形式化地，对于激活向量 $\mathbf{x} \in \mathbb{R}^n$，可以表示为 $\mathbf{x} = \sum_{j=1}^{m} a_j \cdot \mathbf{f}_j$，其中 $m \gg n$，$\mathbf{f}_j$ 是底层特征方向，$a_j$ 是稀疏的非负系数。这个假说是SAE存在的理论基础。
SAE的目标就是发现这些底层特征，本文通过合成实验验证SAE是否真的能恢复这些特征
解释方差 (Explained Variance)
衡量SAE重构质量的主要指标，定义为 $\text{EV} = 1 - \frac{\mathbb{E}\|\mathbf{x} - \hat{\mathbf{x}}\|_2^2}{\mathbb{E}[\|\mathbf{x} - \mathbb{E}[\mathbf{x}]\|_2^2]}$。该指标范围从0（重构不优于均值预测）到1（完美重构）。高解释方差通常被认为表明SAE学到了有意义的特征分解。
本文的核心发现之一是高解释方差并不一定意味着SAE学到了真正的特征，这是一个关键的认知反转
特征恢复率 (Feature Recovery)
在合成实验中，用于衡量SAE是否能恢复真实底层特征的指标。计算方式为每个真实特征 $\mathbf{f}_i$ 与其最近的SAE潜在表示之间的最大余弦相似度：$\text{Recovery}(\mathbf{f}_i) = \max_j \frac{\langle \mathbf{f}_i, \mathbf{W}_{\text{dec}}^j \rangle}{\|\mathbf{f}_i\|_2 \cdot \|\mathbf{W}_{\text{dec}}^j\|_2}$。高相似度得分（如>0.8）表示SAE成功对齐了学习特征与真实特征。
这是衡量SAE核心功能是否成功的直接指标，本文发现SAE在此指标上表现极差
AutoInterp分数
自动化可解释性评估方法。首先选择200个随机SAE潜在特征，收集每个特征的前15个最高激活序列，让LLM（如GPT-4o-mini）生成特征描述。然后创建测试集（100个序列：50个激活序列和50个随机非激活序列），让另一个LLM根据描述预测序列是否激活该特征。分类准确率即为AutoInterp分数。
本文发现随机基线也能获得高AutoInterp分数（0.87-0.90），挑战了高可解释性等于学到有意义特征的观点
稀疏探测 (Sparse Probing)
评估SAE潜在特征能否在无监督情况下隔离特定概念（如情感、语法）。对于每个概念，选择均值激活最高的top-k潜在特征，在这些特征上训练线性探测器来预测概念。高探测准确率表明潜在特征以解耦方式捕获了目标概念。评估涵盖五个概念类型：职业分类、产品分类与情感分析、语言识别、编程语言分类、新闻主题分类。
本文发现冻结随机组件的SAE在稀疏探测上也能达到与完全训练SAE相当的表现
RAVEL因果编辑
评估SAE潜在特征是否编码因果独立概念的框架。给定事实陈述（如巴黎在法国），用SAE编码主语token（如巴黎），训练二元掩码从另一个token（如东京）转移潜在值，解码回残差流。成功的编辑应改变目标属性（如现在说巴黎在日本）而保持其他属性不变（如巴黎人说法语）。RAVEL分数取因果指标和隔离指标的平均值。
本文发现冻结组件的SAE在因果编辑上也能达到竞争性表现，进一步质疑SAE学到有意义特征的假设
研究动机
稀疏自编码器（SAE）已成为解释神经网络内部机制的主流工具，已被成功扩展到Claude 3 Sonnet、GPT-4和Gemma等前沿模型。然而，近年来出现了一系列令人担忧的负面结果：Smith等人（2025）和Wu等人（2025）发现SAE在下游任务中表现不佳；Leask等人（2025）和Menon等人（2025）发现SAE有时无法忠实表示真实的模型计算；Heindrich等人（2025）和Kantamneni等人（2025）发现SAE在任务和扰动间的泛化能力差；Chanin等人（2025b，2025a）发现SAE会学习到被腐蚀的特征，如特征吸收和特征对冲。更令人困惑的是，SAE可以在标准评估指标（重构保真度、可解释性、稀疏探测）上获得高分，却未能捕获真正有意义的结构。这种声称的好处与记录的局限之间的张力，使得一个根本性问题变得紧迫：SAE是否真的学到了有意义的特征分解，还是仅仅优化了重构指标？
本文的目标是本文的目标是系统性地评估SAE是否学到了有意义的特征分解。具体而言，作者设计了两个互补的评估方案：第一，在已知真实特征的合成环境中测试SAE的特征恢复能力；第二，在真实LLM激活上，通过引入三个随机基线来测试SAE是否优于随机初始化的模型。如果SAE真正学到了有意义的特征，它们应该显著优于这些基线。作者希望通过这些实验为SAE评估建立更严格的标准。
与已有工作不同的是，本文的独特切入角度在于引入了简单但有效的随机化基线。以往对SAE的评估主要关注SAE自身的表现（重构质量、可解释性分数等），而没有与随机基线进行系统性比较。作者提出了三个容易实现的基线：（1）冻结解码器，将解码器向量固定在随机初始化值；（2）软冻结解码器，将解码器向量约束在与初始值余弦相似度不低于0.8的范围内；（3）冻结编码器，将编码器向量固定在随机初始化值。这些基线的逻辑很简单：学习到的方向和激活模式代表了学习到的分解，如果SAE学到了有意义的特征，它们应该显著优于这些基线。此外，作者还在合成环境中设计了更现实的实验设置，使用了32倍的扩展因子（与实际应用一致），而非以往研究中使用的2倍扩展因子。
核心方法
本文的方法论可以分为两个互补的部分。第一部分是合成实验，作者构建了一个已知真实特征的受控环境，直接测试SAE是否能恢复底层特征。第二部分是真实LLM实验，作者引入了三个随机化基线，通过比较完全训练的SAE与这些基线在下游任务上的表现，来评估SAE是否学到了有意义的特征分解。整体思路是：如果SAE真的学到了有意义的特征，它们应该在合成实验中恢复大部分真实特征，并且在真实实验中显著优于随机基线。这个方法论的核心创新在于将评估焦点从SAE自身表现如何转向SAE是否比随机更好。
本文的核心创新点是引入了三个简单但有效的随机化基线来评估SAE。这些基线的本质区别在于，它们测试了SAE的三个核心假设：（1）学习到的解码器方向是否有意义，通过冻结解码器测试；（2）解码器方向是否需要远离随机初始化，通过软冻结解码器测试；（3）学习到的编码器激活模式是否有意义，通过冻结编码器测试。如果SAE真的学到了有意义的特征分解，那么这些基线应该表现很差，因为它们的关键组件被固定在随机值上。然而，实验结果表明这些基线与完全训练的SAE表现相当，这直接挑战了SAE学到有意义特征的假设。
方法步骤详情
本文的方法包含以下步骤：（1）合成数据生成：生成3200个真实特征向量 $\mathbf{f}_i$，每个从单位球面均匀采样。每个样本 $\mathbf{x} \in \mathbb{R}^{100}$ 是这些特征的稀疏组合，由 $\mathbf{x} = \sum_{i=1}^{3200} b_i \cdot c_i \cdot \mathbf{f}_i$ 生成，其中 $c_i \sim \text{Log-Normal}(0, 0.25)$ 控制系数大小，$b_i \sim \text{Bernoulli}(p_i)$ 决定特征是否激活。测试两种激活概率设置：常数概率模型（$p_i = 0.00625$）和可变概率模型（$p_i \sim \text{Log-Uniform}(10^{-5.5}, 10^{-1.2})$）。（2）SAE训练：在Gemma-2-2B第12层和第19层、Llama-3-8B第16层的残差流激活上训练BatchTopK、JumpReLU和ReLU SAE，使用500M OpenWebText tokens，上下文长度512，扩展因子32，字典大小分别为73,728和131,072。（3）基线实现：实现三个基线，冻结解码器（$\mathbf{W}_{\text{dec}}$ 固定在随机初始化）、软冻结解码器（$\mathbf{W}_{\text{dec}}$ 约束在与初始值余弦相似度不低于 $\tau=0.8$ 的范围内）、冻结编码器（$\mathbf{W}_{\text{enc}}$ 固定在随机初始化）。（4）评估：使用解释方差、AutoInterp、稀疏探测和RAVEL因果编辑四个维度进行评估。
技术新颖性
本文的技术新颖性体现在三个方面：首先，引入了三个简单但有效的随机化基线，这些基线的实现成本极低，但提供了强有力的零假设检验。其次，在合成实验中使用了更现实的扩展因子32倍（以往研究使用2倍），这更接近实际应用中的设置。第三，系统性地比较了SAE在合成和真实环境中的表现，揭示了一个关键的断开：SAE在重构指标上表现良好（71%解释方差），但在特征恢复上表现极差（仅9%）。这种断开表明，重构保真度可能不是衡量SAE是否学到有意义特征的良好代理指标。此外，作者发现软冻结解码器基线特别有趣，它揭示了SAE可能处于懒惰训练状态，即通过最小化重构损失的微小调整就能大幅降低损失，而不需要实质性改变潜在表示的核心语义。
实验结果
本文的核心发现可以分为三个层面。首先，在合成实验中，SAE在最简单的设置中就失败了。在常数概率设置中，BatchTopK和JumpReLU SAE都达到了约0.67的解释方差，但仅恢复了3200个真实特征中的3个（余弦相似度大于0.8）。在更现实的可变概率设置中，SAE达到了0.71的解释方差，但仅恢复了9%的真实特征（BatchTopK恢复297/3200，JumpReLU恢复225/3200），且恢复高度不均匀，SAE几乎只捕获了最高频的特征。其次，在真实LLM实验中，冻结随机组件的基线与完全训练的SAE表现相当。在AutoInterp可解释性评估中，软冻结解码器BatchTopK SAE得分0.88，仅比完全训练的0.90低0.02。在稀疏探测中，冻结解码器变体在L0=225时达到0.70，与完全训练模型的0.70相同。在RAVEL因果编辑中，完全训练模型得分0.72-0.74，冻结解码器0.57-0.62，但软冻结解码器高达0.78。第三，作者通过定性分析发现，即使是冻结组件的基线也能产生单语义、可解释的潜在特征，这些特征捕获了抽象概念，如表达善意的词语、指示未来事件的时间表达和运动队名称。这些发现共同表明，SAE在当前状态下可能没有可靠地分解模型的内部机制。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 合成特征恢复（可变概率设置） | 特征恢复率（余弦相似度大于0.8） | BatchTopK: 9.3% (297/3200), JumpReLU: 7% (225/3200) | 理想情况应恢复大部分特征 | SAE仅恢复最高频特征，90%以上的特征未被覆盖 |
| AutoInterp可解释性评估 | AutoInterp分数 | 完全训练BatchTopK: 0.90 | 软冻结解码器: 0.88, 冻结编码器: 约0.7 | 仅0.02-0.03的差距，基线与完全训练模型表现相当 |
| 稀疏探测（k=1, L0=225） | 探测准确率 | 完全训练BatchTopK: 0.70 | 冻结解码器: 0.70, 冻结编码器: 0.65 | 冻结解码器与完全训练模型相同，差距仅0.05 |
| RAVEL因果编辑（L0=160） | RAVEL分数 | 完全训练BatchTopK: 0.72-0.74 | 冻结解码器: 0.57-0.62, 软冻结解码器: 最高0.78 | 软冻结解码器甚至超过完全训练模型 |
局限与改进
本文有两个主要局限性。首先，合成实验假设特征激活是独立的，忽略了真实神经网络中可能存在的特征间相关性。然而，作者指出当前SAE架构在这种简化设置中已经失败，引入更现实的依赖关系不太可能改善其表现。此外，如何在不做出任意假设的情况下适当地在合成设置中建模这些协方差仍然是开放问题。其次，作者聚焦于标准SAE架构，没有评估相关的转码器（transcoders）或交叉编码器（crosscoders）方法。为这些具有不同训练目标的方法设计适当的随机化基线仍然是一个挑战。从作者未明确讨论的角度看，还有一些值得关注的局限性：本文的实验主要基于Gemma-2-2B和Llama-3-8B这两个相对较小的模型，尚不清楚结果是否能推广到更大的前沿模型；评估框架（AutoInterp、稀疏探测、RAVEL）本身可能也有局限性，高分不一定意味着真正有意义的特征；作者提出的基线虽然简单有效，但可能过于激进，即使是随机方向也可能捕获某些统计模式，这使得基线的表现可能被高估。
独立分析的弱点
本文有几个值得深入探讨的弱点。首先，作者使用的评估框架（AutoInterp、稀疏探测、RAVEL）本身可能存在局限性。AutoInterp依赖LLM生成和验证特征描述，这可能引入系统性偏差；稀疏探测的线性探测器可能过于简单，无法捕获复杂的特征关系；RAVEL因果编辑可能无法全面评估特征的因果性质。这些评估工具的局限性可能使得基线的高表现被过度解读。其次，作者的合成实验虽然使用了更现实的扩展因子，但仍然假设特征是单位球面上的均匀分布，这与真实神经网络中的特征分布可能有显著差异。改进方向包括：设计更复杂的合成数据生成机制，模拟真实特征的分布和相关性；引入更多元的评估指标，不仅关注分数的绝对值，还关注特征的语义质量和因果结构；在更大规模的前沿模型上验证结果，确保结论的普适性。
未来方向
作者在讨论部分提出了几个未来研究方向。首先，探索不依赖重构保真度的训练目标，而是直接激励特征对齐。这可能包括引入对比学习、因果发现或信息论目标。其次，作者强调他们的基线实现简单，如果未来的SAE架构能显著超越这些基线，将提供更强的证据表明学到了有意义的特征。从本文成果可延伸的方向包括：（1）设计针对特定任务优化的SAE变体，而非追求通用的特征分解；（2）探索混合方法，结合SAE与其他可解释性技术（如注意力分析、探针分类）；（3）研究SAE的懒惰训练现象，理解为什么SAE倾向于找到简单的重构解决方案而非真正的特征分解；（4）开发新的评估框架，不仅评估特征的统计性质，还评估其语义一致性和因果结构；（5）将本文的随机化基线方法论应用到其他可解释性工具的评估中，建立更严格的评估标准。
复现评估
本文的复现性非常好。作者明确声明将公开发布所有代码、超参数和训练好的SAE，以确保完全可复现。实验设置清晰明确：使用Gemma-2-2B（第12层和第19层）和Llama-3-8B（第16层）作为基础模型，扩展因子32，字典大小73,728和131,072，使用500M OpenWebText tokens训练，上下文长度512，AdamW优化器，学习率 $2 \times 10^{-4}$，批量大小4098。所有模型共享相同的初始化、数据排序和超参数，确保公平比较。三个基线的实现也非常简单，只需要修改SAE的一个组件（解码器或编码器）的冻结状态。合成实验的设置也清晰可复现：3200个真实特征从单位球面均匀采样，两种激活概率模型都有明确的数学定义。复现的主要挑战可能在于计算资源需求，在大规模模型上训练SAE需要显著的GPU时间，但本文使用的模型规模相对较小（2B和8B参数），使得复现门槛相对较低。
论文图表
