不稳定特征、可重现子空间：理解稀疏自编码器中的种子依赖性 Unstable Features, Reproducible Subspaces: Understanding Seed Dependence in Sparse Autoencoders
SAE训练中的不稳定特征集中在可重现低秩子空间，可通过跨种子特征池化构建更稳定的字典
前置知识
稀疏自编码器（Sparse Autoencoder, SAE）
SAE是一种用于分解神经网络隐藏状态的工具，它将高维隐藏向量表示为稀疏的线性组合：z = σ(W_enc h + b_enc)，重建为ĥ = W_dec z + b_dec。每个系数z_i表示特征i的激活强度，通过稀疏性约束（如TopK或ℓ1正则化）使大多数特征在任意给定位置保持非激活状态，从而学得可解释的特征。SAE的训练目标是重建损失加上稀疏正则化：L = ∥h - ĥ∥²₂ + αL_reg(z)。
本文的核心研究对象就是SAE在相同数据和模型但不同随机种子下学到的特征集合的差异，理解SAE的基本架构是理解本文实验设计的前提。
种子依赖性（Seed Dependence）
指在相同数据、相同模型架构和超参数设置下，仅改变随机初始化种子就导致学习到不同特征集合的现象。Paulo和Belrose（2025）最早系统性地报告了这一问题，显示SAEs可以学习到substantially different features。这种依赖性挑战了SAE特征作为神经网络的规范分析单元（canonical units of analysis）的观点。
本文旨在研究为什么会出现这种依赖性，以及不稳定特征是否意味着这些特征是无意义的噪声，还是反映了某些更深层的结构。这是理解SAE可靠性和解释性的关键问题。
特征匹配与余弦相似度（Feature Matching & Cosine Similarity）
为了比较两个SAEs学习到的特征，本文使用解码器向量之间的余弦相似度作为匹配标准。给定两个SAEs A和B的解码器列{e(A)_i}和{e(B)_j}，称特征i和j匹配如果cos(e(A)_i, e(B)_j) ≥ θ，本文主要使用θ = 0.7作为阈值。这种多对一匹配方法（对每个A中的特征找B中最相似的）比匈牙利匹配计算成本更低，且能估计单个特征的稳定性。
特征匹配是本文量化稳定性的核心技术手段，通过余弦相似度判断不同种子训练的特征是否表示相同的语义或功能方向。
特征重现概率（Feature Reappearance Probability）
本文提出的核心指标，衡量单个特征在独立训练的SAEs中重新出现的概率。训练N+1个SAEs，选择一个作为anchor（k=0），对于anchor中的特征f^(0)_i，计算其在其他N个SAEs中至少出现一个相似特征的次数X_(0,i)，然后估计重现概率p̂_i = X_(0,i) / N。特征重现概率的经验累积分布函数F̂(p) = (1/F)∑_{i=1}^{F} 1{p̂_i ≤ p}。
这是本文量化不稳定性的核心工具，通过p̂_i将特征分类为稳定（p̂_i ≥ 1-ε）和不稳定（p̂_i ≤ ε），其中ε=0.05。这使得能够比较稳定和不稳定特征的功能特性、激活统计和几何结构。
有效秩（Effective Rank）
一种量化矩阵维度的指标，基于奇异值的熵来计算。对于解码器子矩阵X^(s)_Iε ∈ R^(d×m_s)，计算其奇异值分解X = VΣU^⊤，其中奇异值为σ_1 ≥ σ_2 ≥ ... ≥ σ_m ≥ 0。定义标准化奇异值p_k = σ_k / ∑_{j=1}^{min(d,m_s)} σ_j，则有效秩ER(X) = exp(-∑_{k=1}^{min(d,m_s)} p_k log p_k)。ER接近min(d,m_s)表示高维度，ER远小于min(d,m_s)表示低秩结构。
本文使用有效秩来分析稳定和不稳定特征解码器向量的维度差异，发现不稳定特征子空间的有效秩比稳定特征低20-27%，这是支持不稳定特征集中在低秩子空间这一核心论点的关键证据。
研究动机
SAEs在机制可解释性中被广泛用于分解模型激活，但其实用性取决于学到的特征是否在不同训练运行中可重现。然而，此前工作（Paulo和Belrose，2025；Leask等，2025）显示，在相同激活上但用不同随机种子训练的SAEs可以学习到substantially different features。例如，在一组实验中，训练96个TopK SAEs（N=95次比较），发现许多特征几乎在每次运行中都重现，少数特征几乎从不重现，而相对较少的特征落在中间区间（平均p̂ ≈ 0.75）。这引发了一个更深层次的问题：当一个特征未能重新出现时，底层的方向是否在新字典中完全缺失，还是SAE学到了相同激活空间区域的不同基？这种区分很重要，因为自动解释即使在随机或非规范设置中也能分配看似合理的解释，因此一个看起来可解释的特征未必是跨运行的可重现单元。
本文的目标是本文的核心目标是理解SAE种子依赖性的本质。具体来说，作者想要回答：不稳定特征是否仅仅是无意义的噪声或训练失败的副产品？它们是否仍然携带有用的结构信息？种子依赖性是由纯粹随机性驱动的，还是反映了激活空间中某种可重现的结构？通过回答这些问题，作者希望澄清不稳定特征在SAE解释框架中的地位，并探索如何构建更稳定、更可靠的SAE。
与已有工作不同的是，此前工作主要关注整体层面的特征匹配质量（如两个SAE之间的整体相似度），而本文的独特切入角度是per-feature视角。作者提出了一个可扩展的per-feature信号——特征重现概率，能够区分稳定和不稳定的特征。这使得能够深入分析：稳定和不稳定特征在功能上有什么不同？它们的激活统计和自动解释有何差异？在解码器空间中，不稳定特征是随机分布的，还是集中在可重现的子空间中？这种per-feature分析方法是本文与此前工作的关键区别，使得能够揭示种子依赖性的微观结构。
核心方法
本文的核心方法是通过特征重现概率来量化SAE特征的稳定性，然后从多个维度比较稳定和不稳定特征。作者训练96个具有不同种子的TopK SAEs，使用余弦相似度阈值θ=0.7匹配跨种子的特征，估计每个特征的重现概率。然后，作者将特征分类为稳定（p̂ ≥ 1-ε=0.95）和不稳定（p̂ ≤ ε=0.05），从四个角度比较它们：激活统计和token结构；对重建和预测的影响；解码器空间的几何结构；自动解释的文本模式。最后，作者通过一个可控的低秩合成模型验证其理论机制，并测试是否能通过池化跨种子的独特特征来构建更稳定的SAEs。
本文的核心创新点是发现了种子依赖性的功能性不对称和子空间恢复现象。功能性不对称指的是：稳定特征携带了大部分重建和预测相关的信号，而不稳定特征的边际影响较弱，并且在激活统计和自动解释中都偏向低频表面触发模式。子空间恢复指的是：虽然不稳定特征在个体上是不可重现的，但它们集中在可重现的低秩子空间中。这表明种子依赖性通常反映了共享激活空间区域内的基模糊性（basis ambiguity），而不是纯噪声。这两个发现是此前工作未曾明确指出的。
方法步骤详情
方法步骤的完整描述如下：第一，特征匹配与重现概率估计：对于anchor中的每个特征embedding e^(0)_i，计算它在其他N个SAEs中有多少个包含余弦相似度≥θ的特征。假设独立种子，X_(0,i)服从参数为N和p_i的二项分布，估计p̂_i = X_(0,i)/N。第二，特征分类：使用ε=0.05，定义不稳定集合U^(s)_ε = {i : p̂(f^(s)_i) ≤ ε}和稳定集合S^(s)_ε = {i : p̂(f^(s)_i) ≥ 1-ε}。第三，激活统计比较：计算激活频率ω_i（特征激活的token位置比例）和条件平均幅度μ_i（激活时的平均激活值），比较稳定和不稳定特征的分布。第四，掩蔽协议：为控制不稳定特征的低激活频率，对于每个N，从S_ε中均匀采样N个特征，从U_ε中均匀采样4N个特征，计算掩蔽后的解释方差（EV）和next-token loss变化。第五，几何分析：构建解码器子矩阵X^(s)_Iε，计算有效秩和跨种子子空间相似性，使用逻辑回归分类器测试不稳定特征是否在解码器空间中可线性分离。第六，合成模型：构造包含全秩特征和共享低秩特征（d=32, r=2, k=8）的合成字典，验证低秩特征是否表现为个体不稳定但子空间可重现。第七，特征池化构建：从多个独立训练的SAEs中池化解码器特征，在θ=0.7下贪婪去重，构造唯一特征池U，从中选择最可能、最不可能或均匀采样的特征来初始化新的SAEs并进行微调。
技术新颖性
本文的技术新颖性体现在三个方面：第一，提出了特征重现概率作为一个可扩展的per-feature稳定性指标，使得能够量化个体特征的跨种子重现倾向，而此前方法主要关注整体层面的匹配质量。第二，发现了不稳定特征的子空间恢复现象：虽然个体不稳定特征很少重现，但它们张成的低秩子空间是可重现的。这表明种子依赖性可能源于可重现低秩区域内的基选择模糊性，而不是这些区域中缺乏共享结构。第三，通过可控合成模型明确展示了这一机制：低秩的真实特征可以在子空间层面恢复，但在跨种子中无法作为个体SAE latent识别。这种合成模型方法为理解真实LLM SAEs中观察到的现象提供了清晰的机制解释。
实验结果
本文的核心发现可以概括为四点。首先，稳定和不稳定特征在功能上存在明显的不对称性。稳定特征的激活频率（ω_S ≈ 0.0044）约是不稳定特征（ω_U ≈ 0.0018）的2.4倍，且稳定特征表现出更重的高幅度尾部（μ_S = 8.43 vs μ_U = 5.36）。掩蔽实验显示，即使掩蔽4N个不稳定特征，解释方差（EV）下降也微乎其微，而掩蔽远少的稳定特征就会导致EV大幅下降。Next-token loss的补丁实验也证实了这一点：移除大量不稳定特征仅产生适度的loss变化，而掩蔽少的稳定特征会导致substantially larger degradation。其次，稳定和不稳定特征在token结构上不同。不稳定特征主要集中在低token熵（低词汇多样性）区间，对应于标点/格式触发、短子词片段和易碎子串，而稳定特征从单个词或紧密同义词簇扩展到具有许多词汇实现的高层概念。再次，自动解释揭示了系统的模式差异：不稳定特征更多被描述为表面形式触发（子串、大小写、标点），而稳定特征更多描述短语、句法角色、结构和更广泛的语义分组。关键词频率证实了这一模式：substring在不稳定特征的38.9%解释中出现，而在稳定特征中仅11.3%；phrase从4.1%增加到32.0%。GPT-5仅从解释文本就能以0.88的准确率预测稳定vs不稳定。最后，几何分析显示不稳定特征集中在低有效维度的子空间中。在96个种子上，不稳定集合的有效秩ER/d ≈ 0.59-0.65，而稳定集合≈ 0.80-0.81，降低了20-27%。更有趣的是，虽然个体不稳定特征很少重现，但它们张成的低秩子空间是可重现的：在一个种子中学到的top-r奇异子空间能够准确近似其他种子中的对应特征子空间，包括对于不稳定特征。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SAE稳定性（不稳定特征比例） | 不稳定特征比例（p̂ ≤ 0.05） | 0.098（TopK，k=64，F=2¹⁴） | N/A | 基线指标，提供了TopK SAEs的不稳定比例参考值 |
| SAE稳定性（稳定特征比例） | 稳定特征比例（p̂ ≥ 0.95） | 0.522（TopK，k=64，F=2¹⁴） | N/A | 基线指标，提供了TopK SAEs的稳定比例参考值 |
| 重建质量 | 解释方差（EV） | 0.892（TopK，k=64，F=2¹⁴） | N/A | 基线指标，提供了TopK SAEs的重建质量参考值 |
| SAE类型比较 | 不稳定特征比例 vs EV | TopK: 0.098/0.892；JumpReLU: 0.034/0.884；Vanilla: 0.006/0.856 | TopK作为主要比较基准 | Vanilla更稳定但EV较低（stability-EV trade-off），JumpReLU在保持EV的同时改善稳定性 |
| 特征池化构建 | 最可能池化SAE的EV vs 标准TopK | ≈0.89（最可能池化）vs 0.892（标准TopK） | 标准TopK SAE | 无明显EV损失但稳定性显著提升（unstable fraction降至≈0） |
| 自动解释质量 | SAEBench AutoInterp平均分 | 0.850（最可能池化）vs 0.818（标准TopK） | 标准TopK SAE | 提升约4%，稳定特征更可解释 |
| 跨种子子空间相似性 | 跨种子解释方差（EV^(a→s)_SVD(r)） | 在r充分大时，稳定和不稳定特征的EV^(a→s)_SVD(r)都接近0.73（ε=0）或0.67（ε=0.1） | 随机基线约0.25 | 表明不稳定特征的子空间也是可重现的 |
| 低秩合成模型 | 全秩特征重现概率 vs 低秩特征重现概率 | 全秩≈1.0 vs 低秩≈0.25 | 随机基线约0.25 | 验证了低秩特征的个体不稳定但子空间可重现的机制 |
局限与改进
本文的局限性体现在三个方面。首先，稳定和不稳定集合依赖于两个阈值选择：用于跨种子重现的解码器余弦匹配阈值θ和用于选择几乎从不或几乎总是重现的端点阈值ε。在主要实验中，作者使用θ=0.7和ε=0.05。阈值分析表明，主要定性趋势对两个阈值的合理变化是稳健的，但端点集合的精确大小和成员仍然取决于这些选择。例如，增加θ会使匹配更严格，因此稳定比例下降，不稳定比例上升。其次，低秩子空间分析应理解为对种子依赖性的一种具体机制的证据，而不是对真实LLM SAEs中产生不稳定性的机制的完全识别。实证结果和合成模型显示，个体不稳定特征可能源于可重现低秩子空间内的基模糊性，但并未证明真实模型中的每个不稳定特征都由这种机制产生。第三，无稳定性-EV权衡的结果特定于特征池化构建设置，该设置从几个独立训练的SAEs聚合特征。这表明在此构建设置中可以避免权衡，但不表明单个SAE训练目标可以在无重建成本的情况下实现相同的稳定性分布。事实上，对于单个SAE训练目标（如TopK vs Vanilla），存在明显的stability-EV trade-off：Vanilla ReLU+ℓ1 SAEs极其稳定（near-zero unstable fraction），但在可比稀疏度下EV远低于TopK。
独立分析的弱点
本文的弱点主要体现在三个方面。第一，方法依赖于两个超参数（θ=0.7, ε=0.05）的设定，虽然作者进行了敏感性分析，但这些值的任意性仍然存在。不同设置可能导致稳定/不稳定分类的边界移动，影响结果的精确性。改进方向是发展自适应的阈值选择方法，或提供更鲁棒的连续性度量而非二元分类。第二，低秩子空间分析的样本有限。作者仅在GPT-2 layer 7上进行了主要的几何分析，虽然跨模型（GPT-2, Gemma-2, Pythia）和层的实验支持了结论的泛化性，但对于更大模型和更深层网络的分析可能揭示不同的模式。改进方向是扩展到更大规模模型（如GPT-3, LLaMA等）和更多层，特别关注深层网络中维度坍缩（dimensional collapse）现象如何与不稳定特征子空间相互作用。第三，合成模型过于简化。作者的合成模型（d=32, r=2, k=8）虽然清晰地演示了机制，但真实LLMs的激活空间可能包含更复杂的结构（如分层的低秩子空间、非线性混合、跨层依赖等）。改进方向是构造更复杂的合成设置，如多层低秩子空间、分层的稀疏结构、或引入真实的语言数据模式，以更接近真实场景。第四，自动解释的主观性。虽然SAEBench提供了一个标准化的自动解释管道，但评估模型（Qwen/Qwen3-32B）本身的偏见和解释生成中的噪声可能影响结果的可靠性。改进方向是使用多个评估模型进行交叉验证，或开发更具客观性的解释质量度量。
未来方向
未来研究方向可以从几个角度展开。首先，作者提出的自然方向是识别产生这些可重现低秩分量的模型组件，并开发在它们内恢复可识别的个体特征的方法。例如，是否可以设计训练目标，强制SAE在低秩子空间中选择一致的基？是否可以通过约束解码器向量的正交性或引入层次结构来减少基模糊性？其次，可以探索其他类型的稳定性诱导方法。作者讨论了三大类：显式或隐式正则化（如Vanilla ReLU+ℓ1, JumpReLU, HierarchicalTopK）；度量重加权（如Mahalanobis损失）；bagging式特征池化。未来工作可以系统比较这些方法在不同场景（模型大小、层深度、数据分布）下的效果，并开发混合方法。第三，可以研究不稳定特征在实际可解释任务中的用途。虽然个体不稳定特征功能影响较弱，但它们可能捕捉某些边缘案例或模式，在特定应用中有价值。未来工作可以探索如何利用不稳定特征的子空间结构，例如通过子空间层面的干预或分析。第四，可以扩展研究跨模型稳定性。本文关注跨种子稳定性，但一个自然的问题是：同一特征是否在不同架构（GPT-2 vs Gemma）或不同训练数据上重现？这可以帮助区分模型内在特征和数据驱动特征。最后，可以开发更全面的可解释性评估框架。作者展示了自动解释分数不能可靠地区分训练模型和随机模型，因此需要结合稳定性和其他信号（如因果干预、跨层一致性、外部验证等）来构建更鲁棒的可解释性评估。
复现评估
复现本文研究的可行性较高。数据方面，作者使用FineWeb的sample-10BT分割，这是公开可用的数据集。代码方面，虽然没有明确声明代码开源，但方法描述详细，包含了关键的超参数（TopK=64, F=2¹⁴, 使用8192×32 token激活store, 1B训练token, θ=0.7, ε=0.05）。计算方面，训练96个TopK SAEs（主要设置）需要显著资源（估计数十个GPU小时），但缩小规模（如N=10-20）仍能获得定性的相似结果。实验设计的模块性使得可以独立复现各个部分：特征稳定性分析、激活统计比较、几何分析、合成模型实验、特征池化构建。主要的复现挑战是：第一，精确匹配数据采样顺序（作者使用相同的激活采样顺序以隔离SAE初始化的影响）；第二，匹配SAE训练细节（如dead特征的辅助损失）。作者在附录中提供了详细的训练细节，这有助于复现。总体而言，本文的复现难度中等，计算资源需求较高，但方法透明且实验设计合理，使得有研究团队可以成功复现主要结果。
论文图表
该图展示了训练模型vs随机模型的自动解释分数。x轴是AutoInterp分数，y轴是特征数量。基线SAE（训练模型）：Mean Score=0.818；随机模型SAE：Mean Score=0.737。虽然随机模型的平均分数较低，但仍能达到高分数（很多特征分数接近1）。这表明高检测分数可以在随机模型激活上实现，尽管缺乏跨种子可重现性。
这张图对论证稳定性作为可解释性补充信号的重要性至关重要。它展示了仅依赖自动解释分数可能被误导：即使在随机模型上训练的SAEs也能产生高分数的解释，但这些特征不是跨种子可重现的。这支持了作者关于稳定性加可解释性的评估框架的论点。