从方向到区域：基于局部几何的语言模型激活分解 From Directions to Regions: Decomposing Activations in Language Models via Local Geometry
用混合因子分析器将LM激活空间分解为低秩高斯区域，实现更好的可解释性和控制
前置知识
激活分解（Activation Decomposition）
语言模型的隐藏状态（激活）是一个高维向量，包含了模型对输入的内部表示。激活分解的目标是将这个高维向量分解为一组可解释的组件，每个组件对应一个概念或特征。现有方法主要假设概念以全局方向的形式线性存在于激活空间中，但这种假设忽略了概念可能具有非线性或多维结构的情况。
理解模型内部表示是可解释性的核心问题。只有将激活分解为可解释的单元，我们才能理解模型如何编码信息、如何做出决策，以及如何在必要时干预模型行为。
稀疏自编码器（Sparse Autoencoder, SAE）
SAE是当前主导的激活分解方法，它学习一个过完备的字典，将激活表示为字典中少量方向的稀疏组合。SAE的编码器将激活映射到高维稀疏空间，解码器将其重构回原始空间。通过限制稀疏性，SAE期望每个字典方向对应一个可解释的特征。例如，GemmaScope和LlamaScope是针对Gemma和Llama模型训练的大规模SAE。
SAE是本文的主要对比基线。理解SAE的局限性（全局方向假设、缺乏局部几何结构）有助于理解本文提出的MFA方法的动机和优势。
因子分析（Factor Analysis, FA）
因子分析是一种经典的统计方法，它假设观测数据的高维相关性源于少量潜在因子。形式上，每个观测样本 $x \in \mathbb{R}^d$ 由生成模型 $x = Wz + \epsilon$ 生成，其中 $z \sim \mathcal{N}(0, I)$ 是潜在因子，$\epsilon \sim \mathcal{N}(0, \Psi)$ 是独立噪声。$W$ 的列（称为载荷）描述了潜在因子如何转化为观测空间的变化。与PCA不同，FA是概率生成模型，显式建模噪声。
FA是MFA的基本构建块。理解FA如何建模低秩子空间结构，是理解MFA如何在每个区域内捕捉局部变异模式的基础。
混合因子分析器（Mixture of Factor Analyzers, MFA）
MFA是FA的扩展，它允许激活空间的不同区域具有各自的局部几何结构。MFA引入离散潜在变量 $\omega \in \{1,...,K\}$ 指示样本由哪个FA组件生成。每个组件 $k$ 有自己的均值 $\mu_k$（区域中心）和载荷矩阵 $W_k$（局部子空间）。给定 $\omega=k$，生成模型为 $x = \mu_k + W_k z_k + \epsilon$。整体密度是K个高斯的混合：$p(x) = \sum_k \pi_k \mathcal{N}(x|\mu_k, C_k)$。
MFA是本文的核心方法。理解MFA如何同时实现区域划分（通过混合组件）和局部结构建模（通过因子分析），是理解本文贡献的关键。
因果定位与因果引导（Causal Localization & Steering）
因果定位测试方法能否在模型计算中隔离因果变量，并通过干预该变量的表示来操纵模型行为。例如RAVEL测试实体级因果变量（大陆、国家、语言），MCQA测试位置指针变量。因果引导则通过修改激活来控制模型输出，例如将模型的续写引导向特定概念。评估通常包括概念对齐分数和流畅性分数。
这两个任务是评估激活分解方法实用性的标准基准。本文证明MFA在这两个任务上都表现出色，说明局部几何分解不仅可解释，而且对模型控制有用。
研究动机
现有激活分解方法，特别是稀疏自编码器（SAE），存在一个根本性局限：它们假设概念以全局方向的形式线性存在于激活空间中。然而，越来越多的证据表明，许多概念具有非线性或多维结构。例如，情感概念（如快乐、悲伤）可能分散在多个全局方向中，没有内在结构将它们关联起来。在SAE分解中，研究发现平均75%的活跃特征在上下文中不可直接解释。此外，SAE将重构组装为许多增量添加的长轨迹，而不是更直观的区域+局部偏移分解。这些局限性意味着，SAE虽然能发现特征，但其分解方式与人类理解概念的方式存在根本差距。
本文的目标是本文的具体目标是提出一种基于局部几何的激活分解方法，能够：(1) 将激活空间划分为语义一致的区域，每个区域有自己的低维子空间结构；(2) 将每个激活分解为两个可组合的几何对象——区域质心和区域内偏移；(3) 在保持可扩展性的同时，捕捉SAE无法建模的复杂非线性结构；(4) 在定位和引导任务上超越现有方法。
与已有工作不同的是，本文的独特切入角度是从局部几何而非全局方向来理解激活空间。受先前工作发现LM激活空间具有局部低维结构的启发，作者提出使用混合因子分析器（MFA）——一种经典的统计方法——来建模激活空间。与SAE学习单一全局字典不同，MFA学习一组局部区域，每个区域有自己的低秩几何。这种方法不需要假设概念是全局线性可分的，而是允许概念通过多个相邻高斯的星座来表达复杂、非线性的结构。
核心方法
MFA方法的整体思路可以分为两个层次：直觉上，作者认为激活空间不是均匀分布的，而是由语义一致的区域组成，每个区域内的变化可以用少量方向描述。技术路线上，作者使用混合因子分析器来实现这一思想：MFA将激活空间划分为K个区域（由K个高斯组件表示），每个区域有一个质心 $\mu_k$（区域在激活空间中的位置）和一个低秩载荷矩阵 $W_k$（描述区域内的主要变异方向）。给定一个激活，MFA首先计算它属于每个区域的责任值，然后在最匹配的区域内将其分解为质心偏移和局部坐标。整个过程是无监督的，不需要概念标签。
本文的核心创新点是将激活分解的基本单元从全局方向转变为局部子空间。与SAE的本质区别在于：SAE学习一个全局字典 $F$，将激活表示为 $x \approx aF$，其中 $a$ 是稀疏系数；而MFA学习一组局部字典 $\{\mu_k, W_k\}$，将激活表示为 $x \approx R_k(x)\mu_k + R_k(x)W_k\hat{z}_k$，其中 $R_k(x)$ 是责任值，$\hat{z}_k$ 是局部坐标。这种分解使得：(1) 质心编码激活的绝对位置（它在哪个区域），适合编码宽泛语义主题；(2) 载荷编码区域内的相对变化，适合编码更细粒度的语义属性。这种二元分解比SAE的单一稀疏分解更具结构性和可解释性。
方法步骤详情
MFA方法的完整步骤如下： **初始化**：给定从残差流提取的激活集合 $X \subset \mathbb{R}^d$，初始化K个组件，每个组件的潜在秩为R。使用K-Means初始化均值 $\mu_k$，混合权重均匀设置 $\pi_k = 1/K$，载荷 $W_k$ 从 $\mathcal{N}(0,1)$ 随机采样，噪声协方差设为 $\Psi = I_D$。 **训练**：通过最小化负对数似然学习参数 $\theta = \{\mu_k, W_k, \Psi, \pi\}$：$$\mathcal{L}(\theta) = -\frac{1}{B}\sum_{i=1}^{B}\log\sum_{k=1}^{K}\pi_k\mathcal{N}(x_i|\mu_k, C_k)$$其中 $C_k = W_kW_k^\top + \Psi$ 是组件协方差。这个目标同时学习数据聚类和局部变异方向。 **组件分配**：使用贝叶斯定理计算激活 $x$ 对组件 $k$ 的责任值：$$R_k(x) = p(k|x) = \frac{\pi_k\mathcal{N}(x|\mu_k, C_k)}{\sum_i \pi_i\mathcal{N}(x|\mu_i, C_i)}$$ **激活分解**：对于给定激活 $x$，计算组件 $k$ 的后验均值潜在坐标：$$\hat{z}_k = Z_k(x - \mu_k)$$其中 $Z_k = (I_R + W_k^\top\Psi^{-1}W_k)^{-1}W_k^\top\Psi^{-1}$。最终重构为 $x \approx A\hat{b}(x)$，其中 $A$ 是所有均值和载荷拼接的字典矩阵，$\hat{b}(x)$ 是责任值和局部坐标的向量。
技术新颖性
MFA的技术新颖性体现在以下几个方面： **从全局到局部的范式转变**：这是首次将混合因子分析器应用于语言模型的激活分解。与SAE假设单一全局字典不同，MFA显式建模激活空间的局部组织，允许不同区域有不同的几何结构。 **可组合的二元分解**：MFA将每个激活分解为两个可解释的几何对象——区域质心（绝对位置）和区域内偏移（相对变化）。这种分解比SAE的单一稀疏分解更具结构性，质心适合编码宽泛主题，载荷适合编码细粒度属性。 **无需监督的子空间发现**：与需要概念标签的监督方法（如DAS）不同，MFA通过无监督方式发现局部子空间结构。每个组件的载荷矩阵定义了一个低秩子空间，捕捉该区域的主要变异模式。 **概念的星座表示**：MFA揭示了复杂概念（如情感）通常由多个相邻高斯的星座表示，而非单一组件。通过构建质心的kNN图并进行BFS遍历，可以提取这些多组件概念结构。
实验结果
本文在Llama-3.1-8B和Gemma-2-2B上训练了12个MFA（K∈{1K, 8K, 32K}，R=10），使用The Pile的1亿激活进行训练。主要发现包括： **区域多样性**：MFA发现两类区域——窄高斯集中于受限的词汇模式（如特定token），宽高斯涵盖广泛的主题（如电影或情感）。宽高斯通常展现语义局部变异，窄高斯展现更多句法变异。随着K增大，高斯变窄，局部变异变得更依赖上下文。 **多组件概念**：语义相关的高斯形成连贯的邻域。例如，情感主题由多个专门化的高斯（happiness、surprise、sadness等）共同覆盖。这种星座结构表明概念可能由多个组件联合表示。 **重构质量**：MFA的重构误差随K增大而改善。K从1K到8K带来显著误差下降，8K到32K的改善递减。MFA显著优于K-Means基线（MSE低1.3-1.5倍），但SAE的重构误差更低（因为SAE允许更灵活的样本特定重构）。 **可解释性分数**：MFA的平均可解释性分数（IF）为0.96±0.2，表明其分解的高贡献特征大部分可解释；而SAE仅为0.29±0.2，表明SAE依赖许多不可直接解释的特征。 **定位性能**：在RAVEL任务上，MFA超越PCA和SAE 3-16个百分点，在5/6个任务上击败监督基线DBM，在大陆任务上超越DAS。在MCQA任务上，MFA超越SAE高达15个百分点。 **引导性能**：MFA质心的引导效果显著优于SAE和DiffMeans。在Gemma-2-2B上，MFA将中位数得分约翻倍；在Llama-3.1-8B上，中位数提升约三分之一。MFA的概念分数显著高于SAE和DiffMeans。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RAVEL-Continent (Gemma-2-2B) | Accuracy (%) | 85.7 | 71.7 (SAE), 70.0 (PCA), 69.7 (DBM) | +14.0 vs SAE, +15.7 vs PCA, +16.0 vs DBM |
| RAVEL-Language (Gemma-2-2B) | Accuracy (%) | 64.0 | 58.9 (SAE), 56.0 (PCA), 58.0 (DBM) | +5.1 vs SAE, +8.0 vs PCA, +6.0 vs DBM |
| RAVEL-Country (Gemma-2-2B) | Accuracy (%) | 60.0 | 56.1 (SAE), 53.0 (PCA), 65.0 (DBM) | +3.9 vs SAE, +7.0 vs PCA, -5.0 vs DBM |
| MCQA (Gemma-2-2B) | Accuracy (%) | 80.2 | 64.9 (SAE), 77.9 (PCA), 82.1 (DBM) | +15.3 vs SAE, +2.3 vs PCA, -1.9 vs DBM |
| RAVEL-Continent (Llama-3.1-8B) | Accuracy (%) | 81.6 | 70.6 (SAE), 74.0 (PCA), 78.1 (DBM) | +11.0 vs SAE, +7.6 vs PCA, +3.5 vs DBM |
| RAVEL-Language (Llama-3.1-8B) | Accuracy (%) | 67.3 | 56.8 (SAE), 57.0 (PCA), 63.1 (DBM) | +10.5 vs SAE, +10.3 vs PCA, +4.2 vs DBM |
| RAVEL-Country (Llama-3.1-8B) | Accuracy (%) | 62.8 | 57.6 (SAE), 54.0 (PCA), 60.4 (DBM) | +5.2 vs SAE, +8.8 vs PCA, +2.4 vs DBM |
| MCQA (Llama-3.1-8B) | Accuracy (%) | 70.5 | 65.6 (SAE), 74.3 (PCA), 75.0 (DBM) | +4.9 vs SAE, -3.8 vs PCA, -4.5 vs DBM |
局限与改进
本文的局限性包括： **分布外泛化**：MFA显式建模训练分布中的激活空间区域。当激活落在训练集的稀有或分布外区域时，MFA可能将其分配到最近的可用组件，即使没有组件提供良好的局部拟合，导致高重构误差。这是模型类别的固有局限，增加K可以扩展覆盖范围但不能保证对未见区域的低误差。 **重构精度低于SAE**：由于MFA将重构限制在固定秩R的子空间内，其重构误差高于SAE（后者允许更灵活的样本特定重构）。作者使用R=10，这可能限制了表达能力。然而，这种限制换来了更好的可解释性和结构化分解。 **组件数量增加的边际收益递减**：从K=8K到32K的改善相对较小，表明在当前设置下可能存在容量瓶颈。此外，增加K主要将宽概念分裂为更多高斯，而非发现全新的结构。 **潜在秩的统一假设**：作者对所有组件使用统一的潜在秩R=10，作为局部本征维度的保守近似。实际中，不同区域可能有不同的本征维度，自适应秩可能更优。 **载荷的旋转不变性**：由于因子分析的旋转不变性，单个载荷向量不一定对应单一概念，意义由整个子空间和其定义的局部坐标系捕捉。这使得对单个载荷的解释需要额外的旋转约定。
独立分析的弱点
基于独立分析，MFA存在以下弱点及改进方向： **固定秩限制**：统一的R=10可能不适合所有区域。窄高斯（如特定token模式）可能需要更低的秩，而宽高斯（如主题区域）可能需要更高的秩。改进方向：开发自适应秩的MFA变体，根据每个区域的本征维度自动调整秩。 **K-Means初始化的可扩展性**：K-Means初始化虽然效果好，但对大规模数据集的可扩展性较差。改进方向：探索更高效的初始化策略，如随机点初始化的改进版本（通过重采样距离过近的高斯来增加多样性）。 **缺乏跨组件的结构建模**：当前MFA独立处理每个组件，没有显式建模组件间的关系。改进方向：引入组件间的层次结构或图结构，捕捉概念的层级关系（如情感下包含快乐、悲伤等）。 **静态分解**：MFA为每个token位置独立分解激活，没有考虑序列上下文。改进方向：开发序列感知的MFA变体，允许组件分配和局部坐标依赖于上下文。 **评估任务的局限**：定位和引导任务主要测试实体级变量和位置指针，可能不涵盖所有类型的概念。改进方向：在更多样化的任务上评估，如多跳推理、常识知识等。
未来方向
作者提出的未来研究方向包括： **扩展到更多模型和层**：当前仅在Llama-3.1-8B和Gemma-2-2B的两个层上评估。未来可以扩展到更多模型架构（如多模态模型）和更多层，研究局部几何结构如何随深度演变。 **组件间关系的建模**：作者观察到相邻组件编码相关语义，形成更广泛的概念邻域。未来可以显式建模这种关系，例如通过层次MFA或图神经网络。 **自适应秩和组件数**：开发根据数据自动选择K和R的方法，如非参数贝叶斯方法（Dirichlet过程混合）。 **与其他方法的结合**：探索MFA与SAE的互补性。SAE擅长发现全局特征，MFA擅长建模局部结构，两者结合可能获得更全面的分解。 **因果干预的理论分析**：当前的引导评估主要是经验性的。未来可以发展理论框架，分析MFA分解的因果性质和干预效果。 **应用到安全和对齐**：MFA的局部几何视角可能有助于理解模型的安全相关机制，如拒绝回答、幻觉等。未来可以探索MFA在安全审计和对齐中的应用。
复现评估
本文的复现评估如下： **开源情况**：作者已发布代码和训练好的12个MFA（Gemma-2-2B和Llama-3.1-8B各6个），托管在GitHub（https://github.com/ordavid-s/decomposing-activations-local-geometry）。这大大降低了复现门槛。 **数据**：训练数据来自The Pile，一个公开可用的800GB数据集。作者使用1亿激活进行训练，并提供了数据采样的细节。评估数据使用MIB基准的公开代码和数据。 **算力需求**：论文未明确报告训练时间和GPU需求，但提到MFA是可扩展的，并且使用了100M激活进行训练。对于K=32K的MFA，参数量约为K×(d+R)≈32K×(4096+10)≈1.3亿（以Llama-3.1-8B的d=4096为例），这在现代GPU上是可训练的。 **复现难度**：中等偏低。MFA是经典的统计方法，有成熟的实现（如sklearn）。作者提供了详细的超参数设置（K∈{1K,8K,32K}，R=10，batch size 256，学习率10^-3，400 epochs）。初始化策略（K-Means）和训练目标（负对数似然）都是标准的。主要挑战可能在于数据预处理（提取激活）和大规模训练的工程细节。
论文图表
