维度袋子：通过维度级符号模式实现无需训练的机制可解释性

Transform隐藏状态的每个维度都是独立的二元寄存器，通过符号编码语义，大小编码置信度

前置知识

残差流（Residual Stream）

Transformer中的核心数据通道，每个FFN层的输出会加到残差流中，通过逐层累积信息传递。它是模型中最重要的信息载体，包含了从嵌入层到最终输出之前的所有处理结果。在本文中，作者直接读取残差流中每个维度的符号来提取特征，无需任何变换或旋转。

本文的核心发现就是残差流的标准基（standard basis）已经是一个可解释的特征空间，每个维度通过其正负号编码语义内容。理解残差流的作用对于理解本文为何无需训练就能提取特征至关重要。

隐藏状态（Hidden State）

Transformer在每一层内部计算得到的向量表示，包含了模型对输入的当前理解。隐藏状态的维度大小通常为2560（4B模型）、4096（7B模型）或5120（32B模型）。在本文的框架下，隐藏状态的每个维度被视为独立的二元寄存器，正号表示该维度对应的特征被激活，负号表示未被激活，绝对值大小表示模型的置信度。

本文的关键洞察是隐藏状态的符号（sign）本身就已经编码了足够的信息用于特征提取。传统方法认为隐藏状态需要通过稀疏自编码器或探针（probe）进行解码，但本文证明直接读取符号即可达到相当的效果。

前馈网络（FFN）

Transformer中的一个核心组件，包含上投影、门控（SwiGLU）和下投影三个部分。FFN神经元通过其下投影权重将信息写入残差流。本文发现，FFN神经元的下投影权重列与发现的特征符号模式高度一致（置信度大于0.70的神经元占20%），表明特征是由神经元联盟协作写入的。

这为Bag of Dims框架提供了写侧（write side）的机制解释：FFN神经元通过下投影将轴对齐的符号模式写入残差流，这些模式在后续层中保持轴对齐并通过注意力投影传递。

稀疏自编码器（SAE）

一种在机制可解释性中广泛使用的技术，通过在隐藏状态上训练一个过完备字典来提取可解释的特征。SAE需要数百万个上下文激活和数GPU小时的训练，并且假设特征对应于只能通过学习旋转来恢复的方向。本文的Bag of Dims方法在175个语义类别上达到了与训练好的SAE相当的性能，但无需任何训练。

理解SAE的方法论和局限性有助于理解本文的创新点。传统可解释性工作假设需要学习旋转来提取特征，但本文挑战了这一假设，证明了标准基本身就足够。

AUC（Area Under Curve）

ROC曲线下面积，用于评估分类器的性能。AUC等于1.0表示完美分类，AUC等于0.5表示随机猜测。在本文中，AUC被用于两个目的：1）每维度AUC评估单个维度区分类别的能力（用于特征发现）；2）原型AUC评估复合符号匹配分类器的性能（用于检测）。本文在175个语义类别上达到了0.97-0.99的原型AUC。

AUC是本文评估特征发现质量的核心指标。理解AUC的含义有助于理解本文方法的有效性。作者还通过空校准（null calibration）确保所有报告的类别都显著超过随机水平（p95阈值）。

研究动机

现有的Transformer特征提取方法都需要训练额外的模型。稀疏自编码器（SAE）需要数百万个上下文激活样本和数GPU小时的训练时间，每部署一个新模型就需要从头训练；线性探针（probe）虽然训练成本较低，但需要为每个属性准备标注数据集。这些方法都基于一个共同假设：特征编码在隐藏状态的特定方向上，必须通过学习的旋转才能解码。这个假设源于叠加假说（superposition hypothesis），即Transformer编码的特征数量超过了维度数量，因此通过非正交几何排列来存储特征。然而，这个假设在真实Transformer中是否成立缺乏严格的实证检验，且基于它发展出的方法计算成本高昂，限制了机制可解释性的广泛应用。

本文的目标是本文的核心目标是验证一个更简单的替代方案：Transformer隐藏状态的每个维度本身就已经编码了语义特征，并且可以直接通过统计符号一致性来读取，无需任何训练或学习的旋转。具体来说，作者希望证明：1）符号编码语义内容，大小编码置信度；2）维度之间保持功能独立性；3）从单一token的类型缓存可以无监督地发现数百个语义类别；4）这些特征不仅在残差流中可读，还能在K/V注意力投影中存活，并追溯到FFN神经元的写入操作；5）该方法跨模态通用（语言、视觉、音频）且不依赖监督信号。

与已有工作不同的是，本文的独特切入角度是直接挑战标准基无信息的假设。传统可解释性工作（如TCAV、Net2Vec）要么直接对标准基单元进行阈值处理（Network Dissection），要么训练分类器来学习概念方向（TCAV），但都不区分符号和大小，也不使用符号一致性作为解码器。本文的关键创新是将隐藏状态分解为符号（内容）和大小（置信度），并证明仅用符号匹配就能达到与训练方法相当的性能。这在一定程度上反驳了叠加假说的必要性：虽然特征可能以非正交方向编码（写侧），但通过符号匹配就能解码（读侧），无需学习旋转。符号模式的组合容量（3的D次方减1个可能的特征，D等于2560时约为10的1220次方）意味着不需要通过几何排列来解决容量瓶颈。

核心方法

Bag of Dims框架的核心思想是将Transformer隐藏状态视为独立的二元寄存器集合，每个维度通过其符号（加1或减1）编码语义内容，通过其绝对值大小编码置信度。一个特征就是一个具有一致符号模式的维度子集。例如，如果代表动物的token在维度47、512、1893上总是为正，在维度203、678上总是为负，那么这个符号模式就是动物特征。直观理解是：训练过程中，模型学习将相关的语义特征分配到特定的维度上，高置信度表示该特征确实存在，低置信度表示不确定性或噪声。技术路线非常简洁：首先构建类型级缓存（每个vocab token单独通过模型一次，无上下文）；然后对每个类别计算每个维度的区分能力（AUC）；最后注册超过阈值的维度并记录其预期符号，形成特征原型。整个过程不涉及任何梯度计算或优化，仅需一次前向传播和基于符号的统计。

本文的核心创新点是符号编码内容、大小编码置信度的分解，以及特征即符号一致的维度子集的定义。这与传统方法有本质区别：SAE学习过完备字典和稀疏编码，探针学习线性权重，都需要优化。本文方法仅通过统计符号一致性就能提取特征。符号匹配使用汉明距离（Hamming distance）：对于一个新token，计算其符号与原型预期符号的匹配比例作为分数，无需任何学习参数。这种方法的组合容量巨大：对于D个二元维度，可能的符号模式特征数量为从k等于1到D的求和（D选k）乘以2的k次方，等于3的D次方减1。当D等于2560时，约为10的1220次方个可能的特征，几乎无限。这意味着不需要通过几何排列来解决容量瓶颈，维度可以独立地编码不同特征。

方法步骤详情

Bag of Dims方法分为三个主要步骤。第一步是构建类型级缓存：对于词汇表中的V个token（Qwen 3.5-4B约为24.8万），每个token单独作为单token输入喂给模型，提取目标层的D维隐藏状态，存储为矩阵H属于实数的V乘D。由于使用单token输入，自注意力没有跨token上下文可以混合，所以结果纯粹反映token的身份。缓存只需一次前向传播，大约20分钟在单个GPU上完成。第二步是特征发现：对于每个类别c（如动物），选择50个锚点tokenAc。对于每个维度d，计算其符号区分类别成员与整个词汇表的能力。定义p加d为锚点集合中符号为加1的比例，p减d为非锚点集合中符号为加1的比例。每维度AUC为AUCd等于max（（1加p加d减p减d）除以2，（1减p加d加p减d）除以2），取最大值使度量对符号约定不变。第三步是构建符号原型：注册AUC超过阈值tau等于0.75的维度Dc等于d满足AUCd大于等于tau，记录每个注册维度的预期符号pid等于加1如果p加d大于p减d，否则为减1。原型就是（Dc，pic）。分类新token时，计算其符号与预期符号的匹配比例（1减去汉明距离除以维度数）作为分数。

技术新颖性

本文的技术新颖性体现在多个方面。首先，首次系统地验证了Transformer隐藏状态的符号结构是信息充分且无需训练就可解码的，这与传统方法假设需要学习旋转形成鲜明对比。其次，提出了符号大小分离的框架，符号编码内容、大小编码置信度，这与传统只关注激活大小的方法不同。第三，展示了维度间功能独立性（成对互信息小于0.006位），表明Bag of Dims的独立性假设在实际模型中成立。第四，从写侧（FFN神经元）到读侧（残差流检测、K/V投影保持）建立了完整的电路，证明特征是因果操作而非仅仅可读。第五，跨模态通用性：相同的方法在自监督视觉（DINOv2）、监督视觉（ViT-Base）和音频（AST）上都有效，表明这是Transformer训练本身的涌现属性而非特定目标函数。最后，通过因果干预（实时翻转特征符号）证明模型确实使用这些模式进行计算，而非仅仅携带它们。

**Figure 4**: The Bag-of-Dims discovery and scoring pipeline.

实验结果

本文通过七个递进实验验证了Bag of Dims框架的有效性。首先，符号编码内容、大小编码置信度：仅用符号进行预测（将所有大小设为1）保留了60到93%的top-5准确率；纯汉明匹配（无解码器）在top-4096上达到80到90%的准确率，与完整点积基线相当甚至更好（Gemma和Mistral上超越基线）。其次，维度独立：四个模型的成对互信息均低于0.006位，上下文反而降低了耦合而非引入纠缠。第三，零训练特征发现：从单token缓存中175个语义类别全部超过空校准阈值，平均每维度AUC为0.801到0.844，原型AUC为0.975到0.993；训练的线性探针仅增加0.018 AUC且收敛到轴对齐权重；无监督发现可扩展到1500个特征，产率100%，99%的特征激活率小于0.1%词汇表。第四，特征在上下文中可读且因果操作：类型级原型在上下文token上的平均AUC为0.722到0.856；在77个跨类别多义词测试中，三个模型达到77到80%准确率（池化AUC 0.72到0.77）；实时翻转特征符号可抑制概念（平均目标logit变化负5到负24），翻转方向相反则无效，翻转不相关联盟无影响。第五，特征存活于注意力投影：在K和V维度上，175个类别全部超过空校准。第六，FFN神经元轴对齐写入：20%的特征与单个神经元链接（置信度大于0.70），随机权重为0%；前200神经元联盟通过多数投票重建99.9%的原型；FFN自身激活空间也是符号可读的，在残差奇偶校验下达到同等性能，存活非线性SwiGLU门。第七，跨模态通用性：DINOv2检测到9/12个ImageNet超类，ViT-Base检测到11/12个，AST检测到50/50个ESC-50类别（47/50超过0.80 AUC）；纯符号1-NN检索准确率达93到97%；成对互信息0.001到0.002位，与语言模型相当。

**Table 1**: Sign-only next-token prediction accuracy (N = 200 prompts per model).

**Table 2**: Pure Hamming prediction without the LM head (N = 200 prompts).

**Table 3**: Pairwise mutual information between dimension signs (1000 random pairs per condition).

**Table 4**: Cross-model feature discovery (175 categories, 50 anchors each, full-vocabulary negatives).

**Table 5**: Probe weight analysis: the probe learns axis-aligned voting.

**Table 6**: Unsupervised feature discovery (random seeds, no labels).

**Table 8**: Causal sign-flip during the live forward pass (mean target-logit change, 5 categories per model).

**Table 14**: Per-dim sign detection of ImageNet superclasses: DINOv2 (self-supervised) vs. ViT-Base (supervised).

**Table 20**: Sign prototype vs trained SAE (Gemma Scope 2, 16K features) on Gemma 3-4B.

查看结构化数据

任务	指标	本文	基线	提升
符号预测（无大小）	Top-5准确率	84.0% (Qwen), 72.0% (Gemma), 93.0% (Mistral)	100% (完整h乘W)	保留60-93%
纯汉明预测（无解码器）	Top-4096准确率	80.5% (Qwen), 90.0% (Gemma), 81.5% (Mistral)	92.5% (Qwen), 66.0% (Gemma), 5.5% (Mistral)	相当或更好
特征发现（175类别）	原型AUC	0.980 (Qwen), 0.975 (Gemma), 0.993 (Mistral), 0.978 (Qwen3-32B)	N/A（首次报告）	显著超过空校准（p95阈值0.642-0.692）
跨类别多义词消歧	准确率	79% (Qwen), 78% (Mistral), 77% (Gemma), 60% (Qwen3-32B)	50% (随机)	+27-29%
符号翻转干预	目标logit变化	-10到-14 (Qwen), -19到-24 (Gemma), -5到-7 (Mistral), -5到-9 (Qwen3-32B)	约0 (随机翻转)	显著抑制概念
SAE头对头比较	平均AUC	0.952 (零训练)	0.824 (SAE最佳单特征), 0.958 (SAE top-20 + LogReg)	173/175类别胜过单特征，与组合特征相当
视觉音频检索	1-NN准确率	93% (DINOv2), 96% (ViT-Base), 97% (AST)	60.2% (动物/非动物), 20% (5类音频)	+32.8% 到 +77.0%

局限与改进

作者承认了六个主要局限性。首先，规模限制：测试在4到32B语言模型和基础尺寸（86M参数）的视觉音频模型上，结构是否在70B加模型上保持仍开放，虽然4B到32B的一致结果提示无退化。其次，因果符号翻转干预有边界：它是方向性的（翻转远离特征会抑制，但强迫朝向特征不会诱导），诱导是大小操作而非符号操作作者未提供原语；它是深度门控的（需要在输出附近补丁，深层损坏会被下游重写）。第三，类型级原型从稳定的高幅度维度读取类型身份；系统化编目42%翻转维度编码的上下文角色特征是未来工作。第四，每维度AUC的跨架构变化追踪维度词汇表比率而非参数计数：Mistral（D除以V约等于0.13）达到0.844，Qwen3-32B（0.034）和Qwen 3.5-4B（0.010）达到0.792到0.801，Gemma（0.010）达到0.772。每词汇token更多维度的模型达到更敏锐的每维度区分。第五，175个精选语言模型类别是模型完整特征库的子集；无监督发现1500特征（100%产率）提示总数更大，但作者未表征完整计数。第六，DINOv2/AST实验从最终层验证检测、K/V发现和FFN电路追踪；作者尚未在非自回归架构上测试逐层扫描以确认语言模型观察到的相同层进展模式。此外，作者观察到Qwen3-32B在跨类别多义词测试中接近机会水平（AUC 0.60到0.67），这追踪其低D除以V比率。

独立分析的弱点

基于独立分析，本文存在几个潜在弱点。首先，方法依赖维度词汇表比率：Qwen3-32B的低比率（0.034）导致其每维度敏锐度较低，在跨类别多义词测试中接近机会水平，这限制了方法在超大词汇表模型上的直接应用。改进方向是探索多维度联合编码或分层特征表示，而非仅依赖单维度特异性。其次，因果干预的不对称性（只能抑制不能诱导）限制了控制能力。改进方向是开发基于大小的诱导原语，从类型缓存注入置信度而非设置符号。第三，深度门控效应需要补丁接近输出，深层干预无效。改进方向是系统表征深度依赖性，开发能够在更深层有效干预的方法，或通过多层协同干预来传播效果。第四，方法主要检测类型级语义，对上下文角色特征（如语法、指称）的覆盖有限。改进方向是扩展到编目低幅度翻转维度的上下文编码，可能需要不同的阈值策略或上下文敏感的原型。第五，虽然方法跨模态通用，但视觉音频模型的测试仅在最终层，缺乏逐层扫描。改进方向是完整表征非自回归架构的层进展模式，验证U型（如Gemma）或单调（如Mistral）轮廓是否在其他模态中出现。

未来方向

作者提出了几个未来研究方向。首先，系统编目翻转的42%维度编码的上下文角色特征：这些维度携带意义信息而非噪声，但它们是否编码其他上下文属性（句法角色、指称）尚不清楚。其次，开发基于大小的诱导原语：从类型缓存构建能够注入置信度以诱导概念的机制，而非仅抑制。第三，完整表征深度依赖性：因果干预的读/写最优层不同（32B模型上相距12层），早期单层扰动研究发现符号翻转无效是因为损坏被下游纠正，需要系统表征这种深度依赖。第四，扩展到更大模型：测试70B加模型以验证结构是否持续，维度词汇表比率是否仍是主要控制因素。第五，完善跨类别多义词消歧：当前方法读取跨类别意义转移（词移入或移出语义类别），而非细粒度类别内词义消歧。第六，探索上下文敏感原型：当前原型从类型缓存构建，在上下文中保持稳定，但可能需要根据上下文动态调整原型以捕获更细粒度的意义变化。最后，应用方向包括实时监控安全相关特征的每维度符号模式以实现提前停止或回退，这利用高检测AUC（0.97到0.99）而无需干预。

复现评估

本文方法具有极高的复现性。首先，计算需求极低：仅需一次前向传播构建缓存（约20分钟在单个GPU上），其余是符号矩阵上的簿记，无需梯度计算或优化。其次，存储需求小：缓存可以以打包位存储（每维度1位），比float32减少32倍存储；Qwen3-32B的完整词汇表在单层仅需93 MB。第三，代码和数据：作者声称释放完整代码、缓存和结果文件，所有实验细节在附录中详细报告。第四，鲁棒性：方法对超参数选择不敏感；空校准p99范围仅0.642到0.692，最弱的真实类别得分0.70到0.76，所有报告的类别都清除更严格的p99门槛；多义词测试中准确率和AUC在tau属于0.55到0.70范围内稳定。第五，跨模型一致性：175个精选类别在四个架构上全部超过空校准，尽管训练数据、词汇表大小和维度计数不同。第六，随机初始化控制：在相同架构的随机权重模型上，每维度类别AUC降至0.60到0.68（Qwen/Gemma上0除以175类别可检测），确认发现的结构需要训练而非架构或发现方法的伪影。总之，本文方法计算成本低、存储需求小、超参数鲁棒、跨模型一致、代码数据完整，复现难度极低。

维度袋子：通过维度级符号模式实现无需训练的机制可解释性 Bag of Dims: Training-Free Mechanistic Interpretability via Dimension-Level Sign Patterns