稀疏自编码器中的表征再分配 Representation Redistribution in Sparse Autoencoders
提出RSS分数，识别提示变换下稀疏特征中可复现的表征再分配并量化其对下游读出的影响
前置知识
稀疏自编码器（SAE）
一种无监督字典学习方法，把语言模型某一层的稠密激活向量分解为高维稀疏特征编码：编码器将激活映射到远高于残差流维度的特征空间、只让极少数特征非零，解码器再重建激活，训练目标通常是最小化重建误差加L1稀疏惩罚。SAE被用于把纠缠在单个神经元里的多个语义信号拆开成可解释单元，是当前机制可解释性的主流工具。
本文的全部研究对象——特征响应 $\delta_{v,f}$、响应支持集 $S$、MeanRSS——都定义在SAE特征之上，不熟悉SAE就无法理解'变化发生在哪个空间'以及为什么可以用特征字典来观察再分配。
叠加（superposition）
语言模型用远少于概念数的神经元维度表示远多于维度的概念，导致单个神经元同时参与多个概念、单个概念分散在多个神经元上，整体形成近似高维稀疏的组合表征。SAE的训练目标正是把这种纠缠拆开，使每个字典特征更接近单义。Elhage et al. 2022 的叠加假说是SAE路线的理论起点。
理解为什么提示的表层变化会让特征活动'迁移'到别的特征上（例如被更具体的特征吸收），以及为什么必须在稀疏基上观察'再分配'而不是在原始神经元上观察。
支持集、复现率与方向一致性
支持集指从成千上万个SAE特征中选出的一个小特征集合。RSS先用平均响应幅度 $h_f$ 选出候选池，再要求特征在 $n$ 个选择观测中超过阈值 $ au$ 的比例（复现率 $r_f$）和同向观测占比（方向一致性 $c_f$）同时达标，最后按幅度取前 $k$ 个冻结为支持集 $S$，并在从未参与选择的不相交变体上评估。
这套'候选池+复现+一致性+冻结评估'的统计构造是论文方法的核心，命题1（约束幅度最优性）和命题2（有限样本方向边际）都在刻画支持集的性质，是理解全部实验设计的前提。
线性读出与决策边际
固定线性分类器 $z(x)=w^ op\tilde a(x)+b$ 对SAE缩放激活打分，配合阈值 $t$ 与类别符号 $y\in\{-1,+1\}$ 定义边际 $m(x)=y[z(x)-t]$：边际为正表示决策正确，数值越大越'安全'。因为读出是线性的，任何特征变化对分数的影响可以精确地按 $w_f\delta_{v,f}$ 分配到每个特征上，不存在近似误差。
论文后半部分的全部下游分析——边际侵蚀 $e_U^f$、残差边际 $m_0-E_S$、反事实恢复——都严格建立在线性可分解性上，理解边际的定义才能读懂'表征变化'如何被接驳到'决策失败'。
AUROC与离线审计
AUROC是ROC曲线下面积，衡量一个连续分数把正负例分开的排序能力：0.5等价随机，1为完美排序。本文用AUROC评估'哪些测试案例会发生复发性读出失败'（定义为10个held-out边际中至少2个为负）的排序能力，信号是残差边际（越低风险越高）。离线审计指在有标签数据上回放冻结读出的决策，不改动模型本身。
论文最主要的功能结论——RSS残差边际AUROC 0.935/0.958 对比全量残差 0.965/0.964——都是AUROC数字，必须理解其'排序而非分类'的含义才能正确解读这些结果的用途与边界。
研究动机
稀疏自编码器（SAE）把语言模型激活分解为稀疏特征以解开叠加纠缠的信号，但存在一个未被认真处理的脆弱性：当提示发生表层变化（加入无关上下文、格式包装、换一种措辞等）而底层请求保持不变时，特征活动会在稀疏基上重新分布。现有两类做法都无法刻画这一现象：只跟踪单个特征会漏掉发生在其他位置的变化，而聚合激活距离只能总结整体位移、无法定位究竟是哪些特征在变。更关键的是两个混淆：在某一次观察中看到某特征变化，并不能证明它在其他相关输入上还会复现；即便复现，也不能说明它真的影响了下游计算——该特征可能读出权重很小，不同特征的贡献可能相互抵消，读出分数的变化也可能根本没有跨越决策阈值。此前特征敏感性研究（如Tian et al. 2025）只测激活在语义相关文本上的可靠性，提示敏感性研究（Sclar、Mizrahi等）只看行为层面的输出波动，两者都没有把'可复现的稀疏表征变化'本身当作独立的研究对象。
本文的目标是本文的目标是把'再分配的复现性'与'对下游计算的影响'拆成两个可以分别度量的问题。具体分三步：第一，提出再分配敏感性分数RSS，把响应幅度、跨变体的复现率与方向一致性结合起来，在一部分提示变体上选出响应支持集，然后在严格排除于选择过程之外的不相交变体上评估其是否依然成立；第二，对固定线性读出给出精确的等式分解，说明响应幅度、读出系数、方向对齐与清洁边际四个量如何共同决定下游后果，从而把'表征变化'与'决策失败'严格区分开；第三，在两个冻结的线性安全读出（基于WildGuardMix数据）上做离线审计，验证不含任何读出信息选出的RSS支持集能否解释held-out的读出变化、重建logit偏移并预测复发性失败，在仅20个左右特征的紧凑支持下保留审计效用。
与已有工作不同的是，本文的独特切入是把'跨相关输入复现的表征再分配'当作一个独立对象来研究，而不是把单次大响应或聚合位移当作结论。方法上它做了三层隔离：先用幅度形成候选池，再在其中施加复现率与方向一致性约束并给出有限样本方向边际保证，最后把支持集冻结到不相交的held-out变体上验证——这保证了结论不是在选择集上过拟合的产物。同时在选择支持集的整个过程中完全不使用任何读出信息，使得后续'这些特征确实携带下游贡献'的结论成为无泄漏的验证而非循环论证。此外，它拒绝把'表征变了'等同于'模型坏了'：借助线性读出的精确分解，同一份特征变化可以被解释为幅度×权重×对齐×清洁边际的组合，从而解释为什么大的表征变化未必导致错误、而在决策边界附近小而同向的变化却可能致命。
核心方法
方法的直觉是：值得关注的不是单次大响应，而是在多个相关变体上反复出现且方向一致的响应。技术路线分两段。第一段（RSS支持集选择）：对清洁提示 $x_0$ 与变体 $x_v$，在对齐到保留目标span的token位置计算特征变化 $\delta_{v,f}=a_f(x_v)-a_f(x_0)$ 与平均幅度 $h_f=\frac{1}{|V|}\sum_{v\in V}|\delta_{v,f}|$，取最大 $M$ 个构成候选池 $C_M$；再由 $n$ 个选择观测统计超阈值响应数 $n_f^+\!,n_f^-$，定义复现率 $r_f=n_f^+/n$、方向一致性 $c_f$ 与主导方向 $s_f$，保留满足 $r_f\ge\rho$、$c_f\ge\kappa$ 的特征中 $h_f$ 最大的 $k=\min(K,|E_M|)$ 个作为支持集 $S$，其平均幅度记为MeanRSS。第二段（读出效应分解）：在冻结线性读出 $z(x)=w^\top\tilde a(x)+b$ 与边际 $m(x)=y[z(x)-t]$ 下，把每个特征的平均边际侵蚀精确写成 $e_U^f=-y\,w_f\,s_f A_U^f\eta_U^f$（命题3），进而得到全量侵蚀 $E$、支持集侵蚀 $E_S$ 与残差边际 $m_{\text{res}}=m_0-E$、$m^{\text{res}}_S=m_0-E_S$，并用把支持集输入恢复到清洁值的反事实 $m_{\text{cf}}$ 定位个体决策翻转。
核心创新有三点。其一，复现与方向一致性的有限样本保证：由 $d_f/n=r_f c_f\ge\rho\kappa$ 与 $(d_f-o_f)/n=r_f(2c_f-1)\ge\rho(2\kappa-1)$（命题2）可知，当 $n=5$、$\rho=\kappa=0.8$ 时，每个被选特征至少有4/5的选择观测同向、至多1个反向，因此增删单个观测都无法翻转其方向——这使支持集在统计上稳健而非偶然。其二，选择与验证的严格分离：特征及其方向在 $V_{\text{sel}}$ 上确定后即冻结，在从未参与选择、甚至不属于同一算子实现的 $V_{\text{ho}}$ 上评估，避免了'在所见变体上定义现象、又在同一批变体上验证'的循环论证。其三，把表征观察精确接入下游计算：命题3给出 $|e_U^f|=|w_f|A_U^f|\eta_U^f|$ 的乘积分解，说明下游后果由响应幅度、读出权重、方向对齐三者相乘决定，再叠加清洁边际 $m_0$ 构成残差边际——表征变化与决策失败由此被严格区分，而不再混为一谈；方向符号规则 sign$(-yw_fs_f)$ 对贡献符号的预测准确率高达97.4%/97.1%。
方法步骤详情
完整流程如下。（1）构建变换数据：固定1,000条英语提示、12个内容类别；6种变换设定（无关上下文、干扰上下文、元语言包装、格式包装、标点噪声、类型化词汇替换），每设定5个算子×3次实现，每提示每设定共15个变体。（2）SAE推理与统计：在27个预训练SAE（GPT-2、Pythia 70M、Gemma 2/3、Mistral 7B、Llama 3.1 8B）目标层读取激活并对齐到保留目标span的token，计算 $\delta_{v,f}$ 与 $h_f$；同一算子3次实现的均值充当选择观测（补充材料S3给出算子级平均规则）。（3）支持集选择：$n=5$、$\rho=\kappa=0.8$、$K=20$，得到支持集 $S$ 与方向 $s_f$ 并冻结。（4）held-out验证：每个测试提示×设置用每算子1次实现（共5个变体）选支持集，其余2次实现（共10个变体）作为不相交held-out，计算选中方向上的响应率 $r^f_{\text{ho}}$ 与贡献 $\hat e^f_{\text{ho}}$。（5）读出审计：1,800条平衡WildGuardMix提示（1,200/300/300划分）仅用清洁数据拟合线性探针并校准阈值后冻结，用Gemma 3 4B第17层与Llama 3.1 8B第24层；对每案例计算 $E_S$、$m^{\text{res}}_S=m_0-E_S$、MCR与反事实 $m_{\text{cf}}$；复发性失败定义为10个held-out边际中至少2个为负，用AUROC评估各信号的排序能力，并做20%预算的选择性审查。
技术新颖性
与已有工作的本质区别：特征敏感性工作度量激活在语义相关文本上的可靠性（Tian et al. 2025），但不区分'选择所用变体'与'新变体'，也不连接下游计算；提示敏感性工作（Sclar et al. 2024、Mizrahi et al. 2024）只刻画行为层面的输出波动，不解释内部稀疏表征如何变化；在SAE激活上训练线性探针的工作（Kantamneni et al. 2025）证明任务信息可解码，但特征选择与读出耦合，无法回答'不用读出信息选出的特征能携带多少读出变化'。本文第一次把'复现的再分配'定义为研究对象，并给出带有限样本方向边际的选择准则（命题2），同时以三个精确结果（命题1的约束幅度最优性、命题2的方向边际、命题3的乘积分解）把表征观察转成可与读出计算直接对比的量。工程细节上也体现谨慎：空支持集时MeanRSS定义为'不可用'而非0，算子级平均用于处理重复实现的观测相关性，聚类bootstrap按基础提示重采样给出置信区间。
实验结果
四组核心结果。（1）可复现轮廓：27个SAE中上下文/包装类变换的归一化MeanRSS全部高于局部编辑类，平均差0.874（95%区间[0.867,0.881]）；按SAE聚合后1,000条提示全部成立，997条满足每个上下文/包装设定同时超过两种局部编辑；强度Spearman相关为标点0.95、无关上下文0.74、格式包装0.50。（2）held-out保持性：RSS的分离在24–26/27个SAE上强于所有对比方法、22个上对比度最大；held-out选中方向响应率0.952（随机匹配支持0.758）；与仅幅度选择相比响应率0.876 vs 0.816（Gemma）、0.871 vs 0.794（Llama）；按 $|w_f|$ 匹配后平均绝对贡献0.240 vs 0.022、0.370 vs 0.022（RSS更大的配对占96.9%/98.0%），方向符号规则吻合97.4%/97.1%；$K=20$ 时MCR为43.0%/56.2%，错配支持仅32.6%/43.5%，读出感知排序>90%。（3）失败排序：探针AUROC在所有变换下保持>0.90但4.2–9.5%的决策翻转；清洁边际单独AUROC 0.863/0.901，RSS残差边际达0.935/0.958（中位支持20/19个特征），全量残差0.965/0.964；全残差为负的案例全部复现失败。（4）紧凑支持集：以 $R^2\approx0.58/0.63$ 重建held-out logit变化，恢复支持集输入可逆转72.2%/71.8%的探针错误（不稳定/随机特征 $R^2$ 仅0.01–0.02）；20%审查预算捕获89.2%/92.8%错误与87.3%/94.4%有害漏报，而完整读出分别含415/862个非零系数。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 跨SAE再分配轮廓（上下文/包装 vs 局部编辑） | 归一化MeanRSS平均差 | 0.874（27/27个SAE全部成立） | 无显著分离（若再分配不可复现则差值应接近0） | 95%区间[0.867, 0.881]，1,000条提示全部成立 |
| held-out方向保持（27 SAE，排除选择的变体） | 选中方向响应率 | RSS支持 0.952 | 随机匹配支持 0.758 | +19.4个百分点 |
| held-out方向保持 vs 仅幅度选择（Gemma 3 4B / Llama 3.1 8B） | 平均响应率 $r^f_{\text{ho}}$ | 0.876 / 0.871 | 仅幅度选择 0.816 / 0.794 | +6.0 / +7.7个百分点 |
| 特征贡献（按 $|w_f|$ 匹配的未选中特征对照） | 平均绝对held-out贡献 $|\hat e^f_{\text{ho}}|$ | 0.240 / 0.370 | 匹配对照 0.022 / 0.022 | RSS更大占96.9% / 98.0%配对 |
| 复发性读出失败排序（WildGuardMix测试集） | AUROC | RSS残差边际 0.935 / 0.958（中位支持20/19特征） | 仅清洁边际 0.863 / 0.901；全量残差 0.965 / 0.964 | 较清洁边际 +7.2 / +5.7个百分点，接近全量残差 |
| held-out logit变化重建 | $R^2$ | 约0.58 / 0.63 | 全局不稳定与随机特征 0.01–0.02 | 提升约30倍以上 |
| 读出错误逆转（恢复支持集输入的反事实） | 逆转的探针错误比例 | 72.2% / 71.8% | 错配支持显著更低 | 逆转约七成变换引起的错误 |
| 离线选择性审查（20%预算） | 错误与有害漏报捕获率 | 错误 89.2% / 92.8%；有害漏报 87.3% / 94.4% | 全量审查需100%预算（完整读出含415/862个非零系数） | 约1/5成本捕获约九成问题案例 |
局限与改进
作者明确承认的局限：所有结论限于所测试的六类提示变换与冻结的线性读出；功能性held-out只使用了相同算子的新实现，并未测试全新类型的变换；失败排序是使用已知类别标签的离线排名，部署时需要标签或人工复核；反事实只改变读出计算，不改变语言模型的激活或生成行为。我自己的补充观察：复发性失败的定义（10个held-out边际中至少2个为负）带有阈值任意性；MCR在对每个特征取平均后再取绝对值，测量的是贡献幅度保留而非带符号的边际保真，特征间的抵消被隐藏（补充材料S1给出抵消分解但主文未展开）；强度实验中每个强度独立选择支持集，只检验幅度校准而非同一组特征的持续性；RSS支持与held-out侵蚀的相关仅0.737/0.793，明显低于全量侵蚀的0.923/0.896，说明支持集之外的特征仍携带相当部分读出变化；此外每次评估需对每个提示×设置推理约15个变体，在线使用成本不低。
独立分析的弱点
独立分析的弱点与改进方向：（1）变换族覆盖窄——6种设定、每设定5个算子均为模板级扰动，未包括LLM改写、对抗后缀等语义等价但分布更远的变换，复现性结论的外推存疑；改进方向是引入改写模型作为算子并测量跨算子族的迁移。（2）只研究线性读出——现实安全系统常用多层分类器或LLM裁判，命题3的乘积分解不再精确成立；可推广为一阶泰勒展开近似分解并量化误差界。（3）支持集按提示×设置单独选择，中位20个特征看似紧凑，但需要对每个变体做SAE前向推理，部署成本高；可探索跨提示共享的可复用特征字典。（4）复发性失败判定依赖10个变体的边际符号计数，样本小时方差大；可用序贯检验或贝叶斯后验替代。（5）MCR忽略符号抵消，跨变换错配支持仍保留32.6%/43.5%这一事实本身就提示幅度指标会高估特异性；应同时报告带符号边际保真与显式抵消分解。（6）held-out只覆盖同算子新实现，'0.952的方向响应率'可能高估对全新扰动的泛化。
未来方向
作者方向的自然延伸：（1）把反事实从'只改读出计算'升级为对模型激活本身的干预——把支持集特征激活归位到清洁值并观察生成行为是否恢复，检验再分配特征的因果作用，而不仅是读出内的会计恒等式；（2）连接特征吸收文献（Chanin et al. 2025等），研究提示变换下请求被更具体特征吸收是否构成RSS支持集的主体机制；（3）把再分配轮廓的可复现性用作SAE质量与训练评估指标——若一个字典的再分配轮廓在不同模型间稳定，可作为字典学习的新基准；（4）把残差边际审查接入真实安全审核流水线，测量有害漏报的实际减少而非离线AUROC。基于本文成果的新方向：（5）用RSS支持集做提示规范化或鲁棒解码，在推理时主动抑制可复现的再分配；（6）研究再分配的动力学——强度实验显示标点类最可预测（Spearman 0.95）、格式包装最弱（0.50），值得对特征集合随层数与强度的漂移建模；（7）在视觉或多模态SAE上重复同一协议，检验再分配是否为模态无关现象；（8）探索非线性读出的近似分解与误差控制。
复现评估
复现评估：代码开源于 https://github.com/OpenSAE/Redistribution-Sensitivity-Score ，但提示集本身是一次性生成并固定的，若未随代码发布则需自行生成，可能影响逐点对比。数据可得性总体较好：6设定×5算子×3实现=每提示90个变体的构造规则明确，补充材料S3、表S3、表S12给出协议、选择器参数与强度定义；27个预训练SAE（GPT-2、Pythia 70M、Gemma 2/3系列、Mistral 7B、Llama 3.1 8B）均为社区公开权重；功能审计的WildGuardMix公开，1,800条平衡提示按1,200/300/300划分。算力需求中等：主要开销是批量SAE编码（约十万量级的变体前向）与Gemma 3 4B/Llama 3.1 8B的激活抽取，单张消费级GPU即可；探针拟合、RSS选择与bootstrap均为CPU级计算。难度评估：协议细节多（目标span对齐、算子级均值观测、阈值校准、聚类bootstrap、方向冻结规则），完整复现约需数天工程量，主要风险在变换算子的精确复刻而非理论本身。
论文图表
