稀疏读出棱镜：用特征而非词元解释Logit Lens分数 Sparse Readout Prism: Explaining Logit-Lens Scores in Features Instead of Tokens
把LM头稀疏分解为读出特征，精确解释lens分数并暴露拟合语料偏差
前置知识
Logit Lens 与 lens 类方法
把 transformer 中间层隐状态通过最终读出矩阵解码为词元分布的探查方法：logit lens 直接应用 unembedding；tuned lens、Jacobian lens 等拟合式透镜则先从语料学习一个映射 $T_\ell$，把中间状态搬运到最终读出空间再解码。这类读数常被用来追踪下一个词元的预测如何随层间积累，甚至推断模型内部的工作语言。
本文的研究对象就是 lens 读数：SRP 要分解和解释的分数正是某个透镜对某个解码状态的打分，不理解 lens 就无法理解论文要修正什么。
Unembedding 矩阵 / LM head
语言模型最后的读出矩阵 $W_U \in \mathbb{R}^{|V| \times d_{model}}$，第 $v$ 行 $w_v$ 是词元 $v$ 的读出方向，logit 等于 $\tilde h^\top w_v$。由于权重绑定与 softmax 几何，各行带有共享结构，近义词与翻译等价词的行可能共享主导方向。
SRP 分解的对象正是这些行：读出特征就是从 $W_U$ 的行中学出的稀疏方向，一个模型一个词典、所有透镜和层共享。
稀疏自编码器（SAE）与 TopK
把输入向量表示为过完备词典中少数方向的稀疏加权和的自监督模型，常被拟合到激活以发现可解释特征。TopK 变体直接保留编码中最大的 $k$ 个预激活，使稀疏预算由 $k$ 直接控制；本文取 $k=256$、32 倍扩展。
SRP 的技术核心是把 SAE 从激活搬到 LM head 的静态权重（行）上，这是据作者所知的首次尝试，也是与激活 SAE 路线的分水岭。
语料条件性（corpus conditionality）
本文提出并命名的概念：拟合式透镜从语料学习映射，其报告的词元因此同时依赖隐状态与拟合语料。作者用英文与中文语料分别拟合 Jacobian lens，发现同一冻结隐状态会被报告成不同语言、不同文字的词元。
它揭示了把词元读数当'中间计算证据'的风险，也解释了为什么需要一个不依赖拟合语料的参照系——这正是 SRP 的定位。
直接 logit 归因
把 logit 或两个词元间的 logit 差写成各组件贡献之和，逐项检查符号与大小，并用消融实验验证贡献是否预测干预效果（消除某组件后分数应按贡献移动）的归因范式。
SRP 的分解形式（每特征带符号贡献加残差）与 §4.3 的消融验证完全沿用这一范式，是理解'贡献数字如何被验证'的前提。
研究动机
lens 类方法把 transformer 中间层隐状态通过读出矩阵（unembedding/LM head）解码成词元分布，读数常被当作中间计算的直接证据，例如把中间状态解码出的英文词元解释为'模型内部用英文思考'（Wendler et al. 2024）。本文指出这种推断有两个具体缺陷。其一，词元身份太粗：logit lens 在软件语境提示 "The programmer reproduced the crash and filed a" 下给 bug 高出 insect 20.37 logits 的分数，但 bug 的软件缺陷义与昆虫义共享同一行 LM head，仅凭分数无法区分'程序缺陷'与'昆虫'；反过来，近义词与翻译等价词占据不同行却可能共享主导方向，不同的词元会报告同一种底层结构——词元身份既太粗又太细。其二，拟合式透镜引入第二个歧义：作者发现分别用英文和中文语料拟合的 Jacobian lens 会对同一冻结隐状态报告不同语言（甚至不同文字）的词元，作者称之为'语料条件性'。也就是说读数混合了隐状态与拟合语料两种来源，仅看词元排名无法区分'状态变了'还是'仪器（透镜）变了'。
本文的目标是本文的目标是为 lens 读数建立一个固定在模型权重中、不依赖任何拟合语料的参照系，并把分析的'报告单位'从词元身份换成读出特征。具体而言：对每个模型只用其读出矩阵权重拟合一次稀疏导出特征词典，使任意词元 logit 或词元间的 logit 差（margin）都能按构造精确分解为各读出特征的带符号贡献（以 logit 为单位）加一个显式残差；由于特征来自所有透镜共享的读出矩阵，分解天然支持跨词元、跨语境、跨层、跨透镜的比较；当两个拟合语料不同的透镜对同一状态报告不同词元时，SRP 可以检验它们背后是否由同一读出特征主导，从而把'隐状态的变化'与'测量仪器（透镜）的变化'区分开，为 lens 分析提供独立于拟合语料的对照。
与已有工作不同的是，已有两条路线都与 SRP 互补，但都不满足其关键约束。第一条是激活 SAE（Bricken et al. 2023；Gao et al. 2025 等）：把过完备词典拟合到各层隐状态，分解的是分数 $\tilde h_\ell^\top q$ 中 $\tilde h_\ell$ 一侧；但每个透镜、每层各需一个词典，且词典本身依赖产生激活的语料，用它比较两个透镜等于引入第三个受语料影响的'仪器'。第二条是用行几何总结 unembedding：权重绑定、softmax 几何、tokenizer 切分研究，以及行邻域、聚类、主成分等，但这些总结都不受'各贡献按构造求和恰好等于被分析的分数'这一约束，无法直接回答'这个 margin 由什么承载、各承担多少'。SRP 的独特切入：把词典学习直接搬到训练好的 LM head 的行（静态权重）上，每个模型一个词典、一次拟合、所有透镜与层共享，并通过显式残差保证分解精确；再以'语料条件性'实验把 SRP 用作与拟合语料无关的对照。
核心方法
直觉上，一切 lens 分数都具有 $s = \tilde h_\ell^\top q$ 的形式：解码后的状态 $\tilde h_\ell$ 点乘某个选定读出方向 $q$（词元 logit 时 $q$ 就是该词元的行 $w_v$，margin 时是两行之差）。激活 SAE 选择分解 $\tilde h_\ell$ 一侧，SRP 反其道分解 $q$ 一侧。技术路线：先把 $W_U$ 的各行中心化并按范数归一化，拟合 TopK 稀疏自编码器（每行只保留最大的 $k=256$ 个预激活，32 倍扩展，即 $D=65{,}536$ 个特征方向），拟合后逆变换回原始行空间，使分解的每一项都在原始 logit 单位下。每行写成 $w_v = b_{w_v} + r_v$，其中 $b_{w_v} = \mu + \sum_{i=1}^{D} z_{v,i} d_i$：$\mu$ 是共享偏置，$d_i$ 是读出特征方向，$z_{v,i}$ 是稀疏系数，$r_v$ 是残差。对任意系数向量 $\alpha$ 定义的选定方向 $q_\alpha = \sum_{v \in V} \alpha_v w_v$，选定分数 $s_\alpha(\tilde h_\ell) = \tilde h_\ell^\top q_\alpha$ 就精确分解为共享偏置项、每特征带符号贡献与残差三部分之和。
核心创新是更换 lens 读数的分析单元。词元身份'太粗'——一个词元的多个义项共享同一行 LM head，bug 的缺陷义与昆虫义在分数上不可分；又'太细'——近义词与翻译等价词占据不同行，却共享主导方向，掩盖了共同结构。读出特征（LM head 行的稀疏分解方向）恰好处于合适粒度：一行可携带多个特征，一个特征可跨越多个词元、大小写、语言甚至文字（如 defect/缺陷、crash、debug 共享一个特征）。与激活 SAE 的本质区别：激活 SAE 按层、按语料各拟合一个，依赖数据分布；SRP 只用权重构造、每模型一个词典、一次拟合即服务所有透镜和所有层，因此提供了一个不随透镜、提示或语料移动的参照，使'同一特征在两个不同语料拟合的透镜下都占主导'这类跨仪器比较在方法上成为可能。
方法步骤详情
流程分五步。(1) 预处理与拟合：中心化并归一化 $W_U$ 各行后拟合 TopK SAE（$k=256$、32 倍扩展、$D=65{,}536$），再逆变换回原始行空间，单个模型约需 6–12 NVIDIA A40 GPU 小时。(2) 定义分数族：每个评估固定解码状态 $\tilde h_\ell = T_\ell(h_\ell)$（由透镜映射得到）、系数向量 $\alpha$（词元 logit 为 one-hot；margin 为 $+1/-1$；还有对词元集取均匀平均、或取原读出 top-1 对某竞争词元的变体）、竞争集与过滤脆性词元情形的规则（附录 G.7）。(3) 分解：计算每特征的行侧系数 $\beta_i(\alpha) = \sum_{v \in V} \alpha_v z_{v,i}$ 与状态侧投影 $p_i(\tilde h_\ell) = \tilde h_\ell^\top d_i$，得到带符号贡献 $c_i(\tilde h_\ell, \alpha) = \beta_i(\alpha)\, p_i(\tilde h_\ell)$ 和残差 $\epsilon = \tilde h_\ell^\top r_\alpha$，满足 $s_\text{exact} = s_\text{recon} + \epsilon$，对比分数（$\sum_v \alpha_v = 0$）中偏置项自动消去。(4) 保真诊断：随每个分解报告替换保真（held-out 状态 argmax 一致率与中位 KL）、相对重构误差 $\rho_\delta = |s_\text{exact} - s_\text{recon}| / (|s_\text{exact}| + \delta)$、覆盖率（符号一致且 $\rho_0 < 0.5$ 的分数比例）。(5) 干预验证：沿单位方向 $d_i$ 从 $\tilde h_\ell$ 中消融特征，用原始读出测 margin 变化，与预测贡献做过原点回归比较。
技术新颖性
技术新颖性有四点。第一，据作者所知，这是首次把稀疏自编码器拟合到训练好的 transformer 的静态权重上——此前 SAE 只被拟合到激活；激活与读出是同一分数 $\tilde h_\ell^\top q$ 的相反两个因子，SRP 补上了读出这一侧，且激活 SAE 因依赖语料无法胜任跨透镜比较，SRP 可以。第二，分解按构造精确：残差显式吸收拟合行遗漏的部分，使'贡献之和加残差恒等于被分析的分数'成为恒等式，这区别于行邻域、k-means、PCA 等不受该约束的行总结方法，也让 §4.2 的对比可以被公平测量。第三，提出并命名'语料条件性'并给出受控实验设计：固定隐状态、只更换拟合语料（种子、层、其他流程全部固定），展示拟合透镜报告的表面语言随语料改变，而 SRP 这个无语料构造的参照揭示同一特征始终占主导——这是把'被解释对象'与'测量仪器'分离的实验设计。第四，词典跨透镜、跨层共享，使特征层面的系统比较（dominant feature 一致性判定、特征贡献和占比）在方法上成为可能，而非事后拼凑。
实验结果
实验覆盖 8 个模型（Qwen3.5 0.8B/2B/9B、Gemma-4、Ministral-3、R1-Distill-Qwen-7B、R1-Distill-Llama-8B），每模型拟合一个读出 SAE，在 10,000 条 held-out C4 解码状态与每模型约 1,350 个选定分数（约 850 个对比）上评测。替换保真（§4.1）：用重构 LM head 替换 $W_U$ 后 held-out argmax 保持 0.89–0.90（六个无 softcap 读出）与 0.75–0.76（两个蒸馏读出），中位 KL 分别 0.09–0.14 与 0.43–0.49 bits，八个读出符号一致率均 ≥0.91。基线对比（§4.2，Table 1）：SRP 覆盖率 0.72–0.81，比六个行几何基线（ridge/kNN/k-means 两种宽度/硬分配/PCA-256）中最强者高 8.9–17.3 个百分点（Q-0.8B +8.9、Q-2B +15.5、Q-9B +17.3、Min-8B +12.9、R1-Q-7B +13.7、R1-L-8B +12.7），置信区间不重叠；与 SRP 同宽度同稀疏度（$D=65{,}536$、$k=256$）的 k-means 仍落后 18 个百分点，打乱编码与随机支撑 <0.10。干预验证（§4.3，Table 2）：消融特征后测量的 margin 变化与预测贡献回归 $r^2=0.83$–0.93，随机方向对照 ≤0.06；斜率 0.96–1.13（Ministral/蒸馏读出）与 1.34–1.69（Qwen3.5）。重训稳定（§4.4）：两宽度×三种子，held-out top-1 一致 0.805–0.848；同一对比的词元列表跨种子平均 Jaccard 0.21–0.24，无关对比仅 0.014–0.018（13–15 倍），87–91% 的特征可跨种子配对。语境实验（§4.5）：bug 在昆虫语境（对 error）由 mosquito/bee/beetle 特征承载（$\rho_0=0.185$），软件语境（对 insect）由 defect/crash/debug 承载（$\rho_0=0.003$）；CoarseWSD-20 平衡准确率 0.90/0.92/0.80（Q-2B/Q-9B/R1-L-8B，null 0.41），全状态最近质心探针 0.96/0.97/0.92。语料条件性（§5）：英文/中文各 100 条 C4 提示拟合的两个 Jacobian lens 应用于 Qwen3.5-9B 同一冻结状态（层 21/24/26/29），39/80 报告不同文字的词元，但同一 SRP 特征占主导 77/80（96%，CI [0.90,0.99]；两个 null 为 0/159 与 0/240）；ridge 翻译器 67/80（null 3/159、1/240）；英德（同脚本、去同源词）73/90 词元不同而 84/90 特征一致（null 1/204、0/270）；语料扩到 300 条后特征一致率不变（77/80、85/90），11 个提示改变报告语言而无一改变主导特征。三次独立盲评审计认可大多数标签 coherent。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 选定 logit 差的重构与覆盖率对比（六个无 softcap 读出） | coverage：符号一致且 ρ0<0.5 的比例（95% CI，cluster bootstrap） | SRP 覆盖率 0.716–0.812（Q-0.8B 0.754、Q-2B 0.780、Q-9B 0.812、Min-8B 0.777、R1-Q-7B 0.716、R1-L-8B 0.751） | 六个行几何基线（nearest-row ridge、weighted kNN、k-means 两种宽度、硬分配、PCA-256）中最强者 0.579–0.686 | +8.9 至 +17.3 个百分点，置信区间不重叠；且平均/95 分位/最大绝对误差均最低 |
| 读出替换保真（用重构 LM head 替换 W_U） | held-out 解码状态 argmax 一致率；中位 KL（bits） | top-1 一致 0.754–0.904；中位 KL 0.09–0.14（Qwen3.5/Ministral）与 0.43–0.49（两个蒸馏读出） | Gemma-4 读出（softcap 后）行重构解释方差相近但替换远差，说明行重构不等于替换保真 | 在六个无 softcap 读出上建立高保真替换基准 |
| 消融效应预测（消除特征方向后 margin 变化） | 测量变化对预测贡献 ci=βi(α)pi(h̃ℓ) 的过原点回归 r² 与斜率 | r² = 0.829–0.934（六个无 softcap 读出）；斜率 0.957–1.686 | 随机方向对照 r² ≤ 0.058 | r² 高出一个数量级，证明贡献数字具有因果预测力 |
| CoarseWSD-20 词义判别（20 个歧义词，仅用特征 id 与带符号贡献） | 平衡准确率 | 0.90（Qwen3.5-2B）、0.92（Qwen3.5-9B）、0.80（R1-Llama-8B） | 打乱词义标签的 null 约 0.41；全状态最近质心探针 0.96/0.97/0.92 | 每个词都胜过多数类基线，8 特征即可读出词义 |
| 跨透镜主导特征一致性（语料条件性主实验） | 同一 SRP 特征在两个透镜下均占主导的提示比例（80 条，层 21/24/26/29 中至少 2 层） | EN–ZH Jacobian 77/80（96%，95% CI [0.90, 0.99]）；EN–DE 84/90；EN–ZH ridge 67/80；Jacobian vs ridge 76/80 | 两个 null（无关词元、打乱配对）至多 3/159（1.9%），多为 0 | 词元报告随拟合语料改变（39/80 不同文字）而主导特征稳定 |
局限与改进
作者承认的局限：SRP 需要每模型一次 SAE 拟合（单个 NVIDIA A40 上约 6–12 GPU 小时）；与其他词典方法一样，decoder 方向依赖词典宽度、稀疏度 $k$、训练配方与随机种子（作者用保真扫描选工作点并报告跨种子与跨配方稳定性）；经验范围限于 Qwen3.5-9B 上的英中、英德比较、两种拟合透镜构造与多个拟合预算，读出编辑分析仅在 Qwen3.5-2B 上进行；SRP 只解释选定读出分数与读出组织，不回答电路或生成层面的问题；特征标签总结的是 top unembedding 行，可能继承 tokenizer 与词汇表几何。我的补充观察：(1) Gemma-4 读出因非线性 logit softcap 未被 SRP 分解，被排除在主对比之外，方法对非线性读出的覆盖有限；(2) Qwen3.5 三个读出上消融斜率 1.34–1.69，说明线性预测系统性低估实际效应，其机制未解释；(3) 语料条件性实验每设置仅 80–90 条提示，统计功效有限；(4) 特征的语义解释仍依赖 top-row 标签与三次人工盲评，规模化、自动化的解释流程尚未解决。
独立分析的弱点
独立分析的弱点：第一，词典不对齐——每个模型一个 SAE，特征 id 与方向跨模型不可比，想做跨模型审计（如同一安全概念在两个模型中的读出承载对比）必须先做词典对齐，改进方向是作者在 Appendix O.5 提到的跨模型词典对齐或共享子空间方法。第二，非线性读出未覆盖：Gemma-4 的 softcap 使线性分解不能直接应用，附录 F 需单独处理但仍在同一框架外，可推广为对 softcap 的一阶展开或直接在 softcap 前的线性分数上报告。第三，解释链路仍依赖人工：贡献数字客观，但'defect 特征'这类标签来自 top rows 检查与三次盲评，可用 LLM 读 top rows 自动生成标签并以一致性过滤来规模化。第四，语境实验中全状态最近质心探针（0.96/0.97/0.92）明显强于 8 特征求和（0.90/0.92/0.80），说明特征摘要有信息损失，可研究自适应特征数或层级式（Matryoshka 式）摘要。第五，干预斜率偏离 1（Qwen3.5 上 1.34–1.69）提示特征间存在非线性交互或归一化耦合，可建模联合消融与方向归一化效应。
未来方向
作者提出的方向（§6 与 Appendix O.5）：安全审计应用——为'拒答''来源核查'或指定词汇族定义群体对比分数，跨改写、语言、对抗提示与 checkpoint 比较特征贡献，把反复出现的特征作为因果测试或约束干预的候选，并要求报告重构误差、迁移性、分布代价与对其他输出的影响，使安全声明与选定分数绑定；方法扩展包括把特征贡献追溯到供给它们的组件（附录 M 已给出每层每特征一项的逐层归因）、激活与读出的联合分解、跨模型词典对齐、以及覆盖输出空间更多部分的分解。基于成果可延伸：把 SRP 用于训练动态，追踪读出特征在 checkpoint 序列中的出现与消亡；利用 $c_i = \beta_i(\alpha) p_i(\tilde h_\ell)$ 的双线性结构做更细粒度的可控编辑（论文已显示在匹配下一词元 KL 的约束下，这些方向在 Qwen3.5-2B 上胜过行均值与主成分方向，但在 0.8B/9B 上均值方向更强，值得进一步研究）；以及把'主导特征稳定性'发展成拟合透镜的验收指标。
复现评估
开源情况良好：代码在 github.com/hematteo/sparse-readout-prism，每个模型的读出词典在 huggingface.co/hematteo/sparse-readout-prism（附各自的许可与使用说明）。数据与协议：实验使用公开 checkpoint 和 10,000 条 held-out C4 续写的解码状态，分数 bank 每模型约 1,350 个；附录 B/G 给出评测套件、bank 家族与来源，附录 G.7 给出过滤规则，附录 K 给出语料条件性实验的完整协议与逐提示结果，附录 I 给出重训稳定性全表。算力需求：每模型一次 TopK SAE 拟合约 6–12 NVIDIA A40 GPU 小时，单卡可负担；lens 对比实验需要 Jacobian lens 的参考实现与冻结状态的重放。复现难度中等：训练本身不难，难点在于诊断流水线（替换、重构、覆盖率、干预回归）与众多过滤规则的忠实实现，以及种子级稳定性验证；论文对评估协议的描述相当细致，总体具备较强可复现性。
论文图表
左图 (A)：logit lens 给 bug +18.9、insect −1.5，margin 为 +20.37 logits。右图 (B)：SRP 把同一 margin 分解为带符号的特征贡献——defect/缺陷（f21804，+1.6）、crash（f43419，+1.0）、debug（f5680，+1.0）、漏洞/bug（f39674，+0.8）、issue（f52267，+0.6）、fix（f63433，+0.6）等，特征和 +20.43、残差 −0.06；领先特征全部关乎软件缺陷，昆虫义特征一个都没出现。每条柱标注特征 id 和在该特征上得分最高的 unembedding 行，多个是非英语词元（如缺陷、调试）。
一图讲清论文的动机与卖点：同一个分数，从'词元排名'变成'特征贡献'后，词元无法区分的 bug 词义歧义在特征层面一目了然，这正是全文方法的缩影。