硅中之友与祖母：在语言模型中定位实体细胞 Friends and Grandmothers in Silico: Localizing Entity Cells in Language Models
用稳定性评分定位大模型中的稀疏"祖母细胞"，并在 7 个模型中验证其因果操控性。
前置知识
MLP 神经元 (MLP neuron)
Transformer MLP 块中，第 $j$ 个神经元由 $W_{\text{in}}$ 的第 $j$ 列（探测器）和 $W_{\text{out}}$ 的第 $j$ 行（写入器）组成。位置 $t(x)$ 处的标量 $a_{\ell j}(x)$ 是 down_proj 前的通道值，决定写入残差流的强度。
本文把"神经元"定义为探测器-写入器对，因此单个 MLP 神经元既可以"识别"输入中的某个模式，又可以"写入"一个对应表示。整篇论文都建立在这一对激活-写入的二元刻画上。
祖母细胞假说 (Grandmother-cell hypothesis)
神经科学长期争论的假说：复杂概念（如"你的祖母"）是否由单个或极少数神经元编码。Quiroga 等人发现海马体中存在对人脸或名人稀疏响应的神经元（如 Halle Berry 神经元）。本文把这一假说"翻译"到 LLM 中，测试是否存在对单一实体选择性响应的稀疏 MLP 神经元。
如果 LLM 中确实存在祖母细胞式的实体神经元，那么事实召回就有了一个非常具体的"访问入口"——只要找到并操控这个神经元，就能在不解开整个模型的情况下精准地擦除或注入关于某一实体的知识。
因果干预 (Causal intervention)
通过修改模型内部某一中间表示并观察输出变化来建立因果关系。本文用两种干预：负消融 $a \leftarrow \alpha a$（$\alpha<0$ 翻符号）以及控制注入 $a \leftarrow v$。两者配合可同时验证必要性与充分性。
光看激活高不高只能证明相关性；只有当抑制掉这个神经元会让模型失去相关事实、激活它又能让模型恢复相关事实，才能说这个神经元在因果链上是真正的"瓶颈"。这是把可解释性研究从相关性走向因果性的关键一步。
稳定性评分 (Stability score)
给定同一实体的 $K$ 条提示，稳定性定义为 $S_{\ell j} = (\mathbb{E}_i[z])^2 / (\mathrm{Std}_i[z] + \epsilon)$，其中 $z$ 是用通用提示归一化后的 Z 分数。本质上是均值除以变异系数，即"激活要强、跨提示要稳"的综合排名准则。
稳定性评分是本文定位方法的核心算子。它优先选择在不同措辞、不同属性问句下都"既强又一致"激活的神经元，这正是一个"真正编码该实体身份"的神经元应该表现出的行为。
研究动机
大语言模型如何从参数中调取实体相关的事实，一直是机制可解释性的核心问题，但现有工作大多停留在"关系级"电路：例如定位"配偶"或"出生地"这一类关系所在的层或模块，对"具体是哪个实体"则较少追问。同时，神经科学里关于稀疏祖母细胞是否存在的争论从未停止，而 LLM 这一人工系统是否能成为该假说的实证场也一直没有答案。具体而言，对于"Paris 的首都是什么"这类查询，模型是先在某一层形成一个紧凑的 Paris 实体表示、再分发到下游关系电路，还是把 Paris 这个身份的建构分散在数十层中逐步完成，至今没有共识。
本文的目标是本文明确测试一个具体假说：LLM 中是否存在对单一实体（如 Paris、Obama、Federal Bureau of Investigation）稀疏且选择性响应的 MLP 神经元，论文称之为"实体细胞"。并进一步验证它是否在事实召回中扮演因果性的"访问入口"角色——能否通过抑制一个神经元让模型丢失关于该实体的所有事实，又能否通过激活同一神经元让模型恢复这些事实。整个研究以神经科学的"祖母细胞假说"为类比，把这一长期争论从生物大脑搬到人工语言模型里做实证检验。
与已有工作不同的是，本文的独特切入角度在于：把"实体"作为定位单位（而不是"事实/关系"），并提出一个稳定性评分算子自动发现候选神经元；通过负消融与控制注入的双向干预同时验证必要性与充分性；用别名、缩写、拼写错误、多语言形式等扰动检验这些神经元编码的是不是"规范身份"而非表面 token；在 7 个模型、5 个家族上系统比较，揭示出这种现象在 Qwen2.5-7B 上极强、Qwen2.5-7B-Instruct 与 Qwen3-8B 上仍可复现，但在 OLMo、Llama、Mistral、OpenLLaMA 上明显偏弱，从而明确把"祖母细胞"定义为一种模型依赖现象而非通用规律。
核心方法
直觉上，如果存在祖母细胞式的实体神经元，那么给定"The origin of Paris"、"The location of Paris"、"The role of Paris" 等关于同一实体的多个不同问句，模型内部应该有一个神经元在所有这些问句的实体 token 位置都"既强又稳"地激活。技术上，本文分三步走：第一步用稳定性评分从所有 $(\ell, j)$ 神经元中自动选出每个实体的 top-1 候选；第二步用负消融测试该神经元的"必要性"，并据此定义可信任子集；第三步在占位符位置做控制注入测试"充分性"，最后再用表面形式扰动作解读性验证。整个流程用 NNsight 实现，在单卡 A100 上以半精度推理跑通。
本文与已有工作的本质区别在于两点：第一，把定位单位从"关系/事实"换成了"实体"，这要求定位算法必须对同一实体的不同关系提示都保持鲁棒，而 Dai et al. (2022) 的 Knowledge Neurons 只是在同一事实的不同改写下找神经元；第二，把"祖母细胞假说"从相关性证据（激活高）推进到因果证据（双向干预），并展示出在 Qwen2.5-7B 上"抑制 → 遗忘、激活 → 恢复"的单细胞级闭环。更重要的是，top-1 注入在 79 个实体中通过 41 个，top-5 通过 42 个，几乎不需要多细胞联合编码，这与"祖母细胞"叙事高度一致。
方法步骤详情
完整流程：(1) 激活点提取。在提示 $x$ 的实体 token 位置 $t(x)$ 处，提取所有层 $\ell \in \{0,\dots,27\}$ 与 MLP 神经元索引 $j$ 的 down_proj 前的通道值 $a_{\ell j}(x)$。(2) 归一化。用 399 条通用 cloze 提示统计基线 $\mu_{\ell j}$、$\sigma_{\ell j}$，按 $z_{\ell j} = (a_{\ell j} - \mu_{\ell j}) / (\sigma_{\ell j} + \epsilon)$（$\epsilon = 10^{-6}$）标准化。(3) 稳定性排序。对同一实体的 $K = 2$ 条提示计算 $S_{\ell j} = (\mathbb{E}_i[z])^2 / (\mathrm{Std}_i[z] + \epsilon)$，按 $S$ 降序取 top-1 作为候选 $(\ell^\star, j^\star)$。(4) 负消弖。用乘子 $\alpha \in [1, -3]$（20 步）作用于候选神经元，测量目标实体召回分是否大幅下降而控制实体保持稳定，131/200 通过 trust 过滤。(5) 控制注入。把实体提及替换为占位符 $X$，用层内"平均实体"隐藏向量初始化该位置，再把 top-k 神经元激活设为 $m_{\ell^\star j} + \alpha(v_j - m_{\ell^\star j})$，对比 mean-entity、wrong-cell、correct-cell 三条件。(6) 表面形式扰动。用拼写变体、缩写、多语言形式重新跑定位，检查 top cell 是否保持。
技术新颖性
技术新颖性体现在三个层面：算法上，稳定性评分把"激活强度"和"跨提示一致性"统一为一个 CV-倒数式的打分，使得 top-1 选择对单一异常提示具有鲁棒性，因而不需要像 Knowledge Neurons 那样依赖大量改写统计量；实验上，"必要性 + 充分性"双向因果闭环同时在 7 个模型上跑，并通过 placeholder + mean-entity 初始化剥离了"重建 vs 引导"的混淆；解读上，把"祖母细胞"叙事量化成具体的可重复观察：99% 的实体 top cell 落在 layers 0-5、负消融造成 1.0 → 0.123 的目标实体崩塌、单细胞注入带来 1.8% → 63.3% 的 pass@5 跳变、跨表面形式 top cell 不变。
实验结果
论文给出四个递进的核心发现。Finding 1（局部化）：Qwen2.5-7B base 上 200 个 PopQA 实体里 99.0% 的 top 神经元落在 layers 0-5，只有 1.0% 落在 22 或 27 层；该早层集中在 Qwen2.5-7B-Instruct、Qwen3-8B 上同样复现，但在 OLMo、Llama-3.1、Mistral、OpenLLaMA 上分布更宽更深。Finding 2（必要性）：Obama 细胞 L2-N10941 的 $\alpha$ 滑到 -3，目标实体召回分从 1.0 跌至 0.123，而控制实体 Trump 仅从 1.0 降至 0.996；200 实体规模上 131/200 通过 trust 过滤。Finding 3（充分性）：trust 子集中已知答案的 109 条实例上，mean-entity 与 wrong-cell 注入下 pass@5 仅 1.8%，correct-cell 注入跃升至 63.3%；top-1 注入在 79 个实体里通过 41 个，top-5 通过 42 个，仅 1 个实体需要多细胞。Finding 4（表面形式鲁棒性）：Obama 拼写变体、FBI ↔ Federal Bureau of Investigation、Paris 在 Latin/Hebrew/Chinese/Arabic 下的写法重做定位，同一 top cell 均被恢复。跨模型：Qwen2.5-7B-Instruct 在 200 个实体中精确保持 190/200 top cell、191/200 层号；OLMo-7B 23/37 通过注入，Llama-3.1-8B 5/40、Mistral-7B 5/40、OpenLLaMA-7B 12/33。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| PopQA-200 实体召回 pass@5（控制注入充分性） | top-5 next-token 中包含正确答案 first-token ID 的比例 | 63.3%（在 109 个已知答案实例的 trust 子集上，单细胞 top-1 注入） | 1.8%（mean-entity 初始化与 wrong-cell 注入两种控制条件） | +61.5 个百分点（绝对值），约 35 倍相对提升 |
| PopQA-200 实体特异性失忆（负消融必要性） | 目标实体相对召回分 $\alpha = -3$ 时 | 目标 Obama 实体 1.0 → 0.123（drop ≈ 0.877） | 控制实体 Trump 1.0 → 0.996（drop ≈ 0.004） | 目标 vs 控制 drop 差 ≈ 0.873，呈现近乎纯净的实体特异性擦除 |
| 早层集中度 | 200 实体 top cell 落在 layers 0-5 的比例 | 99.0%（Qwen2.5-7B base） | 随机均匀分布 6/28 ≈ 21.4% | +77.6 个百分点，强烈非均匀 |
| trust 子集覆盖率（Finding 2 过滤器后保留的实体数） | trustworthy cells / 200 | 131/200 ≈ 65.5%（Qwen2.5-7B base） | 全部候选 200/200 | 约 2/3 的候选通过严格的"必要性 + 不退化"双重检查 |
| 指令微调后细胞图保持率 | Qwen2.5-7B-Instruct 与 base 完全一致的 top cell 占比 | 190/200 = 95.0%（top cell 一致）；191/200 = 95.5%（层号一致） | 随机匹配期望 ≈ 1/200 | 几乎完整的实体细胞图在 SFT 后保持不变 |
| 跨家族注入成功率 | trustworthy 细胞中通过 pass@5 控制注入的比例 | OLMo-7B 23/37 ≈ 62.2%；Llama-3.1-8B 5/40 = 12.5%；Mistral-7B 5/40 = 12.5%；OpenLLaMA-7B 12/33 ≈ 36.4% | Qwen2.5-7B base 在 79 个 trust 实体里通过 41/79 ≈ 51.9% | OLMo 接近 Qwen 水平，其余家族显著偏弱（不到 1/4），揭示模型依赖性 |
局限与改进
作者承认的局限：(1) 只用一个数据集 PopQA，$K=2$ 条提示/实体，过小可能导致 per-entity 稳定性估计有噪声；(2) 评估指标几乎全是 first-token 概率，可能低估多 token 事实能力并受词汇 priming 影响；(3) Finding 3 的 $\alpha$ 是按实体在小网格 $\{1,2,4,8,16,32,64,128,200\}$ 上 sweep 出来的，敏感性更高但可能引入乐观偏差，固定 $\alpha$ 协议是必要后续；(4) 定位评分刻意只选 top-1，可能漏掉分布式或多细胞联合编码。我自己的观察：(a) 跨家族信号弱得惊人，Llama-3.1-8B 与 Mistral-7B 的注入成功率都只有 12.5%，"通用 LLM 的稀疏实体表示"叙事不能一概而论；(b) 早层集中模式虽然漂亮，但 Qwen 系列本身在跨语言训练数据上偏强，作者把这种强信号部分归因于预训练数据组成，意味着方法可重复性高度依赖数据分布；(c) 局部化打分对 prompt 模板设计敏感，本文用 100 条属性模板，可能让评分偏向"什么属性都沾边"的神经元。
独立分析的弱点
独立分析几个具体弱点：(1) 必要性 $\to$ 充分性外推有限：Finding 2 中 131/200 通过 trust 过滤，但 Finding 3 中 79 个 trust 实体里只有 41 个通过单细胞注入（≈52%），"擦得掉"并不等价于"加得回"，可能 mean-entity 初始化已携带大部分信息，单细胞只是"拨方向盘"而非完整重建；(2) $\alpha$ sweep 协议的高敏感性：Finding 3 在网格 $\{1,2,\dots,200\}$ 上每实体选最优 $\alpha$，$\alpha = 200$ 远超出常见激活范围，结果对初始 mean 估计误差非常敏感，需要报告固定 $\alpha$ 的结果才有可比性；(3) $K=2$ 提示过少：稳定性公式在 $K=2$ 时退化为 $|z_1+z_2|/(|z_1-z_2|\sqrt{2})$，二样本估计方差大、ranking 易抖；(4) 数据集单一：仅 PopQA 200 个实体，偏人名/地名/组织，未覆盖抽象概念、长尾实体或科学术语；(5) 跨家族失败模式不深挖：Mistral/Llama 信号弱的根因（架构、训练目标、tokenizer、预训练数据）未进一步诊断，削弱"祖母细胞"作为通用现象的论断。
未来方向
作者提出的后续：(a) 把激活干预扩展为更稳定的可重复协议（固定 $\alpha$、多提示平均）；(b) 通过 latent steering 做事实修改（附录 C 的 Algorithm 3 给出单案例 Obama spouse 改写，6 个 preservation prompt 上 steered/base 比例接近 1.0）；(c) 在更多模型、数据集与关系上做复制。基于成果可延伸的方向：(1) 把实体细胞定位用于"实体级遗忘"，例如 GDPR 风格地擦除模型对某一人的所有事实而保留语言能力；(2) 把单细胞注入与 ROME/MEMIT 等参数级编辑对比，看是否真的等价或互补；(3) 探索 top-k 多细胞编码，研究什么情况下需要 >1 个神经元才能完整表征一个实体（Shafran et al., 2025 的 SNMF 分解是天然工具）；(4) 把稳定性评分推广到关系级、概念级，看是否存在"配偶细胞""首都细胞"等关系级稀疏神经元，与实体细胞共存；(5) 在训练过程中追踪这些神经元的形成时机，看它们是不是早期就锁定身份。
复现评估
复现评估整体较友好：作者开源代码、提示与数据（https://github.com/1tux/in-silico/），激活追踪与图内干预通过 NNsight 实现，避免重训。实验在单张 NVIDIA A100 上跑，所有模型用 half-precision + automatic device mapping 推理，硬件门槛低。主实验只跑 200 个实体 × 7 个模型，对算力需求很轻（A100 数小时级即可复现 Finding 1-4）。模板、baseline 提示（399 条）、超参（$N=200$, $K=2$, $\epsilon = 10^{-6}$, seed 7）都给得很细。复现难度中等偏下，门槛在于：(a) 需正确理解 MLP 神经元在 Geva et al. (2021) 框架下的 detector+writer 定义，并用 NNsight 抓到 down_proj 前的标量；(b) 跨 7 个模型下载与本地加载；(c) RelProb、pass@5 评测指标需按 alias 集合和 tokenizer 仔细实现；(d) Finding 3 的 $\alpha$ sweep 协议若不严格复现，结果可能漂移几个百分点。
论文图表
论文首页的概念图。展示 Qwen2.5-7B 的早期层（layers 0-5）存在稀疏、实体选择性的 MLP 神经元（"实体细胞"），它们对别名、拼写错误、多语言变体都鲁棒，并可作为因果性的事实检索访问入口。图中还对比了其他 6 个模型：候选实体细胞也能找到，但因果证据普遍偏弱。
这是整篇论文的视觉摘要，把"祖母细胞假说 → 早层集中 → 表面形式鲁棒 → 因果操控性 → 跨模型可重复但弱"这条主线一图说清，是理解全文最关键的概念框架。