Transformer 收敛到不变的算法核心 Transformers converge to invariant algorithmic cores
独立训练的 Transformer 权重千差万别，但都收敛到同一低维算法核心
前置知识
机制可解释性 (Mechanistic Interpretability)
机制可解释性是深度学习中的一个研究方向，旨在通过逆向工程（reverse engineering）打开神经网络黑箱，识别模型内部承担特定功能的子结构（如注意力头、MLP 神经元、电路），并理解它们如何协同实现某个行为。它强调因果验证：通过对内部表征做干预（ablation、activation patching），观察行为是否改变，从而证明某个结构确实承担了某个功能。
本文正是机制可解释性领域的工作，它提出的 'algorithmic core' 是对传统电路分析的一种新的抽象单位，是论文最核心的对象。
Transformer 隐藏状态与表征子空间
Transformer 的每一层都把上下文压缩为一个高维向量（隐藏状态 $h \in \mathbb{R}^D$，例如 GPT-2 Small 的 $D=768$）。通常认为任务相关的信息沿着某些特定的方向编码，因此可以用低维子空间（subspace）来近似刻画——也就是本文所指的 'algorithmic core'。投影（projection）$P = QQ^\top$ 是把任意向量映射到该子空间的线性算子。
论文的整套方法建立在 '任务功能集中于一个低维子空间' 这一假设之上，读者需要理解子空间、投影、基矩阵等概念才能跟上数学描述。
Grokking（顿悟）现象
Grokking 指的是神经网络在训练中的一种相变：训练精度早早达到 100%，但测试精度却在数千步之后才突然跳升，表现出从 '死记硬背' 到 '泛化' 的转变。Power 等人在 2022 年首次记录这一现象，并把它与权重衰减（weight decay）联系起来。本文在模加任务上复现并深入分析了这个现象。
论文用模加任务作为测试床，展示了 '算法核' 在 grokking 时刻突然凝聚，之后又在 weight decay 推动下膨胀——这是理解论文第二条主线的关键背景。
Kalman 分解与最小实现
Kalman 分解是线性系统理论中的一个经典结果：把一个线性动态系统的状态空间分成四个子空间——可达且可观测（任务必需）、可达不可观、不可达可观、不可达不可观。只有第一个子空间对输入-输出行为有贡献，去掉它行为就会变；保留它行为就能恢复。'最小实现'（minimal realization）就是只保留这个子空间。
本文的 ACE 算法本质上是对 Kalman 分解思想在非线性 Transformer 上的一个经验性类比，是理解方法动机的关键。
Canonical Correlation Analysis (CCA)
CCA 是一种衡量两组变量之间相关性的统计方法。它寻找两个投影方向，使得投影后的变量相关系数最大；多维 CCA 则依次找多对方向（canonical correlations）。在表示学习中，CCA 常被用来衡量两个神经网络学到的表征在多大程度上编码了相同的信息。
论文用它来证明 '尽管几何上几乎正交，三个独立训练的核编码的统计信息几乎完全一致'，这是结论中反直觉但关键的一组证据。
研究动机
Transformer 在文本生成、代码补全等任务上表现出惊人的能力，但我们对它们内部如何工作其实理解很浅。一个根本性的障碍来自训练的'欠定性'（underdetermination）：训练目标只规定输入-输出映射，不规定内部权重。所以同一任务、同一架构下，独立训练的模型可以有不同的权重配置，电路（circuits）也可以完全不同——这就是文献中讨论的 Rashomon 效应或 '功能等价' 现象。论文作者 Joshua Schiffman 在引言里举了一个非常尖锐的例子：在受控实验中，三个独立训练的单层 Transformer 权重之间的余弦相似度接近 0（Fig. 1A），如果机械可解释性的解释只盯着特定权重或电路，那么这些解释很可能只是某个特定训练运行的'偶然产物'，换一批随机种子就讲不通了。这是一个让整个领域不安的方法论危机。
本文的目标是本文试图回答三个层层递进的问题：(1) 在训练好的 Transformer 中，是否存在一个低维子空间，它对该任务而言既是充分（保留它就能完成任务）又是必要（去掉它任务就垮掉）？作者把这样一个子空间命名为 algorithmic core（算法核）。(2) 不同独立训练得到的 Transformer 是否会收敛到同一个算法核（哪怕它们的几何位置截然不同）？(3) 这个算法核能不能被赋予'机械'的解释——例如能否反过来拟合出生成数据的过程（Markov 转移谱、模加的循环结构）？最终目标是把'机械可解释性'的目标从'看电路'升级到'看算法'，把那些在不同训练间稳定的、不变的结构当作可解释性研究的对象。
与已有工作不同的是，此前可解释性领域的主流方法是 circuit analysis（电路分析），即把模型拆成注意力头和 MLP 神经元，标定它们各自的功能。然而已有研究（如 refs 6,7）表明，电路可能是'实现层面'的细节而不是'算法层面'的本质——同一个算法可以被截然不同的电路实现。本文抓住了别人忽视的一点：与其问 '这个模型是怎么连线的'，不如问 '在所有功能等价的实现之间，有什么是不变的'。这个视角的转换让论文同时具有方法论与实证贡献：一方面提出 ACE（Algorithmic Core Extraction）算法作为操作工具，另一方面用它跨越三个尺度（4 状态 Markov、双层模加、GPT-2 Small/Medium/Large）反复验证 '收敛到不变核' 的现象，并最终给出 weight decay 为什么会驱动核膨胀与 grokking 的解析理论。
核心方法
ACE（Algorithmic Core Extraction）算法的直觉可以这样描述：假设一台复杂的 Transformer 其实在做一件简单的事，比如 '算下一个 token'，那么它 64 维（甚至 1024 维）的隐藏状态中，真正承载算法信息的可能只有 3 维、1 维甚至更少。问题是怎么从高维激活里 '挖出' 这几维？作者借鉴了 1960 年代控制理论中 Kalman 分解的思路：一个线性动态系统的状态里，'可达且可观测' 的部分才是对输入-输出有贡献的，其余的自由度再变也不会改变行为。把这套思想搬到非线性 Transformer 上：要找一个子空间，它的两类条件都满足——对输入 '活跃'（输入方差大），对输出 '相关'（输出对它的变化敏感）。技术路线上，ACE 把层激活矩阵 $H \in \mathbb{R}^{N \times D}$ 和对该激活求 Jacobian 拼出的灵敏度矩阵 $J \in \mathbb{R}^{NK \times D}$ 做交互奇异值分解 $HJ^\top = U \Sigma V^\top$，靠奇异值的大小自动选出前 $r$ 个联合重要的方向，然后用这 $r$ 个方向回投到激活空间得到核 $C = \mathrm{span}(H^\top U_r)$，并配以基于能量阈值与 ablation 双重校验的 rank 选择。
本文最核心的创新在于视角的切换：从 '权重' 转到 '功能等价类中的不变量'。已有的可解释性方法——无论是稀疏自编码器（SAE）、电路分析还是基于 probe 的方法——都倾向于在单模型、单权重空间里寻找结构。本文则提出一个非常具体的 '因果判定准则'：一个子空间只有同时通过三道关卡才能被称为算法核——(1) 必要（去掉它任务精度掉到接近随机）、(2) 充分（只保留它任务精度不掉）、(3) 可解释（能在它上面拟合出与真实数据生成过程同构的动力学）。这个三重判据比单纯 '解释方差' 或 '激活相关性' 严格得多，也是把 '算法核' 和 'PCA 主成分'、'SAE 特征' 区分开的关键：PCA 描述方差集中在哪里，ACE 描述输入-输出信息流在哪里，且为后续把核当作 '动力系统' 来分析（拟合线性算子、读特征值）留下了合法接口。在三个实验里这个想法都产生了具体的、非平凡的新结论：Markov 链的核心算子特征值与真实转移矩阵的非平凡谱匹配到 1% 以内；模加任务的核心在 grokking 时突然出现循环结构；GPT-2 的主谓一致由一个跨模型一致的 1D 轴控制。
方法步骤详情
ACE 的执行流程分为四步，每一步都有明确的输入、输出和操作。第一步，准备输入：取一批输入 $\{x_i\}_{i=1}^N$ 走过 Transformer 到目标层（比如最后一层、最后一 token 位置），把隐藏激活收集成均值中心化的矩阵 $H \in \mathbb{R}^{N \times D}$；并选定一个任务相关的输出函数 $f:\mathbb{R}^D \to \mathbb{R}^K$（比如到 logits），堆叠其 Jacobian $J \in \mathbb{R}^{NK \times D}$。第二步，构造交互矩阵：实际实现上不必显式拼 $HJ^\top \in \mathbb{R}^{N \times NK}$，而是分别构造激活协方差 $A = H^\top H$、灵敏度 $S = J^\top J$，取平方根因子 $A + \epsilon I = LL^\top$、$S = \Gamma\Gamma^\top$，再对 $L^\top \Gamma \in \mathbb{R}^{D \times D}$ 做 SVD 得到 $U\Sigma V^\top$，奇异值 $\sigma_i$ 度量 '第 $i$ 个方向同时活跃且相关' 的强度。第三步，rank 选择与基构造：用能量阈值（如 99% 或 99.9%）初选 $r$，并以 ablation 精炼——'保留前 $r$ 维核' 时任务不掉、'去掉前 $r$ 维核' 时任务掉到接近随机，取最小满足这两条的 $r$。核的基由 $H^\top U_r = QR$ 给出，核投影算子为 $P = QQ^\top$，核的补空间即 $I - P$。第四步，因果验证与动力学拟合：在测试集上做三类干预——baseline（$\tilde h = h$）、core-only（$\tilde h = Ph$，检验充分性）、core-removed（$\tilde h = h - Ph$，检验必要性）。在 Markov 链实验中，把激活投到核空间得到 $z_t = Q^\top h_t$，用最小二乘拟合线性算子 $z_{t+1} \approx A z_t$，然后把 $A$ 的特征值与真实转移矩阵的特征值比较；在模加实验中拟合的是 '加一' 移位算子 $\bar r_{(c+1) \bmod 53} \approx A \bar r_c$。GPT-2 实验则额外加了 'core-flipped' 操作（$\tilde h = h - 2(h^\top q) q$）用于检验方向控制性。
技术新颖性
技术上的新颖性体现在三个层面：第一，把控制论里 Kalman 分解 / balanced truncation 的思想首次系统地搬到 Transformer 上，并给出了可操作的非线性版本（ACE），使得 '找因果相关子空间' 在深度模型上变成了一个可直接跑、几分钟出结果的标准流程——这与稀疏字典学习（SAE 类）耗时数小时形成鲜明对比。第二，论文没有停留在 '提取子空间' 这一步，而是把核当成一个 '动力系统' 来读：在核坐标里拟合线性算子、读特征值谱，从而自动恢复了任务本身的数学结构（Markov 转移谱、循环群对称）。这一招让作者不需要预先假设 '模加一定用 Fourier 表示'，而是从数据里自动发现了这一点。第三，作者把 'functional equivalence' 作为一个有产出的核心概念，提出了一个解析的 weight decay + grokking 理论：基于 Cauchy–Schwarz 不等式证明了 '最小范数要求最大冗余'，并推出 grokking 延迟 $\tau_\mathrm{grok}(p) = -\Omega \log(1 - p_\mathrm{crit}/p)$，与跨 12 个随机种子的扫描实验吻合（$\tau \propto \omega^{-1.02}$，$\tau \propto p^{-1}$）——这种 '现象+理论' 的完整闭环在可解释性论文里并不常见。
实验结果
论文有三条主线，每条都给出了可量化的证据。第一条是受控的 Markov 链实验：三个架构完全相同（$d_\mathrm{model}=64$，$d_\mathrm{ff}=256$，$|V|=4$）的单层 Transformer 独立训练在四状态 Markov 链上（$\alpha=0.75$，$\beta=0.25$），三者测试精度都精确停在 0.7501，正好等于 Bayes 最优 0.75。从 64 维隐藏状态中各提取出一个 3D 核心：在 Full Model 下三个模型都得到 0.7501，Core-only 下保持 0.7501，Core-removed 下分别掉到 0.2766、0.2202、0.2261，逼近随机基线 $\max(\pi)=0.25$（Table 1）。然而三个核心在权重空间里几乎完全无关——cosine similarity 接近 0、projector overlap 仅 0.02–0.04、主角度落在 75°–90°（Table 2，Fig. 1C）——但在统计上一致：CCA 相关系数 0.929–0.999，平均 0.98–0.99（Table 2，Fig. 1D）。最惊人的是，在每个核上拟合出的线性算子的特征值都与真实 Markov 转移矩阵的非平凡谱匹配到 1% 以内（Table 3，$\lambda_1 \approx 0.754 \pm 0.252i$，$\lambda_3 \approx 0.49$），说明核不仅 '够用'，还真的 '记录了任务的因果生成过程'。第二条是模加任务：三个双层 Transformer（$d_\mathrm{model}=128$）训练在 $a + b \equiv c \pmod{53}$ 上，全部在 epoch 800 附近发生 grokking，同时核心维度从 ~42 急剧压缩到 16（Fig. 2A）。在核坐标里拟合的 '加一' 算子的特征值在 grokking 前散落在单位圆内（$\|\lambda\|-1$ 较大），grokking 时突然贴到单位圆上（Fig. 2C），这正是循环算子的几何签名——也是 Nanda 等人 Fourier 假说的无假设版本。继续训练到 $2 \times 10^4$ epoch 时核心却从 ~15 维膨胀到 ~60 维（Fig. 3A），这是 weight decay 关闭的情况下不会发生的——而膨胀来自冗余：充分维度保持稳定，必要维度暴增，循环模态数量向理论上限 $\lfloor p/2 \rfloor + 1 = 27$ 逼近（Fig. 3B,C）。第三条是 GPT-2 主谓一致实验：GPT-2 Small（117M）、Medium（345M）、Large（774M）三个模型都在末层附近找到一个 1D 核（Table 4），且 spectral gap $\sigma_1^2/\sigma_2^2$ 分别为 40、44 和 $2.8 \times 10^{10}$——也就是核心被压得极扁平。该 1D 核是必要（AUC 0.217–0.244，远低于 0.5）、充分（AUC 0.975–0.994）和方向可控的（core-flipped 后 AUC 0.021–0.038，几乎完美反转；Table 5）。更惊人的是跨模型一致性：把三个模型核心投影到 z-score 坐标后，Spearman $\rho = 0.878–0.923$，Pearson $r = 0.924–0.968$（Table 6），跨越 6.6 倍参数和 3 倍深度都稳定一致。把这个 1D 翻转用在开放式生成里，三个模型都稳定产生系统性主谓一致违反，比如 'We hold these truths... that all men is created equal' 这种几乎不可由 prompt 单独诱导的错误（Fig. 5）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Markov 链 next-token 预测 (Full Model) | Test Accuracy | 0.7501（三个模型一致） | Bayes-optimal = 0.75；Chance = 0.25 | 达到 Bayes 最优上界 |
| Markov 链（Core-only 充分性） | Test Accuracy | 0.7501 / 0.7501 / 0.7501 | Full Model = 0.7501 | 与 Full 完全一致（信息完全包含于 3D 核） |
| Markov 链（Core-removed 必要性） | Test Accuracy | 0.2766 / 0.2202 / 0.2261 | Chance = 0.25 | 掉到接近 chance，验证必要性 |
| Markov 核心谱恢复 | 特征值匹配误差 | $\lambda_1 = 0.754 \pm 0.252i$，$\lambda_3 = 0.49$（三个模型） | 真实 Markov $T$：$\lambda_1 = 0.750 + 0.250i$，$\lambda_3 = 0.500$ | < 1% 误差 |
| Markov 核心几何对齐 | 主角度 (°) | [77.1, 78.7, 85.9] / [75.2, 78.8, 83.9] / [78.1, 80.6, 89.8] | 正交 = 90° | 几何上几乎正交 |
| Markov 核心统计对齐 | CCA 平均相关系数 | 0.99 / 0.98 / 0.98 | 1.0 = 完全一致 | 统计上几乎完全对齐 |
| 模加核心在 grokking 时 | 核心维度 | 16（在 epoch 800） | 42（grokking 前） | 约 2.6× 压缩 |
| 模加循环算子 $R^2$（grokking 时） | 拟合优度 | $R^2 = 0.972$（epoch 800）→ 0.992（epoch 2000） | $R^2 \approx 0$（epoch 0–300） | 从随机信号到接近完美的循环拟合 |
| 模加核心膨胀（$2 \times 10^4$ epoch） | 核心维度 | 60（weight decay = 1） | 15（grokking 时） | 4× 膨胀 |
| 模加循环模态数（延长训练） | 占据的非零模态 bin 数 | 接近 27（$\lfloor 53/2 \rfloor + 1$） | 理论上限 27 | 达到理论最大冗余 |
| Grokking 时间 vs 权重衰减 $\omega$ | $\tau_\mathrm{grok} \propto \omega^{-1.02}$ | 拟合指数 -1.02 | 理论预测 -1.0 | 吻合理论 |
| Grokking 时间 vs 模数 $p$ | $\tau_\mathrm{grok}(p) = -\Omega \log(1 - p_\mathrm{crit}/p)$ | $\hat\Omega \approx 2770$，$\hat p_\mathrm{crit} \approx 23$ | ODE 闭式解 | $R^2 > 0.99$ |
| GPT-2 主谓一致（baseline） | AUC | 0.911 / 0.934 / 0.921（S/M/L） | 1.0 完美；0.5 随机 | 已接近天花板 |
| GPT-2 Core-only（充分性） | AUC | 0.994 / 0.997 / 0.975 | Baseline 0.911–0.934 | 1D 核保留反而高于 baseline（投影去噪） |
| GPT-2 Core-removed（必要性） | AUC | 0.241 / 0.217 / 0.244 | Chance 0.5 | 远低于随机，验证必要性 |
| GPT-2 Core-flipped（方向控制） | AUC | 0.038 / 0.023 / 0.021 | 1.0 完美一致；0.0 完全反转 | 几乎完全反转主谓偏好 |
| GPT-2 跨模型一致性 | Spearman / Pearson r | $\rho = 0.878–0.923$，$r = 0.924–0.968$ | 1.0 完全一致 | 跨 6.6× 参数规模稳定 |
局限与改进
作者在 Limitations 和 Discussion 部分坦诚了几个关键边界。第一，论文所有的实验都建立在 '任务标签明确、可控' 的前提下：Markov 链、模加、主谓一致——都是 ground-truth 清晰的小尺度问题。对于多步推理、规划、长程记忆等开放任务，核心是否依然低维、是否依然有清晰谱结构，并没有被验证；GPT-2 的成功有可能只是因为 '语法一致' 本身是一个相对局部、信息瓶颈窄的任务。第二，提取任务特定核需要 '精确的机制问询'——研究者必须能写出 $f(h)$（比如 '用 is/are 的 logit 差'）。对多功能模型而言，怎么系统地把 '能力' 分解为可问询的子任务，本身就是个未解问题，作者也明确把它列为开放方向。第三，ACE 算法在数学上不是闭合的定理，而是 '平衡截断' 思想的工程化近似：当 '活跃' 与 '相关' 这两个条件都满足时它退化为 PCA，但对深层非线性 Transformer 何时两条件会偏离、何时它们对得上，作者没有给出收敛性或唯一性保证。第四，文中许多数字（如 1% 的谱误差）看上去漂亮，但它们都是在 $d_\mathrm{model} \le 128$ 的小模型上得到的；GPT-2 Large（774M）虽然规模显著大，但核提取本身仍然只用单 token 激活和 logits 的 Jacobian，没有评估它在 prompt-级 attention pattern 上的稳定性。第五，'core-flipped 后开放式生成出现主谓一致违反' 这个 demo 看起来很神奇，但论文没有给出完整的偏差评估——是否同时引入了语义偏移、其他语法错误？这一点对把核用作 '安全干预工具' 的应用前景至关重要。
独立分析的弱点
从我的视角看，论文有四个值得改进的地方。**第一，核维度 $d_\mathrm{core}$ 的选取依然依赖能量阈值 + 人工 ablation 精炼**，这对大规模模型既不优雅也不可扩展；当 $d_\mathrm{model}$ 从 128 涨到 1024 时，怎么自动确定 $r$、怎么让 $r$ 在不同模型间可比，是工程上的卡点。改进方向：可以借用核范数 / 信息瓶颈 / MDL 准则做无监督 rank 选择，或者直接对谱做 Elbow 拐点检测。**第二，跨模型对齐依赖 'sign convention'**——Table 6 给出的 Spearman/Pearson 是绝对值，论文隐含承认了符号需要手动固定。这意味着 '不同模型的核编码同一概念' 这个结论其实并不严格：如果两套核在某些方向上符号相反，CCA 仍能给 0.95+，但解释性会变模糊。改进方向：可以引入 Procrustes + 旋转不变性约束，或在核提取时强制一个 '语义锚'（例如让 $P h$ 的均值为正的那个方向定义为 positive）。**第三，core-flipped 的开放式生成例子偏向 demo 性质**：Fig. 5 三个例子都很 '有趣'（'men is created equal'、'Lamarans' 这种），但论文没有报告 BLEU/grammar-error-rate 等定量度量。改进方向：补充 Llama-grammar-corrector 或人类偏好评估，并对比 '随机方向 flip' 与 '核心 flip' 的差异，证明效果来自核而非随机扰动。**第四，'functional equivalence 驱动 grokking' 的理论依赖一个强假设——各模态 $\alpha_k$ 在近似正交参数子空间里叠加**（Box 1 注释脚注里也承认了这一点），而实际 Transformer 里 $\alpha$ 是非线性 attention + MLP 共同产生的，'线性可加' 是否成立在更深模型上需要验证。改进方向：可以通过对实际模型的 Hessian / 模态分解检验这个正交性，或在 ODE 推导里加入 cross-mode coupling 项。
未来方向
作者提出的方向可以分为三类。**短期可推进的**：(a) 把 ACE 应用到多 token、跨层 attention pattern 上，提取 '算法核 + 电路' 双重表示，回答 '不同模型用同样核但不同电路吗'；(b) 把 weight decay 'anneal to zero' 作为保 interpretability 的标准实践，作者已暗示这点；(c) 探索 core-alignment 作为 model merging 的预处理，解决 '不同种子模型权重几何上几乎正交导致线性插值失败' 的问题。**中期方向**：(d) 用 Koopman 算子理论替代线性算子拟合，处理非线性动力学任务；(e) 把 SAE 的稀疏字典与 ACE 的核做 cross-coder，让 '稀疏' 与 '不变' 两个目标统一——这是论文结尾明确提出的猜想；(f) 探索 '当模型规模足够大、出现能力阶跃时，是否与 '中性网络'（neutral networks）涌现有结构相似性'，作者援引进化遗传学做了类比。**长期愿景**：(g) 把核心提取做成 '任务分解器'——对任意能力都自动给出一个低维可干预接口，让 interpretability 与 controllable steering 成为同一件事；(h) 应用于安全相关行为（refusal、hallucination、deception）的因果干预目标识别。这条线如果走通，会把可解释性从 '理解模型' 升级为 '操控模型' 的工程工具。
复现评估
复现性整体较好。代码作者承诺开源在 https://github.com/joshseth/cores，仓库公开后理论上可以复跑三个实验的全部结果。Markov 链和模加实验都是 '小模型 + 短训练'：单层 $d_\mathrm{model}=64$ 训 40 epoch、单 batch 64 即可；三层双层 $d_\mathrm{model}=128$ 训 $2 \times 10^4$ epoch——单张 RTX 3090 在 1–2 小时内能完成单 seed，所以 12 seed 的扫描需要半天到一天。GPT-2 实验无需额外训练，直接调用 HuggingFace 上的公开 checkpoint（Small/Medium/Large），主要算力开销在 Jacobian 计算和 1200 prompt × 3 模型 × 多次 forward pass 上推理，GPT-2 Large 单 prompt inference 在 A100 上约 0.1s，整体几十分钟内可以跑完。最有挑战的部分是 'extended training with weight decay on' 的模加 $2 \times 10^4$ epoch——三个 seed × 两种 weight decay regime，再加上 $p \in \{31,43,53,61,79,89,101\}$ × 12 seed 的 grokking 扫描，整体在单卡上需要 1–3 天。论文 Table 数字足够细（精度到小数点后 4 位），应该可以独立验证。需要注意的小坑：(1) ACE 的 Jacobian 在 $NK$ 维度上要小心内存，作者给的 square-root 因子化建议是必读的；(2) core-flipped 自适应强度 $s^*$ 需要超参 $\epsilon, s_\mathrm{cap}$ 调优，作者没给出最敏感值；(3) Box 1 Figure 的 ODE 拟合用 scipy.optimize.curve_fit，初值敏感，需要参考论文的 $\hat\Omega \approx 2770$, $\hat p_\mathrm{crit} \approx 23$。整体难度：中下，适合作为 '机械可解释性小组项目' 的入口。
论文图表
三个 GPT-2 模型在相同 prompt 下的 Base vs Core Steering 输出对比。GPT-2 Small 在 'AI 是新研究领域' 提示下，原输出 'companies are looking' 被干预为 'companies seeks to develop'（单复数反转）；GPT-2 Medium 在 'We hold these truths' 提示下，原输出 'all men are created' 被改成 'all men is created'；GPT-2 Large 在 'Scientific research' 提示下，原输出 'has identified the specific genes' 被改成 'would also prove that the theory were false'，并产生 'species have no natural enemies' 这种连锁错误。
这是把 '核心即控制旋钮' 落到 '可读文本' 上的最直观证据——证明翻转 1D 核的影响不仅限于提示集，还会在 autoregressive 生成中传染，且影响多种动词类型与多种句法位置。
Box 1 内的实验-理论对照图。左图：固定 $p=53$，扫描权重衰减 $\omega \in \{0.3,0.5,1,1.5,2,3\}$，12 seed 平均的 grokking 延迟 $\tau$ 与 $\omega$ 在 log-log 下斜率 -1.02，与理论预测 -1.0 几乎完全一致；右图：固定 $\omega=1$，扫描模数 $p \in \{31,43,53,61,79,89,101\}$，ODE 解 $\tau(p) = -\Omega \log(1 - p_\mathrm{crit}/p)$ 与数据 $R^2 > 0.99$ 吻合，$\hat\Omega \approx 2770$，$\hat p_\mathrm{crit} \approx 23$。
这是论文 '理论 + 实验' 闭环的关键图，证明 grokking 时间不仅可观测，而且可以由 Box 1 中的 ODE 解析预测——这是论文从 '现象描述' 升级为 '机理建模' 的最直接证据。