大语言模型的信息几何：共享、可习得且可控 The information geometry of large language models is shared, learned, and controllable
行为唯一确定输出Fisher几何：它跨模型共享、由语言统计塑造，并规定最小扰动干预
前置知识
Fisher–Rao 度量
概率分布流形上的黎曼度量，由 Fisher 信息矩阵定义：两个相邻分布的 KL 散度有二阶近似 $\mathrm{KL}(p\|p+dp) \approx \frac{1}{2}dp^\top I(p)dp$，即用 Fisher 信息衡量分布间的局部距离。Chentsov 定理证明，在所有保持统计信息的变换下它是唯一的正则度量（至多差一个整体尺度）。
本文的整个框架建立在'输出分布空间有这个唯一正则几何'之上：跨模型比较、谱预测和干预设计全部使用 Fisher–Rao 距离或其拉回形式，不理解它就无法理解为什么输出几何比激活几何更基本。
拉回度量（pullback metric）
通过光滑映射把目标空间上的度量搬到源空间：若映射的雅可比为 $J$、目标度量为 $H$，则源空间度量为 $G = J^\top H J$。本文把输出分布空间的 Fisher 度量经网络雅可比 $J = \partial h^L/\partial h$ 拉回到内部激活层，使'激活改变量'用它引起的'输出改变量'来度量。
论文所有干预（转向、编辑、微调）和所有局部预测（KL、成本比、特征重要性 $v^\top G v$）都基于拉回度量 $G$，它是连接内部激活与外部行为的数学桥梁。
自然梯度与阻尼
用 Fisher 度量而非欧氏度量归一化的最速上升方向：对目标梯度 $q$，步长方向为 $\delta h \propto (G+\alpha R)^{-1}q$，其中 $\alpha$ 是阻尼、$R$ 是参考度量。它在'达到指定目标改变'的约束下最小化正则化局部输出代价，且在坐标变换下协变。
本文的六种模型操作（转向、编辑、特征重要性、归因、字典学习、LoRA）全部是这一个阻尼自然梯度步的实例，核心实验都是比较它和欧氏步 $(I+\alpha R)^{-1}q$ 的脱靶破坏。
KL 散度
两个概率分布的非对称差异度量，$\mathrm{KL}(p\|q) = \sum_a p_a \log(p_a/q_a)$。它既扮演理论角色（分布空间上的局部距离由其二阶展开给出），又扮演实验角色（论文用脱靶 KL 度量干预对无关行为的破坏，用预测/实测 KL 比检验几何有效性）。
全文的核心恒等式是 $\mathrm{KL}(p_h\|p_{h+\delta h}) = \frac{1}{2}\delta h^\top G \delta h + O(\|\delta h\|^3)$——'几何长度等于行为改变'；匹配目标改变后比较 KL 是所有干预实验的统一协议。
GL(d) 规范自由
激活层的任意可逆线性变换 $h \mapsto Ah$（配合下游补偿）不改变模型的输入输出函数，因此激活空间的欧氏距离、余弦相似度在这个 $\mathrm{GL}(d)$ 变换群下不是不变的——它们依赖于一个任意的坐标选择，如同物理学中依赖规范选取的量。
这是论文否定激活空间度量的根本论证：既然同一行为可以有完全不同的欧氏激活几何，那么基于激活相似度的'表示收敛'测量和干预正则化都缺少原则性基础，必须换到行为（输出）空间。
表示相似性分析（RSA）/ Spearman 秩相关
比较两组'距离矩阵'的方法：每个模型对其上下文集合给出两两距离矩阵，把矩阵上三角（所有上下文对的距离）转成秩，再对两个模型的秩向量计算 Spearman 相关。它只要求比较'哪些对更近'的排序，不要求共享词表、架构或特征空间。
跨模型几何共享的核心指标——0.88（输出几何）对 0.62（激活几何）——就是这样测的；理解这个工具才能理解为什么跨分词器、跨架构比较是良定义的。
有效维数（effective dimension）
在阻尼尺度 $\alpha$ 下被'解析'的几何模式数的软计数：$N_{\mathrm{eff}}(\alpha) = \sum_k \lambda_k/(\lambda_k + \alpha)$，其中 $\lambda_k$ 是输出 Fisher 特征值。每个模式的贡献在 0 与 1 之间：特征值远大于 $\alpha$ 记 1，远小于记 0。
论文证明这个量可以仅由 token 概率与读出行范数构成的轮廓 $q_{(k)}$ 无拟合参数地预测（家族中位 RMSE 低至 0.027），是'几何由语言统计继承'命题的最强定量证据之一。
研究动机
现代可解释性与模型干预方法几乎默认激活空间的欧氏几何：表征距离、特征重要性、转向向量和微调正则化的底层都是激活向量间的欧氏内积。但语言模型的预测行为不偏爱任何内部坐标系——同一个输入输出函数可以在任意可逆线性变换 $h \mapsto Ah$ 下完全等价地实现，而欧氏距离在这种重参数化下不保持不变。这意味着激活空间的'表示收敛'测量（柏拉图表示假说之争）和干预代价评估都建立在任意坐标选择上。与此同时，转向和知识编辑经常造成严重的脱靶破坏：改变目标行为的同时扰乱大量无关预测，而现有方法既不能在干预前预测这种破坏有多大，也没有原则性方法把它降到最低。此外，'为什么独立训练的模型会收敛''语言统计如何塑造内部结构''单个事实何时被习得'这些问题一直由不同社区用互不相干的工具研究，缺乏统一解释。
本文的目标是本文要论证并实证一个统一命题：大语言模型的信息几何由其预测行为唯一确定（在保输出对称性的意义下），并且这一几何是可辨识、共享、可由语言统计预测、且直接规定最优干预的。具体分解为四个可检验目标：（1）行为识别——预测行为在匹配秩下唯一挑出语言定义的读出子空间，给出二次边际定理与实验验证；（2）跨模型共享——十种模型（7000万到70亿参数）的输出几何秩一致性显著高于激活几何；（3）统计继承——token 概率与读出结构预测输出 Fisher 谱及有效维数，语料 n-gram 统计预测单个事实的习得时间，随机化实验证明证据深度因果地延迟习得；（4）几何处方——拉回度量给出最小扰动干预步，其相对优势由可测的各向异性比在干预前无拟合参数地预测，同一修正改进六种模型操作。
与已有工作不同的是，独特的切入角度是把重心从激活空间整体搬到输出空间。理论支点是 Chentsov 定理：在保统计信息的变换下，Fisher–Rao 度量是概率分布空间上唯一的正则度量（至多差尺度），因此行为空间有特权几何而表示空间没有——激活几何保留精确的 $\mathrm{GL}(d)$ 规范自由。技术上，作者用 pullback 把输出 Fisher 度量 $G = J^\top H J$ 拉回干预层，让'激活改变'用'输出改变'定价。与激活空间中经验观察柏拉图收敛的工作不同，本文在输出几何中把收敛从预测拟合出发定理化（超额风险以可证速率约束关系几何差异）；与已有 Fisher 转向工作（如 FishBack）相比，范围远超单一操作：把跨模型比较、人类补全对齐、谱继承、习得预测与六种干预操作全部纳入同一个几何框架，并让每个预测在测量前固定、无拟合参数，从而可证伪。
核心方法
直觉：与其问'两个激活向量离多远'（依赖任意坐标），不如问'这个改变会让输出分布改变多少'（坐标无关）。技术上，设干预层激活为 $h$，最终隐状态为 $h^L(h)$，输出分布 $p_h = \mathrm{softmax}(W_U h^L + b_U)$，unembedding 行为 $w_a$。输出 Fisher 是 $H = \mathrm{Cov}_p(w) = W_U^\top(\mathrm{diag}(p) - pp^\top)W_U$，经雅可比 $J_h = \partial h^L/\partial h$ 拉回到干预层得 $G_h = J_h^\top H_h J_h$。对小干预有 $\mathrm{KL}(p_h\|p_{h+\delta h}) = \frac{1}{2}\delta h^\top G \delta h + O(\|\delta h\|^3)$，即几何长度预测行为改变。对目标梯度 $q$，阻尼自然梯度步 $\delta h \propto (G+\alpha R)^{-1}q$ 坐标协变。跨模型比较时，对共同上下文库，每个模型给出 next-token 分布两两间的 Fisher–Rao 距离 $d_{ij} = 2\arccos\sum_a \sqrt{p_i(a)p_j(a)}$ 构成的矩阵，用上三角 Spearman 相关比较，无需共享词表或架构。谱分析在标准化中心化读出表示 $U = \mathrm{orth}(P_0 W_U)$ 中进行，加权轮廓 $q_a = p_a\|u_a - \bar u\|^2$ 直接预测特征值（$\hat\lambda_k = q_{(k)}$）与有效维数 $N_{\mathrm{eff}}(\alpha) = \sum_k \lambda_k/(\lambda_k+\alpha)$。干预求解矩阵自由：用 JVP 与 VJP 两遍计算 $Gv$，共轭梯度解 $(G+\alpha I)$，低秩截断时用 Woodbury 恒等式，从不显式形成 $J$ 或 $G$。
核心创新是'行为识别 + 几何共享 + 统计继承 + 几何处方'四位一体。第一，行为识别定理：设 $T$ 为语言定义的读出子空间、$S$ 为候选子空间、$d(S,T)$ 为弦距离，则 profiling 掉 nuisance 参数后的预测风险满足全局二次边际 $\mathcal{K}(S) \ge c\,d^2(S,T)$（$c>0$ 为可认证下界），零风险即唯一识别 $T$；而激活几何保留精确的 $\mathrm{GL}(d)$ 规范自由——可逆重参数化补偿下游后每个条件律不变。这把'模型学到了什么'从坐标依赖问题变成坐标无关问题。第二，共享不是经验观察而是可证速率的定理推论：超额风险强制关系几何收敛，且六标量方差-协方差分解把 112 个模型对配置的实测一致性重构到数值精度。第三，继承定理把输出 Fisher 前导特征值上下夹在概率-读出轮廓 $q_{(k)}$ 之间，使谱与有效维数无需特征分解、无拟合参数即可从 token 统计预测。第四，最小扰动步 $\delta^\star = bA^{-1}q/(q^\top A^{-1}q)$ 与成本比 $R_{\mathrm{pred}} = \Pi_G(q)/\Pi_G(A^{-1}q)$（$\Pi_G(u) = (u^\top Gu)/(q^\top u)^2$）在干预前就预测欧氏方法的相对劣势——把干预研究变成有先验预测的定量科学。
方法步骤详情
方法流程分七步。（1）度量定义与验证：计算输出 Fisher $H = W_U^\top(\mathrm{diag}(p)-pp^\top)W_U$；用一次 JVP、一次闭式 $H$ 作用、一次 VJP 得到 $Gv$，不形成 $J$ 或 $G$；在 99 个模型-深度-提示组合上验证 $\frac{1}{2}\delta h^\top G\delta h$ 预测的 KL 与实测之比（中位 1.000）。（2）行为识别实验：用 Pythia-6.9B 在 500 个校准上下文上估计秩 32 参考读出子空间；对 70M–1.4B 四个模型沿靠近参考子空间的路径取 5 个位置，联合优化截距与上下文坐标后在 100 个 held-out 上下文测 profiled KL，检验其与平方弦距离的二次关系（8 条路径 $R^2 \ge 0.9999$）。（3）因果语言指派：3 种架构（transformer、门控循环、对角循环）× 2 种容量 × 8 对合成语言（token 频率与条件熵相同、条件律已知），在匹配预测精度下比较换语言律与换架构对几何的影响。（4）跨模型比较：10 模型（70M–7B；transformer/状态空间/循环；7 条训练管线；4 种分词器）在自然、模板、事实三种上下文库上做距离矩阵秩比较，另做 byte 级公共结果空间的跨分词器检查与随机各向异性重参数化不变性检查。（5）人类比较：512 上下文人类补全规范（Peelle 等）测语义距离随规模的下降；384 上下文电池上用 Pythia 拟合的风险-对齐关系免调参预测 OLMo 与 5 个外部模型；DERCo 语料（640 位置、64,000 响应）独立复现。（6）谱与习得预测：固定 $\hat\lambda_k = q_{(k)}$ 与式 (3) 的变换，在 5 个外部家族 9 个模型的 64 上下文 held-out 电池上评分；习得用训练前测得的 unigram/bigram/trigram 边际预测新鲜事实完整轨迹，并用 $5\times5$ 拉丁方随机化指派证据深度、在 GPT-2/GPT-NeoX/Llama 风格解码器 × 2 种受控语言上做完全交叉随机化验证因果方向。（7）干预与可复用控制：对比目标 $\phi$ 的梯度 $q$，二分搜索步长使实现的目标改变匹配后比较脱靶 KL；有限路径每步重线性化；可复用控制用 4 个 donor 提示学共享激活更新、用 4 个参考提示平均的度量限扰动，然后不加目标梯度地应用到 8 个未见提示。
技术新颖性
技术新颖性有四点。其一，把 Chentsov 定理的规范性从理论搬到大模型实际：数值上，跨种子重参数化族传输自然梯度方向复制原生方向到 $<10^{-12}$，而把参考度量 $R$ 重置为单位阵会改变一阶量——第一次给'表示相似性应该测什么'以原则性答案。其二，全文贯穿干预前固定、无拟合参数的可证伪预测：KL 预测（中位比 1.000）、成本比 $R_{\mathrm{pred}}$（测量/预测中位 0.967、log-log 斜率 0.982）、谱预测 $\hat\lambda_k = q_{(k)}$（无特征分解）、六标量一致性分解（held-out 中位绝对误差 0.009）、有效维数式 (3)——这在 LLM 实证工作中罕见。其三，证明阻尼自然梯度求解在固定相对阻尼与求解容差下有与模型宽度无关的最坏情形共轭梯度迭代界（$c=10^{-2}$、相对残差 $10^{-6}$ 时精确算术下 85 次迭代），直接回应'二阶方法在宽模型上不可行'的顾虑。其四，同一几何修正同时改进六种操作（转向最高 72.7 倍更低脱靶 KL、编辑 10.57 倍、特征重要性 $\rho$ 0.896→0.997、归因 0.506→0.935、字典学习余弦 +0.313、LoRA 前沿 AUC 1.57 倍），并以 Table 1 的证据矩阵系统呈现，单一框架覆盖面前所未有。
实验结果
核心发现逐一如下。（1）几何长度预测行为改变：99 个模型-深度-提示组合（11 模型、六家族、125M–1.5B）中实测/预测 KL 比中位 1.000（范围 0.948–1.224）；行为识别的 held-out 损失在全部 8 条路径 $R^2 \ge 0.9999$，读出偏离斜率与随机对照之比 1.14–1.27；因果指派实验中换语言律恢复超过 99% 的施加几何分离，换架构几乎不变。（2）几何共享：10 模型 29 个跨分词器模型对上输出 Fisher–Rao 秩一致性 0.88，中层/末层激活几何仅 0.62/0.61；byte 空间跨分词器一致性 0.91；六标量分解预测 held-out 一致性中位绝对误差 0.009；一致性对（语义探针跨模型 8 类准确率 0.66，接近模型内 0.72，机会 0.125）。（3）人类对齐：语义距离从 70M 的约 0.34 降到 2.8B 的 0.30；Pythia 拟合的关系免调参预测 OLMo 与外部模型（相关 0.76、RMSE 0.029）；DERCo 独立复现（64,000 响应）斜率 $-0.00872$；仅用模型律的校准在 7 家族中 6 个提升人类 log score（+0.0196 至 +0.0507 nats）。（4）谱继承：$\lambda_i \sim i^{-\beta}$、$\beta \approx 1$（秩 2–80，70M 至 6.9B）；轮廓预测 576 个 held-out 单元的谱指数误差 0.0623–0.0856、有效维数 RMSE 0.0270–0.0521（比同迹平坦谱低 6.44–7.88 倍，比置换轮廓低 13.55–25.63 倍）；机制分离：概率集中决定有效维数、读出结构决定谱衰减，7/7 家族各自成立（符号翻转 $P = 1/128$）。（5）习得：训练前 n-gram 边际预测习得轨迹 $R^2 = 0.775–0.792$、时序误差 0.77–0.96 $\log_2$ 步；随机化证据深度使深层证据的习得分位数约 4.3 倍延迟（+2.10 $\log_2$ 步），跨 3 种架构 × 2 语言延迟 1.75–2.86 倍且六个 95% 区间均不含零；按 held-out loss 对齐累积习得曲线中位误差 2.1/300 事实，比按步对齐好约 3 倍。（6）干预：3,515 个匹配测量中成本比预测中位 0.967（斜率 0.982）；有限路径 Fisher 累积 KL 低 11–127 倍；可复用更新 24/24 设置正向迁移，参考度量把参考序列 KL 降 2.90–6.29 倍；指令模型前沿上脱靶散度低 8–550 倍；事实转向最高 72.7 倍、提示级胜率 92–100%。（7）统一修正：编辑其他 token 散度低 10.57 倍（30/30 达标）；SAE 特征重要性 $\rho = 0.997$ 对 0.896；归因 0.935 对归因补丁 0.506；字典学习余弦 0.167→0.480；自然梯度 LoRA 比调优 AdamW+KL 的保持-KL 前沿 AUC 好 1.57 倍、比 Adam 脱靶改变低 60–250 倍。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 跨模型几何一致性（自然文本，29 个跨分词器模型对） | Fisher–Rao 距离矩阵 Spearman 秩一致性 | 0.88（输出几何） | 0.62（中层激活几何）/ 0.61（末层） | +0.26，bootstrap 区间不含零 |
| 局部输出改变预测（99 个模型-深度-提示组合） | 实测/预测 KL 比的中位数 | 1.000（范围 0.948–1.224） | 理想一致值 1.0（无拟合参数） | 无拟合尺度即达理想 |
| 跨架构人类对齐预测（384 上下文电池） | 相关系数 / RMSE | r = 0.76，RMSE = 0.029（免调参应用于 OLMo 与 5 个外部模型） | 无重拟合基线（关系仅在 Pythia 上拟合） | 跨家族零样本迁移成立 |
| 谱指数预测（秩 8–32，576 个 held-out 单元） | 家族中位绝对指数误差 | 0.0623–0.0856 | 同迹平坦谱（误差高 4.89–9.22 倍）；置换轮廓（高 13.55–25.63 倍） | 4.89–25.63 倍 |
| 有效维数预测（5,760 个模型-上下文-阻尼值） | 家族中位 RMSE | 0.0270–0.0521（无特征分解、无拟合参数） | 同迹平坦谱的 $N_{\mathrm{eff}}$ 曲线（误差高 6.44–7.88 倍） | 6.44–7.88 倍 |
| 事实习得时间预测（Pythia 70M/160M/410M，9,840 个事实-检查点均值） | 轨迹 $R^2$ / 连续时序误差（$\log_2$ 步） | $R^2 = 0.775–0.792$，误差 0.77–0.96 | 常数习得时间基线与标签置换基线 | 三个规模全部优于两个基线 |
| 转向干预代价预测（11 模型、3 目标、3 层深、1,188 单元） | 测量/预测成本比中位数（$R_{\mathrm{pred}}$，干预前固定） | 0.967（95% 区间 0.957–0.975），log-log 斜率 0.982 | oracle 常数与分层置换检验 | 显著优于 oracle 常数（斜率≈1 即理想） |
| 知识编辑脱靶破坏（GPT-2，30 个 held-out CounterFact 编辑） | 其他 token KL 几何均值比（欧氏/Fisher） | 10.57（95% 区间 8.52–13.37），30/30 编辑达到 +5 log-odds 目标 | 匹配的欧氏编辑算子 | 10.57 倍 |
| SAE 特征重要性（Pythia-410M，303 次零消融） | 与精确消融 KL 的秩相关 $\rho$ | 0.997（Fisher 加权敏感度 $v^\top G v$ / $\frac{1}{2}\Delta h^\top G \Delta h$） | 0.896（激活幅度） | +0.101 |
| 特征归因（同一 303 次消融评估） | selected-token 概率改变分数的预测相关 | 0.935（目标效应/ Fisher 成本比） | 0.506（归因补丁 attribution patching） | +0.429（符号一致率 0.746 对 0.354） |
| 字典学习（Pythia-410M 真实残差流，种植特征恢复，$\beta = 0.5$） | Hungarian 匹配的平均绝对解码器余弦 | 0.480（code-Gram 自然梯度预条件） | 0.167（欧氏解码器更新） | +0.313（3/3 种子） |
| 自然梯度 LoRA 微调（Pythia-70M rank-4 held-out 前沿） | 保持-KL 前沿 AUC 之比 | 1.57 倍（95% 区间 1.14–1.98）；410M 上比 Adam 脱靶改变低 60–250 倍 | 调优 AdamW + 显式 KL 正则 / Adam | 1.57–250 倍 |
局限与改进
作者承认的局限：几何预测是局部的——二次近似随干预幅度增大而侵蚀，三个干预比例下测量/预测比从 0.918 经 0.860 降到 0.755，三阶修正中的 Amari–Chentsov 项只在仿射读出下完备；优势在早-中层最大、接近线性读出处消失，各向同性极限下自然梯度与欧氏步重合；GPU 驻留求解只到 2.8B（6.9B 依赖无图谱与 CPU 校准/卸载）；与持久化知识编辑器的比较因访问与摊销条件不同仅是描述性的；LoRA 结果只建立了局部保持，作者明言未建立安全特定保留或更广能力保持。我自己的观察：其一，实验上限 7B 且多数在 2B 以下，结论在百亿/千亿级模型上是否保持同一量级未知，而大模型恰恰是对齐最关心的对象；其二，人类比较依赖 64 个语义箱的粗粒化与较小的上下文库（512/384/640 上下文），词级、语用级差异被平均掉；其三，代码与派生数据仅'应合理请求提供'而非开源，所有关键数字目前只有单团队背书；其四，参考度量对提示集平均的可复用控制隐含'参考分布代表目标分布'的假设，跨域提示下可能失效；其五，谱计算用 top-512 token 支撑截断（平均保留 0.90 概率质量），重尾词表对 $\beta \approx 1$ 的影响需要敏感性分析；其六，成本比预测验证的干预幅度范围有限（三个声明比例），生产级转向常用的强干预 regime 超出局部理论。
独立分析的弱点
独立分析的弱点及改进方向：（1）计算开销——每次干预需两次贯穿全网的自动微分（JVP/VJP）加至多 85 次共轭梯度迭代，虽迭代数与宽度无关，每步成本仍远高于欧氏一步；改进方向是学习低秩/对角摊销度量代理（如 $G \approx D + UU^\top$）或缓存跨步的 Krylov 子空间。（2）局部有效性——目标改变达到 0.4 nats 时预测侵蚀约 25%，需沿路径反复重线性化；可把文中已推导的三阶 Amari–Chentsov + 网络 Hessian 修正做成自适应信任域，自动决定何时重线性化。（3）参考度量的任意性——原生坐标下 $R=I$ 仍是规范选择，参考提示平均的度量在分布漂移下可能失配；改进是按提示语义聚类学习度量混合，或用 consensus 几何（文中跨模型平均已给出雏形）做模型无关参考。（4）语言统计依赖——无参数谱预测依赖'高概率结果需近单例分辨率'等结构，代码、多语言、对抗性上下文中是否成立未测。（5）验证广度——单作者加生成式 AI 辅助，全部数字缺乏第三方复现；建议对三个旗舰结果（0.88 一致性、0.967 成本比、10.57 编辑比）组织开放代码下的独立复验，并扩到 13B+ 模型验证标度。（6）语义比较的粗糙度——64 箱粗化无法回答'模型认为哪个具体词更可能'，可发展 token 级（而非语义箱级）的人类-模型方向对齐以支撑更细的应用。
未来方向
作者明确提出的方向：把参考集构造搬到参数空间，为偏好微调与模型定制提供'行为层信任域'——不是在参数或激活空间限制更新，而是限制对受保护提示的预测改变；用 Fisher 加权敏感度帮安全审计（奉承、欺骗、拒绝）排列候选特征与线路的优先级，并选择行为足迹有限的干预；对稀疏字典与替换模型引入局部几何加权，使有限解释容量花在对行为重要的区分上；用固定提示-锚点电池跨检查点、跨后训练变体做模型审计，以共识-残差分解分离共有与特异结构；把昂贵的安全评测安排在预测的习得转变点附近；发展路由几何编辑做模块化事实修正；作者还指出 Fubini–Study 度量与量子自然梯度的直接类比。基于本文成果可延伸的方向：把输出几何扰动界与量化/剪枝结合，得到行为感知的压缩准则；在 100B+ 模型上检验矩阵自由求解与 CG 宽度无关界；把六标量一致性分解发展成跨训练运行的在线漂移监控指标；将证据深度的因果结论用于数据课程设计（决定新知识该重复暴露在多深的统计证据中）；以及把最小扰动干预与 DPO 类后训练结合，做激活级与参数级信任域的混合优化。
复现评估
复现评估：数据与模型侧完全公开——所有预训练检查点（Pythia 套件、GPT-2/XL、GPT-Neo、Qwen2、Qwen1.5、Mistral-7B、Mamba、RWKV、StarCoder2、BLOOM、OLMo）与全部数据集（WikiText、LAMBADA、SST-2、TruthfulQA、CounterFact、CIFAR-100 及三个人类预测语料 Peelle、de Varda、DERCo）均为公开资源；合成语言与受控习得实验需自行训练小型模型，算力门槛不高——作者主要用一块 NVIDIA RTX 5000 Ada（32GB）完成模型执行与干预求解，另有 A100 补充，float32 运行，GPU 驻留 pullback 求解支持到 2.8B。最大障碍是代码与派生数据未开源：论文写明'应合理请求提供'，种子、模型版本、提示与目标定义虽已记录但外界无法直接获取，全部矩阵自由算子、匹配响应校准、crossed bootstrap 协议需照 Methods 与 20 个补充笔记重建。工程细节繁多（JVP/VJP 算子、Woodbury 低秩求解、白化预条件 CG、拉丁方随机化等），独立团队复现单个核心实验（如成本比预测或跨模型一致性）估计需数周，全量复现约数千 GPU 小时加数月工程量，难度高；建议先复现验证成本最低、信息量最大的两个实验：图 1b 的 KL 预测（中位比 1.000）与图 5a 的 $R_{\mathrm{pred}}$ 成本比（0.967）。
论文图表