可扩展的内在可解释语言模型

把可解释性作为训练约束内建于模型，Steerling-8B 证明解释能力随规模提升而不牺牲性能

前置知识

掩码扩散语言模型（MDLM）

训练时对输入序列按噪声水平 $t \in [0,1]$ 以概率 $t$ 把每个 token 替换为 [MASK]，模型学习从损坏序列重建原始 token，损失是被掩码位置上的交叉熵 $\mathcal{L}_{MDM} = \mathbb{E}_{t}\left[\frac{1}{|M(x_t)|}\sum_{i \in M(x_t)} -\log p_\theta(x_i | x_t)\right]$。生成时从全掩码序列出发迭代去噪，每步可并行产生多个 token、顺序任意，与自回归从左到右逐 token 生成形成对照。

本文骨干采用掩码扩散目标，这使 [MASK] 成为模型在训练中学到的『此位置无信息』表示，即输入归因所需的分布内『缺席基线』；理解 Causal Diffusion 骨干、每块独立噪声调度等设计都必须先掌握这一范式。

概念瓶颈模型（CBM）

在输入与预测之间插入一层人类可理解的概念变量：网络先由 $\phi(x)$ 预测概念激活 $c$，再由函数 $\psi$（原始设定下为线性）从 $c$ 得到输出，即 $x \to c \to y$。训练需要概念标注，用概念损失加任务损失联合优化。由于预测完全由概念的线性组合构成，每个概念对输出的贡献可以被精确读出，也可以通过修改 $c$ 直接干预模型行为。

Steerling 的概念模块就是把加性瓶颈放大到万亿 token 语言建模规模的产物，理解 $\bar{h} = \hat{k} + \hat{u} + \varepsilon$ 的分解、精确概念归因与概念引导，都以 CBM 为出发点。

后验可解释性与忠实性

在训练完成的黑盒模型上事后计算解释：线性探针判断隐藏状态里『可解码』哪些信息；稀疏自编码器（SAE）把激活分解成稀疏特征字典；Integrated Gradients 等梯度法衡量敏感度；SHAP、遮挡法用参考值替换输入再测输出变化。忠实性指解释是否反映模型真实计算，本文将其拆成两个可检验条件：一致性（归因分数能预测干预效果）与有效性（干预状态在训练分布内）。大模型表征处于超叠置状态——方向多于维度、彼此重叠——正是这些事后方法存在的背景。

论文的核心论证是这些后验方法在结构上无法保证忠实：信息『存在』不等于『被使用』、梯度只测局部敏感度、扰动基线往往分布外。理解这些失败模式，才能理解为什么作者坚持把解释能力做成训练约束。

缩放定律与 IsoFLOP 扫描

缩放定律用幂律刻画损失随参数量 $P$、数据量 $D$、算力 $C$ 的变化，如 Chinchilla 联合形式 $L(P,D) = L_\infty + A_P/P^{\alpha} + A_D/D^{\beta}$，其中 $L_\infty$ 是不可约损失。IsoFLOP 扫描固定若干算力目标 $C$，在每个切片内训练多个尺寸的模型、对 $(P, L)$ 拟合抛物线找出最优参数量 $P^*(C)$，再跨切片拟合幂律指数（$\alpha_P$、$\alpha_L$），用于规划训练和外推大模型损失。

论文用 4 个模型家族 × 4 个 IsoFLOP 切片、跨三个数量级算力的实验来回答『可解释性是否收缩放税』，并从小规模拟合外推 Steerling-8B 的损失与可解释性指标，读懂第 8 节必须熟悉这套方法。

KV 缓存与块因果注意力

自回归推理时把已生成 token 的 Key/Value 缓存起来避免每步重算，是高效解码的基石。标准掩码扩散用全双向注意力，每步去噪后整个序列的表示都会变，无法跨步缓存。Block Diffusion 把序列切成固定长度的块，块内双向、块间因果，按块生成并复用已生成块的缓存，但其训练需要把『噪声序列 + 干净序列』两份拼接输入，每步成本约为标准扩散的两倍。

本文提出的 Causal Diffusion 正是在这个背景下去掉干净副本、以约一半训练成本获得与 Block Diffusion 相同的块因果结构与 KV 缓存能力，这是理解其架构创新和效率论证的直接对照。

研究动机

主流做法是先训练完全不透明的模型、再事后解释，而这套后验范式存在结构性缺陷。线性探针只能证明信息『可解码』，不能证明模型『在用』——文献显示在随机化的上下文嵌入上探针也能取得高准确率；稀疏自编码器（SAE）在不同随机种子下产出不同特征集，甚至随机初始化的 SAE 在稀疏探针和因果编辑指标上能匹配训练过的 SAE；梯度归因度量的是无穷小敏感度 $\partial \ell_y / \partial x_i$，而人类关心的是有限幅度的移除或替换这一更大扰动；扰动法的零向量、填充符等基线在自回归模型中是分布外状态，测到的输出变化反映的是外推行为而非特征的真实作用；思维链可能只是与内部计算无关的合理化叙事。更深层的是 Rashomon 效应：精度无法区分的模型内部机制可以任意不同，同等有效的两个模型会对同一输入给出相互矛盾、甚至符号相反的归因。

本文的目标是本文要把可解释性从『事后补偿』变成『训练约束』。作者先形式化解释何时才忠实：归因变量必须位于产生输出的计算路径上（Nativeness）、归因分数必须能预测干预效果（Agreement，要求 $|\Delta \ell_y - \hat{\Delta}\ell_y| \le \xi$）、干预状态必须在训练分布内（Validity），再加上语义层面的描述准确（Interpretation）与覆盖达标（Coverage）。然后把这五个条件逐条落进数据、架构、目标函数与损失的设计里，训练出 8B 参数的语言模型 Steerling-8B：对任意输出同时支持输入 token 归因、人类可读概念归因和训练数据检索归因，并支持无需重训的概念引导干预。同时用缩放实验回答两个问题：可解释约束是否损害能力（是否只是固定偏移而非递增罚款），以及可解释性本身是否随算力提升。

与已有工作不同的是，独特切入有三点。其一，把概念瓶颈从分类小模型推进到预训练规模：此前 CBM/CBGM 只在小规模验证，且不存在覆盖现代预训练语料的概念库，本文为此构建了 Atlas 流水线——从 660 万文档抽取约 5 亿自由标签，蒸馏出 33,732 个概念，为约 1.5 万亿 token 完成块级标注，补上『大规模人类可读概念库』这一空缺。其二，用掩码扩散目标天然提供『缺席基线』：[MASK] 是模型训练中反复见过的『无信息』状态，使输入归因从分布外近似变成分布内的良定义问题；配套的 Causal Diffusion 注意力在保留这一性质的同时维持 KV 缓存效率。其三，首次为『模型自身的可解释性』拟合缩放定律：已有工作（如 SAE 缩放）研究的是在固定不透明模型上把探针做大，而这里测量的是随训练算力增长，模型的概念检测、解耦、贡献覆盖与语义对齐如何变化。

核心方法

方法遵循标准训练流水线，但在每个环节注入可追溯的可解释性约束。数据环节：Atlas 三阶段流水线（抽样分块打标 → 聚类去重成概念库 → 训练可扩展标注器）为约 110 亿个文本块提供 33,606 个内容概念，外加约 80 个语气、38 个人口属性、8 个对齐相关辅助标签。架构环节：Causal Diffusion 骨干（块大小 64，块内双向、块间因果）加插在 transformer 与 LM 头之间的加性概念瓶颈 $\bar{h} = \hat{k} + \hat{u} + \varepsilon$，使每条预测都精确分解为概念贡献。目标函数：掩码扩散损失 $\mathcal{L}_{LM}$（在瓶颈后的 $\bar{h}$ 上计算）加概念损失、重构损失、已知/未知表示独立性损失。训练动态：每个块独立采样噪声水平 $t_b \sim \mathcal{U}(0,1)$，两个概念头的 teacher forcing 概率从 1 退火。Steerling-8B 在 320 张 A100 上预训练 1.2T token（约 21 天、16.1 万 GPU 时），再用 150B token 中训练修补数学/代码短板，并把『响应概念注入』这一能力通过专门阶段训练进模型。配方中每个组件都对应形式化条件中的一条，消融表明移除任何一环都会破坏对应保证。

核心创新是『解释接口即模型参数』。概念模块把每个 token 的隐藏态精确分解为 $\bar{h} = \hat{k} + \hat{u} + \varepsilon$（已知概念加权和、未知概念加权和与残差），由于 LM 头是线性的，任意输出 logit 精确等于 $\ell_y = \hat{k}^\top W_y + \hat{u}^\top W_y + \varepsilon^\top W_y$——概念归因不是估计，而是直接读出前向传播，一致性误差 $\xi = 0$。这与事后方法的本质区别在于：探针和 SAE 的特征与预测通路没有结构关系，而这里每个概念嵌入 $K_c$ 是模型自己用来计算 logits 的参数。同理，输入归因的 [MASK] 基线由扩散目标训练成分布内的『缺席』表示；概念引导时注入的是模型本身依赖的方向 $e_c = K_c / \|K_c\|_2$，而非事后拟合的估计向量。此外，概念库、缺席基线和加性分解在所有训练随机种子之间共享，从机制上约束了 Rashomon 集——不同运行得到不同参数，但解释接口是同一个。

方法步骤详情

第一步（数据）：从 660 万文档按 150/256 token 阈值分块成 4400 万块，用 Mistral-Small-3.1-24B 按领域化 schema 打出约 5 亿自由标签（LLM 裁判均分 3.62/5，97.5% 不低于 2 分）；标签经 768 维 mpnet 嵌入、$k=80{,}000$ 的 k-means 聚类、核心/随机/边缘三层连贯性过滤（80,000 簇剩约 63,000）、LLM 贴标签与三轮图去重（Louvain 社区检测，余弦阈值 0.95/0.90/0.85）得到 33,732 个概念；再训练 Qwen3-Embedding-0.6B 编码器加多头分类器（掩码 BCE + 非负 PU 损失，230 万块训练、59.7 万块验证）作为标注器，为全部约 110 亿块输出概念标签和 1024 维嵌入（构建 808GB 的 IVFPQ 索引，recall@10 = 96.8%）。第二步（预训练）：cl100k_base 词表加 [BOS]/[EOC]/[MASK] 等特殊 token；已知头 $k = \sigma(f(h)) \in \mathbb{R}^n$（$n=33{,}732$），未知头 $u = \sigma(g(h)) \in \mathbb{R}^m$，$m = 3n$，未知嵌入矩阵分解为秩 256 的 $U = AB$；总损失 $\mathcal{L} = \mathcal{L}_{LM} + \lambda_{concept}\mathcal{L}_{concept} + \lambda_{rec}\mathcal{L}_{rec} + \lambda_{indep}\mathcal{L}_{indep}$，其中概念损失用块内被掩码 token 的 OR 聚合 $k_c^{chunk} = 1 - \prod_t (1 - k_{c,t})$ 对块级标签做二元交叉熵，重构损失令 $\hat{u}$ 逼近 $\hat{u}^{GT} = h - \hat{k}^{GT}$，独立性损失为线性 HSIC 式交叉协方差惩罚；teacher forcing 概率 $\alpha_{known}$ 从 1 退火至 0.5。第三步（150B token 中训练）：掩码调度改回均匀采样、teacher forcing 退火到 0、独立性损失拆成对 $\hat{u}$ 和 $\varepsilon$ 的两项、残差 dropout 从 0.1 提到 0.3、概念头稀疏化为已知 top-32/未知 top-128；穿插 4 个引导阶段（各 90 步，约 400M token 级标注数据），以 respond 损失（$\mathcal{L}_{respond} = -\frac{1}{|I|}\sum_{t \in I} \log k_{c,t}$，令注入位置的瓶颈激活趋近 1）和 express 损失（最大化概念 lift 词集 $T_c$ 的概率）教会模型响应推理时的方向注入 $h_t^{(l)} \leftarrow h_t^{(l)} + \gamma e_c$。

技术新颖性

新颖性体现在四个层面。（1）规模上的第一：这是首个在万亿 token、8B 参数级别训练的概念瓶颈语言模型，此前的内在可解释架构（CBM、Concept Embedding Models、Backpack、PRISM）都停留在小得多的规模和少得多的概念数，而本文的加性瓶颈把概念词表扩到 33,732 个并声明目标走向百万级。（2）架构组合的新意：Causal Diffusion 保留 Block Diffusion 的块因果注意力以获得 KV 缓存，但去掉训练时的干净序列副本，把每步训练成本降到约一半；概念模块的参数开销随规模快速衰减（10M 模型约 89%、8B 约 4%、前沿规模低于 1%），且拟合出的缩放指数与文献一致（CDLM 的 $\alpha_P = 0.632$ 处于掩码扩散已报道的 0.514–0.634 区间）。（3）把『忠实性』从模糊口号变成五个可检验条件，并让流水线的每处修改都能追溯到具体条件，形成可证伪的设计合同。（4）方法论贡献：为可解释性度量本身拟合带不可约项的幂律缩放定律，证明四项指标随算力单调改善且能从小模型外推，这在『模型自身可解释性是否随规模变化』这一问题上给出了首个定量回答。

**Figure 1**: The recipe for training an interpretable model.

**Figure 2**: The standard and interpretable recipes, compared stage by stage (Section 3.4).

**Figure 3**: Overview of the Atlas three-stage annotation pipeline.

**Figure 15**: Attention patterns for Autoregressive, Diffusion, Block Diffusion, and Causal Diffusion models.

**Figure 16**: The concept module bottleneck.

**Figure 19**: ReLU-gated concept suppression avoids unintended token promotion during negative steering.

**Figure 30**: Interleaved mid-training schedule for Steerling-8B.

实验结果

（1）可解释性几乎不收『缩放税』：4 个家族（AR、CDLM 及各自加概念模块的版本）× 4 个 IsoFLOP 切片、跨三个数量级算力的实验显示，加概念模块只引入每骨干固定的小偏移：损失指数 $\alpha_L$ 从 $-0.060$ 变为 $-0.070$（AR 对）、$-0.053$ 变为 $-0.072$（CDLM 对），参数指数 $\alpha_P$ 变化很小，不可约损失 $L_\infty$ 反而从 1.857 降到 1.193（AR）、2.658 降到 1.942（CDLM）。（2）外推精度高：用小规模检查点的联合 Chinchilla 形式外推，Steerling-8B 实测验证损失 2.72 的预测值为 2.61（误差 0.11 nats），而朴素对数线性外推预测 2.25、偏差 0.47 nats，联合拟合的误差约为其四分之一；四项可解释性指标中三项被小规模拟合准确预测（概念损失差 0.0004、概念贡献差 0.04、概念对齐差 0.10），独立性损失 1.55 优于预测的 2.16。（3）可解释性随算力单调改善：概念损失与独立性损失随参数量下降，概念贡献从 0.62 升至约 0.85、概念对齐稳定在约 3.77/5；联合拟合显示概念/独立性损失主要由参数量驱动、对齐主要由数据量驱动（$R^2$ 从单纯算力拟合的 0.49–0.75 升到 0.62–0.94）。（4）能力具竞争力：中训练后 LM Harness 平均分从 32.1 升至 42.4（MMLU +16.6pp、GSM8K +30.4pp），最终 7 项基准平均 51.6，与用 2–16 倍算力训练的开源同尺寸模型（LLaMA2 7B 48.2、DeepSeek 7B 49.3、LLaMA3 8B 60.0、OLMo 2 7B 67.3 等）相比落在其均值约 10% 以内，并超过 LLaMA2 与 DeepSeek。（5）闭环干预成立：预训练版引导的概念分最高（1.072）但质量受损（0.972），调和均值 1.020 低于提示法 1.156；中训练加入引导阶段后调和均值升至 1.148、概念分 1.247，且不损失基准成绩；人类研究确认 Atlas 标签盲评 3.98 分高于人类独立标签的 3.50（配对胜率 0.62，95% CI [0.58, 0.66]）。

**Table 2**: Removing any single recipe modification breaks a specific condition of Definition 3.3.

**Table 4**: Phase 2 blind fit scores by candidate type.

**Table 6**: Compute-optimal scaling exponents and irreducible-loss asymptotes.

**Table 9**: Steerling-8B pretraining corpus.

**Table 10**: Steering results on random concepts of the pretrained Steerling-8B.

**Table 16**: Steerling-8B before and after mid-training across the LM Harness suite (accuracy, %).

**Table 18**: Steering benchmark scores for the pretrained and mid-trained Steerling-8B checkpoints.

**Table 19**: Steerling-8B base model against open base models of comparable size.

**Figure 18**: Three views of attribution for one output chunk.

**Figure 21**: IsoFLOP analysis for each family.

**Figure 23**: Extrapolating CDLM+Concept to Steerling.

**Figure 24**: Interpretability metrics scaling with compute.

**Figure 26**: Extrapolating CDLM+Concept interpretability metrics to Steerling.

**Figure 31**: Average performance across the benchmark suite against approximate training FLOPs.

查看结构化数据

任务	指标	本文	基线	提升
8B 同尺寸开源模型对比（7 项基准平均）	平均准确率 (%)	51.6	LLaMA2 7B: 48.2；DeepSeek 7B: 49.3；Gemma 1 7B: 60.4；LLaDA 8B: 61.8；LLaMA3 8B: 60.0；OLMo 2 7B: 67.3	对手训练算力为本文的 2–16 倍；Steerling 超过 LLaMA2 和 DeepSeek，距对手均值约 10% 以内，但仍落后最强 OLMo 2 约 15.7pp
MMLU（中训练前后）	准确率 (%)	46.4	预训练检查点 29.8	+16.6pp，修复了高掩码课程造成的知识退化
GSM8K（中训练前后）	准确率 (%)	44.4	预训练检查点 14.0	+30.4pp，修补预训练语料数学/代码不足（仅约 100B/1.2T）的短板
Steerling-8B 验证损失外推（实测 2.72）	与实测值的偏差（nats）	0.11（联合 Chinchilla 拟合预测 2.61）	朴素对数线性外推偏差 0.47（预测 2.25）	预测误差缩小约 4 倍，证明可解释架构的缩放可预测
引导基准（72 个随机概念，LLM 裁判）	概念/质量调和均值	1.148（中训练后；概念 1.247、质量 1.064）	预训练版引导 1.020；同一预训练检查点的提示法 1.156	引导阶段训练后超过提示法，且 10B 消融显示 LM Harness 成绩不受损（MMLU 0.370→0.384）
Known Concept Alignment 外推	LLM 裁判 1–5 分	3.77（8B 实测）	小规模拟合外推预测 3.87	偏差仅 0.10；该指标不受直接监督，随算力自然改善（拟合指数为正）
概念库人类可读性（Phase 2 盲评）	1–5 拟合分	Atlas 标签 3.98（top-2 率 79%）	人类独立标签 3.50（63%）；嵌入干扰 2.72；分类学干扰 2.08；填充对照 1.62	Atlas 标签配对胜过人类标签的概率 0.62（95% CI [0.58, 0.66]），远高于各类干扰项
训练数据检索索引（约 110 亿向量）	recall@10	96.8%	精确检索（IVFPQ 近似索引，64× 压缩，占盘 808GB，nprobe=16）	在万亿 token 规模上以极低内存驻留保持高召回

局限与改进

作者承认的局限：预训练暴露四个问题——移动高斯掩码课程过于激进（后期掩码率超 50%）导致 MMLU 和 WinoGrande 在训练中点后持续下滑；概念头在训练末期纠缠（独立性损失冲到约 2.7）；语料数学/代码只有约 100B/1.2T 导致 GSM8K 14.0、HumanEval 4.9 极低；模型从未在训练中见过概念注入，导致引导质量下降且约三分之一的低频概念在任何注入强度下都不激活——这些靠中训练部分修复而非根治。概念库固定在约 33,606 个内容概念、只在块级监督，训练止步于监督微调。我自己的观察：与最强对手差距仍明显（OLMo 2 平均 67.3 对 51.6，MMLU 63.7 对 46.4），『2–16 倍算力』的对比口径受益于对手数据配比差异；残差通道 $\varepsilon$ 仍承载约 12% 的 logit 幅值（概念贡献 0.876），这部分完全不可解释；训练数据归因被明确限定为相似度检索而非因果影响估计；概念对齐与引导评分都依赖 LLM 裁判，存在裁判循环性的方法论风险；扩散模型的 ELBO 验证损失与自回归交叉熵不直接可比，跨家族的能力比较需要谨慎解读。

独立分析的弱点

独立分析的弱点及改进方向：（1）残差通道是『逃生舱』——预训练消融显示去掉 $\varepsilon$ 可让概念贡献升至 1.0 但能力大损，说明当前瓶颈仍依赖不可解释通道兜底；改进方向是更强的重构/正交化目标或分层瓶颈，逐步压缩残差承载的信息量。（2）块级 OR 监督只告诉模型『块里有这个概念』而不指出在哪个 token，概念定位粒度受限；可像引导阶段那样把 token 级标注扩展到更多数据，让归因和引导共享更精细的定位信号。（3）概念库静态且以内容主题为主，风格/过程性概念只有约 80 个语气标签，无法覆盖『逐步推理』『怀疑口吻』这类功能属性之外的推理模式；应引入层级化、可增长的库并允许用户在运行时注册新概念。（4）引导需要专门的中训练阶段和 400M token 级数据，且每个概念要按 $\gamma = \tau / \mathrm{peak}(e_c)$ 校准强度，推理复杂度高；可将 respond/express 目标并入预训练全程或采用残差化注入降低质量损失。（5）关键指标由 LLM 裁判打分（对齐 1–5 分、引导概念分 0–2），裁判偏差可能污染缩放结论，而人类研究仅覆盖 34 个概念、8–9 名标注者；应扩大人工评审覆盖面并报告裁判与人类的一致率。（6）算力对比口径：对手模型的数据配方更优（如 OLMo 2 的数学/代码更充足），公平结论需要同数据同算力的成对对照实验。

未来方向

作者提出的方向：把后训练的奖励目标定义在概念之上——训练不仅针对模型说什么，还针对它用哪些概念来决策；在智能体场景中把每一步动作分解为可监控、可在轨迹中途纠正的概念；概念库从固定走向层级化、自适应，并允许个体用户交互式地定义、审计和扩展模型自我解释的词表；把归因产物（概念贡献排名、token 分数、检索到的训练块）翻译成仍锚定在底层分解上的自然语言解释；以及训练前沿规模的内在可解释模型，让智能体系统的每个行为都可分解、审计和引导。基于本文成果可延伸的：把引导训练前移到预训练全程以消除质量损失和低频概念失活；研究概念库与模型的共同演化（概念漂移）；结合训练数据检索做概念级的机器忘却（定位并切断需删除内容对应的概念通路）；将 Causal Diffusion 与推测解码、长上下文结合以检验效率优势在大规模下的保持；以及把可解释性缩放定律扩展到多模态和更大算力区间，检验 0.11 nats 的外推精度是否维持。

复现评估

开源情况：作者声明发布了 Steerling base 与 instruct 模型权重，以及归因和引导所需的配套工件（概念语义卡、嵌入索引、投影 MLP 等），因此加载 8B 模型、复现三类归因和引导实验在单卡或少量显卡上即可进行，难度中等。复现门槛主要在数据与算力：预训练用了 320 张 A100 约 21 天（约 16.1 万 GPU 时），外加 4 家族 × 4 切片的 IsoFLOP 扫描、多个 10B token 的中训练消融；Atlas 用 Mistral-Small-24B 处理 4400 万块、标注器要给约 110 亿块打标并缓存 1024 维嵌入，索引占 808GB 磁盘。数据基本来自公开语料（Nemotron-CC-HQ、peS2o、arXiv、OpenWebMath、Algebraic Stack、StarCoder、Wikipedia 等），提示词与裁判 prompt 散见附录；论文未明确说明训练与 Atlas 代码是否全部开源，LLM 裁判环节依赖特定模型版本，严格复现各项分数会有波动。总体评估：使用与评估难度中等，完整从头复现属于工业级大规模训练，难度高。

可扩展的内在可解释语言模型 Scaling Inherently Interpretable Language Models