真实场景下的对比归因：基于可解释性方法的大语言模型失败案例实证研究 Contrastive Attribution in the Wild: An Interpretability Analysis of LLM Failures on Realistic Benchmarks
用对比式LRP归因分析LLM在长上下文基准上的真实失败。
前置知识
Layer-wise Relevance Propagation (LRP) 与 AttnLRP
LRP 是一类局部线性近似的可解释性方法，将标量输出 $R$ 通过反向传播分解回输入特征，对每个算子设计专门的传播规则保证分配到输入的相关度求和等于总相关度。AttnLRP 是其 Transformer 专用变体，论文 [1] 证明它在输入归因忠实度上比梯度法、注意力法、扰动法更优。
本文整套方法建立在 AttnLRP 上，若不理解 Transformer 注意力、MLP 等模块如何被局部线性化处理，就无法读懂第 3.1 节的相关度公式与跨层传播结构。
对比归因 (Contrastive Attribution)
对比归因不解释单一输出，而解释 logit 差值 $\Delta\ell = \ell(t_{\text{tgt}}) - \ell(t_{\text{con}})$。它去除共享计算，只突出真正造成错误偏好的 token。本质上是把目标 vs 对比的内积差作为 LRP 反传的目标。
本文把 LLM 失败分析重新定义为对比归因问题，是第 3 节最核心的形式化。不理解 $\Delta\ell$ 的意义，就看不出论文如何把“调试 LLM”翻译成一个严格的反向传播问题。
归因图 (Attribution Graph) 与跨层传播结构
归因图把 $R^{(l)}_i$ 视作节点，把它从第 $l+1$ 层流回第 $l$ 层的传播量作为有向加权边，从而把“哪个 token 在哪一层贡献了多少”显式画出来。直观上它是一个分层级的相关度流量网络，对应 transformer 每层隐藏状态之间的影响传递。
论文创新点之一就是高效地构造这种图（特别是对 12K+ tokens 的 GAIA2 长上下文），文中 Figure 3、Figure A1 都展示了这种图。理解其节点等于隐藏态相关度、边等于相关度增量，是看懂实验分析的前提。
Transformer 自回归语言模型与 unembedding
Transformer 自回归 LLM 接收序列 $t_{\leq i}$，经 $L$ 层 block 得 $h^{(i)}_{L-1}$，再由 unembedding $W_U$ 映射为下一 token 的 logits。
第 3.1 节的全部公式都建立在这个标准 autoregressive LLM 接口上；理解 $W_U[:, t]$ 的语义（取 token $t$ 的 unembedding 方向），才能看懂为什么 $\Delta\ell$ 是一个内积差值。
主流 LLM 评测基准 (IFEval、GAIA2、MATH、EvalPlus)
IFEval 测指令跟随（~54 tokens）；GAIA2 测长程 agent（~12,374 tokens）；MATH 测数学推理（~116 tokens）；EvalPlus 测代码生成（~169 tokens）。覆盖了长/短、agent/non-agent、推理/代码主要失败模式。
Table 1 中各基准平均 token 数差异极大（54 vs 12,374），这正是本文强调的“现实场景包含长上下文”的实证基础；理解每个基准的失败模式不同才能读懂第 4.2 节归因结果的差异。
对比 token 对 (contrast token pair) 的人工/双盲构造
对比归因的前提是拿到一个“模型应该选但实际没选”的正确 token。本文用「四 LLM 提议 + 人工验证 top-k 恢复」两步流水线，并强制 $\Delta\ell > 1$ 的阈值来保证对比对的质量，最终只保留 17-41% 的原始失败案例。
文中所有“可解释的失败”百分比都建立在通过该筛选的子集上，理解这个筛选机制是判断 Figure 1 中 M-IA 与 NC-IA+AG 分布含义的前提。
研究动机
可解释性方法近年来虽被广泛用于 LLM 失败分析，但绝大多数工作停留在玩具设定上：要么 prompt 极短（如 TransformerLens 默认 2048 tokens 上限甚至不足以覆盖 Qwen3 输入），要么模板高度结构化（如 subject-relation-object），要么聚焦于孤立现象（幻觉专项数据集）。一旦把这些方法直接搬到真实基准，如 GAIA2 这种平均 12,374 tokens 的智能体任务、IFEval 这种指令跟随任务、MATH 这种多步推理任务，就会同时遭遇三类困难：一是上下文超出大多数现有工具的计算上限；二是失败通常是多步累积或长链依赖，单 token 视角难以解释；三是缺乏自动化的对比 token 构造流程，分析成本极高。具体而言，行为分析虽能定位“失败发生在何时”，但对“为什么失败”——是低权重相关上下文 token、高权重无关 token，还是内部表示偏差——无法辨别，因此开发者只能看到症状而非病因。这种诊断能力的缺口，正阻碍着模型扩展与训练阶段的归因引导优化（如 token 级 DPO、prompt 调优）真正落地。
本文的目标是本文的目标是把 LLM 失败分析形式化为一个可在真实基准上规模化的归因问题。具体来说，作者要回答三个研究问题：（1）当模型选了错误 token 时，可解释性是否真能给出诊断线索（不是仅仅事后合理化）；（2）当更大模型纠正小模型的失败时，归因能否作为“被纠正的内部机制”被观察到；（3）在训练过程中，归因是否能反映模型逐步“学会少犯错”的过程。为达成这些目标，论文需要在 12K+ tokens 的长上下文条件下跑通整套 LRP 流水线，并构造数千案例的人工监督对比 token 对，把“黑箱行为分析 + 黑白盒可解释性 + 训练时间轴”三件事在同一框架下连接起来。
与已有工作不同的是，和已有工作相比本文有三个独特切入角度。第一是“把失败定义成对比偏好”：与现有归因多解释单一 token 不同，本文解释的是 $\Delta\ell = \ell(t_{\text{tgt}}) - \ell(t_{\text{con}})$，去除共享背景让相关度信号更尖锐，与实际调试场景一致。第二是“在大模型、长上下文、真实基准上”运行 LRP：作者提出基于 batched multi-target backward 的高效归因图构造，把传统“每个隐藏态单独反向”的代价压成单次反向，使长上下文变得可行。第三是横跨四个 benchmark（IFEval/GAIA2/MATH/EvalPlus）、三种模型规模（Qwen3-0.6B/1.7B/4B/8B）及一条训练轨迹（Olmo-3-7B-Think 从 SFT_1000 到 RLVR_1375 共 12 个 checkpoint）做系统实证，把单点可解释性推到可作为训练阶段监控工具的高度。
核心方法
直观地说，本文把“为什么模型选了 A 而不选 B”翻译成“模型内部哪些输入 token 和中间隐藏态要为这次偏好负责”。技术上，作者先把任意一个 LLM 失败案例 $(prompt, t_{\text{tgt}}, t_{\text{con}})$ 写成对比归因目标 $\Delta\ell$，再用 AttnLRP 把这个标量反传回 L 层 transformer 的每一个隐藏态 $h^{(i)}_l$，得到每个位置每个层的相关度向量 $R^{(l)}_i$，最后用一个高效的批量反向技巧，把这些 $R^{(l)}_i$ 两两之间的相关度传播量一并取回，从而构造出完整的归因图。两类视图在论文中反复出现：input attribution（对位置维做聚合，得到每个 token 的相关度热力图）和 attribution graph（保留每层每个位置的节点 + 跨层相关度增量边）。该方法在第 3.3 节引入“粗到细”策略：先做隐藏态级别的归因图，再在选中的子图上做神经元级别的细化，从而将长上下文的可行性问题分两步解决。
本文核心创新有三点本质区别。第一是“对比失败偏好”作为归因目标：传统 LRP 解释模型对目标的“绝对喜欢”，错误时 A 与正确答案 B 共享部分会淹没失败信号；本文换成 $\Delta\ell$，只关心 A 比 B 多出来的那部分，与 AttnLRP 的 faithfulness 优势叠加后能给出更尖锐的相关度分配。第二是 batch-packed multi-target backward：朴素做法需要 $O(LN)$ 次反向传播，作者把多个目标塞入同一 batch 维度用 GPU 向量化单次完成，把成本压到常数次，使 12K tokens 的 GAIA2 归因图变得可行。第三是粗到细（state-level then neuron-level）：先聚合到隐藏态级别的 $R^{(l)}_i$ 做粗图，再对感兴趣子图下沉到 $R^{(l)}_{i,k} \in \mathbb{R}^d$ 做细图，这一设计让长上下文成本可控，是与 transcoder / sparse autoencoder 路径的本质区别。
方法步骤详情
方法分四阶段。第一阶段是问题形式化：给定 prompt $t_{\leq i}$、错误 token $t_{\text{tgt}}$、对比 token $t_{\text{con}}$，定义 $\Delta\ell = h^{(i)\top}_{L-1} W_U[:, t_{\text{tgt}}] - W_U[:, t_{\text{con}}]$；当 $\Delta\ell > 1$ 才进入归因分析。第二阶段是 AttnLRP 反传：模块级规则把 $\Delta\ell$ 反向传回输入嵌入，得所有 $R^{(l)}_i$，对 $l,i$ 求和聚合得每个 token 标量相关度（用于热力图）；归一化排除 BOS 等特殊 token。第三阶段是高效归因图构造：layer $l+1$ 所有位置装入同一 batch 用 GPU 向量化单次 backward，对 $|R^{(l)}_i| < 0.01$ 节点丢弃，剪枝 ~85% 以下小边。第四阶段是粗到细：先做隐藏态级图，对 NC-IA 子图细化到神经元级。训练阶段沿 checkpoint 应用（Figure 6/7）。
技术新颖性
技术新颖性可从三维度分析。工程上，作者用 batched multi-target backward 把每个隐藏态独立 backward 转换为单次 GPU 向量化反向，配合千万级节点/边的图剪枝策略，使长上下文归因图可工程化。概念上，把失败重新定义为对比偏好而非单一偏好，把“调试 LLM”翻译成一个 LRP 可自动反向传播求解的优化问题，并在 4.5 节直接催生“用 LRP 相关度作为 prompt 调优选择器”与“作为 DPO/RLVR 的 token importance 信号”两个应用。实证上，首次在 12K+ tokens 的 GAIA2 上跑通 LRP，并在同一框架做跨 benchmark、跨模型规模、跨训练 checkpoint 的三维比较。值得指出的是 neuron-level 归因图分析被明确留作未来工作，可见当前 state-level 限制是有意识的权衡。
实验结果
实验结果分四层。第一层是归因覆盖率（Figure 1 上）：IFEval/GAIA2/EvalPlus 多数失败仅靠输入归因可解释（M-IA），MATH 上有显著 NC-IA+AG，因推理错误落在 neuron-level，如 $(1.0175)^{20} \approx 1.4$ 后错选 0 vs 1。第二层是失败模式（Figure 1 下）：URT 四 benchmark 主导，MATH 尤其压倒性；OIT 单独占比小但常与 URT 共现（EvalPlus/GAIA2）。第三层是规模效应（Figure 4/5）：IFEval Qwen3-0.6B 失败上，1.7B/4B 普遍落在 $y=x$ 下方；Instruction 段 0.6B 非负、4B 显著负，已纠正子集更强，证明改进来自归因层系统性右移。第四层是训练时间轴（Figure 6/7）：Olmo-3-7B-Think 从 SFT_1000 到 RLVR_1375 $\Delta\ell$ 总体下降，与 SFT_1000→2000、SFT_8000→10000 拐点对齐；DPO 进一步推三段相关度更负，RLVR 增益有限。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| IFEval 失败案例输入归因覆盖率 | M-IA / NC-IA+M-AG / NC-IA+AG 三类占比 (Figure 1 上图) | 以 Qwen3-0.6B 收集 265 个失败 (clean rate 20.8%, 平均 54 tokens) | 无直接对比 baseline | M-IA 主导,显示输入归因足以解释大部分指令跟随失败 |
| GAIA2 长上下文失败案例归因 | M-IA / NC-IA+M-AG 占比 (Figure 1 上图) | 以 Qwen3-4B 收集 300 个失败 (clean rate 17.0%, 平均 12,374 tokens) | 无直接对比 baseline | 平均 token 数是 IFEval 的约 230 倍,首次在该尺度上完成 LRP 全流程 |
| MATH 数学失败案例归因 | NC-IA+AG 不可解释占比 (Figure 1 上图) | 以 Qwen3-0.6B 收集 91 个失败 (clean rate 40.7%, 平均 116 tokens) | 无直接对比 baseline | NC-IA+AG 占比在四 benchmark 中最高,说明数学推理需要 neuron-level 归因 |
| EvalPlus 代码失败案例归因 | M-IA / NC-IA+M-AG / NC-IA+AG 占比 (Figure 1 下图) | 以 Qwen3-0.6B 收集 270 个失败 (clean rate 19.6%, 平均 169 tokens) | 无直接对比 baseline | URT+OIT 共现率较高,凸显代码生成场景下多 token 偏差叠加特征 |
| Model scaling 验证 (Figure 4) | 在 Qwen3-0.6B IFEval 失败上,更大模型对应的 logit difference 分布 | Qwen3-1.7B / 4B 在多数样本上落在 $y=x$ 之下,显著纠正 0.6B 失败 | Qwen3-0.6B 自身对角线 $y=x$ | 输入归因相关度随规模系统右移:Instruction 段 0.6B 非负、4B 显著负,且在已纠正子集上更强 |
| 训练时间轴归因演化 (Figure 6/7) | 同一对比对的 $\Delta\ell$ 与相关度在 12 个 checkpoint 上的变化 | Olmo-3-7B-Think 沿 SFT→DPO→RLVR 的连续演化 | SFT_1000 自身的初始分布 | Query/Answer 段相关度在 SFT_1000→2000 与 SFT_8000→10000 显著下降,DPO 进一步推三段相关度向负,RLVR 增益有限 |
局限与改进
局限性分两类。作者明确承认的：（1）当前归因图在 state-level 聚合下工作，对 neuron-level 才能解释的失败（如 MATH 数值推理）效果有限，neuron-level 与 sparse feature / transcoder 留给未来工作；（2）仅在 8B 以下模型上验证，更大规模（如 70B+）可扩展性是开放问题；（3）仅做单 token 对比归因，对多步累积失败无能为力，作者明确提议 phrase/step-level 扩展。我从文中观察到的额外局限：（1）clean case rate 仅 17-41%，意味着归因分析只覆盖了“干净可恢复”失败子集，对“完全无法恢复”的硬失败无洞察；（2）attention sink 影响虽经归一化排除特殊 token 缓解，但对开头 token 解释仍可能不够干净；（3）AttnLRP 的局部线性化近似在残差流、LayerNorm、GLU 等模块上的精度边界未展开；（4）训练诊断仅在单条时间轴展示，缺跨 pipeline 泛化；（5）人评一致性 ≥86% 仍存主观性，OIT 等细模式可能受标注偏见影响。
独立分析的弱点
独立审视后的弱点与改进方向。第一，“单 token 对比”形式化不充分：MATH 案例 $(1.0175)^{20}$ 错选 0 vs 1 实际是更早算术的累积产物，改进方向是引入 phrase-level / step-level 对比。第二，clean case rate 在 GAIA2 只有 17%，“完全偏掉”型失败被剔除，改进方向是允许非严格恢复的软对比（beam 多样化、宽松前缀匹配）。第三，归因图仅 state-level，未下沉到 sparse feature；改进方向是引入 transcoder / SAEs 子模块。第四，要求 $\Delta\ell > 1$ 阈值剔除了大量轻微偏好型失败，改进方向是引入连续偏好谱。第五，IFEval/GAIA2/MATH 的失败集合是 bias 子样本，缺 bootstrap CI 使 M-IA/NC-IA+AG 比例的统计误差不可量化。第六，扰动验证的 K 仅给均值，改进方向是按失败模式（URT/OIT/URT+OIT）分别报告中位数与尾部分布。
未来方向
未来工作分两维度。作者提出的方向：（1）把 token-level 对比推广到 phrase-level/step-level 对比以解释多步累积失败；（2）系统进行 neuron-level 归因图分析；（3）用归因信号作为 DPO/Token-level preference 优化的 token importance 权重；（4）把 LRP 相关度作为训练阶段 failure monitor 在多模型多 pipeline 上重复本文 4.3/4.4 节诊断。基于结果的延伸：（1）把对比归因接到 circuit discovery 上对 NC-IA+AG MATH 案例做自动电路识别；（2）把粗到细与 sparse feature 结合做“长 LRP→短 sparse circuit”两阶段流水线；（3）推广到 agent failure (Ref [69]) 的对比归因版本；（4）把归因图节点注意力作为 RLHF/RLAIF 的奖励 shaping 信号；（5）用归因层级相关性作 probe，研究失败模式在不同语言、文化、领域上的稳定性作为部署前可解释性 gate。
复现评估
复现性评估四方面。代码与权重：论文提到代码公开在 https://aka.ms/Debug-XAI，本次分析未直接访问验证仓库最新状态；模型方面用 Qwen3 系列（开源）与 Olmo-3-7B-Think（开源），依赖的 AttnLRP 与 batched backward 技巧在 Appendix A 给出了算法概要。数据：四个 benchmark 全部开源；对比 token 对的人工标注已报告 ≥86% LLM 提议一致与人评通过，并提供 ±3 token 窗口作为稳健性检验。算力：受限模型 < 8B，单卡 4090/A100 即可跑输入归因；GAIA2 归因图需 batched multi-target backward，1-2 张 A100 80G 即可支撑。复现难点：(a) AttnLRP 模块级传播规则需手写 transformer 反向钩子；(b) batched backward 需谨慎对齐 batch dim；(c) 人工标注成本较高。综合评估：主流 LLM 实验室可在数周内复现输入归因部分；归因图与训练时间轴完整结果需更大人工与算力。
论文图表
