信念轨迹能量：度量通往预测的路径 Belief-Trajectory Energy: Measuring the Path to a Prediction
用逐层预测分布的JSD能量刻画LLM内部信念修正，实现难度度量、人机文本检测与生成器归因
前置知识
Logit Lens（逻辑透镜）
一种可解释性技术：把 Transformer 中间层的残差状态直接通过模型最终的 LayerNorm 和反嵌入矩阵 $W_U$ 投影到词表空间，再做 softmax，得到该层"如果现在就预测下一词"的分布。其假设是残差流随深度逐渐逼近最终输出表征，因此中间状态可以用同一个输出头解码为有意义的预测。
BTE 的第一步就是把每层状态用 logit lens 读成"信念"分布 $p_t^{(\ell)}$，没有这一步就无法把不同深度的状态放进同一个预测空间里比较变化。
Jensen–Shannon 散度（JSD）
两个概率分布的对称相似性度量：$JSD(p,q)=\frac{1}{2}KL(p\|m)+\frac{1}{2}KL(q\|m)$，其中 $m=(p+q)/2$。取自然对数时取值范围为 $[0,\log 2]$，单位是 nats；它还有互信息解释——等于"公平抛币选 $p$ 或 $q$"的指示变量与从对应分布采出的 token 之间的互信息。
BTE 的基本单元就是相邻两层信念分布之间的 JSD；理解它有界（$\le\log 2$）、量纲统一，才能理解深度轮廓为什么可以直接沿 token 平均。
Fisher–Rao 度量
概率分布流形上的内在几何，在 logit 坐标下表示为 $F=\mathrm{diag}(p)-pp^\top$，即当前分布的协方差矩阵。它衡量分布本身的统计距离且对参数化不变：所有 logit 的均匀平移不产生任何距离，而概率质量大的 token 之间的差异化变化贡献更大。
论文命题 2.2 证明局部 JSD 近似等于 $\frac{1}{8}\delta^\top F\delta$，即 Fisher–Rao 几何下的信念加权更新方差，这是 BTE "有原则而非工程拼凑"的理论根据。
残差流与逐层计算
Transformer 每层由注意力子层与 MLP 子层组成，信息以残差方式逐层累加修改：每层对表征 $h$ 做一次增量更新，最后一层读出预测。模型对输入的"思考过程"就编码在这些逐层增量里，而不是只体现在最终输出上。
BTE 度量的正是这些增量在预测空间上的投影大小——每一层的更新使信念分布改变了多少，因此需要理解逐层计算的结构。
AUROC 与 Spearman 相关
AUROC 是二分类器 ROC 曲线下面积，等于随机抽一个正例和一个负例时正例得分更高的概率，0.5 为随机、1 为完美。Spearman $\rho$ 是秩相关系数，衡量两个变量排序的一致程度，不要求线性关系，常用于评测"难度分数能否正确排序"。
论文用 macro-AUROC 评估人机评审检测（对生成器×会议年单元格取平均），用 Spearman $\rho$ 评估 BTE 与题目难度等级的排序一致性，读懂结果表必须掌握这两个指标。
研究动机
我们与 LLM 的交互几乎全部通过最终输出：一个概率、一段生成或一个判断，而模型内部逐层演化、最终形成该输出的完整计算轨迹被整体丢弃。现有读取内部信号的做法各有缺陷：神经元级或激活级分析细粒度但代价高、与具体模型强绑定；似然、困惑度等输出级统计把整条轨迹坍缩成端点，丢掉全部中间过程；高维内部表征虽然能训练出强大的监督分类器，但其含义依附于特定任务和领域的训练，缺乏自带的可解释结构，难以跨任务迁移。更根本的是，一次前向传播产生大量高维中间状态，可能的表示与约简方式无穷多——如果不从原则性出发，任何统计量都容易沦为工程特征，而不是对"模型内部轨迹"的有意义测度。此外，读取粒度也难拿捏：神经元级太细且模型特定，输出级又把计算压缩到终点。
本文的目标是论文的目标是把这条被丢弃的内部轨迹变成一个有原则、可比较、跨任务通用的测量信号。具体做法是：通过模型自身的词表投影（logit lens）把每一层中间状态读成下一词预测分布，称为模型的"信念"；定义 Belief-Trajectory Energy（BTE）度量相邻层信念之间的修正幅度，并以两种形态输出——一是训练免费的标量，作为输入对评分模型难度的信号；二是保留深度结构的 $L$ 维深度轮廓，支持人机评审检测和八类生成器归因等轻量监督读出。理论上要说明 BTE 不是任意构造：局部上它对应 Fisher–Rao 几何下的有效预测修正，整体上它保留了从初态到终态的净变化无法恢复的信息，并通过预训练与微调分析证明该信号确实反映评分模型学到的东西。
与已有工作不同的是，独特的切入角度有三点。其一，研究对象从"单个中间状态"转向"状态的相继变化"：logit lens 一系工作用输出头解释某一层在算什么，本文则度量层与层之间信念被修改了多大。其二，测量空间选在模型自己的预测分布空间而非激活空间，使跨深度的变化有一致解释，且 JSD 的选择有几何（Fisher–Rao）与信息论（互信息）双重依据，而非经验设计。其三，视角反转：不依赖人类预先定义的输入属性（难度、来源）去解释模型，而是反过来用输入在模型中诱导的预测修正来刻画输入——学习后的模型本身可以充当"测量仪器"，评分模型的身份与训练历史由此成为测量的一部分。这使 BTE 给出的是模型相对的信号，与人类定义的难度标签互补而非重复。
核心方法
直觉是：越让模型"费劲"的输入，处理时引发的逐层预测修正越强；而不同来源的文本会在不同深度引发不同形状的修正，轨迹本身就是可测量的指纹。技术路线分四步。第一步，对拼接 $[x;y]$ 做单次前向传播，取出响应位置 $t$、层 $\ell$ 的残差状态 $h_t^{(\ell)}$。第二步，按 logit lens 读出信念分布 $p_t^{(\ell)}=\mathrm{softmax}(W_U\,\mathrm{LN}(h_t^{(\ell)}))$。第三步，定义基本能量 $BTE_{t,\ell}=\mathrm{JSD}(p_t^{(\ell)},p_t^{(\ell+1)})$，取值有界于 $[0,\log 2]$。第四步，沿 token 维平均得到深度轮廓 $e^{(\ell)}=\frac{1}{T}\sum_t BTE_{t,\ell}$，这是与响应长度无关的 $L$ 维固定表示；若做训练免费的难度度量，则取中心四分之一层（32 层 Llama 中的第 12–19 层）的均值 $\bar e_M$ 作为标量分数，窗口选择依据是被破坏响应在末端层表现出异常高能量的对照实验。
核心创新在于把"信念修正的幅度"本身作为被测对象，并用理论证明它不是任意特征。局部上，对相邻信念 $p=\mathrm{softmax}(z)$、$q=\mathrm{softmax}(z+\delta)$，命题 2.2 给出 $JSD(p,q)=\frac{1}{8}\delta^\top F\delta+O(\|\delta\|^3)$，其中 $F=\mathrm{diag}(p)-pp^\top$ 正是 Fisher–Rao 度量——即 BTE 度量的是相对于当前信念的"有效预测修正"：logit 均匀平移不贡献能量，高概率 token 之间的差异化更新贡献更大。全局上，由 $\sqrt{JSD}$ 是度量并结合三角不等式可得，端点位移 $JSD(p_t^{(0)},p_t^{(L)})$ 只是累积逐层修正的一个下界：初末信念相同、中途路径不同的输入可以有完全不同的 BTE 序列，因此似然类输出度量原理上就丢失信息。这与只解释单层状态的 logit lens、只看端点的似然/困惑度都形成本质区别。
方法步骤详情
完整流程：1) 输入问题 $x$ 与待评分文本 $y=(y_1,\dots,y_T)$，拼成 $[x;y]$ 过一次开放权重评分模型（默认 Llama-3.1-8B-Instruct，32 层），取每层残差状态 $h_t^{(\ell)}$。2) 信念读出：每层经 $W_U\cdot\mathrm{LN}(\cdot)$ 与 softmax 得 $p_t^{(\ell)}\in\Delta^{|V|-1}$。3) 逐步能量：$BTE_{t,\ell}=\mathrm{JSD}(p_t^{(\ell)},p_t^{(\ell+1)})$，有界于 $[0,\log 2]$。4) Token 池化：top 5% 高能 token 仅贡献约 8% 的响应间差异，故用均值池化得 $e^{(\ell)}$。5) 难度读出：取层 12–19 均值 $\bar e_M$；窗口依据 Figure 2 的破坏对照——被破坏响应在中心窗口 BTE 更低、末端层反而更高，全深度平均会混淆两种效应。6) 检测/归因读出：32 维轮廓做 shape-only（跨深度归一化）或 full（保留绝对值）表示训练轻量分类器；归因再加 std、P10/P50/P90、4 个位置桶均值、自相关与 top-10% 均值等 token 级统计扩到 352 维。
技术新颖性
技术新颖性体现在四个层面。理论：首次证明逐层 JSD 局部等价于 Fisher–Rao 几何下的信念加权 logit 更新方差，并证明端点统计（似然、困惑度）至多捕获累积修正的下界，为"中间轨迹含额外信息"给出形式化论证。表征：深度轮廓维度固定（等于层数）、每个分量有界（$[0,\log 2]$）、含义统一（该深度每 token 的期望预测修正），无需任务训练即自带可解释结构。应用范式：把评分模型当作测量仪器，评分器的身份与训练历史成为测度的一部分——同一输入在不同评分器下产生不同的 BTE 排序，例如数学增强模型会把 GSM8K 与 MATH-500 的难度排序反转。验证范式：用 OLMo-2-7B 预训练检查点与 PRM800K 定向微调证明 BTE 结构随学习涌现（中层能量从 0.013 涨到 0.093，约 7 倍）并被定向曝光选择性压低（MATH-500 中层降 22%），说明测到的确实是评分模型学到的东西而非架构伪影。
实验结果
1) 难度：Llama 打分下，响应 BTE 在 MATH-500（$\rho=0.44$）、ProofWriter（0.33）、StepGame（0.65）、SpaRTUN（0.66）内均随难度上升，并恢复 GSM8K→MATH→OlympiadBench 排序；只看题面则信号大减（$-0.01$ 与 0.08），说明难度常在求解计算中。评分器两端（DS 均值 0.43、Mistral 0.27）弱于 Llama（0.52），数学增强评分器还会反转 GSM8K/MATH 排序。2) 评审检测：全覆盖设定 Qwen-BTE 达 0.998 macro-AUROC（Llama 0.968；Open-Anchor 0.901；似然 $\le$0.868），跨家族迁移 0.994–0.995，人类评审被 GPT-5.5 重写后几乎不变；旧生成器训练对新模型变难，人类偏好与中层 BTE 偏移相关 $\rho=0.857$（$p=0.024$）。3) 归因：32 维轮廓 86.4%/91.3%，加 token 级统计（352 维）达 93.2%/95.6%，误差集中于 GPT-5.5 与 5.6 互混约 10%。4) 训练分析：OLMo-2-7B 随机初始化无区分（std$<$0.0002），中层 BTE 随预训练涨约 7 倍（0.013→0.093），难度相关从 1T 的 $-0.13$ 到 4T 的 +0.03，Llama 15T 达 +0.36；MATH 微调使 MATH-500 中层 BTE 降 22%、GSM8K 降 17%，只训难题对 level 5 降幅更大（$-19.7\%$ vs $-17.5\%$）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 人机评审检测（7 生成器 × 8 会议年，Setting C 全覆盖，论文不相交） | macro-AUROC | 0.998（Qwen-3.5-9B BTE 轮廓分类器） | Open-Anchor 0.901；对数似然 0.704（Llama）/0.868（Qwen） | 较最强基线 +0.097 |
| 人机评审检测（Setting B 跨家族迁移：训练时留出整个生成器家族） | macro-AUROC | 0.994–0.995（Qwen-BTE，重写后仍 0.993–0.994） | Open-Anchor 0.895 | +0.099–0.100 |
| 八类来源归因（人类 + 7 个生成器，留出论文） | accuracy | 95.6%（Qwen，352 维特征）；Llama 93.2% | 仅 32 维深度轮廓：91.3%（Qwen）/86.4%（Llama） | +4.3pp（Qwen） |
| 难度排序（SpaRTUN 推理跳数 1–3） | Spearman ρ | 0.66（响应 BTE，Llama 评分器） | 题面-only BTE 0.08 | +0.58 |
| 难度排序（MATH-500 等级 1–5） | Spearman ρ | 0.44 [0.37, 0.51]（响应 BTE） | 题面-only BTE 0.36 | +0.08 |
局限与改进
作者承认的局限：BTE 是模型相对的测量，不承诺复现人类定义属性；跨评分器可比性会被训练曝光破坏（五个评分器中三个给 MATH-500 低于 GSM8K 的 BTE），使用时必须同时考虑评分器能力与训练暴露；方法只适用于开放权重模型，因为需要访问中间状态和输出头。我的补充观察：中心窗口（层 12–19）是从 Llama 32 层的破坏实验中启发式选出的，跨架构如何自适应未验证；每个 token 每层都要做 $|V|$ 维 softmax 与 JSD，长文本下计算与显存开销不小；均值池化丢弃 token 位置信息，归因不得不回到 352 维重特征；理论命题是小扰动的三阶近似，深层大修正区域的解释力未讨论；"熟悉度"只能间接推断（各模型训练混合不公开），低 BTE 与"简单"、"训练时见过"无法先验区分；检测范式对越接近人类分布的新模型天然变难，方法本身不改变这一趋势。
独立分析的弱点
弱点一：层窗选择启发式且模型特定。层 12–19 依赖对 Llama 的破坏对照，换到 MoE 或不同深宽比的架构需要重新扫描，改进方向是定义自动准则（例如按 $\Delta e$ 的符号翻转点定位末端异常区）或为每个评分模型学习层权重。弱点二：词表级 JSD 计算昂贵。$|V|$ 约 12.8 万，长响应×每层都要算，可用 top-$k$ 截断分布近似 JSD 或按层稀疏采样来降本。弱点三：标量读出与形状信息割裂——shape-only 与 full 32 维在不同设定各有胜负（Setting A 中 full 对 GPT-5.5 达 0.725 而 shape-only 仅 0.315），说明平均化损失结构信息，可改用加权轮廓或学习型压缩。弱点四：检测红利部分来自评分器对机器文本更熟（Qwen 上生成评审 NLL 低 10.4%，Llama 仅 2.4%），若未来模型训练混合更均衡，该信号会缩水，应做多评分器集成与熟悉度校准。弱点五：难度与曝光纠缠，低 BTE 无法区分"简单"与"见过"，需要构造曝光受控的合成数据集做消解实验。
未来方向
作者明确提出两个方向：系统研究 BTE 作为训练暴露/模型熟悉度探针（异常低的 BTE 可能指示数据落在训练分布内），以及把"模型作为测量仪器"推广为更一般的数据刻画框架。在此基础上的可延伸方向：用 BTE 做数据选择与课程学习，按评分模型的相对难度给训练语料排序；把预训练检查点的 BTE 演化当作分布学习的在线监控指标，辅助数据配比决策与早停；利用定向微调的选择性重塑（MATH 微调只压被曝光分布约 22% 且对难题更狠）反过来审计模型"在哪里被改过"，服务对齐与数据污染检测；扩展到多模态模型与 RLHF 前后对比；理论上把小扰动近似推广到大修正区域，或系统比较其他散度族的几何解释；把深度轮廓与 SAE 特征、probing 结果对齐，定位哪些能力变化对应哪些层的能量变化。
复现评估
复现条件较好。论文有项目主页（yingjiahao14.github.io/BTE-web），核心计算只需开放权重模型的一次前向加词表投影，不需要训练大模型：Llama-3.1-8B-Instruct、Qwen-3.5-9B、OLMo-2-7B 各检查点、DeepSeek-R1-Distill-Llama-8B、Mistral-7B 等评分模型全部公开权重，8B 模型单张 24GB 级 GPU 即可跑通 BTE 计算。难度实验的基准全部公开：MATH-500、GSM8K、OlympiadBench、ProofWriter、StepGame、SpaRTUN 均有官方数据，微调用的 PRM800K 人类验证解答也公开。主要成本在评审检测部分：需要 7 个生成器（含 GPT-5.5/5.6、Claude Opus 5、Gemini 3.1 等新模型）对 ICLR/NeurIPS 2021–2024 论文生成评审，涉及 API 费用，评审数据基于 Yu et al. 的公开集扩展；分类器是轻量 readout，训练成本可忽略。总体难度中等，代码开源情况需以项目主页为准。
论文图表
