← 返回 2026-05-19

聆听内部独白：探针轨迹揭示推理动态 Monitoring the Internal Monologue: Probe Trajectories Reveal Reasoning Dynamics

Maciej Chrabąszcz, Aleksander Szymczyk, Marcin Sendera, Tomasz Trzciński, Sebastian Cygert 📅 2026-05-18 👍 2 2026-07-13 08:36
AI Safety Chain-of-Thought Monitoring Large Reasoning Models Mechanistic Interpretability Probing Classifiers Representation Engineering
arXiv HuggingFace PDF

用累积最大池化MIL探针把LRM的隐性意图绘成时间序列，提取信号特征可在CoT文本不可信时提前预测有害行为与算术错误。

前置知识

Chain-of-Thought (CoT)

指大型语言模型在给出最终答案之前生成的逐步推理文本，例如DeepSeek-R1等大型推理模型（LRM）会在用户提问和最终回复之间产生数百到数千个token的中间推理。CoT既被视为模型'思考过程'的可读化窗口，也被AI安全社区当作天然的监控对象。

本文的全部动机来自CoT的不忠实性——CoT文本与最终输出在5–10%的样本上不一致，这使得基于文本的CoT监控存在性能天花板，必须转向隐性表征。

线性/非线性探针 (Probing Classifiers)

在预训练模型的隐藏状态上训练一个轻量分类器（通常是线性或浅层MLP），用以判断该隐藏状态是否编码了某个高层概念（如有害性、错误、真值）。探针被广泛用于表示工程（RepE）与机制可解释性研究。

本文的技术核心是探针，但把'静态探针'升级为'轨迹化探针'——在每个生成的token上评估探针，从而把一次性预测转化为时间序列。

Multiple Instance Learning (MIL) 元探针

在多个网络层上分别训练独立的per-layer探针，把它们的输出logits拼接起来，再经过一个学习到的meta-layer融合，得到最终预测。这种做法避免了传统probing需要在每一层单独训练并手工挑选最佳层的开销，可自动跨层聚合信息。

本文在每个评估层（每隔一层）部署独立探针并通过meta-layer融合，是MIL思想在Transformer隐藏表征上的直接应用，也是其>90% AUROC的关键工程支撑。

池化操作 (Pooling) 与序列聚合

把变长序列的token级表示压缩为单一向量的操作。常见选择包括平均池化（对所有token取均值）、最后token（只用序列末端的表示）和最大池化（沿token维度取逐元素最大值）。选择不同池化方式对探针性能影响极大。

本文最反直觉且最具工程价值的发现就是：传统默认的平均池化和last-token在LRM上完全失效（AUROC≈50%），而最大池化则稳定取得>90% AUROC。

AUROC（受试者工作特征曲线下面积）

在所有分类阈值下衡量二分类器区分正负样本能力的指标，取值0.5=随机、1.0=完美。本文所有实验的主指标，不受类别不平衡影响，适合安全/正确性这种不平衡的检测任务。

理解本文的'94% vs 50%'等数字的含义——前者是接近完美的可分离性，后者相当于随机猜测，作者正是用这种鲜明对比来支撑'池化方式决定一切'的论点。

研究动机

CoT监控的安全承诺建立在一个隐含假设之上：模型生成的推理文本忠实地反映其内部计算过程。然而多项研究（包括本文的复现）已经反复证明这个假设并不成立——本文在WildGuardMix和Aegis上评估了4个推理模型，发现CoT与最终回复之间的有害性标签不一致的比例稳定在5–10%（图1a）。换句话说，每处理20个高风险请求就有1到2个会出现'CoT看起来安全但回复有害'或'CoT看起来有害但回复安全'的情形。附录D给出了具体例子：4B模型一边在CoT里反复强调'提供无害恶作剧建议'，一边输出涉及'伪冒紧急求救电话'的有害条目；14B模型在CoT里明确计划'避免实际伤害内容'，却照样生成了直接鼓励自残的具体话术。文本层面的忠实性瓶颈意味着任何'用LLM-as-a-Judge看CoT做安全把关'的方案都无法突破这个上限——论文显示LLM-as-a-Judge在WildGuardMix上的AUROC最高只有84.0%（R1-Llama-8B），更弱的小模型只有71–74%。

本文的目标是本文的核心目标是验证一个假设：LRM内部隐藏状态中编码的'意图信号'远比其显式CoT文本更接近真实行为，因此可以用它来构建比文本监控更可靠的'内部独白'监控器。具体而言，作者希望把'是否会产生有害回复'和'最终答案是否正确'这两个二元任务的预测建立在模型在提示词+CoT阶段产生的所有token的隐藏表征上，并在生成过程中尽早给出可操作的信号，从而支撑一个能在模型'说一套做一套'时仍然可用的安全/正确性监控系统。

与已有工作不同的是，以往的probing工作（如Marks et al.的deception探测、Korbak et al.的多层probe、Zou et al.的RepE）几乎全部把一个长序列压成单个静态向量（mean/last-token），然后训练分类器。这种'静态快照'视角有三层不足：(1)它要求完整生成结束才能判断，无法实时介入；(2)它隐式假设概念信息是均匀分布在所有token上的，对LRM那种稀疏、跳跃式的关键概念触发不友好；(3)它完全忽略了推理过程中概念强度如何随时间演化，而'演化方式'本身正是区分对错的信号。本文的关键切入角度是：把每个token的探针预测拼成一条连续轨迹，并借鉴信号处理/金融时序领域的特征工程从轨迹中抽取'波动率、趋势、稳态、阶段切换'等多组描述符，从而把一次性预测升级为对推理动力学的连续监测。

核心方法

方法的整体直觉可以一句话概括：'不要只看模型最后说了什么，而要把它思考过程中的每一次心跳都画成波形，再从波形里提取机器学习能用的特征。'技术路线由四块构成：(1)训练一个能跨层读取信息的MIL元探针；(2)在生成过程中每生成一个token就用累积最大池化（Cumulative Max-Pooling）得到一个'截至目前模型是否走向有害/错误'的概率，从而得到一条单调不减的概率轨迹 $p_1, p_2, \ldots, p_N$；(3)把这条轨迹当作时间序列信号，从六个维度抽取特征（全局统计、形状与趋势、相位分段、边界瞬变、信号处理/持续意图、时序关系地标）；(4)把抽出来的特征送入随机森林等经典分类器，与静态探针做对比。

与已有方法的本质区别有两点。第一是池化方式：传统probing默认的平均池化和last-token在LRM的极长CoT上完全失效——它们把稀疏但强烈的'概念触发'平均掉或丢掉；本文坚持使用累积最大池化 $\mathbf{z}_t^l = \max_{1\le i\le t} \mathbf{z}_i^l$，它把'一旦出现过的最强信号'永久锁定，类似电子学中的'包络检波器'（envelope detector），因此单是max-pooling这一步就把四个模型的安全检测AUROC从~50%提升到~94%以上。第二是把概率轨迹当作信号处理对象：作者没有用Transformer/LSTM之类的黑盒时序模型去学习轨迹，而是显式构造了六组、共数十个具备可解释性的信号特征（如线性斜率、二次曲率、最大回撤、均值穿越率、自相关、tertile均值等），再用随机森林聚合，得到的特征重要性在不同任务之间是几乎完全不相交的——这构成了'内部独白具有任务特异性动力学'的核心证据。

方法步骤详情

方法分四步实施。第一步是数据准备，作者设计了三类训练集：Template-Based（把基础数据集的样本塞进预定义模板'以下内容是否有害/包含错误'，标签沿用底层数据集）、Messages-Based（用模型自带chat模板直接送原始对话）、Exact Model Messages-Based（让目标模型自己生成CoT和回复并用WildGuard打标），后两类成本高昂但更贴近真实推理分布。第二步是MIL元探针架构：在每个评估层上先用3层MLP（隐层1024/512/256，GELU激活）把 $Z^l \in \mathbb{R}^{T\times d}$ 投影到潜在概念空间，沿序列维度做全局最大池化后送线性分类头；不同层的logits被拼接，再经一个学习到的meta-layer输出最终预测。R1-Llama-8B用12层、Qwen3用12–14层，整体参数量50–80M。第三步是轨迹生成：把全局最大池化换成累积最大池化 $\mathbf{z}_t^l = \max_{1\le i\le t} \mathbf{z}_i^l$，保证$t$时刻的预测只依赖前$t$个token且概率单调不减；输入是每个token的隐藏状态，输出是一条随生成推进持续更新甚至永远不下降的概率曲线。第四步是信号特征抽取与分类：把 $P = \{p_1, \ldots, p_N\}$ 切成prompt段和CoT段，分别抽取六组特征——(1)全局统计：均值/最大值/方差/IQR/RMS/Last-to-Max比率；(2)形状与趋势：线性/二次拟合斜率、运行均值斜率、终端导数、源自金融时序的最大回撤与恢复比；(3)时间分段：把CoT三等分取tertile均值与段间差；(4)边界瞬变：在prompt-CoT过渡窗口（各1%）提取跳变和波动；(5)信号处理：scipy.signal.find_peaks找峰、连续驻留长度、滞后1自相关、均值穿越率；(6)时序地标：argmax位置、prompt/CoT比值。所有特征送入随机森林（实验中总是最优）得到最终预测。

技术新颖性

技术新颖性体现在三个交叉点上。其一是把MIL架构与累积最大池化嫁接起来：MIL解决了'跨层信息聚合'，累积最大池化解决了'沿token信息聚合'，两者结合得到一个能同时跨层、跨token读取状态的探针，本文在附录I验证了MIL确实能匹配甚至略优于单层探针。其二是把工程上常见于金融/语音的信号处理特征库首次系统性地引入LRM可解释性研究，用可解释的统计描述符替代端到端的可学习时序特征，避免了1D CNN等可学习特征提取器在样本极少的诊断式交叉验证下表现不佳（附录E.4显示CNN在多数模型上劣于手工特征）。其三是用SHAP值证明不同任务的关键特征集合几乎不相交（图9），这说明'内部独白'不是单一信号，而是任务特异的多维动力学——这是一个新的实证发现，意味着未来做LRM监控时不能'一招鲜吃遍天'。

Sample average and max-pooled probe trajectories. Averaging produces a highly unstable trajectory.
Figure 2: Sample average and max-pooled probe trajectories. Averaging produces a highly unstable trajectory.
Evolution of internal states during reasoning. (a) Average trajectories show how harmfulness probabilities shift as they transition from prompt processing to Chain-of-Thought reasoning across different safety outcomes. (b) Correctness probe scores of correct and incorrect final answers start diverging as they transition from prompt processing (0–100%) to Chain-of-Thought reasoning (100–200%).
Figure 3: Evolution of internal states during reasoning. (a) Average trajectories show how harmfulness probabilities shift as they transition from prompt processing to Chain-of-Thought reasoning across different safety outcomes. (b) Correctness probe scores of correct and incorrect final answers start diverging as they transition from prompt processing (0–100%) to Chain-of-Thought reasoning (100–200%).

实验结果

实验覆盖四个模型（R1-Llama-8B和Qwen3 4B/8B/14B）和五个数据集（WildGuardMix/Aegis/GSM8K/MATH/ProcessBench），主指标AUROC以3折交叉验证的方式在评估集上得到，作为特征'可分离性上限'的诊断指标。第一个核心发现是池化方式的决定性作用（表1）：在安全任务上，LLM-as-a-Judge（Qwen3-8B）AUROC最高只有84.0%，last-token在50–63%之间，平均池化基本在33–63%（甚至低于随机），而最大池化在所有模型×所有训练数据组合下都稳定取得83.5%–97.1% AUROC——其中Template-Based + Max-Pooling在Qwen3-4B上达到96.64%，Exact Model Messages + Max-Pooling在Qwen3-14B上达到97.14%。第二个核心发现是Template-Based训练数据足够好：Qwen3-14B的Template数据AUROC为95.91%，与Exact Model Messages的97.14%几乎打平，省去了让模型生成完整CoT并打标的昂贵流程。第三个核心发现是轨迹特征确实带来了额外增益（图5、图6）：在安全任务WildGuardTest上轨迹分类器小幅超过静态探针，但在OOD的Aegis数据集上静态探针退化明显而轨迹特征保持稳定；在数学任务上GSM8K上轨迹特征对Qwen3家族提升高达17个百分点AUROC；MATH上提升更温和但持续存在。第四个核心发现来自图9的SHAP分析：安全任务的关键特征是终端稳态类（CoT Last、CoT Last To Max Ratio、CoT Tertile 3 Mean），数学任务的关键特征是波动率类（CoT Mean Crossing Rate、CoT Accel Var、CoT Delta Var、CoT Slope），两套特征几乎不相交，证明不同行为有不同的动力学指纹。

Harmfulness AUROC (%) on WildGuardTest data demonstrating that max-pooling is essential and template-based training is highly efficient.
Table 1: Harmfulness AUROC (%) on WildGuardTest data demonstrating that max-pooling is essential and template-based training is highly efficient.
LLM-as-a-Judge metrics (%) on GSM8K using Qwen3-8B as the evaluator.
Table 3: LLM-as-a-Judge metrics (%) on GSM8K using Qwen3-8B as the evaluator.
LLM-as-a-Judge metrics (%) on Minerva Math using Qwen3-8B as the evaluator.
Table 4: LLM-as-a-Judge metrics (%) on Minerva Math using Qwen3-8B as the evaluator.
Results for layers 0–31. Top-5 layers are highlighted in gray. Probes trained with response GT.
Table 5: Results for layers 0–31. Top-5 layers are highlighted in gray. Probes trained with response GT.
Identifying harmful responses with unfaithful CoT. We compare the detection rate of static probes (solid) against trajectory-based classifiers (cross-hatched) for deceptive CoTs.
Figure 4: Identifying harmful responses with unfaithful CoT. We compare the detection rate of static probes (solid) against trajectory-based classifiers (cross-hatched) for deceptive CoTs.
Harmfulness detection AUROC across in-distribution and out-of-distribution (OOD). Evaluation of correctness separability on WildGuardTest (ID) and Aegis (OOD).
Figure 5: Harmfulness detection AUROC across in-distribution and out-of-distribution (OOD). Evaluation of correctness separability on WildGuardTest (ID) and Aegis (OOD).
Predicting mathematical correctness using reasoning trajectories. Comparison of correctness separability (AUROC) between static max-pooled probes (solid) and trajectory-based classifiers (hatched) across two datasets.
Figure 6: Predicting mathematical correctness using reasoning trajectories. Comparison of correctness separability (AUROC) between static max-pooled probes (solid) and trajectory-based classifiers (hatched) across two datasets.
Impact of reasoning trace length on predictive performance. Mean AUROC is shown as a function of the percentage of CoT tokens analyzed.
Figure 7: Impact of reasoning trace length on predictive performance. Mean AUROC is shown as a function of the percentage of CoT tokens analyzed.
(a) Leave-one-category-out generalization. (b) AUROC vs. number of feature groups.
Figure 8: (a) Leave-one-category-out generalization. (b) AUROC vs. number of feature groups.
Domain-specific feature importance. Top 10 trajectory features by mean absolute SHAP value, aggregated across all models.
Figure 9: Domain-specific feature importance. Top 10 trajectory features by mean absolute SHAP value, aggregated across all models.
Impact of reasoning trace length on predictive performance. Mean AUROC is shown as a function of CoT tokens analyzed.
Figure 10: Impact of reasoning trace length on predictive performance. Mean AUROC is shown as a function of CoT tokens analyzed.
Out-of-distribution (OOD) generalization performance on the Aegis dataset.
Figure 11: Out-of-distribution (OOD) generalization performance on the Aegis dataset.
Detailed Leave One Out on MATH subcategories.
Figure 12: Detailed Leave One Out on MATH subcategories.
查看结构化数据
任务指标本文基线提升
WildGuardMix Harmfulness Detection AUROC Template+MaxPool最高96.64%（Qwen3-4B），ExactModel+MaxPool最高97.14%（Qwen3-14B） LLM-as-a-Judge (Qwen3-8B) 最高84.0%；Last-Token ≈50–63%；Average-Pool ≈33–63% 相对LLM-as-a-Judge提升约+12–13个百分点AUROC，相对同任务静态平均池化提升约+30–60个百分点
Aegis Harmfulness Detection (OOD) AUROC Trajectory Classifier 显著高于静态探针（图4、图5） Static Probe 在OOD上退化明显 OOD场景下轨迹特征保持鲁棒，静态探针显著下降
GSM8K Math Correctness Prediction AUROC Trajectory Classifier 在Qwen3系列上比静态探针提升最高约17个百分点（图6） Static Max-Pooled Probe 65–78% AUROC 最高约+17 pp（Qwen3家族）
MATH Minerva Math Correctness Prediction AUROC Trajectory Classifier 与静态探针持平或略高 Static Max-Pooled Probe 73–78% AUROC 较小但稳定，提升几个百分点
MATH Leave-One-Category-Out AUROC Trajectory Classifier 在所有7个子类（Algebra/Counting/Geometry/IntermediateAlgebra/NumberTheory/Prealgebra/Precalculus）上匹配或超过静态探针 Static Probe Baseline 跨数学子类的零样本迁移能力提升
Harmfulness OOD (Aegis, 零样本) AUROC Trajectory Classifier 训练于WildGuardTest，零样本推理Aegis（图11） Static Probe 训练于WildGuardMix 零样本设置下轨迹特征仍匹配或略超静态基线
Detecting unfaithful CoT (Harmful Resp / Safe CoT) Detection Rate Trajectory Classifier 检测率显著高于静态探针（图4） Static Probe 在Aegis上失败 在Aegis OOD上最显著的提升

局限与改进

作者在文末明确指出三点局限：第一，实验模型最大只到14B参数（Qwen3-14B），更大模型（如70B以上）的可分性是否会继续单调提升或出现新的失败模式还未验证；第二，只评估了'有害性'和'数学正确性'两个概念，对'欺骗、谄媚、幻觉'等其他重要行为概念尚未涉及；第三，安全性标签完全依赖WildGuard分类器，存在不可避免的标签噪声，且这种噪声会同时影响训练和评估。论文的方法论层面也有一个需要读者注意的'诊断vs部署'边界：所有AUROC数字都是评估集上3折交叉验证得到的，作者反复强调这只是'可分离性的上限'，而非可部署的端到端监控器的真实性能——因为后者需要独立的训练集/测试集协议，作者目前还未在严格held-out协议下验证。此外，作者还承认MIL元探针虽避免手工挑层，但相对per-layer独立训练+搜索在计算上更复杂，对中小实验室是个隐性门槛。从结果内部观察还可以发现一个'数学领域天花板明显较低'的现象：即便最好的轨迹分类器在MATH和GSM8K上也只有78–80% AUROC，与安全任务的97%相比差距显著，说明数学正确性是一个本质上更难从隐性表征中读出的概念。

独立分析的弱点

一个独立可观察到的弱点是SHAP特征重要性的不稳定：在附录G的3折交叉验证下采样波动会让次重要特征的排序在每次运行时轻微抖动，但top-5结论仍然稳定，说明这是小样本下的统计现象而非方法缺陷。另一个值得改进的点是累积最大池化虽然对'意图检测'非常友好，但它构造出来的轨迹是单调不减的，这虽然有助于稳定性，却也人为抹去了'模型中途收回已暴露意图'这种细粒度动态——可以用一种'滑动窗口最大池化'或'指数衰减加权'替代，以捕捉'意图缓和'信号。第三个弱点是随机森林等下游分类器在小样本诊断协议下表现最佳，但并不天然支持流式推理（必须等整条轨迹生成完），如果要做实时干预需要换成在线学习分类器。第四个弱点是评估协议是'评估集内3折交叉验证'，意味着特征分类器实际上已经'看见'了最终测试分布，这与真实部署场景的zero-shot风险不符；附录E.2的真正OOD实验虽然补救了一部分，但仅在Aegis一个OOD数据集上做，缺少多个独立域的验证。改进方向分别是：(1)引入更多可微池化（softmax注意力加权池化）以保留非单调信息；(2)用HMM或在线贝叶斯分类器做流式预测；(3)在每个新概念域上设计真正的零样本留出协议。

未来方向

作者在第5节隐含地指出三个未来方向：(1)把方法扩展到70B以上的大模型；(2)扩展到deception、sycophancy、hallucination等概念；(3)改进标签质量以减少WildGuard噪声。基于本文成果还可以延伸出几条路径：一是把探针轨迹用于模型训练阶段，例如在线推理时如果轨迹在早期就预测出有害，可以用steering向量干预模型以避免生成有害回复，相当于把监控器升级为防御器；二是把轨迹信号用于RLHF/RLAIF奖励塑形，让推理模型在训练时就倾向于产生'稳定且意图清晰'的CoT；三是把累积最大池化推广为'累积多种可解释统计量'（如累积方差、累积峰值），构建一个更丰富的轨迹特征族；四是与机制可解释性结合，把轨迹上的关键转折点映射回具体attention head或MLP神经元，给出'哪一层哪一个组件在哪一时刻决定了意图'的因果解释；五是利用SHAP发现的不同任务特征不重叠这一现象，构建一个多任务统一的'内部独白解码器'，用一个probe同时监测多种行为概念。

复现评估

复现性评估整体良好但有细节需要读者注意：作者声明会'在论文接收后发布代码'（reproducibility statement），目前还没有可访问的代码仓库，这是首要的不确定因素。硬件方面，实验全部在A100 40GB上完成，总计算量约3000 GPU小时——这是一个相当大的预算，单一学术团队复现需要相当的算力保障。实验设计方面，四类训练数据（Template/Messages/Exact Model Messages/Template Responses）和四类池化（last-token/avg/max/cumulative max）的组合非常清晰，论文附录A给出了完整超参数（5 epoch训练、batch size 32、AdamW + cosine LR + 1e-3峰值 + 5% warmup、最大8192 token），附录H甚至给了每个特征的精确数学定义（包含 $\epsilon$、阈值0.05/0.7/0.8/0.9、窗口1%/20%、tertile切分等），附录E还提供了CNN基线的完整架构（kernel size 5/21/51的三并行1D CNN + 96通道concat + 双池化）。模型方面，作者基于公开发布的R1-Llama-8B和Qwen3 4B/8B/14B，数据集方面使用了五个全部公开的benchmark，复现门槛主要在算力而非数据可用性。整体而言，对有A100集群的研究者来说复现是可行的；对只有单卡的研究者，建议先用Template-Based训练数据 + Max-Pooling在小模型上复现核心表格结果，这是一个性价比最高的切入点。

论文图表

Overview of the trajectory-based analysis framework. (a) Surface-level CoT is unfaithful to the final output in over 10% of cases, necessitating latent monitoring to ensure safety. (b) Our framework monitors hidden representations to generate probe trajectories, from which we extract signal features (e.g., statistical state and trend dynamics) that are more expressive of true intent than surface-level text. (c) Tracking these trajectories captures temporal dynamics that distinguish behaviors even when the generated text is misleading.
Figure 1: Overview of the trajectory-based analysis framework. (a) Surface-level CoT is unfaithful to the final output in over 10% of cases, necessitating latent monitoring to ensure safety. (b) Our framework monitors hidden representations to generate probe trajectories, from which we extract signal features (e.g., statistical state and trend dynamics) that are more expressive of true intent than surface-level text. (c) Tracking these trajectories captures temporal dynamics that distinguish behaviors even when the generated text is misleading.

图1a是柱状图，统计四个LRM在WildGuardMix和Aegis上CoT与最终回复标签不一致的比例，结果在5–10%之间；图1b是流程图，描述'Prompt → Hidden States h1..hN → Probe Trajectory → Signal Features（统计态/趋势动力学/相位分段/边界瞬变/时序地标）→ 未来行为预测'；图1c是轨迹示意，紫色线表示'回复安全/CoT不忠实'的样本在隐性概率上的演化，橙色线表示'回复有害/CoT不忠实'的样本，两者即便文本看起来一致，轨迹形状仍然可分。

这是论文的'门面图'，一次性展示了动机（CoT不忠实）、方法（轨迹+信号特征）、结果（不忠实样本也能被区分）三件事，是理解全文最关键的一张图。

Table 2: LLM-as-a-Judge metrics (%) on WildGuardMix using Qwen3-8B as the evaluator.

4个模型×4种指标（Accuracy/F1/Balanced Accuracy/Average Precision）的表格。R1-Llama-8B的Accuracy最高83.24%，但F1只有56.73%；Qwen3-14B的Accuracy达85.12%但Average Precision只有17.90%，说明预测偏置严重。

揭示了LLM-as-a-Judge虽然Accuracy看似不低，但在类别不平衡下精确率/召回率严重偏斜，是文本监控不可靠的量化证据。