中间层知晓什么：从熵动力学检测越狱攻击 What Intermediate Layers Know: Detecting Jailbreaks from Entropy Dynamics
通过分析中间层token级熵轨迹检测LLM越狱提示
前置知识
logit lens
logit lens是一种transformer可解释性技术，通过将中间层的隐藏状态直接投影到词表空间，得到该层对下一个token的预测分布。具体来说，对于第ℓ层的隐藏状态h^(ℓ)_t，使用最终层的unembedding矩阵W_U进行投影：z^(ℓ)_t = W_U h^(ℓ)_t，然后通过softmax得到概率分布p^(ℓ)(·|x<t)。这相当于给中间层装上"透镜"，让我们能够窥探模型在处理过程中不同深度的"思考"状态，而不需要等待最终输出。这种方法是训练无关的，可以在单次前向传播中同时提取所有中间层的预测。
本文核心方法依赖于logit lens从中间层提取token级预测熵，理解这一技术对掌握论文方法实现原理至关重要。
预测熵
预测熵是衡量模型对下一个token预测不确定性的信息论指标，定义为H^(ℓ)_t = -∑_{v∈V} p^(ℓ)(v|x<t) log p^(ℓ)(v|x<t)，其中V是词表，p^(ℓ)是第ℓ层在位置t的预测分布。熵值越高表示模型越不确定（分布更均匀），熵值越低表示模型越确信（分布更集中）。在本文中，作者关注的是熵随token位置的演化轨迹，而不仅仅是熵的大小。例如，越狱提示可能呈现出熵逐渐下降的单调趋势，而良性提示的熵波动则相对随机。这种动态模式比静态统计量更能反映提示的内在结构。
本文完全基于token级预测熵进行分析，理解其定义和物理意义是理解论文贡献的基础。
Kendall's τ和Spearman's ρ
Kendall's τ和Spearman's ρ都是基于秩的非参数相关性度量，用于量化两个变量之间的单调关系。Kendall's τ计算的是所有可能的(token位置对)中，熵变化方向与位置变化方向一致的比例，归一化到[-1,1]区间。Spearman's ρ则是先对熵序列和位置序列分别进行秩变换，然后计算Pearson相关系数。这两个指标都是尺度不变的，对绝对熵值不敏感，只关注相对排序关系。例如，对于熵轨迹[5,4,3,2,1]，Kendall's τ和Spearman's ρ都会接近-1（完全单调递减），无论熵的具体数值范围如何。这种特性使得它们在不同模型间具有良好的迁移性。
这两种秩相关度量是本文最核心的动态特征，论文的主要发现都基于这些指标超越了静态统计量的表现。
方向性AUROC
AUROC（Area Under ROC Curve）是分类器性能的标准度量，但在本文中，作者使用的是方向性AUROC。这是因为越狱提示在不同模型上的熵动态方向可能相反（Llama和Qwen上是向下趋势，Gemma上是向上趋势）。方向性AUROC在计算时按照该模型的"有害方向"来排序分数：如果越狱导致熵单调下降，那么更负的Kendall's τ或Spearman's ρ会被视为更高分。这种度量完全是无阈值的，不依赖特定的分类阈值，只反映特征内在的区分能力。AUROC=1.0表示完美分离，0.5表示随机猜测。
本文所有实验结果都使用方向性AUROC报告，理解其计算方式有助于正确解读论文的性能数据。
研究动机
现有的越狱检测方法主要分为几类：基于规则的过滤器（对已知攻击模式匹配）、监督分类器（需要标注数据训练）、异常检测方法（标记异常输入）、响应式检测器（检查生成输出）以及基于内部信号的方法（从隐藏表示识别攻击）。基于内部信号的方法最近显示对抗性和良性提示可能在潜在空间中可分，但目前不清楚内部动力学的哪些属性编码了有害意图，以及这个信号如何跨token位置和模型深度演化。大多数现有方法要么依赖提示文本的工程特征，要么依赖生成响应，要么需要训练额外的分类器，而很少系统地分析模型内部表征的结构性动态模式。此外，基于困惑度的检测虽然是无训练基线，但对良性输入可能产生高误报率，而基于扰动的方法如SmoothLLM虽然鲁棒但需要每个提示多次前向传播，计算成本高昂。
本文的目标是本文的具体目标是提出一个完全训练无关的框架，通过分析大语言模型中间层的token级预测熵轨迹来研究越狱相关信号。作者的核心假设是：越狱提示不仅仅是改变整体不确定性水平，而是诱导预测熵随token展开的结构化动态变化。静态的提示级汇总统计（如均值或方差）可能会掩盖这种局部效应，而基于轨迹的特征可以捕获跨位置的系统性单调趋势。作者希望通过分析熵如何跨token位置和模型深度演化，来识别网络中哪些部分越狱相关结构最为突出，从而为理解越狱行为的内在机制提供新的视角，而不是构建一个生产级检测器。
与已有工作不同的是，本文的独特切入角度是：不依赖提示文本、生成输出或微调分类器，而是通过分析冻结模型的中间激活来研究内部模型动力学。与以往主要在表示层面建立可分性但不表征哪些不确定性衍生属性最有信息量或相关信号如何跨模型深度变化的工作不同，本文明确表明判别信号主要是动态的，源于token级预测熵跨位置的演化，并且集中在中间层而非最终层。作者将熵视为动态量并检查其跨深度的演化，而不是仅仅测量静态的聚合不确定性水平。这种方法在概念上类似于使用logit lens等工具探测中间transformer状态的可解释性工作，但作者不是逐句解释单个预测，而是从这些轨迹导出token级预测熵轨迹来比较静态不确定性摘要与基于轨迹的动态特征。
核心方法
本文方法的整体思路是将越狱检测问题转化为从熵轨迹函数中提取判别信号的问题。作者的核心直觉是：越狱提示会在模型中间层诱导出一种结构化且一致的预测熵演化模式，而良性提示则呈现相对平坦或随机的模式。技术路线上，作者首先通过logit lens技术从中间层的隐藏状态提取token级预测熵轨迹，然后从这些轨迹构建两类特征族：静态特征（捕获熵的大小）和动态特征（捕获熵演化的单调性结构）。最后，使用方向性AUROC作为无阈值的评估指标来测试这些特征的分离能力。整个方法完全训练无关，只需单次前向传播即可从冻结模型导出连续的检测分数，计算开销与标准前向传播成线性关系，非常适合快速诊断。
本文的核心创新点是：越狱相关的判别信号主要是动态的而非静态的，即重要的是熵如何跨token位置演化（单调趋势），而不仅仅是熵的绝对水平。具体来说，作者发现虽然越狱提示和良性提示的提示级熵水平可能相似（图1），但它们的token级轨迹存在系统性差异：越狱提示表现出结构化的熵演化单调趋势（可以用Kendall's τ等秩相关度量量化），而良性提示则显示相对平坦的模式。另一个关键发现是这种信号不是均匀分布在模型深度上：它集中在中间层（约50-85%深度）并在最终层退化，这表明越狱相关结构主要出现在中间网络表征中，而不是在输出头附近。这种深度依赖的模式是静态特征所不具备的（静态特征通常在最终层最强）。
方法步骤详情
方法步骤的完整描述如下：第一步，给定一个包含T个token的输入提示x=(x_1,...,x_T)，让模型进行单次前向传播，得到每个探查层ℓ在每个token位置t的隐藏状态h^(ℓ)_t∈R^d。第二步，对于每个探查层ℓ和token位置t，使用logit lens将隐藏状态投影到词表空间：z^(ℓ)_t = W_U h^(ℓ)_t，其中W_U是模型的unembedding矩阵，|V|是词表大小。然后通过softmax得到概率分布p^(ℓ)(·|x 0]，其中d是根据经验观测到的有害方向（Llama和Qwen3为-1即向下，Gemma为+1即向上）。第五步，将每个标量特征直接用作连续检测分数，使用方向性AUROC评估其判别质量。作者选择K=8个均匀间隔的探查层（总是包括第0层和最后一层），对于Llama-3.1-8B是[0,4,8,13,17,22,26,31]，总共产生约40个标量特征。
技术新颖性
本文的技术新颖性体现在三个方面：首先，提出了一种完全训练无关的内部模型动力学分析框架，不依赖提示文本、生成输出或微调分类器，而是直接从冻结模型的内部激活导出连续检测分数。这与需要额外训练或标注数据的现有方法形成鲜明对比。其次，明确区分了静态熵特征和动态熵特征，并通过大量实验证明动态特征（单调性和秩相关度量）显著优于静态聚合统计量，且在不同模型间具有更低的性能方差（Kendall's τ和Spearman's ρ的跨模型标准差仅约0.02）。第三，发现了越狱信号的深度依赖模式：判别信号集中在中间层（约50-85%深度）并在最终层退化，这与静态特征的模式相反（静态特征在最终层最强），表明越狱相关结构是中间网络表征的涌现属性，而不是输出处理过程的副产物。
实验结果
本文的核心发现可以总结为三点：首先，动态特征显著优于静态特征。在UltraChat×AdvBench对上，Llama-3.1-8B的L22层，monotonicity达到0.971的AUROC，而静态的mean和max特征仅分别为0.669和0.762。更重要的是，Kendall's τ和Spearman's ρ在三个模型上的AUROC几乎一致（0.793-0.826和0.796-0.838），标准差仅约0.02，而静态特征（如mean）的跨模型方差高达0.143。这证明了秩相关度量捕获的结构性信号在不同架构间高度一致。其次，判别信号呈现深度依赖模式，在中间层（约50-85%深度）最强。对于Llama-3.1-8B的Kendall's τ，从焦点层L22（0.798）到最终层L32（0.718）下降了0.080；对于Gemma-7b，从L19（0.796）到最终层L27（0.458）更是下降了0.338。相反，静态的mean熵特征在最终层最强，这表明静态和动态特征对模型计算的不同方面敏感。第三，动态特征在跨模型和跨基准测试中表现出良好的泛化性。在三个模型的六个主要评估对（UltraChat和WildJailbreak良性×{AdvBench, HarmBench, StrongREJECT}）上，Kendall's τ和Spearman's ρ的跨模型平均值分别为0.782和0.788，标准差仅0.021和0.018，远低于monotonicity的0.086。特别值得注意的是，当安全集是WildJailbreak benign时，Llama和Qwen3的monotonicity都在三个有害数据集上达到0.936-1.000的近乎完美分离，证明了该信号的鲁棒性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 越狱提示检测 | 方向性AUROC | Llama-3.1-8B: Monotonicity平均0.941, Kendall's τ平均0.798, Spearman's ρ平均0.801 | 静态mean特征在Llama上仅0.669，跨模型标准差0.143 | Monotonicity相对静态mean提升约0.27，Kendall's τ的跨模型一致性显著优于静态特征（标准差0.021 vs 0.143） |
| 跨模型泛化 | 跨模型AUROC标准差 | Kendall's τ标准差0.021, Spearman's ρ标准差0.018 | 静态mean标准差0.143, max标准差0.114 | 跨模型一致性提升约6-8倍 |
| 中间层 vs 最终层信号强度 | AUROC差值 | Gemma-7b的Kendall's τ从L19（0.796）到L27（0.458）下降0.338 | 静态mean在最终层反而最强 | 发现深度依赖的新模式，静态特征不具备 |
局限与改进
作者明确承认了几个局限性：首先，方法依赖于中间激活的访问，这在严格的黑盒部署中可能不可用。其次，可分性依赖于良性提示的分布：当良性提示本身具有与有害提示相似的结构模式时，信号的分离能力会退化。实验中，当使用JailbreakBench benign作为安全集时，Llama、Qwen3和Gemma的平均AUROC分别从0.941、0.941和0.759下降到0.348、0.347和0.436。这证实了信号捕获的是结构提示组成而非语义有害性。第三，Logit Lens投影已知会因为表示错位而扭曲中间预测，未来工作应该探索为目标探查层使用微调的透镜。此外，更大的、思考的或对齐的LLM可能有不同的模式和熵动力学，这使得采用中间层熵动力学检测器可能不可行。作者还指出，logit-lens下一个token熵是一个预测不确定性量，受到语言歧义、分词、提示长度和校准的塑造，并不声称它测量认知不确定性。最后，由于有害方向d和熵尺度可能在持续微调下转移，虽然基于秩的特征（τ, ρ）是尺度不变的因此更鲁棒，但d可能需要在生产中定期重新估计。
独立分析的弱点
本文方法的一个显著弱点是对结构模仿的敏感性。当良性提示故意模仿越狱提示的结构时（例如叙事语境中的受控物质使用），模型内部动力学无法区分它们与真正有害输入。这在JailbreakBench benign的实验中清晰体现，性能大幅退化。改进方向可以是与其他对结构模仿鲁棒的内部或行为信号（如隐藏状态探针或基于响应的指标）集成，形成多模态检测器。第二个弱点是方法依赖于白盒访问（中间激活），这在实际部署中受限。改进方向是探索这种熵动态模式是否可以近似地从输出分布或外部行为中推断，或者开发黑盒友好的代理特征。第三个弱点是动态特征的方向性（Llama/Qwen3向下，Gemma向上）需要预先估计，可能在持续微调后变化。改进方向是开发自适应的方向估计机制，或者进一步探索尺度不变的度量（如τ和ρ）是否可以完全避免方向参数。第四个弱点是Logit Lens的表示错位问题可能导致中间预测扭曲。改进方向是为目标探查层训练专门的微调透镜，或者探索其他中间表示到词表的投影方法。
未来方向
作者提出的未来研究方向包括：首先，将熵轨迹特征与互补的内部或行为信号（如隐藏状态探针或基于响应的指标）集成，以提高在当前最先进越狱提示检测器的分布偏移下的鲁棒性。其次，研究这些动力学如何在生成过程中演化，而不仅仅是在提示处理期间，这可能提供更深入的洞察，了解越狱意图如何通过网络传播，以及中间层信号如何可以用于实时安全监控。第三，在有拒绝或拒绝标签的对齐或思考LLM上评估，以理解当LLM主动拒绝回答时，中间层动力学如何变化。第四，与困惑度、词汇/长度/主题、隐藏状态探针、拒绝方向和输出分布基线进行基准测试。第五，将趋势特征在中间带聚合为多元检测器，而不是单独评估每个特征。第六，测试优化提示以逃避熵趋势检测的自适应攻击。基于论文成果可以延伸的方向包括：探索这种熵动态模式是否存在于其他类型的对抗输入（不仅仅是越狱），研究中间层熵动力学是否可以用于其他可解释性任务（如检测幻觉或推理错误），以及分析不同训练范式（如RLHF vs DPO）如何影响这些内部动态模式。
复现评估
论文提供了较好的复现性支持。作者声明代码、实验配置和补充材料可在https://github.com/ssophiee/entropy-jailbreak-detection获得。实验使用的是三个开源LLM：Llama-3.1-8B、Qwen3-8B和Gemma-7b，都通过Hugging Face提供（模型句柄分别为meta-llama/Llama-3.1-8B、Qwen/Qwen3-8B和google/gemma-7b）。数据集使用的是公开的有害提示基准（AdvBench、HarmBench、StrongREJECT）和良性提示集（UltraChat、WildJailbreak benign、JailbreakBench benign）。方法本身计算开销较小：每个探查层需要在同一前向传播中对每个token进行一次unembedding投影（W_U h^(ℓ)_t），不需要额外的传递，因此成本与模型大小成线性关系，类似于标准前向传播。主要挑战可能是需要访问中间激活，这需要修改模型代码或使用特定的框架。此外，作者报告每个特征在1:1类平衡下独立评估（从较大的集合随机子采样以匹配较小的集合），实验设置相对清晰。总体而言，只要具备足够的GPU内存（处理8B模型）和基础的技术能力（修改前向传播以捕获中间激活），复现主要结果是可行的。
论文图表
