为Gemini构建生产就绪的探针 Building Production-Ready Probes For Gemini
开发鲁棒的激活探针架构，以检测语言模型在长上下文等生产分布偏移下的滥用行为。
前置知识
激活探针（Activation Probes）
激活探针是一种在语言模型内部隐藏状态（激活）上训练的小型分类器，用于检测有害输入。与使用另一个大型语言模型进行监控相比，探针计算成本极低，因为它们复用目标模型在前向传播中已生成的激活。探针可以是线性模型、MLP或注意力机制，在模型的中间层提取激活，并在这些激活上训练以二分类方式区分有害和无害输入。
本文的核心就是改进探针架构以应对生产环境中的分布偏移。理解探针的基本原理是理解本文技术贡献的基础。
分布偏移（Distribution Shift）
分布偏移是指模型在训练数据上表现良好，但在部署时遇到与训练数据分布不同的数据时性能下降的现象。在本文中，关键的分布偏移是从短上下文输入到长上下文输入的转换，以及从单轮对话到多轮对话的转换。这些偏移在生产环境中很常见，但会导致探针性能显著下降。
本文的主要动机就是解决探针在长上下文等生产分布偏移下的泛化问题。理解分布偏移的概念对于理解本文的技术挑战至关重要。
级联分类器（Cascading Classifiers）
级联分类器是一种将廉价的快速分类器（如探针）与昂贵的精确分类器（如大型语言模型）结合的系统。输入首先由快速分类器处理，如果快速分类器不确定（例如，置信度在某个阈值范围内），则将输入传递给昂贵的分类器。这种设计在保持高准确性的同时大幅降低了计算成本。
本文展示了将探针与大型语言模型结合的级联分类器，可以在极低的成本下实现比单独使用大型语言模型更高的准确性。这是本文的一个重要技术贡献。
AlphaEvolve
AlphaEvolve是一个自动化算法优化系统，它利用大型语言模型通过迭代变异和优化来改进程序。系统从一个种子程序开始，然后使用高性能程序作为上下文示例来生成新程序。高性能由用户定义的自动评估函数确定。本文使用AlphaEvolve来自动搜索更好的探针架构。
本文使用AlphaEvolve来自动化探针架构搜索，这是本文的一个重要创新点。理解AlphaEvolve的工作原理有助于理解本文的自动化方法。
网络安全攻击检测（Cyber-Offensive Detection）
网络安全攻击检测是识别旨在利用语言模型进行恶意网络活动（如SQL注入、漏洞利用等）的输入的任务。这个领域特别具有挑战性，因为恶意提示与常见的防御性网络安全请求甚至普通编码请求非常相似，因此需要高精度以避免过度触发。
本文选择网络安全攻击作为主要评估领域，因为这是一个特别困难且实际重要的滥用检测场景。理解这个任务的挑战性有助于理解本文方法的有效性。
研究动机
现有激活探针在检测语言模型滥用方面显示出前景，但在生产环境中的关键分布偏移下表现不佳。具体来说，从短上下文输入到长上下文输入的转换对现有探针架构来说是一个重大挑战。例如，训练在短上下文数据上的探针在长上下文输入上会失败，而直接在长上下文数据上训练会因内存带宽限制而使训练成本增加一个数量级以上（22倍）。此外，多轮对话和对抗性攻击（如越狱）等其他分布偏移也未被完全解决，使得构建鲁棒且廉价的防御措施仍然困难。
本文的目标是本文的具体目标是开发能够处理长上下文分布偏移的探针架构，同时保持低成本。作者希望找到一种方法，使探针能够泛化到长上下文输入，而无需承担直接在长上下文数据上训练的巨大成本。此外，他们还希望探索将探针与大型语言模型结合的级联分类器，以实现比单独使用任一方法更好的成本-准确性权衡。
与已有工作不同的是，本文的独特切入角度是通过架构创新来解决长上下文泛化问题，而不是依赖于更多的数据或更大的模型。作者提出了几种新的探针架构（如MultiMax和Max of Rolling Means Attention Probe），这些架构通过改变聚合策略来更好地处理长上下文中的信号稀释问题。此外，他们还使用AlphaEvolve进行自动化架构搜索，并探索了级联分类器的最优策略。这种多管齐下的方法使他们能够在短上下文训练数据上实现与长上下文训练相当的性能，同时大幅降低成本。
核心方法
本文的方法可以概括为三个主要部分：首先，作者提出了一系列新的探针架构，旨在更好地处理长上下文输入；其次，他们使用AlphaEvolve进行自动化架构搜索；最后，他们探索了将探针与大型语言模型结合的级联分类器。整体思路是通过改进探针的聚合策略（即如何从单个token的激活中聚合信息）来解决长上下文中的信号稀释问题。具体来说，他们发现传统注意力探针的softmax加权在长上下文上会导致过度触发，因此他们提出了使用硬最大值（hard max）的MultiMax架构，以及结合滚动窗口和注意力机制的Max of Rolling Means Attention Probe。
本文的核心创新点在于提出了新的聚合策略来解决长上下文中的信号稀释问题。与已有方法的本质区别在于：传统线性探针使用均值聚合，这会稀释长上下文中稀疏有害信号的强度；传统注意力探针使用softmax加权，这在长上下文中也会过度平均信号。本文提出的MultiMax架构使用硬最大值选择每个头中得分最高的token，而不是计算加权平均，从而防止有害内容在长上下文小部分出现时被稀释。Max of Rolling Means Attention Probe则结合了滚动窗口和注意力机制，在固定大小的窗口内计算注意力加权平均，然后取所有窗口的最大值，这既能捕获局部上下文又能防止全局稀释。
方法步骤详情
方法步骤如下：1) 从语言模型的中间层提取残差流激活，得到每个token的激活向量 $\mathbf{x}_{i,j} \in \mathbb{R}^d$。2) 对每个token应用MLP变换：$\mathbf{y}_{i,j} = ext{MLP}_M(\mathbf{x}_{i,j})$。3) 对于MultiMax探针，计算每个头 $h$ 的得分 $v_h^ op \mathbf{y}_{i,j}$，然后取序列维度的最大值：$f_{ ext{MultiMax}}(S_i) = \sum_{h=1}^H \max_{j \in [n_i]} v_h^ op \mathbf{y}_{i,j}$。4) 对于Max of Rolling Means Attention Probe，在宽度为 $w$ 的滑动矩形窗口内计算注意力加权平均，对于每个结束位置 $t$，计算 $?ar{v}_t = ?rac{\sum_{j=t-w+1}^t ?lpha_j v_j}{\sum_{j=t-w+1}^t ?lpha_j}$，其中 $?lpha_j = ext{softmax}(\mathbf{q}^ op \mathbf{y}_j)$ 是注意力权重，$v_j = \mathbf{v}^ op \mathbf{y}_j$ 是每个token的值。最终输出是 $\max_t ?ar{v}_t$。5) 使用AdamW优化器训练探针最小化二元交叉熵损失，训练1000个epoch。6) 对于级联分类器，定义两个阈值 $ au_1$ 和 $ au_2$：如果探针得分 $\leq au_1$ 则分类为负，如果 $\geq au_2$ 则分类为正，否则传递给昂贵的语言模型。
技术新颖性
本文的技术新颖性体现在多个方面：首先，MultiMax架构首次将硬最大值聚合应用于探针，这与传统的softmax加权有本质区别，特别适合长上下文场景。其次，Max of Rolling Means Attention Probe结合了滚动窗口和注意力机制，这是一种新的混合聚合策略。第三，使用AlphaEvolve进行自动化探针架构搜索是首次将进化算法应用于探针架构优化，发现了人类设计者可能忽略的创新架构。第四，对级联分类器的最优策略进行了形式化分析，提出了基于阈值随机化的高效算法。第五，对种子选择的影响进行了系统研究，发现架构选择比种子调优更重要，这为实践者提供了重要指导。
实验结果
本文的核心发现包括：1) 现有探针架构可以被显著改进：作者提出的Max of Rolling Means Attention Probe和AlphaEvolve发现的架构在测试误差上优于所有基线，包括线性探针和传统注意力探针。例如，Max of Rolling Means Attention Probe的测试误差为2.50%，而线性均值探针为6.18%。2) 没有单一方法在所有分布偏移上都占主导：不同的探针架构在不同的子分布上表现不同，这表明需要架构选择和在多样分布上训练的组合。3) 在网络安全攻击领域，越狱成功率极高：在预存越狱数据集上，所有技术在至少1%的查询上存在漏洞，这意味着距离对抗鲁棒性还有很长的路要走。4) 级联分类器可以实现比单独使用语言模型或探针更好的成本-准确性权衡：探针-Flash级联在使用约1/50推理成本的情况下实现了比单独使用Flash更低的测试损失。5) 种子选择的影响相对较小：通过验证损失选择最佳种子平均减少测试损失0.008，而架构选择提供更大的收益（例如，最佳架构与线性均值探针之间的差距为0.025测试损失）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 网络安全攻击检测（综合测试误差） | 加权测试误差（Equation 12） | Max of Rolling Means Attention Probe: 2.50% | 线性均值探针: 6.18%，传统注意力探针: 3.53% | 相对线性均值探针改进59.5%，相对传统注意力探针改进29.2% |
| 长上下文泛化（长上下文随机流量FPR） | 假阳性率（FPRLC[RT]） | Max of Rolling Means Attention Probe: 1.85% | 线性均值探针: 0.5%，传统注意力探针: 0.0% | 虽然FPR略高，但在长上下文攻击FNR上显著更好（1.73% vs 99.13%） |
| 级联分类器成本效率 | 相对推理成本 | 探针+8% Flash: 成本约10^2，误差1.5% | 单独Flash: 成本约10^5，误差2.0% | 成本降低约1000倍，同时误差更低 |
局限与改进
本文的局限性包括：1) 作者没有评估使用模型每一层激活的探针，而同期工作（Cunningham, Wei, et al., 2026）表明这可能进一步提高性能。2) 本文完全专注于监控语言模型的输入，虽然研究了多轮输入，但没有调查是否可以在语言模型生成过程中途分类是否需要标记。3) 许多结果具有较大的误差条，这使得难以推荐单一的探针架构。例如，Max of Rolling Means Attention Probe与MultiMax聚合在图1中具有较低的测试误差，但误差条要大得多。4) 在预存越狱数据集上，所有技术在至少1%的查询上存在漏洞，这表明对抗鲁棒性仍然是一个重大挑战。5) 作者承认可能存在一些数据集标签错误驱动了一些低性能，但他们仍然相信所有探针和分类器都远未饱和检测网络攻击查询的任务。
独立分析的弱点
本文的独立弱点分析包括：1) 虽然作者提出了新的聚合策略，但这些策略可能在其他滥用领域（如CBRN）不一定同样有效，因为本文完全专注于网络攻击领域。改进方向是在更多样化的滥用领域评估这些架构。2) 级联分类器的最优策略假设探针和语言模型的误差是独立的，但在实践中可能存在相关性。改进方向是开发考虑这种相关性的更精细模型。3) AlphaEvolve的自动化架构搜索虽然有效，但需要大量的计算资源和环境设计。改进方向是开发更高效的架构搜索方法。4) 作者没有探索探针的实时适应，即在部署过程中根据新数据更新探针。改进方向是开发在线学习或持续学习的探针。5) 对抗鲁棒性仍然是一个重大挑战，作者没有提出有效的防御自适应攻击的方法。改进方向是结合对抗训练或其他鲁棒性技术。
未来方向
作者提出的未来研究方向包括：1) 评估使用模型每一层激活的探针，这可能进一步提高性能。2) 研究是否可以在语言模型生成过程中途分类是否需要标记，而不仅仅是监控输入。3) 在更多样化的领域（超越网络攻击和学术数据集）评估这些方法，以产生精确的推荐。4) 基于本文成果可延伸的方向包括：将本文的架构创新应用于其他类型的探针（如检测欺骗性意图的探针）；探索将AlphaEvolve应用于其他AI安全问题；开发更高效的级联分类器训练方法；研究探针的可解释性，以理解它们学到了什么。
复现评估
本文的复现评估：1) 开源情况：作者提到他们对开源和开放数据研究感到兴奋（附录A），但论文中没有明确说明代码和数据是否开源。2) 数据：作者使用了多个数据集，包括网络安全攻击数据、长上下文数据等，但许多数据集是内部数据，可能不公开。3) 算力：训练探针需要TPU机器来转储激活，然后使用CPU进行评估。训练100个种子需要显著的计算资源，但远少于训练大型语言模型。4) 难度：复现的主要挑战是获取训练数据和计算资源。作者提供了详细的超参数（附录C）和训练细节，这有助于复现。总体而言，复现中等难度，主要障碍是数据可得性和计算资源。
论文图表