RAPTOR：岭自适应逻辑探针用于加性激活引导 RAPTOR: Ridge-Adaptive Logistic Probes
提出RAPTOR方法，用验证调优的岭回归逻辑探针提取稳定概念向量用于激活引导
前置知识
Probing（探针）
探针是一种用于分析冻结语言模型内部层表示所编码信息的技术。标准流程是：收集带有二元标签的输入文本，执行前向传播提取激活值，然后在这些表示上训练分类器。探针分为线性探针（使用线性分类器读出概念标签）和非线性探针（使用MLP等更复杂的预测器）。探针的核心用途有两个：一是作为诊断工具量化概念在模型内部状态中的编码强度；二是在探针-引导流水线中作为操作性组件，提取用于下游干预的方向向量。在本文的场景中，探针需要同时满足准确性、方向稳定性和计算效率三个要求。
探针是本文研究的核心对象，RAPTOR本身就是一种改进的探针方法，理解探针的基本概念和现有局限性是理解本文贡献的基础
Additive Activation Steering（加性激活引导）
加性激活引导是一种在推理时调制模型行为而不更新权重的技术。对于输入句子 x 经分词后为 (t1, ..., tT)，令 h_{l,T} 表示第 l 层最后一个token的表示。加性激活引导通过直接编辑该表示来实现干预：h_{l,T} <- h_{l,T} + alpha * v_l，其中 v_l 是目标概念的概念向量，alpha 控制引导强度。该方法的优势在于实现简单且推理开销极小，但其效果取决于概念向量 v_l 和强度 alpha 的质量。如果估计的概念向量有噪声或不稳定，引导结果将不可靠。
这是本文研究的主要应用场景，RAPTOR的目标就是为加性激活引导提供更准确、更稳定的概念向量
Ridge Regularization（岭正则化）
岭正则化是在损失函数中添加 L2 范数惩罚项的技术，形式为 (lambda/2) * ||w||^2，其中 lambda > 0 是正则化强度。在高维小样本场景中，岭正则化的作用至关重要：当数据线性可分时，无正则化的逻辑回归目标函数的似然可以沿分离方向无限增大（||w|| -> infinity），导致最大似然估计不存在。引入 L2 惩罚恢复了解的存在性和唯一性。此外，岭正则化还改善了方向鲁棒性，通过抑制正交噪声分量来提高概念向量的稳定性。RAPTOR的核心创新之一就是通过验证集自动选择最优的岭强度 lambda。
岭正则化是RAPTOR方法的技术基础，理解其在高维小样本场景中的作用机制是理解本文理论分析的关键
CGMT（Convex Gaussian Min-max Theorem，凸高斯极小极大定理）
CGMT是一种用于高维统计中精确分析凸M-估计器的数学工具。在本文中，作者使用CGMT对高维比例极限下的岭逻辑回归进行理论分析。具体而言，在比例极限 n, p -> infinity 且 n/p -> delta 的设定下，CGMT可以将随机优化问题转化为确定性的标量固定点方程组。这使得作者能够精确刻画岭强度 lambda 如何影响探针的准确性和概念向量的方向稳定性。最终得到的固定点方程涉及顺序参数 (alpha_bar, sigma_bar) 和辅助标量 gamma_bar，可以显式预测测试精度并解释 lambda 作为稳定性旋钮的作用。
CGMT是本文理论分析的核心工具，理解这一数学框架有助于深入理解RAPTOR方法的理论保证
Proportional Regime（比例极限）
比例极限是指高维统计中的渐近框架，其中样本量 n 和表示维度 p 同时趋向无穷，但它们的比值 delta = n/p 保持有限常数。在这种设定下，经典的固定 p 渐近理论可能不准确，而 L2 正则化不仅仅是数值稳定器，更是概念向量质量的主要驱动力。本文的理论分析表明，当固定表示维度 p 时，RAPTOR表现出比例控制行为：随着 n 的增加，性能主要由 delta 而非 n 的绝对规模决定。这一发现通过在12个设置上的实验得到验证，理论预测与实际观测的Spearman相关系数中位数为0.86，Pearson相关系数中位数为0.90。
理解比例极限是理解本文理论贡献的基础，这一框架解释了为什么岭正则化在高维小样本场景中如此重要
研究动机
在探针-引导（probe-then-steer）流水线中，探针训练的概念向量质量直接决定下游激活引导的效果。然而现有探针方法面临一个关键矛盾：更高的探针准确性并不一定能产生跨小规模上下文变化可靠的概念向量。Ravichander等人（2021）和Agarwal等人（2025）的研究表明，探针在训练数据上的高分类准确率与其在微小扰动下的方向稳定性之间存在脱节。此外，复杂的估计器（如xRFM和GCS）虽然在准确性上有优势，但往往增加了计算成本，限制了在大量层、概念和模型组合上进行广泛搜索的可行性。Belinkov（2022）指出，精心设计的估计器经常增加计算开销，从而限制了大规模层和模型扫描的可行性。具体而言，在探针研究中，标记的隐藏状态通常具有（近似）线性可分性（如论文Table 4所示），这导致无正则化逻辑回归的优化过程趋向于不断增大权重范数，可能达到迭代上限或出现数值问题（如条件数差或溢出），使得基线在实践中看起来"不稳定"。
本文的目标是本文提出RAPTOR（Ridge-Adaptive Logistic Probes），目标是建立一个简洁但高效的探针方法，能够在准确性、方向稳定性和计算成本三个维度上取得最优平衡。具体而言，RAPTOR旨在：（1）通过单一超参数 lambda 的验证调优，为每个（模型、层、概念）三元组提供最优化的岭强度选择；（2）生成适合加性激活引导的、方向稳定的概念向量；（3）保持与复杂基线方法相当或更优的准确性，同时大幅降低训练成本；（4）通过高维理论分析解释岭强度 lambda 如何在比例极限下调节探针准确性和概念向量稳定性。作者将这三个要求（准确性、方向稳定性、计算效率）称为"三方度量"（tripartite metric），作为评估探针质量的统一标准。
与已有工作不同的是，本文的独特切入角度体现在三个方面。首先，RAPTOR将探针设计简化为单一、验证选择的岭参数 lambda，建立了一个极简但高效的基准。作者指出，虽然文献中存在许多探针估计器，但两个持续存在的问题削弱了它们在探针-引导应用中的效用：（i）更高的探针准确性不一定能产生跨小规模上下文变化的可靠概念向量；（ii）精心设计的估计器经常增加计算成本。其次，本文首次为探针方法建立了操作对齐的公式化框架，将概念向量估计与加性激活引导的目标对齐。第三，RAPTOR提供了首个自包含的高维分析，解释了岭强度如何在比例极限下调节准确性和方向稳定性。这种理论与实践的结合使得RAPTOR不仅是一个经验上有效的算法，更有坚实的理论支撑来解释其工作机制。
核心方法
RAPTOR方法的整体思路可以用一个简洁的流水线来概括：从冻结的语言模型中提取层级别的最后一个token嵌入，通过标准岭逻辑回归训练探针，利用验证集自动选择最优的岭强度 lambda，然后将探针权重归一化作为概念向量用于加性激活引导。这个方法的核心直觉是：在高维小样本的典型探针场景中，岭正则化不仅是数值稳定器，更是概念向量质量的主要驱动力。通过验证调优的单一旋钮 lambda，RAPTOR能够同时控制统计正则化和训练稳定性。技术路线包括：（1）对每个层 l，提取标准化的特征表示；（2）在岭强度网格 Lambda 上训练逻辑回归探针；（3）在验证集上选择最优 lambda*；（4）使用合并的训练-验证集重新拟合最终探针；（5）将参数折叠回原始嵌入空间并归一化得到概念向量。整个过程仅需一个超参数 lambda 的网格搜索，大幅简化了调参流程。
RAPTOR的核心创新在于将探针设计精简为单一的岭强度参数 lambda，并通过验证调优实现自适应选择。与现有方法的本质区别体现在：（1）相比GCS（高斯概念子空间）方法，RAPTOR不需要复杂的子空间估计，仅使用简单的岭逻辑回归，但在42个设置中的41个上超越了GCS的最佳层准确率；（2）相比xRFM（随机特征模型）方法，RAPTOR在保持准确性的同时，提供了更好的方向稳定性和显著更低的计算成本；（3）RAPTOR的单一旋钮设计使得方法具有高度可解释性——作者通过CGMT理论分析证明，lambda 直接控制学习方向中信号对齐分量和正交分量的分解。具体而言，定义估计器为 z_hat = alpha_bar * v + sigma_bar * u，其中 u 与 v 正交，则归一化方向与教师方向的对齐为 = alpha_bar / sqrt(alpha_bar^2 + sigma_bar^2)，增加信号分量或抑制正交能量可以提高方向稳定性。
方法步骤详情
RAPTOR算法在层 l 上的执行步骤如下。首先，给定标准化特征 {(x_i^(l), y_tilde_i)}_{i=1}^N、划分 (I_tr, I_val, I_te) 和岭强度网格 Lambda，算法进入主循环。对于每个 lambda 属于 Lambda，算法执行两个操作：（1）在训练集 I_tr 上求解优化问题 argmin_{w,b} L_lambda^(l)(w, b; I_tr)，其中损失函数为 (1/|I|) * sum_{i 属于 I} log(1 + exp(-y_tilde_i * (w^T * x_i^(l) + b))) + (lambda/2) * ||w||^2；（2）在验证集 I_val 上计算准确率 Acc_val(lambda)。然后，选择最优岭强度 lambda* = argmax_{lambda 属于 Lambda} Acc_val(lambda)。接下来，使用合并的训练和验证集 I_tr 并集 I_val 重新拟合最终探针参数 (w_hat^(l), b_hat^(l))。最后，将标准化空间的参数折叠回原始嵌入空间：omega_hat_j^(l) = w_hat_j^(l) / s_j^(l)，b_hat_orig^(l) = b_hat^(l) - 。可选地，归一化得到单位方向 v^(l) = omega_hat^(l) / ||omega_hat^(l)||。对于引导阶段，采用GCAV逐样本校准规则设置引导强度：对于目标概率水平 p0 和对应的logit值 g0 = logit(p0)，增强方向的强度为 alpha_amplify^(l)(h) = max(0, (g0 - g^(l)(h)) / ||omega^(l)||)。
技术新颖性
RAPTOR的技术新颖性体现在多个层面。首先，在方法设计上，RAPTOR将复杂的探针估计器简化为单一旋钮的岭逻辑回归，这种极简主义设计直接针对了实际需求：逻辑回归提供了强大的线性基线准确性，而岭正则化在有限数据场景下改善了方向鲁棒性。其次，在理论贡献上，本文首次为探针方法提供了自包含的高维分析。作者使用CGMT在高斯教师-学生模型的高维比例极限下分析岭逻辑回归，得到了确定性的固定点表征。具体而言，Theorem 5.1给出了固定点方程组（涉及顺序参数 alpha_bar, sigma_bar 和辅助标量 gamma_bar），Proposition 5.2给出了测试精度的显式公式。第三，在评估框架上，本文建立了"三方度量"（准确性、方向稳定性、计算成本）的统一评估标准，这是首次为探针方法建立操作对齐的评估框架。最后，在验证方法上，作者通过比例结构验证实验（固定 p，变化 delta = n/p）证明了理论预测与实际数据的高度一致性（Spearman相关中位数0.86），表明即使在非高斯的真实LLM嵌入上，比例理论也能捕捉主导的准确性趋势。
实验结果
RAPTOR在全面的基准测试中展现了优异的性能。在探针准确性方面，跨越7个模型乘以6个数据集的42个设置，RAPTOR的最佳层准确率达到0.874，相比GCS的0.854提升了1.96个百分点，相比xRFM的0.871提升了0.29个百分点。具体而言，在所有42个设置中，RAPTOR在平均准确率上超越GCS，在41个设置中（1个平局）在最佳层准确率上超越GCS。与xRFM相比，RAPTOR在26个设置中匹配或超越最佳层准确率（20个胜出，6个平局），在27个设置中超越平均准确率。在更具挑战性的语义概念上，RAPTOR的优势更为显著：在HateXplain数据集上，RAPTOR相比GCS提升了3.51个百分点；在Sarcasm数据集上提升了2.12个百分点。在方向稳定性方面，RAPTOR一致性地改善了xRFM的方向鲁棒性。在20%训练数据删除的20次消融实验中，RAPTOR产生的概念方向在绝对余弦相似度上显著高于xRFM。以Llama-3.1-8B在STSA数据集上为例，RAPTOR的平均稳健性为0.87，最佳层为1.00，而xRFM分别为0.80和0.82。在计算成本方面，RAPTOR在所有基准上都显著快于两个基线方法，展现出需要更少计算量的优势。在引导控制方面，RAPTOR实现了近乎完美的探针坐标控制，成功率在所有数据集和方向上均达到1.000。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 探针准确性（Qwen-3B-Instruct，6个数据集平均） | 最佳层准确率 / 平均准确率 (%) | RAPTOR: 86.0 / 78.4 | GCS: 83.2 / 73.9; xRFM: 85.3 / 78.5 | 相比GCS提升2.8 / 4.5个百分点；与xRFM相当 |
| 探针准确性（Llama-3.1-70B-Instruct，6个数据集平均） | 最佳层准确率 / 平均准确率 (%) | RAPTOR: 89.2 / 85.4 | GCS: 87.6 / 83.0; xRFM: 89.4 / 85.2 | 相比GCS提升1.6 / 2.4个百分点；与xRFM相当 |
| 方向稳定性（STSA，Llama-3.1-8B） | 平均/最佳层绝对余弦相似度 | RAPTOR: 0.87 / 1.00 | xRFM: 0.80 / 0.82; GCS: 0.97 / 1.00 | 相比xRFM提升0.07 / 0.18；GCS更稳定但计算更贵 |
| 方向稳定性（HateXplain，Qwen-2.5-7B） | 平均/最佳层绝对余弦相似度 | RAPTOR: 0.97 / 1.00 | xRFM: 0.73 / 0.76; GCS: 0.98 / 1.00 | 相比xRFM提升0.24 / 0.24；与GCS相当 |
| 引导控制（CounterFact，away方向） | 成功率 / 干预率 | 1.000 / 0.833 | N/A（无直接基线比较） | 实现了近乎完美的探针坐标控制 |
局限与改进
尽管RAPTOR在实验中表现出色，但仍存在几个值得讨论的局限性。首先，作者坦承虽然高斯教师-学生模型的理论分析提供了有价值的洞察，但它简化了真实LLM表示的复杂分布。这意味着理论预测的精确数值可能与实际情况存在偏差，尽管定性趋势是一致的。其次，RAPTOR作为线性探针，其表达能力受限于线性分类器。当概念在表示空间中具有复杂的非线性结构时，线性探针可能无法充分捕捉。第三，实验中使用的是固定的数据划分策略（验证集比例0.2，种子42），这可能影响结果的泛化性。不同的划分策略可能导致不同的最优 lambda 选择。第四，引导强度的选择依赖于GCAV逐样本校准规则，这是一种启发式方法，可能不是最优的。论文中观察到引导强度存在显著的长尾分布，某些设置需要非常大的干预（最大 |alpha| 可达249），这表明在某些困难层上，简单线性引导的效率可能不高。此外，RAPTOR的理论验证仅在12个设置（2个模型乘以3个数据集乘以2个层）上进行，虽然结果一致，但样本量相对有限。最后，论文中的引导实验仅展示了概念向量层面的控制，但没有评估这种引导对下游任务（如文本生成质量）的实际影响。
独立分析的弱点
RAPTOR虽然在多个维度上表现出色，但仍存在几个可以改进的弱点。第一，线性探针的表达能力限制：RAPTOR使用线性逻辑回归作为探针，这假设概念在表示空间中是线性可分的。当概念具有复杂的非线性结构时，这种方法可能失效。改进方向是探索分段线性或轻量级非线性探针，同时保持计算效率。第二，单一超参数的局限性：虽然单一旋钮设计简化了调参，但也限制了方法的灵活性。在某些场景下，可能需要更精细的正则化策略（如层特定的正则化或坐标相关的正则化）。第三，理论假设的理想化：高斯教师-学生模型假设特征是独立同分布的高斯向量，但真实LLM嵌入具有复杂的协方差结构和非高斯性。改进方向是发展更贴近真实嵌入分布的理论模型。第四，引导强度的长尾问题：论文观察到某些层需要非常大的干预强度，这表明线性引导在这些层上效率低下。可以探索自适应的引导策略或层次感知的引导方法。第五，计算成本优势的边界条件：虽然RAPTOR在基准测试中更快，但当网格搜索的 lambda 候选值很多时，其优势可能会减小。
未来方向
基于RAPTOR的成果，作者提出了几个未来研究方向。首先，理论框架可以扩展以涵盖更真实的特征依赖关系，从而弥合统计理论与LLM实际动态之间的差距。作者指出，虽然本文的高斯模型简化了真实表示，但它成功隔离了高维正则化效应并预测了与实验一致的定性趋势，这为更精细的理论分析奠定了基础。其次，RAPTOR的"三方度量"评估框架可以推广到其他探针方法的系统评估中，建立探针研究的标准基准。第三，概念向量的估计可以扩展到多方向或子空间的情况，如GCS和RFM所做的那样，RAPTOR的理论分析可以为这些扩展提供理论支撑。第四，RAPTOR的理论分析揭示的比例控制行为（性能主要由 delta = n/p 决定）可以指导数据收集策略：在给定的表示维度下，需要多少标记样本才能达到特定的准确性水平。第五，RAPTOR的方法可以扩展到多模态模型和跨语言场景，探索岭正则化在更广泛场景下的作用。最后，将RAPTOR与其他引导技术（如迭代零空间方法、遗忘移除等）结合，可能产生更强大的干预方法。
复现评估
从复现性角度评估，RAPTOR具有良好的可复现条件。首先，作者明确表示将在论文发表后发布代码和实验脚本，这为后续复现提供了直接支持。其次，RAPTOR方法本身极为简洁，核心实现仅需标准的岭逻辑回归，不依赖复杂的自定义操作或特殊库。第三，实验设置清晰明确：使用固定的数据划分（验证集比例0.2，种子42），标准的层嵌入提取流程，以及公开可用的模型和数据集。然而，复现也面临一些挑战：（1）实验涉及7个大型语言模型（包括32B和70B参数的模型），这需要相当大的计算资源；（2）完整的7乘以6基准测试需要在所有层上独立训练探针，计算量较大；（3）方向稳定性的20次消融实验进一步增加了计算需求；（4）部分基线方法（如xRFM和GCS）需要参考其原始实现。总体而言，RAPTOR的复现难度中等偏高，主要瓶颈在于大型模型的推理和大规模实验的计算成本，而非方法本身的复杂性。
论文图表
