选择性引导：通过判别性层选择实现保范数的行为控制 Selective Steering: Norm-Preserving Control Through Discriminative Layer Selection
通过选择性旋转判别层并保持激活范数，实现5.5倍攻击成功率提升且零能力退化
前置知识
激活引导 (Activation Steering)
激活引导是一种无需重新训练即可在推理时修改大语言模型行为的方法。其基本思想是：在模型的前向传播过程中，找到与目标行为（如拒绝有害请求）相关的特征方向，然后对该方向进行干预。现有方法包括向量加法（如Activation Addition，直接在激活向量上加一个缩放的特征方向）、子空间投影（如Directional Ablation，通过正交投影去除特征）、以及几何旋转（如Angular Steering，在2D子空间中旋转激活向量）。这些方法共同的目标是：在不重新训练模型的情况下，精确控制模型的行为输出。
这是本文的核心研究对象，即在推理时修改LLM内部表征来诱导或抑制特定行为的技术
差异均值法 (Difference-in-Means)
差异均值法是提取引导向量的经典方法。给定两组对比样本，正样本集包含目标特征（如有害提示）和负样本集不包含目标特征（如无害提示），在每一层计算两个类别的激活均值向量mu_pos和mu_neg，然后取差值d = mu_pos - mu_neg作为该层的候选引导方向。这个差值方向在激活空间中最大化了两个类别的分离度。归一化后得到单位引导方向。
本文使用的特征方向提取方法，决定了引导向量的质量
范数保持 (Norm Preservation)
范数保持指变换后激活向量的长度（L2范数）保持不变。这在激活引导中至关重要，因为现代LLM广泛使用LayerNorm或RMSNorm等归一化层，这些层依赖激活向量的范数来归一化特征。如果引导变换改变了激活范数，会导致分布偏移、误差累积和引导强度不可预测等问题。论文证明了标准Angular Steering的高效实现即使在恒等变换时也无法保持范数。
本文的核心理论贡献，证明了先前方法违反范数保持导致生成崩溃
相反符号可判别性 (Opposite-Signed Discriminability)
这是本文提出的核心选择标准。在每一层k，将正负类均值向量投影到全局特征方向上得到两个标量。如果这两个标量的乘积为负，说明两个类别在该层指向相反方向，有害样本投影为正而无害样本投影为负（或反之）。这意味着该层的特征表示具有强判别性，是进行引导的理想目标。
本文提出的关键准则，用于识别哪些层适合进行引导
2D子空间旋转 (2D Subspace Rotation)
Angular Steering将激活引导重新表述为在2D子空间中的旋转操作。给定一个正交基张成的引导平面，通过旋转矩阵R_theta定义标准2D旋转。通过旋转角度theta可以连续控制行为强度，theta等于180度对应完全反转，theta等于90度对应特征消除。本文的关键改进是使用保范数的旋转矩阵，确保变换后的激活范数严格等于原始范数。
本文改进的几何操作，将引导建模为连续角度控制的旋转
研究动机
尽管通过RLHF和Constitutional AI等对齐技术取得了显著进展，大语言模型仍然容易受到对抗攻击和越狱攻击的影响。传统的对齐训练需要昂贵的重新训练过程，且容易受到奖励黑客的困扰，更关键的是，研究表明对齐只是创建了表面的拒绝行为，而非真正移除了有害知识。激活引导作为一种推理时干预方案提供了一条替代路径，但现有方法存在严重缺陷：Activation Addition需要仔细调节系数且对层特定范数敏感；Directional Ablation只能提供二元控制，无法进行细粒度调节。近期的Angular Steering虽然通过2D子空间旋转引入了连续控制，但其实现存在根本性的范数畸变问题，即使在theta等于0的恒等变换时，激活范数也无法保持不变。这导致在参数量小于7B的模型上出现严重的生成崩溃，输出变成不连贯的中文字符、重复模式或语法错误。实验表明，SAS在Qwen2.5-1.5B上产生完全不连贯的输出，在gemma-2-2b上产生零ASR，在Qwen2.5-3B上导致tinyGSM8K准确率从0.88崩溃至0.00。
本文的目标是本文的目标是开发一种既能提供连续行为控制，又能保持生成质量和通用能力的激活引导方法。具体而言，作者希望解决三个核心问题：第一，如何在数学上严格保证引导变换的范数保持性质，从而避免分布偏移和生成崩溃；第二，如何识别最适合进行引导的层，而不是像现有方法那样均匀地在所有层应用引导；第三，如何在提高引导有效性（攻击成功率）的同时，保持模型在通用基准上的准确率近100%不变。最终目标是为推理时的行为修改提供一个有原则、高效且稳定的框架。
与已有工作不同的是，本文的独特切入点在于发现并利用了两个关键现象。第一，激活范数在模型深度上呈现非均匀增长，早期层快速增长且方差高，中间层稳定，晚期层再次显著增加，且有害和无害激活保持相似的范数剖面，这说明方向属性而非范数才是区分行为的关键。第二，相反符号可判别性在中间层到晚期层逐渐涌现，早期层两类投影接近零且重叠，中间层出现清晰的相反符号分离，晚期层分离减弱。基于这些发现，作者提出选择性引导框架：只在满足相反符号条件的判别性层应用保范数旋转，避免在非判别性层引入干扰。这是首次将连续角度控制与有原则的层选择相结合的工作。
核心方法
选择性引导的方法思路可以从直觉和技术两个层面理解。直觉上，想象LLM的每一层就像一个决策委员会成员，有些成员对有害无害行为的区分能力强（判别性层），有些则对此不敏感（非判别性层）。现有方法对所有成员施加同等干预，结果要么干扰了不相关的成员导致生成质量下降，要么力度不够无法有效改变行为。选择性引导的策略是：只对那些确实在做决策的成员进行精确干预，且确保干预手段（旋转）不改变激活的音量（范数）。技术上，方法包含四个核心步骤：提取对比数据集的激活并计算各层类均值；通过最大平均余弦相似度选择全局特征方向；通过相反符号准则识别判别性层集合；在判别性层应用保范数旋转变换，非判别性层保持不变。
本文的核心创新在于两个互补的设计：保范数旋转矩阵和判别性层选择准则。与已有方法的本质区别在于：标准Angular Steering虽然理论上是旋转，但其高效实现在投影步骤中破坏了范数。论文命题1证明了即使在theta等于0时，除非激活恰好沿b1方向且系数非负，否则范数无法保持。这并非理论上的细微问题，而是导致实际生成崩溃的根本原因。本文的保范数旋转矩阵将变换分解为正交补空间的投影和平面内的旋转两部分，论文命题2严格证明了变换后范数等于原始范数。判别性层选择则利用了特征可判别性在层间的异质性，不是所有层都同样有信息量，只在判别性层进行引导，将计算从O(L*d_model)降低到O(|L_disc|*d_model)。
方法步骤详情
选择性引导的完整流程分为校准阶段和推理阶段。校准阶段是一次性离线操作：首先将对比数据集（有害提示如AdvBench的416个样本和无害提示如Alpaca的416个样本）输入模型，在每一层记录最后一个token的激活向量；然后计算每层的类条件均值向量；接着计算各层的候选方向（正负类均值差），选择平均余弦相似度最高的作为全局特征方向；将类均值投影到全局特征方向上，识别满足相反符号条件的判别性层集合；最后对候选方向矩阵执行PCA，取第一主成分，与全局特征方向通过Gram-Schmidt正交化构建正交基。推理阶段：对每个输入逐层前向传播，在判别性层应用保范数旋转，非判别性层直接传递。
技术新颖性
选择性引导的技术新颖性体现在三个层面。首先，在理论层面，论文首次证明了标准Angular Steering高效实现的范数违反性质（命题1），并提出了严格保范数的替代方案（命题2），这一分析揭示了先前方法在小模型上失败的根本原因。其次，在方法层面，判别性层选择准则是全新的，之前的Angular Steering和Adaptive Angular Steering都对所有层均匀应用引导，而本文通过相反符号条件这一简洁的几何准则自动识别最优引导目标层。这一准则的几何意义清晰：当两个类的均值投影符号相反时，旋转操作单调地将激活移向正类方向，提供可预测的控制效果。第三，在系统设计层面，本文是首个将连续角度控制与有原则的层选择相结合的方法，实现了三个维度的统一优化：零困惑度阈值违反（连贯性）、最高攻击成功率（可控性）、近100%基准准确率保持（鲁棒性）。
实验结果
本文在8个模型（跨Llama、Qwen、Gemma三个家族，参数量从1.5B到9B）上进行了全面实验，核心发现如下。连贯性方面：选择性引导在所有8个模型和所有角度上实现零困惑度阈值违反（阈值2.0），而SAS和AAS在小模型（Llama-3.2-1B、Qwen2.5-1.5B、gemma-2-2b）和关键角度区间频繁触发困惑度飙升。在挑战性模型上，SS将4-gram重复率降低了88.9%至97.9%，Qwen2.5-1.5B从SAS的0.4649降至0.0516，Qwen2.5-3B从0.2734降至0.0237，gemma-2-2b从0.8242降至0.0177。可控性方面：SS在全部8个模型上取得最高或次高的HarmBench ASR。最显著的提升在小模型上，Qwen2.5-1.5B上SS达到74.04% ASR，而SAS仅13.46%、AAS为39.42%，实现5.5倍提升；gemma-2-2b上SAS完全失败（0% ASR），SS达到82.69%。鲁棒性方面：SS在通用基准上保持约100%的基线准确率。在Qwen2.5-3B上，SAS导致tinyGSM8K从0.88崩溃至0.00，而SS保持0.88不变；在gemma-2-2b和9b上，ActAdd和SAS产生退化输出（所有基准为0%），SS保持约100%性能。消融实验进一步证实，移除范数保持或层选择任一组件都会导致性能大幅退化，保范数公式相比Angular Steering实现的ASR提升26到70倍。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 越狱攻击成功率（HarmBench ASR） | Attack Success Rate | Qwen2.5-1.5B: 74.04%, Qwen2.5-3B: 84.62%, gemma-2-2b: 82.69%, gemma-2-9b: 68.27% | SAS: 13.46%/50.96%/0%/0%, AAS: 39.42%/70.19%/74.04%/67.31% | 在最困难模型上相比SAS提升5.5倍，相比AAS提升约1.9倍 |
| 困惑度稳定性 | Perplexity Threshold Violations | 0 violations across all 8 models and all angles | SAS/AAS: frequent spikes in small models at critical angles | 从频繁违反降至零违反 |
| 4-gram重复率 | N-gram Repetition Rate | Qwen2.5-1.5B: 0.0516, Qwen2.5-3B: 0.0237, gemma-2-2b: 0.0177 | SAS: 0.4649/0.2734/0.8242 | 分别降低88.9%、91.3%、97.9% |
| 通用能力保持（tinyBenchmarks平均准确率） | Zero-shot Accuracy | Llama-3.1-8B: 68.0%, Qwen2.5-3B: 68.4%, gemma-2-2b: 58.0% | SAS: 50.0%/0.0%/0.0%, AAS: 67.2%/59.8%/20.0% | 在SAS导致完全崩溃的模型上保持100%基线性能 |
| 语言一致性 | Language Consistency Score | Qwen2.5-1.5B: 1.0000, Qwen2.5-3B: 0.9998 | SAS: 0.9196/0.7611 | 恢复至近完美水平，消除多语言污染 |
局限与改进
论文承认了三个主要局限性。第一，特征方向提取仍使用简单的差异均值法，虽然简单有效，但不能保证找到最优判别方向，Fisher判别分析或稀疏字典学习可能产生更好的方向，但计算成本更高。第二，2D引导平面的构造是一个启发式方法：将选定的特征方向与候选方向PCA的第一主成分组合，虽然捕捉了层间变异的主要方差，但缺乏最优性理论保证，使用第二好的判别方向、正交基优化或Grassmann流形方法可能进一步提升效果。第三，Gemma-2模型展现出双峰峰值，暗示其激活空间中存在多个拒绝相关方向，而单一的差异均值可能无法识别全局最优方向。此外，实验仅覆盖1.5B到9B参数范围，更大规模模型的效果未知；校准阶段需要对比数据集，在某些部署场景中可能难以获取；方法需要直接访问模型内部表征，无法应用于仅API的部署方式。
独立分析的弱点
独立分析发现以下弱点及改进方向。首先，差异均值法作为特征提取策略过于简单，它假设最优方向是均值差，但在高维激活空间中，类别的最优分离方向可能由方差结构主导而非均值差异，改进方向是引入Fisher判别分析或稀疏自编码器来提取更精细的特征方向。其次，判别性层选择准则是硬阈值二元判断，没有考虑不同层的判别强度差异，可以设计软权重机制，对判别性强的层施加更大的旋转角度，对临界层施加较小角度。第三，全局单一引导角度对所有判别性层统一应用，忽略了层间异质性，层特定角度自适应可能进一步提升效果。第四，校准阶段的计算成本虽然是一次性的，但对于实时部署或频繁切换行为目标的场景可能仍需优化。
未来方向
论文作者提出了多个未来研究方向。首先，探索更高级的特征提取方法，如Fisher判别分析和稀疏字典学习，以识别更优的判别方向，这些方法的计算成本增加可以通过判别性层选择带来的效率提升来部分补偿。其次，改进引导平面构造，考虑使用正交基优化或Grassmann流形方法替代当前的启发式PCA方案。第三，将判别性层选择准则推广到任意特征提取方法，使其成为即插即用的层选择模块。基于本文成果可延伸的方向包括：将选择性引导应用于多目标行为控制；探索选择性引导与表示工程的结合；在更大规模模型和更多架构如Mixture-of-Experts上验证方法的泛化性；研究判别性层选择与模型微调的协同作用。
复现评估
论文的可复现性评估如下。代码开源：作者在GitHub上发布了完整代码，项目主页也提供了交互演示。数据使用公开基准：校准数据集使用AdvBench和Alpaca，评估使用tinyBenchmarks。计算资源要求合理：所有实验在单张NVIDIA A40 GPU上完成，校准阶段约2分钟每模型，完整评估约1小时每模型，全部8个模型的总计算预算约8 GPU-hours。解码策略简单（greedy decoding），消除了采样随机性。然而，复现存在一定门槛：需要加载8个模型合计需要较大GPU内存；校准需要构造对比数据集并提取各层激活；论文报告的评估指标涉及三个ASR分类器，其中PolyGuard被发现对文本退化敏感。总体而言，在有基本深度学习实验条件的情况下，复现难度中等偏低。
论文图表