通过角度和范数的几何分解揭示激活转向的内在机制，为语言模型行为控制提供新的理论框架和方法论指导

角度控制语义，范数控制稳定性

前置知识

激活转向（Activation Steering）

一种在推理时通过修改语言模型中间层的激活向量来控制其行为的技术。给定一个与目标概念相关的方向向量（如真实、情感、毒性等），标准方法会将这个方向以某个强度系数加到每个token的隐藏状态上，从而改变模型的生成行为。这种方法不需要重新训练模型，实现简单，已被成功用于控制真实性、情感、毒性等多种行为。常见的转向方法包括Concept Activation Addition（CAA）、Spherical Steering、Angular Steering等。

本文的核心研究对象，理解转向的几何机制对于设计更有效的干预方法至关重要，也是所有实验的基础。

隐藏状态表示（Hidden State Representation）

语言模型transformer层中残差连接后的向量表示，通常记为x向量，其维度等于模型的隐藏维度。这个向量编码了当前token及其上下文的所有语义信息，包括语法、语义、情感、主题等多方面特征。激活转向操作直接修改这个向量，通过改变其方向或幅度来影响后续层的计算。隐藏状态可以分解为径向分量（范数大小）和角度分量（单位向量方向），这种分解是本文几何分析的基础。

本文的几何分解直接作用于隐藏状态，理解其结构和变异模式是解读转向效果的关键，所有实验都围绕这个表示展开。

线性探针（Linear Probe）

一种通过训练线性分类器来检验模型内部表示是否编码特定属性的技术。给定隐藏状态h，训练一个权重矩阵和偏置，使得它们的线性组合能够预测目标属性（如某个概念）。本文在三种表示上训练探针：原始隐藏状态h、单位归一化后的隐藏状态h除以其范数，以及仅使用范数标量。通过比较这三种探针的准确率，可以判断概念信息主要编码在方向还是幅度中。如果归一化探针和原始探针准确率接近，而范数探针接近随机，说明概念主要编码在方向。

本文验证核心假设的关键实验工具，用于证明概念信息主要编码在激活方向而非幅度，支持球形转向方法的动机。

概念方向（Concept Direction）

在隐藏状态空间中与某个概念（如真实、情感、毒性）相关的单位向量。通过对比包含该概念的样本（正向样本）和不包含该概念的样本（负向样本）的激活向量，计算它们的均值差并进行单位归一化得到。这个方向代表了该概念在激活空间中的表示轴。转向操作就是将隐藏状态沿着这个方向或其垂直方向进行调整，从而增强或抑制该概念的表达。本文使用对比均值差异方法构造概念方向，从验证集中采样256对正负样本。

所有转向方法都基于这个方向，理解其构造和性质是理解转向机制的基础，也是方法比较的控制变量。

困惑度（Perplexity）

衡量语言模型预测能力的指标，定义为指数形式的交叉熵损失。困惑度越低，模型对数据的预测越准确，说明生成的文本越流畅和符合语言习惯。在转向研究中，困惑度用于评估干预是否破坏了模型的语言建模能力。转向可能会提高目标任务指标（如真实性、情感），但过度的干预可能导致困惑度大幅增加，意味着模型生成的文本变得不流畅或不连贯。本文报告困惑度相对于未转向基线的比率，大于1表示困惑度增加，比率越大表示质量下降越严重。

本文评估转向稳定性的核心指标，用于衡量不同几何配置下的生成质量保留程度，是径向控制效果的主要证据。

研究动机

现有的激活转向方法存在几何理解不足的问题。标准的线性添加方法（如Concept Activation Addition，CAA）简单地以固定系数将概念方向加到隐藏状态上，但这种加法操作同时改变了两个几何分量：隐藏状态与概念方向的角度对齐程度，以及隐藏状态的范数大小。这导致同一个转向系数在不同的token上可能产生不同的效果，因为不同token的初始角度和范数不同。更重要的是，人们不清楚转向效果的变化主要来自角度变化还是范数变化。最近提出的球形转向方法（如Angular Steering和Spherical Steering）假设概念信息主要编码在角度方向上，因此通过旋转隐藏状态来控制行为，同时保持范数不变以维持生成质量。但这些假设缺乏严格的实证检验，概念是否真的主要编码在方向而非幅度中，严格的范数保持是否总是正确的约束，这些基本问题目前没有答案。

本文的目标是本文的目标是通过控制的几何比较研究来回答上述问题。具体而言，作者想要：检验概念信息在激活空间中是主要编码在方向还是幅度中；理解范数变化对转向效果的影响；比较不同转向方法在相同几何约束下的表现；建立一个统一的两参数转向框架，将角度控制和径向控制分离开来。通过这些研究，作者希望为激活转向提供更清晰的几何理解，并指导未来转向方法的设计，使转向更加可解释和可控。

与已有工作不同的是，本文的独特切入角度在于从几何分解的视角系统性地研究激活转向，而不是直接提出新的转向算法或比较特定方法的性能。作者将隐藏状态分解为角度分量和径向分量，然后将六种不同的转向方法统一到一个几何框架中，通过控制变量的方式分离角度效应和径向效应。这种方法论上的创新使得作者能够回答关于转向本质机制的根本性问题，而不是仅仅展示某个方法的效果。此外，本文在7个语言模型和4个概念数据集上的大规模实验，以及引入的SN方法（球形转向加范数缩放），为理解转向的几何机制提供了前所未有的实验证据和理论洞察。

核心方法

本文提出了一种基于几何分解的激活转向分析方法。核心思想是将每个隐藏状态分解为径向分量（范数大小）和角度分量（单位向量方向），然后进一步将角度分量分解为沿概念方向的分量和垂直于概念方向的分量。这样，任何在由概念方向和垂直方向张成的二维子空间中的操作都可以写成形式化的表示，其中参数表示目标概念分数。在这个框架下，不同的转向方法只是对角度分量和径向分量施加不同的约束。通过比较在相同角度控制下但不同径向行为的方法，或者在相同径向保持下但不同角度分布的方法，可以分离出角度和径向对转向效果的独立贡献。

核心创新点是将激活转向重构为两参数几何干预而非单参数线性添加。角度参数控制隐藏状态与概念方向的对齐程度，决定了语义转向效果；径向参数控制隐藏状态的范数缩放，决定了干预的稳定性。这一视角解释了为什么具有相似概念级别效果的方法可能表现不同：它们可能在角度精度和径向行为上存在差异。例如，Spherical Steering和CAA-m在角度上完全相同，但前者严格保持范数而后者允许范数变化，这导致在高转向强度下前者产生更大的困惑度增加。同样，CAA-r和AS都保持范数不变，但它们的角度分布不同，导致后者在高强度下更不稳定。这一关键洞察表明，转向设计应该分别考虑角度控制和径向调整，而不是将两者纠缠在一起。

方法步骤详情

方法分为四个主要步骤。第一步是构建概念方向：从验证集中采样256对正负样本，提取最后一个提示词token在指定层（模型深度75%的层）的残差流激活，计算正向样本均值和负向样本均值的差，并进行单位归一化得到单位向量。第二步是几何分解：对于每个隐藏状态，计算其范数、单位向量、概念分数和垂直分量。第三步是应用转向操作：对于六种方法分别计算转向后的状态。CAA使用固定加法；CAA-r先加法再归一化到原始范数；CAA-m为每个token选择加法系数使得归一化后的输出达到目标概念分数；Spherical Steering直接构造最小测地线距离的单位方向然后恢复原始范数；Additive Spherical应用固定球形位移；SN在S基础上增加范数缩放因子。第四步是评估：在转向后的模型上生成文本，计算下游任务指标、困惑度和通用能力。

技术新颖性

技术新颖性体现在三个方面。首先是方法论创新：提出了统一的角度-径向分解框架，将六种不同的转向方法纳入同一几何分析体系，这是首次系统性地从几何角度比较转向方法。其次是实验设计创新：引入匹配控制实验，比较在相同角度控制下不同径向行为的方法，以及在相同径向保持下不同角度分布的方法，这种设计能够分离两个几何分量的独立贡献。第三是提出新的转向方法SN（Spherical Steering with Norm Scaling），通过在球形转向基础上增加显式的范数缩放参数，验证了范数作为稳定性杠杆的假设，这在转向研究中是首创。此外，本文的大规模实验（7个模型、4个数据集、10个语料库）和细致的几何分析（层wise、位置wise、token群体的范数变异分析）也为理解转向机制提供了前所未有的丰富数据。

实验结果

核心发现可以总结为三点。第一，概念信息主要编码在激活方向而非幅度中。在所有7个模型和4个概念数据集上，训练在单位归一化隐藏状态上的线性探针准确率与训练在原始隐藏状态上的探针几乎相同，例如Llama-3.1-8B在TruthfulQA上原始探针准确率81.6%、归一化探针81.1%，而在仅使用范数的探针上准确率接近随机猜测，约50%到55%。这一发现强有力地支持了球形转向方法的动机，即语义控制应该主要通过角度操作实现。第二，范数对转向稳定性至关重要。尽管概念信息不编码在范数中，但范数变化会显著影响困惑度和能力保留。实验显示，在高转向强度下，严格范数保持的Spherical Steering会产生巨大的困惑度惩罚和能力损失，而允许适度范数增加的CAA-m则能保持更低的困惑度和更高的MMLU准确率。第三，转向应该被理解为两参数干预而非单参数选择或二元选择。角度控制决定语义效果，径向调整决定稳定性。这一视角解释了为什么具有相似概念级别效果的方法可能表现不同，并提出了更可解释的转向方法设计空间。

**Table 4**: Linear-probe accuracies for raw, unit-normalized, and norm-only representations across all models and datasets.

**Table 7**: Mean PPL ratio under the beta sweep with best beta selection statistics for each target gamma level.

**Table 8**: Downstream task-metric change under the beta sweep showing spread across different beta scaling factors.

**Figure 1**: Effect of norm scaling in SN. The left panel shows downstream task metric change, and the right panel shows perplexity ratio.

**Figure 2**: Fraction of folds in which each beta value achieves the best perplexity or task metric.

**Figure 4**: Linear probe accuracy versus layer for all four concept datasets.

**Figure 5**: Norm ratio for CAA-m at matched per-token target gamma.

**Figure 6**: Downstream task metric, WikiText-103 perplexity, and MMLU accuracy under S and CAA-m at matched per-token gamma.

**Figure 7**: Per-dataset Pareto curves for all methods showing task metric improvement versus perplexity ratio.

查看结构化数据

任务	指标	本文	基线	提升
TruthfulQA数据集上的真实性评估任务，测试模型生成真实回答的能力	使用TruthfulQA数据集的MC1多选题准确率作为评估指标，衡量模型选择正确答案的能力	Spherical Steering方法在目标概念分数为0.5时可以达到约8到12个百分点的提升，具体数值因模型而异	未转向基线模型的MC1准确率约为40%到50%，具体数值取决于模型本身的能力大小	相对于基线的准确率提升约为20%到25%，表明转向能够有效改善模型的真实性
SST-2情感分析任务中的正面情感生成能力评估	通过统计生成文本中正面情感的占比来评估转向对情感控制的效果	CAA-m方法在高目标概念分数0.7时正向率可达90%到95%，接近完美的正面情感控制效果	基线模型的正向生成率约为50%，反映了数据集的正负样本平衡分布情况	绝对提升达到40到45个百分点，展示了转向对情感控制的强大效果和可控性
CivilComments毒性控制任务中的非毒性内容生成能力评估	使用非毒性评论生成率来衡量转向方法对毒性内容的控制效果	转向方法在中等目标概念分数0.5时可以达到85%到90%的非毒性率，有效抑制毒性表达	基线模型的非毒性率约为50%，与数据集平衡分布一致，表明没有偏向性	绝对提升35到40个百分点，表明转向能够有效控制毒性内容生成，提高输出安全性
WikiText-103语言建模任务上的生成质量评估	使用困惑度比率（相对于未转向基线）来评估转向对语言建模能力的影响	SN方法在高目标概念分数0.7、范数缩放因子1.2时困惑度比率约为83.5倍	Spherical Steering（范数缩放因子1.0）在高目标概念分数0.7时困惑度比率约为151.8倍	通过适度的范数增加，困惑度降低了约1.8倍，显著改善了生成质量和流畅度
MMLU通用能力评估任务上的多领域知识保留能力测试	使用57个不同任务领域的平均准确率来评估转向对模型通用能力的影响	CAA-m在高目标概念分数下能够保持约70%到75%的MMLU准确率	Spherical Steering在高目标概念分数时准确率下降至约60%到65%	能力保留提升了约5到10个百分点，证明了范数调整对通用能力的保护作用

局限与改进

作者承认了四个主要局限性。第一，转向仅在单个固定层进行，即每个模型深度75%的层。虽然这提供了跨方法的一致比较，但最优的角度和范数权衡可能在不同层有所变化。未来的工作应该研究层自适应的转向策略，根据每层的几何特性动态调整转向参数。第二，实验覆盖的模型和概念集合有限。虽然评估了Llama、Qwen和Gemma三个模型家族，以及真实性、情感、毒性等概念，但其他架构或更复杂的行为可能表现出不同的几何特性。第三，所有方法使用相同的对比均值差异方法构建转向方向。这种设计隔离了干预几何的影响，但没有检验结论是否对其他方向估计方法成立。第四，范数缩放实验使用了一个小的离散值集合。结果证明了范数是重要的稳定性参数，但没有提供自动选择最优范数缩放的规则。作者还观察到Gemma模型由于其架构，其范数变异系数远大于Llama和Qwen模型，这表明几何特性可能架构相关。

独立分析的弱点

独立分析的弱点主要包括四个方面。第一，单一固定层转向可能不是最优策略。实验显示范数变异在不同层有很大差异，某些层的范数更稳定，其他层的变异更大。如果在这些不稳定层进行转向，可能需要不同的范数处理策略。改进方向是研究层自适应的转向，根据每层的范数稳定性动态调整范数约束。第二，转向方向构造方法单一。本文仅使用对比均值差异，这可能不是所有情况下的最优方法。对于某些复杂概念，可能需要更复杂的方向估计方法。改进方向是探索不同方向估计方法对几何结论的影响。第三，缺乏自动的范数缩放选择机制。实验显示不同值在不同场景下表现不同，但文中没有提供如何自动选择最优范数缩放的方法。改进方向是开发基于验证集或在线反馈的范数缩放选择算法。第四，全局转向缺乏精细控制。虽然per-token方法在概念分数上更精确，但它们对所有token使用相同的干预强度。改进方向是研究tokenwise自适应转向，根据token的重要性动态调整干预强度。

未来方向

作者提出和本文成果可延伸的未来研究方向包括五个方面。第一，层wise和tokenwise自适应转向。本文的发现表明转向应该由两个参数控制，未来的工作可以探索如何在不同层和不同token上动态调整这两个参数，以在概念控制和质量保留之间实现更好的权衡。第二，多概念和冲突概念的几何研究。本文主要研究单个概念的转向，但实际应用中可能需要同时控制多个概念，这些概念可能在激活空间中相互竞争。理解多概念转向的几何机制是一个重要的开放问题。第三，方向估计方法的扩展研究。本文使用对比均值差异，但其他方向估计方法可能在某些概念上表现更好。研究这些方法如何与角度径向框架交互是有意义的。第四，理论分析和形式化建模。本文主要是实证研究，未来的工作可以尝试建立转向效果的理论模型，预测给定角度和径向变化下的困惑度和任务指标变化。第五，实际应用和安全对齐。本文的几何发现可以指导更安全、更可控的语言模型对齐方法。例如，在设计拒绝转向、安全防护转向时，可以考虑如何平衡角度控制和范数保持。

复现评估

复现性评估方面，本文提供了较好的复现基础，但仍有挑战。论文详细描述了实验设置，包括模型列表、数据集列表、转向层选择和评估协议。所有模型都是公开可用的，数据集也都有公开的链接。转向方向构造方法和六种转向方法的数学公式都清楚地写在论文中，附录还提供了CAA-m的per-token匹配算法的推导。然而，复现可能面临几个挑战。第一，实验规模较大，需要计算资源。7个模型中最大的是70B参数的模型，这在单GPU上可能无法运行。第二，某些模型有特定的许可证限制，这可能限制某些研究者的使用。第三，虽然论文描述了校准协议，但没有提供具体的实现代码或超参数细节。第四，论文提到使用了一个随机种子和两个fold进行结果聚合，但没有详细说明随机种子设置、数据划分细节等。总体而言，一个有资源的团队应该能够复现主要结果，但可能需要相当的计算资源和工程投入。如果作者能够发布代码，复现性将大大提高。

通过角度和范数的几何分解揭示激活转向的内在机制，为语言模型行为控制提供新的理论框架和方法论指导 A Geometric Account of Activation Steering through Angle-Norm Decomposition