为什么 Steering 有效：语言模型参数动力学的统一视角 Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics
将权重微调、LoRA 和激活引导统一为动态权重更新，揭示偏好-效用权衡规律
前置知识
Activation Steering（激活引导）
激活引导是一种在推理时修改大语言模型中间隐藏状态的技术。其基本思想是：模型的抽象概念（如情感、风格、安全倾向）在激活空间中近似对应线性方向。通过在前向传播过程中，向选定层的隐藏状态添加一个预定义的方向向量 $\mathbf{v}$ 并乘以标量系数 $m$，即 $\tilde{h} = h + m\mathbf{v}$，可以控制模型生成行为。这一方法建立在「线性表示假说」（Linear Representation Hypothesis）之上，该假说认为概念可以被激活空间中的线性子空间所编码。
本文的核心贡献之一就是将激活引导与权重微调、LoRA 统一到同一框架下，理解激活引导的基本机制是理解全文统一视角的前提。
LoRA（Low-Rank Adaptation）
LoRA 是一种参数高效微调方法，它冻结原始权重矩阵 $W$，引入可训练的低秩更新 $\Delta W = BA$，其中 $A \in \mathbb{R}^{r \times k}$，$B \in \mathbb{R}^{d \times r}$，秩 $r \ll \min(d, k)$。推理时将适配后的权重合并为 $W' = W + \Delta W$。由于 $r$ 远小于矩阵维度，LoRA 的参数量远小于全参数微调，同时能获得接近全参数微调的性能。
本文将 LoRA 归入统一的动态权重更新框架，并与激活引导进行对比实验，理解 LoRA 的低秩结构对理解统一视角中的参数规模差异至关重要。
激活流形（Activation Manifold）
激活流形假说认为，对于预训练语言模型，当输入来自稳定处理的分布时，各层的激活表示会集中在表示空间中的一个低维流形 $\mathcal{M}_l$ 附近。这个流形编码了模型在训练过程中学到的「典型」激活模式。偏离该流形的激活更有可能被后续网络层不可靠地解码，导致生成质量下降。这一概念借鉴了表征几何学和稀疏自编码器的研究发现。
本文的机制分析核心——「投影增益」和「有效性衰减」——都建立在激活流形假说之上。理解流形偏离如何导致效用下降，是理解偏好-效用权衡的关键。
Log-Odds（对数几率）
对数几率是概率的对数变换形式，定义为 $\text{log-odds}(p) = \log \frac{p}{1-p}$。它将 $[0,1]$ 区间的概率映射到 $(-\infty, +\infty)$ 的实数空间，便于在统一的加性尺度上比较不同方法的控制效果。在本文中，偏好对数几率 $\text{PrefOdds}(q) = L_n - L_p$ 和效用对数几率 $\text{UtilOdds}(q)$ 分别衡量模型对目标概念的倾向程度和任务执行能力。
本文提出的偏好-效用分析的核心度量就建立在对数几率之上。理解对数几率的数学性质，才能理解为什么不同干预方法在对数几率空间中呈现出一致的动态模式。
Controlled Text Generation（受控文本生成）
受控文本生成指在不改变模型架构或完全重新训练的前提下，引导大语言模型生成具有特定属性（如正面情感、特定风格、安全内容）的文本的技术总称。现有方法包括提示工程、微调、激活引导等，但这些方法通常在不同的假设、目标和评估协议下独立研究，缺乏统一的比较框架。
本文的出发点就是解决受控文本生成领域「方法各自为战」的碎片化问题，提出统一框架来弥合不同方法之间的鸿沟。
研究动机
当前大语言模型的控制方法——包括局部权重微调、LoRA 参数高效适配和推理时激活引导——在不同的假设、目标和评估协议下被独立研究。这种碎片化带来了三个具体问题。第一，无法进行严格的方法比较：因为不同方法在不同的数据集、不同的干预强度、不同的评估指标下被测试，研究者难以判断某类方法在特定场景下的优劣。第二，共享的失败模式被掩盖：当偏好增强到一定程度时，所有方法都会出现效用下降（生成不连贯、指令违反、上下文漂移），但因为缺乏统一的分析框架，这些共同的退化规律没有被系统性地揭示。第三，控制强度与生成质量之间的权衡关系缺乏理论解释：已有的线性趋势分析（如 Bigelow et al. 2025 的工作）主要适用于小尺度干预，当控制强度增大时出现的非单调或反常行为尚未得到充分解释。
本文的目标是本文的具体目标有三个层次。首先，建立一个统一的数学框架，将局部权重微调、LoRA 和激活引导表达为同一类动态权重更新操作，形式为 $\mathbf{h}_{i+1} = (W + m_1 \Delta W)\mathbf{h}_i + (\mathbf{b} + m_2 \Delta \mathbf{b})$。其次，在这一统一框架下引入偏好-效用分析，用偏好对数几率和效用对数几率在共享的加性尺度上量化控制效果，并通过实验验证不同方法呈现出一致的动态响应模式。最后，基于机制理解提出一种新的训练目标 SPLIT，能够在增强偏好的同时更好地保持效用。
与已有工作不同的是，本文的独特切入角度在于：它不把激活引导、LoRA 和权重微调视为本质上不同的技术，而是将它们统一到「动态权重更新」这一视角下。更关键的是，已有工作（如 Bigelow et al. 2025）主要关注偏好在小尺度下的近似线性增长，但忽略了效用随控制强度增加而系统性衰减的规律。本文引入了激活流形假说，提出偏好由「投影增益」和「有效性衰减」两个因素共同决定，而效用主要由「有效性衰减」主导。这一视角解释了为什么在小尺度下偏好近似线性增长（因为有效性衰减可以忽略），而在大尺度下偏好增长放缓甚至崩溃（因为激活偏离流形导致有效性严重衰减）。
核心方法
本文的方法可以用一个交通比喻来理解：想象激活空间是一张道路网络，预训练模型的典型激活集中在主干道（流形）上。不同的控制方法——权重微调、LoRA、激活引导——就像在不同位置设置路标，引导车辆（生成过程）驶向目标方向。但路标设置得太强，车辆就会偏离主干道驶入小路，导致到达目的地的能力下降（效用衰减）。本文的核心工作就是：第一，证明这些路标本质上是同一种操作（统一框架）；第二，量化路标强度与偏航程度的关系（偏好-效用分析）；第三，设计一种更聪明的路标设置方式，既能有效引导方向又不容易让车辆偏航（SPLIT 方法）。技术路线上，首先将三种干预形式统一表达为 $\Delta h = m_1 \Delta W h_i + m_2 \Delta b$，然后通过极性配对对比样本构建偏好和效用的对数几率度量，最后通过分段有理二次函数建模有效性衰减。
本文最核心的创新是提出了偏好-效用分解和激活流形有效性衰减机制。具体而言，对于给定查询 $q$ 和极性配对答案 $(A_p, A_n)$，假设条件概率可以分解为 $P(A_p|q) = P(u|q)P(p_p|q)$ 和 $P(A_n|q) = P(u|q)P(p_n|q)$，其中 $P(u|q)$ 是与极性无关的任务成功概率，$P(p_p|q)$ 和 $P(p_n|q)$ 是偏好概率。基于这一分解，偏好对数几率 $\text{PrefOdds}(q) = L_n - L_p$ 中共享的效用项被消去，而效用对数几率从 $P(u|q) = P(A_p|q) + P(A_n|q)$ 中恢复。在激活流形假说下，偏好概率被建模为 $\log \frac{P(p_p|\tilde{h}(m))}{1-P(p_p|\tilde{h}(m))} = (\omega_p^\top h + \alpha_p m)D_p(m) + b_p$，其中 $\alpha_p = \omega_p^\top \Delta h$ 是引导方向与偏好向量的对齐程度，$D_p(m)$ 是有效性衰减因子。这与已有工作的本质区别在于：已有工作假设偏好在全范围内近似线性增长，而本文揭示了小尺度线性增长后紧跟着过渡区和收敛区的三阶段模式，并用有效性衰减统一解释了这一现象。
方法步骤详情
本文方法分为三个步骤。第一步，建立统一动态权重框架。将局部权重更新、LoRA 和激活引导统一表达为 $\mathbf{h}_{i+1} = (W + m_1 \Delta W)\mathbf{h}_i + (\mathbf{b} + m_2 \Delta \mathbf{b})$。局部权重微调同时修改 $W$ 和 $\mathbf{b}$（参数量 $d_{in} \times d_{out} + d_{out}$）；LoRA 通过低秩因子修改 $W$（参数量 $d_{in} \times r + r \times d_{out}$）；激活引导仅修改 $\mathbf{b}$（参数量 $d_{out}$）。第二步，进行偏好-效用联合分析。对每个查询 $q$ 构建极性配对 $(A_p, A_n)$，通过教师强制计算交叉熵损失 $L_p$ 和 $L_n$，然后计算偏好对数几率（$L_n - L_p$）和效用对数几率（$\log \frac{e^{-L_p}+e^{-L_n}}{1-e^{-L_p}-e^{-L_n}}$）。通过在不同干预强度 $m$ 下追踪这两个指标，观察到跨方法一致的三阶段偏好响应和效用衰减模式。第三步，提出 SPLIT 训练目标。效用损失 $\mathcal{L}_{util} = \lambda_p L_p + \lambda_n L_n$ 同时在正负样本上训练以保持任务能力；偏好损失 $\mathcal{L}_{pref} = \gamma \cdot \text{ReLU}(\theta - (L_n - L_p))$ 通过铰链式边际损失确保偏好对数几率超过阈值 $\theta$。最终目标为 $\mathcal{L} = \mathcal{L}_{util} + \mathcal{L}_{pref}$。
技术新颖性
本文的技术新颖性体现在三个层面。第一，统一表达形式方面：已有工作通常将权重微调、LoRA 和激活引导视为独立技术，本文首次用统一的仿射变换 $\mathbf{h}_{i+1} = (W + m_1 \Delta W)\mathbf{h}_i + (\mathbf{b} + m_2 \Delta \mathbf{b})$ 将三者统一，并通过引入显式缩放系数 $m_1, m_2$ 实现连续控制强度调节。第二，机制分析方面：已有线性表示假说下的工作主要关注偏好在小尺度下的线性增长，本文引入了激活流形假说和分段有理二次（RQ）有效性衰减函数 $D(m) = 1/(1 + (m-m_\pm)^2/L_\pm^{p_\pm})$，成功解释了偏好在全尺度范围内的三阶段行为（线性区-过渡区-收敛区），并通过 $R^2 > 0.95$ 的曲线拟合验证了理论模型。第三，训练目标方面：SPLIT 是首个基于机制分析的偏好-效用联合优化目标，不同于 RePS（Wu et al. 2025b）的标准偏好优化，它通过同时维持正负样本的语言建模目标和铰链式偏好边际损失，在增强偏好的同时系统性地缓解效用衰减。
实验结果
本文在两个基础模型（Gemma-2-9B-IT 和 Qwen-2.5-7B-IT）和三个数据集（Psychopathy、PowerSeeking、AxBench）上进行了全面实验，得出以下核心发现。第一，统一动态响应验证：在偏好对数几率空间中，所有三种干预形式（局部权重、LoRA、向量）都表现出高度一致的三阶段曲线形状——小 $|m|$ 下的近似线性增长、中等 $|m|$ 下的趋势变化过渡区、以及大 $|m|$ 下的收敛平坦区。效用对数几率在 $m \approx 0$ 附近达到峰值，随 $|m|$ 增大逐渐下降并趋于稳定。这一跨方法一致的模式在所有模型和数据集组合上都成立。第二，理论模型拟合验证：公式 (15) 的偏好对数几率拟合和公式 (17) 的效用对数几率拟合在训练集上的 $R^2$ 值普遍超过 0.95，在多数设置下超过 0.98（如表 2 所示，Gemma-2-9B-IT 的权重+SFT 在 AxBench 上偏好和效用的 $R^2$ 均为 0.99）。这验证了激活流形假说和有效性衰减模型的准确性。第三，SPLIT 方法性能：在表 3 的主实验中，SPLIT 在多数设置下取得最佳或次佳成绩。在 Psychopathy 分类任务上，SPLIT 在所有干预形式下均达到 98-100% 准确率。在 PowerSeeking 上，SPLIT 的概念得分在 Gemma-2-9B-IT 的向量形式下达到 3.62（vs. RePS 的 3.61），在 Qwen-2.5-7B-IT 的权重形式下达到 3.66（vs. SFT 的 3.53）。在 AxBench 上，SPLIT 的概念得分在多个设置下达到最高，如 Gemma-2-9B-IT 向量形式的 1.8500（vs. RePS 的 1.7000），Qwen-2.5-7B-IT LoRA 形式的 1.7375（vs. SFT 的 1.4875）。值得注意的是，DPO 基线（表 4）在 AxBench 上的表现明显弱于 SPLIT（概念得分 0.525-0.575 vs. SPLIT 的 1.775-1.8500），表明标准 DPO 目标在控制精细度上存在不足。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Psychopathy 分类 | Accuracy (%) | SPLIT: 100.00 (权重/LoRA), 99.00 (向量) | SFT: 100.00/100.00/97.00; RePS: 100.00/99.00/98.00 | 与最优基线持平或略优，尤其在向量形式下从98%提升至99% |
| PowerSeeking 概念得分 | Concept (0-4) | SPLIT: 3.59 (权重), 3.56 (LoRA), 3.62 (向量) | RePS: 3.39/3.44/3.61; SFT: 3.50/3.41/3.30 | 在权重形式下比RePS提升0.20，在LoRA形式下比SFT提升0.15 |
| AxBench 概念得分 (Gemma) | Concept (0-2) | SPLIT: 1.8500 (权重), 1.7750 (LoRA), 1.8500 (向量) | RePS: 1.7750/1.7375/1.7000; DiffMean: 1.1625 | 在权重和向量形式下比RePS分别提升0.075和0.150 |
| AxBench 调和均分 (Gemma) | Harmonic Mean (0-2) | SPLIT: 1.6225 (权重), 1.6412 (LoRA), 1.6475 (向量) | RePS: 1.6362/1.6525/1.5550 | 向量形式下比RePS提升0.093，权重和LoRA形式下与RePS接近 |
| AxBench 概念得分 (Qwen) | Concept (0-2) | SPLIT: 1.7000 (权重), 1.7375 (LoRA), 1.8125 (向量) | RePS: 1.6875/1.4875/1.7375; SFT: 1.5375/1.4875/1.5750 | LoRA形式下比RePS提升0.25，向量形式下比SFT提升0.2375 |
| 曲线拟合质量 | R² (偏好/效用) | 多数设置 > 0.95，平均 > 0.96 | N/A（理论验证） | 验证了激活流形假说和有效性衰减模型的高保真度 |
局限与改进
本文的局限性主要体现在四个方面，其中部分由作者在论文中明确承认。第一，激活流形假说的适用范围：本文假设模型表示集中在结构良好的低维流形附近（假设 4.1），但对于极大或高度多样化的模型，这一假设可能不成立，从而降低定量预测的准确性。作者在 Limitations 章节明确指出了这一点。第二，控制类型的覆盖范围：实验主要聚焦于属性级控制（如情感、风格），而对复杂多轮推理或安全关键内容的控制能力尚未充分探索。这意味着本文的偏好-效用分析框架在更复杂的控制场景下是否仍然成立，还需要进一步验证。第三，干预强度的选择：实验在预定义的干预乘数下评估控制效果，但实际应用中可能需要自适应或动态变化的控制信号，泛化到这类场景的能力有待研究。第四，效用衰减的不对称性：分段 RQ 模型对正负方向使用不同参数（$m_\pm$, $L_\pm$, $p_\pm$），虽然这反映了引导方向的不对称性，但也增加了模型的参数数量和拟合复杂度，且在某些数据集上的泛化表现存在较大方差（如表 7 中 Qwen-2.5-7B-IT 权重+SFT 在 AxBench 上的偏好 $R^2$ 为 -12.03）。
独立分析的弱点
从独立分析的角度，本文存在以下值得关注的弱点。第一，效用度量的局限性：当前的效用对数几率仅基于极性配对答案的总概率质量 $P(u|q) = P(A_p|q) + P(A_n|q)$ 来衡量，这要求预先构造正负配对样本。在实际应用中（如开放式对话、创意写作），很难自然地构造这样的极性配对。改进方向是探索无需配对样本的效用度量，例如直接在开放式生成上评估连贯性、指令遵循度等维度。第二，流形距离的近似：有效性衰减函数 $D(m)$ 用分段 RQ 函数近似，参数 $m_\pm$, $L_\pm$, $p_\pm$ 需要通过曲线拟合从数据中估计。这种事后拟合虽然验证了理论形式的合理性，但无法在干预前预测效用衰减的程度。改进方向是开发基于激活几何分析（如局部曲率、到流形边界的距离）的事前估计方法。第三，SPLIT 的边际损失设计：铰链式损失 $\mathcal{L}_{pref} = \gamma \cdot \text{ReLU}(\theta - (L_n - L_p))$ 使用固定阈值 $\theta$，不随训练过程自适应调整。当偏好已经达到较高水平时，继续施加相同强度的边际约束可能导致不必要的效用损失。改进方向是引入自适应阈值或课程学习策略。第四，实验规模的局限：仅在 7B-9B 参数量的模型上验证，且仅针对单层（Gemma 层 20、Qwen 层 14）进行干预。对于更大规模模型（如 70B+）和多层干预的场景，统一框架和偏好-效用分析是否仍然成立尚未可知。
未来方向
基于本文的统一框架和偏好-效用分析，未来研究可以沿以下方向展开。第一，自适应控制信号：当前方法使用固定的干预强度 $m$，未来可以探索根据生成过程中的实时偏好和效用反馈动态调整 $m$ 的策略，实现类似 PID 控制器的自适应引导。第二，多属性联合引导：本文聚焦于单一概念方向的控制，实际应用中往往需要同时控制多个属性（如同时确保安全性和有用性）。统一框架天然支持多个 $\Delta h$ 的叠加，但多方向之间的交互效应（如冲突、协同）需要进一步研究。第三，将有效性衰减理论扩展到训练阶段：当前的 SPLIT 目标虽然考虑了效用保持，但其设计仍较为启发式。未来可以将 $D(m)$ 的理论形式直接融入训练目标，例如通过正则化项约束激活到流形的距离。第四，跨层和跨模型的统一分析：验证统一框架在不同层深度、不同模型规模（从 1B 到 100B+）下的适用性，建立层深度与偏好-效用响应模式之间的系统性关系。
复现评估
本文的复现条件较为友好。代码已在 GitHub 开源（https://github.com/zjunlp/EasyEdit/blob/main/examples/SPLIT.md），集成在 EasyEdit 框架中。数据集方面，Psychopathy 和 PowerSeeking 的训练/测试划分已在附录中详细说明（各 500 训练 / 100-200 测试样本），AxBench 使用公开数据集的前 10 个概念子集（每概念 64 训练 / 8 测试）。算力需求方面，实验使用 Gemma-2-9B-IT 和 Qwen-2.5-7B-Instruct 两个 7-9B 模型，在单层进行干预，训练和推理的计算开销相对较低。优化器使用 AdamW 并配合线性学习率调度器，超参数设置基本沿用已有工作（Wu et al. 2025a; Xu et al. 2025）。曲线拟合使用 SLSQP 算法。总体而言，具备单张高端 GPU（如 A100 80GB）即可完成主要实验，复现难度中等偏低。
论文图表
