YaPO：用于领域适应的可学习稀疏激活引导向量 YaPO: Learnable Sparse Activation Steering Vectors for Domain Adaptation
通过在SAE稀疏空间中学习偏好优化的引导向量，实现更稳定、可解释的大模型行为控制
前置知识
激活引导（Activation Steering）
激活引导是一种轻量级的模型行为控制方法，通过在推理时直接修改模型隐藏层的激活值来引导输出，无需重新训练或修改原始模型权重。具体做法是在特定层注入一个引导向量，将该向量加到隐藏状态上，从而影响模型生成的行为方向。这种方法相比传统的微调方法更灵活，可以实现即时的行为调整。
YaPO的核心思想就是改进激活引导方法，理解传统激活引导的工作原理和局限性是理解本文创新点的基础
稀疏自编码器（Sparse Autoencoder, SAE）
稀疏自编码器是一种神经网络架构，用于将高维的密集激活分解为稀疏的、近似单义的特征表示。在大语言模型中，单个神经元往往同时编码多个语义概念（称为神经元多义性），SAE通过将激活投影到更高维但更稀疏的空间，使得每个特征维度对应更清晰的单一语义概念，从而提高可解释性。Gemma-Scope等工具提供了预训练好的SAE模型。
YaPO的关键创新是在SAE的稀疏潜在空间中学习引导向量，利用SAE的解纠缠特性来获得更稳定和可解释的控制
双向偏好优化（Bi-directional Preference Optimization, BiPO）
BiPO是一种从偏好数据中学习引导向量的方法，使用类似DPO的双向目标函数。它通过优化一个向量，使得注入该向量后增加偏好响应的概率，同时减少非偏好响应的概率。BiPO的双向性体现在训练时随机采样方向系数d，使得向量同时学习正向和负向的引导行为。但BiPO在密集激活空间中学习，容易受到神经元多义性的影响。
YaPO是在BiPO基础上的改进，将BiPO的偏好优化目标迁移到SAE稀疏空间中，理解BiPO的工作机制对理解YaPO的改进至关重要
神经元多义性与叠加（Neuron Multi-semanticity and Superposition）
神经元多义性指的是大语言模型中的单个神经元往往同时编码多个不同的语义概念，这导致激活向量在密集空间中容易纠缠多个潜在因素。叠加是更广泛的现象，指模型在有限维度的表示空间中同时编码更多的特征，使得特征之间相互干扰。这种现象是密集引导向量不稳定和不可解释的根本原因。
理解这一问题是理解YaPO为什么需要在稀疏空间中工作的前提，稀疏空间通过SAE解纠缠了这些纠缠的因素
研究动机
现有的激活引导方法在细粒度对齐场景下存在显著局限。以文化对齐为例，当需要区分同一语言内不同国家的微妙文化差异时（如摩洛哥阿拉伯语与埃及阿拉伯语、美式英语与英式英语），密集引导向量往往无法有效地区分这些密切相关的价值观和行为。CAA（对比激活添加）通过平均对比提示的激活差异来计算向量，只能捕捉粗粒度的行为信号，在复杂场景下表现不佳。BiPO虽然引入了偏好优化来直接学习向量，但仍依赖于密集激活空间，由于神经元多义性和叠加现象，单个密集特征往往会纠缠多个潜在因素，导致控制信号嘈杂且不稳定。实验表明，BiPO在训练过程中表现出明显的振荡，尤其在低资源环境下，训练600步后损失仍高于0.3，且容易覆盖之前正确学到的行为。
本文的目标是本文的具体目标是提出一种新的激活引导方法YaPO（Yet Another Policy Optimization），能够在SAE的稀疏潜在空间中学习偏好优化的引导向量。目标包括：实现更快的收敛（预期损失在150步内降至0.1以下）；提供更好的训练稳定性，减少训练过程中的振荡；产生更易解释的引导向量，每个维度对应更清晰的语义概念；保持跨域泛化能力，在文化对齐之外的任务（如幻觉抑制、越狱防护）上同样有效；同时不损害模型的通用知识能力（如MMLU表现）。
与已有工作不同的是，本文的独特切入角度在于发现了现有方法的一个根本性缺陷：BiPO提供强大的优化能力但受困于密集纠缠，SAS（稀疏激活引导）提供可解释性但缺乏优化。YaPO抓住了这个被忽视的关键点——将两者的优势统一起来，通过在SAE的稀疏空间中进行偏好优化，既能获得稀疏表示的解纠缠特性，又能利用偏好数据进行有针对性的优化。这种两全其美的方法是之前没有被探索过的，因为之前的工作要么在密集空间中优化（BiPO），要么在稀疏空间中简单平均（SAS），没有人将偏好优化的目标函数迁移到稀疏空间中。
核心方法
YaPO的核心直觉可以用一个比喻来理解：想象在嘈杂的餐厅里和朋友对话。传统的密集引导向量就像是在嘈杂环境中直接喊话，各种声音混杂在一起，很难精确传达信息。而YaPO就像是先戴上降噪耳机（SAE编码器将激活投影到稀疏空间），在安静的环境中清晰地向朋友传达信息（在稀疏空间中优化引导向量），然后再通过耳机的扬声器让朋友听到（SAE解码器将优化后的稀疏表示投影回模型的隐藏空间）。技术路线上，YaPO首先使用预训练的SAE编码器将模型在第L层的激活映射到稀疏空间，然后在稀疏空间中学习一个引导向量v，使用BiPO风格的双向偏好优化目标来训练。训练完成后，在推理时将稀疏引导向量注入到SAE编码后的激活上，通过SAE解码器投影回原始空间，并加上残差校正项来补偿SAE的重建误差。
YaPO的核心创新点在于将偏好优化引入到SAE的稀疏潜在空间中，这是与已有方法的本质区别。传统的BiPO直接在密集激活空间中学习向量v，维度为k_d。而YaPO将向量v定义在稀疏空间中，维度k_s远大于k_d（例如在Gemma-2-2B中k_s=65k）。这种设计的关键优势在于：稀疏空间的每个维度对应更清晰的单一语义概念，因此引导向量的每个分量只影响特定的行为方面，而不是纠缠多个因素。训练过程中，SAE的参数和LLM的参数都被冻结，只更新引导向量v。SAE解码器负责将稀疏空间中的优化方向投影回模型的密集隐藏空间，这相当于提供了一个解纠缠的基底来学习控制信号。此外，YaPO还包括一个残差校正项，用于补偿SAE重建误差，确保引导后的激活与原始隐藏状态保持一致性。
方法步骤详情
YaPO的完整流程包括以下步骤：（1）输入准备：给定一个偏好数据集D，包含提示x、偏好响应y_w和非偏好响应y_l三元组。（2）前向传播：将输入x通过LLM得到第L层的隐藏激活A_L(x)。（3）SAE编码：使用预训练的SAE编码器将激活映射到稀疏空间，得到稀疏编码s = Enc(A_L(x))。（4）引导向量注入：生成随机方向系数d（从{-1,1}均匀采样），计算引导后的稀疏编码s_tilde = ReLU(s + d * lambda * v)，其中lambda是引导强度乘数，ReLU确保非负性。（5）SAE解码：将引导后的稀疏编码解码回密集空间，得到h_tilde = Dec(s_tilde)。（6）残差校正：计算SAE重建的原始激活h_hat = Dec(Enc(A_L(x)))，最终的引导后激活为h_prime = h_tilde + (A_L(x) - h_hat)。（7）计算损失：使用双向偏好优化目标L，比较注入引导向量后y_w和y_l的相对概率变化。（8）参数更新：使用AdamW优化器更新v，学习率为5e-4，带余弦衰减和100步预热。（9）推理：训练完成后，使用学到的向量v*进行推理时引导，可选择d=1（正向引导）或d=-1（负向引导）。
技术新颖性
YaPO的技术新颖性体现在多个方面。首先，它是第一个将无参考的偏好优化目标应用到SAE稀疏空间中的方法，之前的工作要么在密集空间优化（BiPO），要么在稀疏空间中简单平均（SAS）。其次，YaPO的稀疏向量设计使得引导强度可以自动适应每个维度：由于稀疏空间的特性，有效的引导强度实际上被吸收到学习到的向量本身中（每个维度i有隐含的系数lambda_i），减少了对手动调参的依赖。第三，残差校正项的引入确保了SAE重建误差不会累积，保持了与原始隐藏状态的一致性。最后，YaPO在SAE空间中工作的另一个优势是梯度更干净：稀疏特征隔离了语义上有意义的方向，减少了无关特征的干扰，这解释了为什么YaPO比BiPO收敛更快（快一个数量级）且更稳定。
实验结果
YaPO在多个维度上展现出显著优势。在训练动力学方面，YaPO的收敛速度比BiPO快一个数量级：在埃及和尼泊尔两个场景中，YaPO的损失在不到150步内就降至0.1以下，而BiPO即使在600步后损失仍高于0.3。这种快速收敛源于稀疏SAE空间中解纠缠的特征产生更干净的梯度和更稳定的优化。在文化对齐基准测试中，YaPO在多选题（MCQ）任务上表现最稳定：在葡萄牙语中，YaPO的平均准确率达到44.0%（本地化）和38.2%（非本地化），显著优于基线的26.2%和21.9%；在阿拉伯语中，YaPO达到24.7%和22.5%，也优于基线的21.7%和21.0%。在开放式生成任务中，YaPO在阿拉伯语上表现最佳，特别是在非本地化设置下（平均分从2.97提升到3.37）。在显式-隐式定位差距分析中，YaPO在RCA（鲁棒文化准确率）上取得最佳表现（MCQ：41.2%，开放式：2.22），同时PNLG（性能归一化定位差距）保持在较低水平，表明YaPO在提升文化鲁棒性的同时没有扩大显式-隐式差距。在对引导乘数lambda的敏感性分析中，YaPO表现出更平滑的性能缩放，在很宽的lambda范围内都能保持稳定，即使在lambda=1.5或2.0时仍能达到最高准确率而不退化，而CAA和SAS在lambda>0.5时就可能崩溃。在MMLU评估中，YaPO对通用知识能力没有可测量的退化，分数与未引导的基线紧密聚集。在泛化任务中，YaPO在幻觉、财富追求、越狱和权力追求等任务上也显示出改进，在2B模型上平均得分1.76，优于基线的1.65。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文化对齐MCQ（葡萄牙语平均） | 准确率 | 44.0%（本地化）/38.2%（非本地化） | 26.2%/21.9%（无引导） | 提升17.8/16.3个百分点 |
| 文化对齐MCQ（阿拉伯语平均） | 准确率 | 24.7%（本地化）/22.5%（非本地化） | 21.7%/21.0%（无引导） | 提升3.0/1.5个百分点 |
| 文化对齐开放式（阿拉伯语平均） | LLM评分（0-10） | 3.21（本地化）/3.37（非本地化） | 3.07/2.97（无引导） | 提升0.14/0.40分 |
| RCA-文化对齐MCQ | 鲁棒文化准确率 | 41.2% | 26.7%（无引导） | 提升14.5个百分点 |
| MMLU | 准确率 | 约57.3% | 57.58%（无引导） | 保持不变，无显著退化 |
局限与改进
论文承认了几个主要局限性。首先，所有实验都是在Gemma-2系列模型（2B和9B）上进行的，由于计算和时间限制，未能包含其他架构如Llama-3.1-8B或Qwen模型，这限制了结论的普适性。其次，在没有预训练SAE可用的情况下，需要学习任务特定的小型SAE或低秩稀疏投影，这增加了额外的复杂性和计算成本。第三，虽然论文引入了新的文化对齐基准，但该数据集只捕捉了跨国差异而非国内多样性（如中国不同省份的文化差异），这限制了评估的全面性。此外，论文观察到在更大的9B模型上，由于基础模型本身更强大，各种方法之间的性能差距缩小，这表明在更强的基线上稀疏引导的优势可能不如在小模型上明显。从我的观察来看，论文的评估主要集中在相对简单的多项选择题和短文本生成任务上，对于更长、更复杂的生成任务（如长篇文化叙述或对话），YaPO的表现还需要进一步验证。此外，虽然论文声称YaPO更易解释，但没有提供具体的可解释性分析，如展示稀疏空间中各个维度对应的语义概念。
独立分析的弱点
从独立分析的角度，YaPO存在几个值得关注的弱点。首先，在低资源文化设置下（如阿拉伯语中的黎巴嫩和摩洛哥），各种方法的绝对性能仍然很低（约15%），这表明稀疏引导虽然能带来相对提升，但无法从根本上解决低资源数据稀缺的问题。改进方向可能需要结合数据增强或跨语言迁移学习。其次，YaPO依赖于预训练的SAE，而SAE的质量直接影响引导效果。在Gemma-2-2B中，SAE向量大小为65k维度，但在其他模型上可能没有合适的预训练SAE可用。未来可以研究自适应SAE训练或在线SAE更新策略。第三，论文中的引导强度乘数lambda仍需要手动选择，虽然YaPO对lambda更鲁棒（最优lambda=1.5-2.0），但在不同任务和模型上可能需要不同的设置。可以探索自适应lambda选择机制。第四，残差校正项虽然保证了重建一致性，但也可能引入额外的噪声，特别是当SAE重建误差较大时。第五，论文的泛化实验（表5）显示CAA在某些任务上表现更好（平均1.90 vs YaPO的1.76），但论文没有深入分析这一现象，这表明在特定场景下稀疏引导可能不如简单的密集平均。
未来方向
基于YaPO的成果，可以延伸出多个有前景的研究方向。作者提出的方向包括：探索跨模型的稀疏引导向量迁移性，即在一个模型上学到的向量能否应用到另一个模型；扩展文化数据集以覆盖国内多样性；在没有预训练SAE的情况下研究任务特定的小型SAE学习。基于论文成果可以延伸的方向包括：（1）将YaPO扩展到多层引导，同时在多个层注入稀疏向量，可能实现更精细的控制；（2）研究稀疏引导与参数高效微调（如LoRA）的结合，实现训练时和推理时的双重控制；（3）探索稀疏引导在多模态模型中的应用，如视觉语言模型的文化偏见控制；（4）开发更系统的引导向量组合方法，实现多个行为的叠加控制（如同时控制文化对齐和安全性）；（5）研究稀疏引导的可逆性，即如何快速撤销特定的引导效果。
复现评估
论文的复现条件相对友好。代码和数据已公开在GitHub（https://github.com/MBZUAI-Paris/YaPO），数据集包含45,354个样本，覆盖5种语言15个文化上下文。计算资源方面，2B模型训练仅需10分钟，9B模型需30分钟，使用8块AMD MI210 GPU即可完成，这对大多数研究机构来说是可承受的。关键的依赖包括预训练的SAE模型（Gemma-Scope提供），以及Gemma-2系列模型（开源可下载）。超参数设置明确（表6），包括学习率5e-4、batch size 4、20个epoch等。主要的复现难度在于：（1）需要获取高质量的偏好数据集，论文的数据集虽然公开但需要理解其构造过程；（2）需要合适的预训练SAE，如果要在其他模型上复现可能需要自己训练SAE；（3）评估指标PNLG和RCA的计算需要仔细实现，特别是开放式生成的LLM评分需要设计合适的提示。总体而言，复现难度中等，具备基本深度学习经验的研究者应该能够完成。
论文图表
