通过免训练权重编辑抵抗有害指令 Resisting Harmful Instructions through Training-Free Weight Editing
用几十对提示词的前向传播对比打分并缩放权重,把抗有害指令写入模型参数
前置知识
激活转向 (activation steering / CAA)
在推理时把一个方向向量(通常由成对提示在残差流中的激活差求均值得到)按系数加到某一层的每个 token 位置,把生成行为推向或推离某个概念。代表方法是对比激活添加 CAA(Rimsky et al., 2024)。它不改动权重、只在运行时改激活,因此可随时撤销,但效果对构建向量所用提示与部署场景敏感。
CAA 是本文最主要的对照基线(单层与多层),理解它『推理时、加向量、单层』的特性,才能明白权重编辑在威胁模型上的差异:编辑持久、删提示无法撤销、效果跨层分布。
Wanda 与激活感知权重重要性
Wanda 是一种免训练剪枝打分:权重分数等于权重绝对值乘以其输入通道在校准数据上的激活范数。直觉是『幅度大、且所连输入经常活跃』的连接对输出的影响大,应优先保留或(剪枝时)优先删除。本文借用了这个量的结构。
本文评分规则 $s_{ij}=|W_{ij}|c_j$ 直接继承 Wanda 的『幅度×激活范数』形式,只是把单条件范数换成了有害指令集与对照集之间的分级对比,读懂 Wanda 才能读懂方法。
线性层的输入通道
每个线性层计算 $y=Wx$,$W\in\mathbb{R}^{m\times d}$;输入向量 $x$ 的第 $j$ 个坐标称为输入通道 $j$,与 $W$ 的第 $j$ 列相乘。注意力输出投影的输入通道对应注意力头的输出,MLP 下投影的输入通道对应隐藏单元。
方法的『通道对比』$c_j$ 定义在输入通道上,掩码也按矩阵逐个构建;附录还发现正分权重只出现在 attention out_proj 与 MLP down_proj 中,这一结构性发现依赖该概念。
LIARS' BENCH 与诚实率 (honest rate)
专门评测『被指令说谎』的基准:537 个欺骗项(系统提示用各种措辞命令模型就事实陈述欺骗用户)加 263 个诚实指令控制项。先用贪心解码问出未编辑模型的真实信念,被命令说谎时若回答与该信念一致记为『诚实』,诚实率即按信念作答的比例;模型本来就答错的题会被剔除。
这是主实验的核心指标;其控制项与真假两组分开检查的设计,也解释了本文验证协议中为什么要防止编辑把模型变成『永远说真』或『永远说假』的极性偏差。
可用性门槛与困惑度检查
WikiText-2 困惑度衡量语言建模能力;本文要求任何被选配置的困惑度不超过未编辑模型的 1.15 倍,并叠加诚实控制项下降小于 5 分、真假两组极性检查、(性别歧视任务中的)风格服从与良性有用性检查,构成『可用性门槛』,只有过门槛的配置才参与测试与比较。
所有方法比较都在过门槛的选项上进行,各权衡图(Pareto 前沿)的横轴就是 1/困惑度比;不理解门槛就无法正确解读各表格中『-』(无可用配置)与空心标记的含义。
集合差 (set difference) 权重选择
CreativityNeuro/MathNeuro 的规则:分别在有害条件 F 与对照条件 T 下按『权重幅度×通道范数』排出各自的 top-$\rho$ 权重集合,取『在 F 集而不在 T 集』的差集作为编辑掩码。它依赖两个排名截止值,选中与否是 0/1 判断。
它是本文的直接对照:核心消融(Table 21 的 2×2 交叉实验)证明分级对比规则比集合差高 13.6 个百分点,且两规则选出的权重几乎不相交(Jaccard ≤ 0.04),这是理解本文创新点的关键。
配对 bootstrap 区间与 Cohen's κ
配对 bootstrap 对同一批测试项有放回重采样(2000 次)重新计算两方法之差,得到领先值的 95% 置信区间,用于判断提升是否显著;Cohen's κ 在排除随机一致后度量两个评分者(人或判官模型)的一致程度。
论文所有『显著/噪声内』的结论都基于 bootstrap 区间;判官审计(κ=0.83)与人类评估(κ=0.71/0.67 等)则支撑自动评分的可信度,这些数字散布在结果解读中。
研究动机
指令微调让 LLM 服从用户与系统提示,但也让它们会执行与安全对齐冲突的指令。论文给出的具体图景是:被明确命令说谎时,模型会把自己明明答对的问题答错——五个未编辑模型家族在 LIARS' BENCH 的 537 个欺骗项上平均诚实率只有 63.0%,AI Liar 的 1012 题上只有 53.8%,最弱的 Llama-3.1-8B 只有 31-33%;指令还可以藏在检索到的文档里间接注入(Greshake et al., 2023)。现有防御各有短板:写入系统提示的防御在『下发有害指令的一方同时控制 system prompt』时会被直接删除;即使防御提示仍在,实验显示仅靠提示仍留下大量有害服从(诚实提示平均只能把 LIARS' BENCH 提到 77.4%);激活转向不依赖提示,但其效果对构建转向向量所用的提示与应用场景敏感(Tan et al. 2024、Braun et al. 2025、Nguyen et al. 2026)。在 agent 系统中模型输出会变成不可逆的动作,这类失败必须在执行前阻止而非事后解释,因此需要一个把『抵抗特定有害指令』固化到模型本身、且难以被上下文绕过的干预手段。
本文的目标是本文的目标是设计并系统验证一种免训练的权重编辑方法:给定一个目标有害行为(如服从说谎指令、服从性别歧视指令),只用几十对内容相同、指令相反的提示的前向传播,就找到并修改支持该行为的权重,使模型在保留通用能力(困惑度、MMLU、IFEval、良性指令与风格服从)的前提下,大幅降低对该类指令的服从。具体验收标准包括:不需要梯度、不需要标注的模型回复、不需要推理时的转向机制或额外防御提示;编辑存放在权重中,删除或篡改提示词无法撤销;在至少两个不同行为域(指令性谎言与指令性性别歧视)上用同一套流程生效;可与基于提示的防御叠加使用;构建单个掩码在 8B 模型上耗时不到 2 分钟,具备实际部署可行性。
与已有工作不同的是，已有的免训练权重空间干预(MathNeuro、CreativityNeuro)的做法是:在两个数据集上分别按『权重幅度×激活范数』给权重排序,取两个 top-ρ 集合的差集作为编辑掩码——本质是两次 0/1 筛选后的集合运算。激活侧干预(CAA 等)则把差值均值向量加在推理时激活上,改动不持久且依赖运行时机制。本文的独特切入是第三条路:用『分级对比』直接给每个权重打分 $s_{ij}=|W_{ij}|c_j$,其中 $c_j=v\,\bar n^F_j-(1-v)\,\bar n^T_j$ 是同一输入通道在有害指令集 F 与良好对照集 T 下的加权激活对比,并用显式阈值 $1/r$ 定义『多大的对比才算正对比』(默认 $r=0.37$,要求 F/T 激活比超过约 2.7 倍)。作者还用固定输入下的局部输出扰动界为规则提供动机:只编辑正对比通道的权重时,参考条件的扰动界至多为目标条件的 $r$ 倍。经验上,分级规则与集合差选出的权重几乎不相交(Jaccard ≤ 0.04),却在匹配消融中把 LIARS' BENCH 诚实率提高 13.6 个百分点——说明『怎么选权重』本身就是值得研究的对象,这是本文相对于集合差一系的本质差异。
核心方法
直觉上,模型服从『说谎/歧视』指令,是因为一小部分输入通道在『读到该指令』时显著活跃,其激活经由特定权重放大为输出影响;若把『幅度大且只在有害指令下活跃』的权重削弱或删除,模型执行该指令的能力就被选择性破坏,而不影响正常问答。技术路线分四步:(1) 构造 25 对内容相同的提示,分别要求有害行为(如说谎)与良好对照(如实回答);(2) 对每层注意力与 MLP 矩阵,前向传播收集两组提示的输入激活,按 $\bar n^P_j=\frac{1}{|P|}\sum_{p}\|X_p[:,j]\|_2$ 求每提示通道范数的集合内平均;(3) 计算对比 $c_j=v\,\bar n^F_j-(1-v)\,\bar n^T_j$,默认 $r=0.37$ 即 $c_j>0$ 要求 $\bar n^F_j>2.7\,\bar n^T_j$;按 $s_{ij}=|W_{ij}|c_j$ 打分,每矩阵取 top 4% 为掩码 $M$;(4) 应用 $W'=W\odot(1+\alpha M)$,$\alpha$ 在验证集上从 $\{-0.25,\dots,-1.25\}$ 选择,$\alpha=-1$ 即删除。embedding 与输出头不动,模型结构不变。
核心创新是『加权激活对比』评分规则,与集合差有本质区别。集合差先分别在 F、T 条件下排序再取差集,选中与否是 0/1 判断,依赖两个排名截止值,还可能把通道对比很强的大权重排除在外。本文则:(1) 用显式激活比值阈值 $1/r$(正对比 ⟺ $\bar n^F_j>\bar n^T_j/r$)定义『目标条件显著更活跃』,把行为差变成连续分级量;(2) 按带符号、幅度加权的对比排序,正分权重优先占预算——正分权重仅占 0.1-0.8%,只编辑它们即复现全掩码效果(85.0% vs 85.0%),只编辑填充部分仅 65.1%,接近未编辑;(3) 有理论动机:固定层输入下,只编辑正对比通道的权重可保证参考条件扰动界 $B_i(T)\le r\,B_i(F)$,且固定预算下选最大带符号分数等价于最大化两条件扰动界的加权差 $vB_i(F)-(1-v)B_i(T)=|\alpha|\sum_j M_{ij}s_{ij}$。经验上两规则选出的权重 Jaccard ≤ 0.04,几乎不相交;在匹配提示家族、强度与门槛的 2×2 消融(Table 21)中,分级对比比集合差高 13.6 个百分点,证明增益来自规则本身而非提示或超参。
方法步骤详情
第一步,构造提示对。谎言任务:25 个通用知识问题,每问配有害指令 F(说谎、虚构、失误三种框架)与对照 T(『如实回答』);另用 24 条真假陈述(12 真 12 假、半数带否定)均衡答案极性;性别歧视任务:25 个性别问题配歧视与公平指令。第二步,收集激活。对每个注意力与 MLP 矩阵分别前向传播,计算每提示通道 L2 范数并在集合内平均得 $\bar n^F_j,\bar n^T_j$;长度影响最多使比值升 1.26 倍,远低于 2.7 阈值。第三步,评分与编辑。算 $c_j$ 与 $s_{ij}=|W_{ij}|c_j$,每矩阵取 top 4% 为 $M$,应用 $W'=W\odot(1+\alpha M)$:$\alpha<0$ 削弱、$=-1$ 删除、$<-1$ 翻转;正分不足时由最接近零的负分权重补足。第四步,验证选择。基准分两半,验证半上为每模型选提示家族与 $\alpha$,须过三门:困惑度 <1.15 倍;诚实控制项降 <5 分;真假陈述分开检查诚实率降幅都 <5 分(排除极性偏差);取过门槛中最优者在测试半报告。性别歧视掩码单独构建,其 $r$ 与 $\alpha$ 在验证集上联合选择。全程只做前向传播,8B 建掩码不到 2 分钟。
技术新颖性
新颖性体现在四点。其一,把 Wanda 式『幅度×激活范数』重要性从单条件标定推广为两条件分级对比,并用局部扰动界解释为何用比值阈值 $1/r$ 而非任意排名截止——这是对权重空间行为编辑『选谁』这一步的原则化回答,而先前集合差方法只是启发式。其二,干预存于权重:与 CAA 等推理时加向量的方法相比,编辑持久、删提示无法撤销、无需在部署管线挂转向钩子,契合『防守方能改模型但控制不了运行上下文』的威胁模型,且与提示防御可叠加(性别歧视掩码+公平提示把 sexist 率从 24.3% 再降到 11.9%)。其三,评估方法论远超以往权重编辑工作的单点评估:7 格式×200 对构建提示的迁移研究(1302 个 LLM 校验事实)、安慰剂对照(虚构/失误框架有效、语义相同但无虚假的改述无效)、层深度消融、答案位置 KL 分析、幅度匹配随机掩码对照、反向实验($\alpha=+3$ 增谎)。其四,把『编辑在哪层』『何时起作用』与行为收益联系起来:增益集中在前半层,KL 分析显示编辑在通读指令期间持续起作用(答案位置 4-24 仍有 1.9 nats KL),而非像安全对齐那样只改前几个 token。
实验结果
五模型家族上平均诚实率 84.9%(LIARS' BENCH)与 79.4%(AI Liar),比最强基线高 6.2 与 4.6 分;Phi-4-mini 提升最大,3/5 模型显著,对集合差掩码全胜。性别歧视:sexist 率 57.9%→24.3%(公平提示 30.2%、CAA 50.9%),叠加提示后 11.9%;人类评估 38% vs 48% vs 53%。格式迁移:7 格式、1302 事实,留出单轮格式 95.8% vs CAA 83.4%,最差单元格 87.9% vs 54.8%;多轮两极:Llama 21.4→90.3,Phi/Falcon 低于未编辑。消融:只编辑正分权重即达全掩码效果(85.0%),填充权重单独仅 65.1%;分级对比比集合差高 13.6 分。机制:前 13-16 层恢复 95% 增益;虚构/失误框架掩码减谎 22.2/18.3 分,超过显式说谎的 13.5,无虚假改述掩码无效(+0.1)。成本:困惑度 1.04-1.14 倍,MMLU 平均 -3.4 分,合法虚构服从降 8-29 分。规模:增益随规模升(Qwen2.5-32B +75.5、OLMo-2-32B +42.3)但对最强基线领先不升;随机掩码仅 +10.3/+4.3,证明增益来自权重选择。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 指令性谎言(LIARS' BENCH,537 个欺骗项) | 诚实率 honest rate(%,越高越好) | 84.9%(五模型平均,三采样种子,GPT-5.6 评分) | 最强基线 78.7%(单层 CAA);诚实提示 77.4%;未编辑 63.0% | +6.2 个百分点;Phi-4-mini 上 +8.2,3/5 模型区间显著为正 |
| 指令性谎言(AI Liar,1012 个通用知识问题) | 诚实率(%,关键词评分) | 79.4% | 最强基线 74.8%;诚实提示 53.8%;未编辑 53.8% | +4.6 个百分点;Phi-4-mini 上 +10.0 |
| 指令性性别歧视(116 个保留测试项,五个模型) | 性别歧视回答率(%,越低越好,Qwen2.5-32B 判官) | 24.3%;叠加公平提示后 11.9% | 公平提示 30.2%;CAA 50.9%;集合差无可用配置;未编辑 57.9% | 较最强独立方法低 5.9 个百分点;叠加后较提示低 4.3-32.8 个百分点 |
| 跨格式迁移(7 种格式构建,留出单轮格式评测) | 诚实率(%) | 平均 95.8%,最差单元格 87.9%,构建格式敏感性 ≤4.1 分 | CAA 平均 83.4%,最差 54.8%,Llama 上敏感性 29.5 分 | +12.4 个百分点;最差单元格 +33.1 个百分点 |
| 检索文档注入的说谎指令(400 个新真假陈述) | 相对预定义比较器的诚实率领先(百分点) | +7.2(95% CI [5.3, 9.1]) | 逐模型预定义比较器(LIARS' BENCH 验证半上的最强其他方法) | 四个模型的置信区间显著为正 |
局限与改进
作者承认:实验只覆盖指令性谎言与性别歧视,对其他目标的效力待验证;跨语言与多轮迁移不一致;抗『被命令说谎』不等于整体诚实性提升(利益驱动型说谎不受影响);部分编辑波及合法虚构请求、无害风格服从与通用能力;方法假设攻击者无法修改已部署权重;性能依赖构建提示与验证选择,各方法搜索预算不同;比较只覆盖免训练干预、不含微调。我的补充观察:其一,25 提示掩码方差不小——两个不相交 25-prompt 集的信息权重仅重叠 49-58%,随机 25 提示在 Llama 验证半只得 84-90%(手工集 93%),小样本掩码依赖模型级调参;其二,验证协议很重(每模型约 30 配置、约 400 项验证评测、约 22000 次回复);其三,自动判官有可测偏差——GPT-5.6 对 CAA 与诚实提示的评分比人类高 25-28 分(对本方法无偏),早期关键词判官曾偏向掩码约 30 分;其四,只测 ≤32B 开源模型,OLMo-2-7B 上编辑近乎惰性,Qwen2.5-14B 的 AI Liar 上 lie-instruction 掩码反超 16 分;其五,方法防御『服从命令』而非『欺骗意图』,对隐性操纵(说服、框架效应)无能为力。
独立分析的弱点
1) 选择性不足是最大弱点:IFEval 平均降 6.2 分,Llama 无害风格服从测试集从 95.8% 掉到 79.2%,四个模型对 150 个合法虚构请求的服从降 8-29 分。改进:把 MMLU/风格检查纳入验证门槛——加入 MMLU ≤5 分检查后平均领先反升到 +9.9 分;并用区分合法与非法虚假陈述的对照集参与掩码构建。2) 多轮失效:Phi(66.2% vs 68.0%)与 Falcon(51.3% vs 58.4%)变差;恢复型掩码与主掩码合并后 Phi 多轮升至 62.3%,提示可联合编辑读指令与一致性维持权重。3) 跨语言泛化:西语/中文指令下 Qwen2.5-3B 与 OLMo-2-1B 被提示或转向反超 3-9 分,宜引入多语言提示对。4) 小样本掩码不稳:两个 25-prompt 掩码信息权重仅 49-58% 重合;校准 200 对掩码 MMLU 代价减半但诚实率混合。5) 理论保证薄弱:$B_i(T)\le rB_i(F)$ 只在固定输入、只编辑正分权重时成立,跨层传播($\Delta X W'^\top$ 项)会破坏它。6) 大模型上比较优势缩小:诚实提示在 OLMo-2-7B/13B/32B 反超 9-17 分,编辑宜定位为提示不可信场景专用。
未来方向
作者提出:扩展到更多行为目标;验证选择中纳入更丰富的参照提示与更广能力检查;改进多轮与跨语言迁移;提升选择性。基于成果可延伸:(1) 机制解释——为何增益集中在前半层?为何 Llama 的性别歧视掩码(r=0.6, α=-1.25,从未用说谎提示构建)还能把诚实率从 37.9% 提到 74.7%?可用电路级分析定位『指令服从回路』,解释与 CreativityNeuro(效应在晚层)的深度差异——作者猜测内容决策类行为在中层形成,输出分布类行为由靠近 unembedding 的层主导;(2) 把局部扰动界推广为跨层复合界,给出『编辑预算-行为改变』的定量预测;(3) 自动化参照集构造:用模型自生成的多样改写生成 T 集,降低人工成本;(4) 与等数据量微调(DPO/LoRA)在同一验证协议下对比,回答『免训练到底省了什么』;(5) 扩展防御对象到越狱、间接提示注入、危险能力的定向抵抗;(6) 研究组合式安全栈的边际收益——掩码+提示已证明可叠加(11.9%),可进一步测试掩码+拒绝训练+输出过滤;(7) 部署形态:把掩码作为『安全补丁』差分发布,研究跨微调检查点的掩码迁移。
复现评估
复现条件相当好。代码、全部结果文件与自建提示集(附录 C/H 的 25 问题集、7 格式套件)均已发布;基准全部公开(LIARS' BENCH 为 CC BY 4.0、AI Liar 为 BSD-3、MMLU/WMDP 为 MIT);所有实验模型都是开源权重。算力门槛低:单张 A100-40GB 或 A6000-48GB 即可,8B 模型建掩码不到 2 分钟,单臂跑完 LIARS' BENCH 约 10 分钟;主表与进一步任务约 120 GPU 时(含评分),格式研究约 25 GPU 时。附录 Q 诚实记录了五个踩坑:关键词判官曾偏袒掩码约 30 分、朴素激活差值使困惑度暴涨至 14.5 万倍、布尔掩码每权重一字节耗尽 6.5GB 内存、左 padding 静默错位激活、验证半与手工提示集选择重叠——对复现者非常友好。难点:(1) 完整复刻超参选择需每模型约 30 配置×约 400 验证项(约 22000 次回复)与门槛检查代码;(2) 评分依赖 GPT-5.6、Qwen2.5-7B(审计 κ=0.83)与 Qwen2.5-32B 判官,API 成本与判官版本会影响数字;(3) 采样种子波动不小(部分单种子领先区间含零),应按论文的种子池化协议解读。总体属『中等偏低难度、结果可信』的复现目标。
论文图表
