ASGuard：通过激活缩放防御机制精准抑制针对性越狱攻击 ASGuard: Activation-Scaling Guard to Mitigate Targeted Jailbreaking Attack
基于电路分析定位时态越狱相关的脆弱注意力头，再用通道级缩放+防御性微调外科手术式修补 LLM 对时态/GCG/LogiBreak 越狱的漏洞。
前置知识
Transformer 电路分析 (Circuit Analysis)
将 Transformer 的内部计算建模为有向无环图 G=(N,E)，其中节点 N 包含输入嵌入、每层多头注意力的各个 head A_{l,j}、MLP 模块 M_l，以及输出 logits；边 E 表示残差流上的信息传递方向。通过 EAP-IG（edge attribution patching with integrated gradients）等方法对每条边的因果重要性打分，再用 top-n 选择稀疏化得到解释某个特定行为的子图（circuit）。
本文的核心方法是先用电路分析定位具体哪些 attention head 在时态越狱成功时被异常激活，没有这一步就无法做到外科手术式的修补。
EAP-IG（带积分梯度的边归因补丁）
在 clean run z 与 corrupted run z' 之间沿直线用 Riemann 和（m 步，默认 m=100）做积分梯度近似，对残差流输入求 KL 散度的梯度并乘以输入差 Δz_u，得到每条边的因果分数 score(u→v)=Δz_u · (1/m) Σ_k ∂L(z'+m(z_k−z'))/∂(input of v)。分数越高的边表示对当前任务越关键。
作者在四个 7-9B 模型上用 EAP-IG 找出十几到几十个仅在「False-to-True」电路中出现的 head，作为后续所有干预的手术靶点。
激活缩放 (Activation Scaling)
对多头注意力第 j 个 head 的输出 H_{l,j} ∈ R^{T×d_head} 逐通道乘以可学习向量 s_j ∈ R^{d_head}，得到 H'_{l,j}=H_{l,j} ⊙ s_j。等价于把 s_j 吸收进输出投影矩阵 diag(s_j)W^O_k，推理无额外开销。缩放相比直接置零（ablation）更温和，因为它只调整通道幅度而非完全抹除 head。
ASGuard 的「Identify-then-Scale」步骤把缩放参数当作唯一可训练参数（甚至比 LoRA 更轻量），在不更新基础权重的条件下把越狱 ASR 降低最多 29%。
防御性微调 (Preventative Fine-Tuning)
Chen et al. (2025) 的「Preventative Steering」思路的迁移：在微调阶段临时冻结缩放向量并加入前向计算，使模型处于「残障状态」学习拒绝行为；收敛后把缩放向量拆掉，只保留更新后的 θ'。这是一种隐式正则化，迫使优化器寻找不依赖脆弱路径的替代拒绝机制。
它是 ASGuard 比「Only Scaling」更鲁棒的关键步骤——在 Gemma2 上 Only Scaling 把 MMLU 从 72.2 砸到 50.3，而完整 ASGuard 保持 72.2。
时态越狱 (Tense Jailbreaking)
Andriushchenko & Flammarion (2025) 提出的语义类越狱：仅把请求从现在时改成过去时（如「How to make a Molotov cocktail?」→「How did people make a Molotov cocktail?」）就能绕过 SoTA LLM 的安全护栏，因为模型把过去时请求误解为无害的历史查询。
它是本文要修补的精准目标，ASGuard 把 Llama3.1 上的 ASR 从 42% 压到 8%，同时不影响 MMLU 与一般安全性。
过拒绝 (Over-Refusal) 与灾难性遗忘
Over-refusal 指模型对良性提示（如 OR-Bench-Hard 中的边缘问题）也拒绝回答；catastrophic forgetting 指微调后通用知识能力（如 MMLU）大幅下降。本文用 OR-Bench-Toxic/Hard 与 MMLU 联合刻画 Pareto 前沿。
这是评估安全防御是否真正「实用」的关键维度——单纯把 ASR 压到 0% 但 OR-Bench-Hard 飙到 84.8% 反而让模型变成废物。
研究动机
现有 LLM 安全对齐（SFT/DPO/RLHF）主要在「输出分布」层面学习拒绝，对语义保持的微小语言学改写普遍缺乏鲁棒性。Andriushchenko & Flammarion (2025) 提出的「时态越狱」是典型代表：仅把请求从现在时改为过去时（如「How to make a Molotov cocktail?」→「How did people make a Molotov cocktail?」），开源与商用 SoTA LLM 的攻击成功率（ASR）即可飙升至 38%–51%（Llama-3.1-8B 42%、Qwen2.5-7B 51%、Gemma-2-9B 38%、OLMo-2-7B 28%）。作者认为根源是当前对齐方法「教模型拒绝什么内容」却没「教它理解为何有害」——模型把过去时请求误读为历史性询问，于是语义泛化失败。OpenAI/Anthropic 2025 联合评估也证实前沿模型仍普遍存在 sycophancy、越狱敏感等关键问题。仅靠输入后处理（对抗训练、SmoothLLM）或粗粒度 RLHF 修补又会带来「过度拒绝」与「灾难性遗忘」——如表 1 中 SFT(30/70) 把 Qwen2.5 的 ASR 降到 0% 却让 OR-Bench-Hard 飙升到 98.5%，Gemma2 的 SFT(5/95) 把 MMLU 从 72.2 砸到 43.1，几乎摧毁模型。
本文的目标是提出一种名为 ASGuard（Activation-Scaling Guard）的可解释、对齐精准的 LLM 安全加固框架，专门针对「针对性越狱」（targeted jailbreaking，特别是时态改写）做外科手术式修补。具体目标有三个：(1) 用电路分析在四个 7–9B 开源 LLM 上因果定位「时态脆弱注意力头」；(2) 用比 LoRA 还轻量的通道级缩放向量校准脆弱头的激活，将时态越狱 ASR 显著压低，同时保留通用能力；(3) 引入「防御性微调」，让模型在临时被削弱的脆弱路径下学习更鲁棒的拒绝机制，缩放向量在训练结束后被移除，最终模型只保留更新后的权重。
与已有工作不同的是，现有两条主流路径各有硬伤：(a) SFT/DPO/RLHF 等训练型防御作用在全参数空间上，副作用大且难以定位根因，无法解释「为什么过去时就能绕过」；(b) Representation Engineering、Representation Bending、Circuit Breaker 等表征干预虽然也利用模型内部信号，但要么作用在 last-token 全残差流（粗糙），要么通过 LoRA 重新映射整个隐藏空间（仍然广覆盖）。本文的独特切入角度是：基于「核心安全功能高度局部化、往往存在于少量特定 attention head 中」这一近期可解释性发现（Zhou et al. 2025 的 Sahara 工作也佐证），把电路分析从「事后归因」升级为「事中防御」，仅针对「时态相关电路」中的 head 做细粒度干预，并用防御性微调让模型学会绕开脆弱路径，从而在不牺牲通用能力的前提下根治针对性越狱。
核心方法
ASGuard 的整体思路是「先定位、后校准、再固化」三步走，灵感来自机制可解释性中的 transformer 电路分析。直觉上，安全拒绝机制虽然在分布层面学得，但底层是少数 attention head 在做「判断—传播—执行」三件事；时态越狱之所以得逞，是因为上游的「时态特征提取 head」把过去时误识别成无害信号，绕过了下游拒绝 head 的触发逻辑。ASGuard 第一步用 EAP-IG 在「False-to-True」（过去时成功越狱、现在时正确拒绝）与「Always-False」（两种时态都拒绝）两类数据上分别构建电路，并通过差集挑出仅在越狱成功电路中显著活跃的「时态脆弱 head」，每个模型大约能定位出 7–11 个这样的 head。第二步为每个脆弱 head 学一个 d_head 维的通道级缩放向量 s_j，让模型在固定基础权重 θ 的前提下把脆弱 head 的输出重塑成「即便识别为过去时也走拒绝分支」的形态；这一步只动 O(7·d_head) ≈ 几千参数，比 LoRA 更轻量，且 s_j 可被合并进 W^O 矩阵实现零推理开销。第三步是「防御性微调」：在缩放向量临时冻结并参与前向传播的条件下，用拒绝数据集微调整个 θ，迫使模型在「残障」状态下学到不依赖脆弱路径的拒绝机制；训练收敛后把缩放向量拆掉，模型以新权重 θ' 单独部署，从根本上消除了对脆弱路径的依赖。
核心创新在于把「电路分析」从纯分析工具升级为「精准防御武器」，并引入「防御性微调」作为整合机制。具体来说，相比 Sahara（Zhou et al. 2025）只找「通用安全 head」并对小模型易崩溃、相比 RepBend 在整个残差流做激活弯曲、相比 Circuit Breaker 用 LoRA 把有害表征整段映射走——ASGuard 的本质区别是：(1) 仅攻击「False-to-True」电路中独有的 head，过滤掉了「Always-False」共有的通用安全头，避免误伤；(2) 用通道级缩放（per-channel scaling）而非粗暴置零，保留 head 的部分信息流；(3) 在微调期间把缩放向量作为「假肢」维持安全，让 θ 学到绕开脆弱路径的 robust 拒绝回路，然后「拆假肢」——这一步是 ASGuard 把 Gemma2 上 Only Scaling 的 MMLU 50.3 拉回 72.2 的关键。整个方法本质上把安全对齐从「输出分布优化」变成「内部因果结构重布线」。
方法步骤详情
完整流程分三步，配套严格的数据与超参设置。Step 1（构建脆弱电路）：从 JBB-Behaviors 抽 100 条越狱提示，每条用 gpt-3.5-turbo 自动改写为 20 个过去时变体，用 GPT-4.1 作为语义裁判（参考 Andriushchenko & Flammarion 2025 的 1–10 分制，阈值 10），筛出 False-to-True 配对（过去时越狱成功、现在时拒绝）与 Always-False 配对（两种时态都拒绝）；每个模型再各采 5 种固有拒绝语作为答案尾部。对每个配对，past-tense prompt+有害回答作 clean run，present-tense prompt+拒绝回答作 corrupted run，用 EAP-IG（m=100 步）跑电路，再以阈值 τ∈[0.1,0.03] 简化并剪除孤立节点；最后差集得「仅在 False-to-True 电路」中出现的注意力头，列入 Table 3。Step 2（通道级缩放，对应 L_scale）：把 Step 1 得到的 H_vuln 中每个 head 配一个可学习 s_j∈R^{d_head}，冻结 θ，仅优化 s_j，目标是最小化交叉熵 L_scale(θ,{s_j})=−E_{(x,y_safe)∈D_jailbreak} log P(y_safe|x;θ,{s_j})；4 个模型的学习率 5e-2（Qwen2.5/Gemma2/Llama3.1/OLMo2 略有不同），3–9 epoch；这一步 Llama3.1 的 ASR 从 42% 降到 13%。Step 3（防御性微调，对应 L_PFT）：保留训练好的 s_j 不更新，把它们当作模型的前置组件，用拒绝数据集 D_refusal 微调 θ 至 θ'，损失 L_PFT(θ,{s_j})=−E_{(x,y_refusal)∈D_refusal} log P(y_refusal|x;θ,{s_j})；训练结束后 s_j 全部拆掉，仅 θ' 部署；这一步是 Llama3.1 最终 ASR 8%、R-Score 71.8、Overall 52.9 的关键。最终模型推理时无任何额外模块，可与原模型无缝互换。
技术新颖性
技术新颖性体现在三个层面。第一，定位机制的精细化：把电路分析从「识别机制」升级为「识别脆弱机制」，通过差集过滤避免通用安全头被误操作，这在以往安全对齐文献中并不常见；附录 A.3 的随机 head 控制实验表明，对电路外随机 10 个 head 做相同流程，Random Scaling 只能把 ASR 从 42 降到 25（vs. ASGuard 8），Random PFT 虽降到 5 但 OR-Bench-Hard 从 28.9 飙到 89.0（vs. ASGuard 66.8），证明性能并非「随便挑几个 head 都能出」。第二，干预粒度：channel-wise 缩放只动每个 head d_head 维的连续幅度，比置零更温和，可吸收进 W^O 矩阵实现零推理开销；这种 per-channel 干预思路在 Lee et al. 2025（SEAL）已被验证有效，本文首次把它扩展到安全对齐。第三，训练范式：「Preventative Fine-Tuning」是 Chen et al. 2025「Preventative Steering」的微调版本，临时把缩放向量当假肢让模型学更鲁棒的拒绝，然后拆掉——这种「训练期间加约束、训练后撤约束」的隐式正则化思想在 LLM 安全防御中尚属首次系统化。所有实验在 2×NVIDIA H100(80GB) 上用 FSDP 完成，源代码与数据集已在 https://github.com/dmis-lab/ASGuard 开源。
实验结果
ASGuard 在四个 7–9B 模型、三个越狱基准上同时实现了「安全降 ASR、效用不降、过拒绝可控」的 Pareto 前沿，是目前少有的能跨模型一致奏效的针对性越狱防御。核心数字：(1) 时态越狱主结果（Table 1）：Llama-3.1-8B ASR 42%→8%（相对降 34pp）、OR-Bench-Hard 28.9→66.8、MMLU 68.2→68.2 完全保持、R-Score 71.8、Overall 52.9（最高）；Qwen2.5-7B ASR 51%→8%（降 43pp）、MMLU 74.2→74.0、R-Score 74.6、Overall 58.8（最高）；Gemma-2-9B ASR 38%→19%（降 19pp）、MMLU 72.2→72.2 完全保持、R-Score 70.1、Overall 44.6；OLMo-2-7B ASR 28%→9%（降 19pp）、MMLU 60.5→60.6 完全保持、R-Score 73.7（最高）、Overall 46.3（最高）。(2) Out-of-domain 泛化（Table 2）：同一 Llama-3.1 ASGuard 模型在 GCG 上 ASR 15%→1%（R-Score 76.0、Overall 45.0 均最高），在 LogiBreak 上 ASR 30%→13%（R-Score 74.7、Overall 45.8 均最高），而 SFT(30/70) 与 RepBend 的 R-Score 因 OR-Bench-Toxic 大跌被截断为 0，说明 ASGuard 修补具有跨攻击类型迁移能力。(3) 与基线对比：单纯 Head Ablation 仅把 ASR 降 4–13%（Llama3.1 42→29），随机 head ablation 仅降 1–2%，证明脆弱 head 是真实因果而非假相关；CB（Llama3.1）把 ASR 干到 0% 但 R-Score 暴跌到 30.6，OR-Bench-Hard 从 28.9 飙到 84.8，呈典型「过度安全」失败；SFT(30/70) 在 Qwen2.5 上 ASR=0% 但 OR-Bench-Hard 98.5% 几乎不可用；Only Scaling（Gemma2）虽然 ASR 26% 尚可但 MMLU 从 72.2 砸到 50.3，证明单步缩放不够，必须配合 PFT。(4) 机制验证（Figure 3）：在 Llama3.1 上对脆弱 head 做线性探针，L13H25 分类精度 76.56%、L10H25 73.44%，远高于随机水平；点积分布图显示过去时/现在时聚类清晰可分，证实这些 head 的确在做时态特征提取。ASGuard 后 L10H19 精度从 71.88% 升到 73.44%，说明微调并未抹除而是「专门化」了时态检测功能。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 时态越狱 (Past Tense Jailbreaking, JBB-Behaviors 改写) | Attack Success Rate (ASR, ↓) | Llama3.1: 8%; Qwen2.5: 8%; Gemma2: 19%; OLMo2: 9% | Llama3.1 基线 42%, Qwen2.5 51%, Gemma2 38%, OLMo2 28%; SFT(30/70) 在 Llama3.1/Qwen2.5/Gemma2/OLMo2 分别 3/0/0/8%; Circuit Breaker 在 Llama3.1 0% 但 OR-Bench-Hard 84.8 | 相对降幅 Llama3.1 34pp、Qwen2.5 43pp、Gemma2 19pp、OLMo2 19pp；为各模型唯一同时实现 MMLU 完全保持且 R-Score ≥70.1 的方法 |
| GCG 越狱 (Llama-3.1-8B-Instruct) | ASR (↓) / R-Score (↑) / Overall (↑) | ASR 1%, R-Score 76.0, Overall 45.0 | 基线 ASR 15%; SFT(30/70) ASR 2% 但 R-Score 仅 13.8、Overall 13.4; RepBend ASR 5% R-Score 73.3 Overall 41.7 | ASR 从 15% 降到 1%（-14pp，相对降 93%），且 R-Score 与 Overall 均为所有方法最高 |
| LogiBreak 逻辑越狱 (Llama-3.1-8B-Instruct) | ASR (↓) / R-Score (↑) / Overall (↑) | ASR 13%, R-Score 74.7, Overall 45.8 | 基线 ASR 30%; SFT(30/70) ASR 0% 但 OR-Bench-Toxic 从 88.5 跌到 59.3、R-Score 被截断为 0; RepBend ASR 13% 但同样 R-Score=0 | 唯一在 LogiBreak 上把 ASR 降到个位数中段且保住 R-Score>70 的方法，相对降幅 17pp |
| 过拒绝鲁棒性 (OR-Bench-Hard-1K, ↓) | OR-Bench-Hard 分数 (↓) | Llama3.1: 66.8; Qwen2.5: 70.5; Gemma2: 88.0; OLMo2: 69.2 | 基线 Llama3.1 28.9, Qwen2.5 12.9, Gemma2 70.5, OLMo2 43.5；SFT(30/70) 在 Qwen2.5 飙到 98.5、Gemma2 94.9 | ASGuard 各模型 OR-Bench-Hard 都控制在 88 以下，远优于 SFT 的灾难性过拒绝；说明在防御与实用性之间达成 Pareto 占优 |
| 通用能力保留 (MMLU, ↑) | MMLU 准确率 (↑) | Llama3.1: 68.2 (与基线持平); Qwen2.5: 74.0 (基线 74.2); Gemma2: 72.2 (完全持平); OLMo2: 60.6 (基线 60.5) | SFT(5/95) 在 Gemma2 上把 MMLU 砸到 43.1（-29.1pp）; Only Scaling 在 Gemma2 把 MMLU 砸到 50.3（-21.9pp） | ASGuard 几乎零损失地保留通用知识，避免了 SFT 类方法最常见的灾难性遗忘 |
| 通用安全 (OR-Bench-Toxic, ↑) | OR-Bench-Toxic 分数 (↑) | Llama3.1: 96.4; Qwen2.5: 98.0; Gemma2: 99.0; OLMo2: 97.5 | 基线 88.5/79.5/96.7/92.5；SFT/RepBend 类方法在 LogiBreak 上 OR-Bench-Toxic 跌到 59.3/68.7 | ASGuard 在四个模型上 OR-Bench-Toxic 全部高于基线 4–18.5pp，证明防御并未降低一般安全 |
局限与改进
作者在第 7 节坦白承认三个局限。(1) 方法依赖「可定位的因果电路」：对组合性更强、跨多个电路交互的攻击（如复杂的多轮语义伪装）需要更深层分析。(2) 架构敏感：实验显示对蒸馏模型（Qwen2.5 报告自己有蒸馏）、MoE 路由、或在合成数据上预训练的模型，因内部计算差异大，缩放向量可能不易迁移；附录 A.5.1 提到 Qwen2.5/Gemma2 的线性探针结果与 Llama3.1 不完全一致。(3) 小模型脆弱：Phi-3-mini 等小模型对 attention head 干预过于敏感（Park et al. 2025 与 O'Brien et al. 2025 也观察到类似现象），需要更细致的策略。本人观察到的额外限制包括：a) Judge 模型 GPT-4.1 自身的偏好可能影响 ASR 数值；b) 仅评估四种开源 7–9B 模型，对 GPT-4/Claude 等闭源商用模型的可迁移性未知；c) 电路分析本身需要 clean/corrupted 配对数据，对未见过的攻击类型需要重新跑 EAP-IG，难以做到「一次分析终身使用」；d) 防御性微调阶段的超参（学习率、epoch、缩放向量强度）对不同模型差异较大（附录 A.2.2 显示 Llama3.1 用 lr 9e-2+9e-6、Qwen2.5 用 1e-1+1.5e-5、Gemma2 用 9e-2+7e-6、OLMo2 用 1e-1+1.5e-5），缺乏自动调参策略；e) 仅在英文场景验证，时态在其他语言中的形态变化更复杂（中文无形态变化、阿拉伯语有更丰富的时态体系），跨语言泛化未测试。
独立分析的弱点
(1) 数据生成成本与稳定性：每条提示用 gpt-3.5-turbo 自动改写 20 个过去时变体 + GPT-4.1 当裁判，整套流程对 API 稳定性、成本与速率敏感；改进方向是换成开源模型（如 Llama-3.1-70B）做裁判以降低成本，并设计语义等价性自动校验。(2) 评估指标 R-Score 的对称性假设：公式 R = (1/3)[(Toxic−Toxic_base)/(100−Toxic_base) + 1 − (Hard−Hard_base)/(100−Hard_base) + 1 − |MMLU−MMLU_base|/MMLU_base] 默认每个指标有同等的「headroom」，但对超安全模型（如 Gemma2 基线 OR-Bench-Toxic 已 96.7）提升空间极小，会低估其增益；改进方向是按模型基线水平自适应调整权重。(3) 电路发现的稀疏性假设：用 top-n=5000 边 + 阈值 τ∈[0.1,0.03] 简化电路，可能漏掉长程关键连接或过度保留冗余节点；改进方向是引入更精细的 faithfulness 验证（如消融保留度评估）和自动 τ 搜索。(4) 防御性微调的数据集选择：附录未详述 D_refusal 的具体构造，仅说「refusal dataset」，若混入对抗样本不足，可能在遇到新攻击模式时仍脆弱；改进方向是用多攻击模板（时态+GCG+LogiBreak+角色扮演）联合构造 D_refusal。(5) 单次部署后无法继续更新：拆掉缩放向量后若发现新漏洞需要重跑整个流程；改进方向是保留缩放向量作为「安全开关」，支持热插拔。
未来方向
作者明确给出的方向是「architecture-aware 机制防御工具」，需要针对 MoE、蒸馏模型、小模型设计定制化干预。本人基于论文成果可延伸的方向至少包括：(a) 跨语言时态越狱防御——探索中文（无形态变化，靠「了」「曾」等副词表达过去）、日语（た形）、阿拉伯语（完整时态变位）下的对应脆弱 head 是否同样可定位；(b) 自动化电路发现与防御一体化——用 LLMs 自动生成 tense 变体（替代 gpt-3.5-turbo）并构建自反馈回路；(c) 把 ASGuard 思路迁移到其他「语义保持型」越狱——LogiBreak、SemanticCamo、Wolf-in-Sheep's-Clothing 等；(d) 把通道级缩放扩展到 SAE（sparse autoencoder）特征层面，结合 O'Brien et al. 2025 的 SAE 拒绝方向控制，做到「特征级」修补；(e) 与持续学习结合，在模型部署后实时监测新攻击模式并自动触发电路重分析；(f) 探索防御性微调在 RLHF 阶段的等价物，让对齐训练本身就在「残障」状态下完成，从源头减少脆弱头形成。
复现评估
复现门槛中等偏低，论文在 Reproducibility 与附录 A.2 给了相对完整的细节。(1) 代码与数据：GitHub 仓库 https://github.com/dmis-lab/ASGuard 已公开，提供 scaling 与 preventative fine-tuning 的关键代码与数据生成说明。(2) 计算资源：所有训练与推理在 2×NVIDIA H100(80GB) 上完成，FSDP 用于微调，单次完整实验估计几十到几百 GPU 小时；纯激活缩放步骤极轻量（仅优化 O(7·d_head) ≈ 14k 参数），可在单卡 24GB 上跑。(3) 数据集：JBB-Behaviors（100 条）+ OpenHermes-2.5（普通对话）+ HarmBench（GCG 测试）+ ultrachat 200k（RepBend retain）均公开，gpt-3.5-turbo 与 GPT-4.1 API 调用脚本可复现。(4) 超参：附录 A.2.2 列出了 SFT、DPO、RepE、CB、RepBend 与 ASGuard 的逐模型超参；超参差异较大（学习率从 5e-6 到 9e-2、epoch 1 到 9），需要细致调参。(5) 评估：使用 lm-eval 跑 MMLU，GPT-4.1 当 ASR 裁判，judge prompt 直接给出。(6) 主要难度在于 a) 电路分析需要 transformer-circuits 库与 EAP-IG 实现；b) judge 模型的选择会影响数值（作者已说明使用统一 pipeline 保证方法间公平比较，但绝对数值与原 paper 可能不同）；c) 不同 GPU/批次下 FSDP 微调的随机性需要多次 run 取平均。整体而言，研究者按照仓库 + 附录即可基本复现主要数字。
论文图表