MAAT：多阶段适配器感知的目标遗忘

首个能同时有效遗忘和保留因果知识的三阶段 LoRA 遗忘框架

前置知识

机器遗忘

机器遗忘是一种从已经训练好的模型中移除特定知识的技术，而不需要从头重新训练模型。它通过修改模型参数或表示来删除目标知识，同时尽可能保留其他知识。遗忘成功意味着模型不再能够正确回答目标问题，而保留成功意味着模型仍能正确回答其他问题。评估通常使用 Forget Success Rate (FSR) 和 Retain Success Rate (RSR) 两个指标。

本文的核心主题是机器遗忘，理解这个概念是理解 MAAT 框架的目标和评估指标的基础。

LoRA 适配器

LoRA (Low-Rank Adaptation) 是一种参数高效微调方法，通过在预训练模型的每个线性层添加低秩矩阵 A 和 B 来实现适应。原始权重冻结，只训练 A 和 B，推理时将 W + BA 作为实际权重。LoRA 将模型更新限制在低秩子空间，大大减少了可训练参数数量。对于 d 乘 d 的权重矩阵，LoRA 只需要训练 d 乘 r 加 r 乘 d 等于 2dr 个参数，其中 r 远小于 d。

MAAT 直接在 LoRA 适配器权重上操作，利用其低秩结构进行精确的遗忘操作，这是理解 MAAT 方法的技术前提。

梯度投影

梯度投影是一种优化技术，将梯度向量投影到某个约束子空间中，确保更新方向满足特定条件。在遗忘场景中，当遗忘梯度 gf 与保留梯度 gr 存在冲突时，即内积 gf 乘 gr 大于零，将 gf 投影到 gr 的正交补空间，公式为 g⊥f 等于 gf 减去 gf 乘 gr 除以 gr 的范数平方加 epsilon 乘以 gr。这样只移除会损害保留知识的梯度分量，保留不冲突的更新方向。

这是 MAAT 第一阶段的核心技术，用于解决传统梯度上升方法中遗忘和保留之间的冲突问题。

SVD 分解

奇异值分解将矩阵 A 分解为 A 等于 U Σ V 的转置，其中 U 和 V 是正交矩阵，Σ 是对角矩阵，对角元素为奇异值 σ₁ 大于等于 σ₂ 大于等于 ... 大于等于 σᵣ 大于零。奇异值的大小反映了对应秩维度在矩阵表示中的重要性。在 LoRA 场景中，B 的奇异值分解可以识别哪些秩维度承载了最重要的知识表示，从而指导选择性遗忘。

MAAT 第二阶段使用 SVD 评分来识别和修剪与遗忘集最相关的秩维度，这是实现精准遗忘的关键技术。

任务向量

任务向量是模型在某个任务上学习到的参数变化，计算为 τ 等于 θ_ft 减去 θ_base，其中 θ_ft 是微调后的权重，θ_base 是基础模型权重。任务向量捕获了模型在特定任务上的知识增量。任务向量减法是通过 θ_new 等于 θ 减去 α 乘 τ 来反向这个增量，相当于取消任务学习效果。完整任务向量减法会移除所有通过适配器学到的知识。

MAAT 第二阶段的任务向量负向操作，但它只针对遗忘评分最高的秩维度进行减法，而不是完整的任务向量，这是 MAAT 的创新点。

KL 散度

KL 散度衡量两个概率分布之间的差异，定义为 KL(p 平行于 q) 等于求和 p(x) 乘以 log(p(x) 除以 q(x))。在遗忘中，KL 散度常作为正则化项，约束遗忘后的模型输出分布 p_W 接近原始模型分布 p_ref。公式项 λ 乘以 KL(p_W 平行于 p_ref) 惩罚偏离原始模型的输出，防止遗忘过程过度破坏模型的整体行为。其中 λ 控制保留锚定的强度。

MAAT 在多个阶段使用 KL 散度作为约束，确保遗忘操作不会过度偏离模型的原有知识表示。

研究动机

现有机器遗忘基准存在严重的结构性盲点：因果知识（Why-type questions）的覆盖率极低。具体数据显示，Why-type 问题在 CounterFact 中仅占 0.06%，ZSRE 中占 0.6%，TOFU 中占 1.2%，MUSE 中占 0.5%，WMDP-Cyber 中占 1.2%。这意味着现有基准几乎不评估模型对因果和关系链知识的遗忘能力。Why-type 问题不仅数量少，而且性质上更难遗忘：答案平均长度为 40.1 tokens（其他类别仅 4.2-10.5 tokens），44% 涉及多跳推理链（其他类别小于等于 2%）。这种复杂性导致严重的梯度稀释问题：在长 token 跨度上没有主导方向来形成有效的遗忘信号。因此，任何在因果知识上失败的方法都可以在聚合指标上获得高分，而这种失败在现有评估框架下是统计学上不可检测的。

本文的目标是本文有两个核心目标：一是构建一个平衡的基准测试 5WBENCH，包含 5,000 个样本，每个 5W 类别各 1,000 个例子（Who、What、When、Where、Why），使因果遗忘失败首次可量化；二是提出 MAAT（Multi-phase Adapter-Aware Targeted Unlearning）框架，一个三阶段的 LoRA 适配器遗忘方法，能够在遗忘因果知识的同时保持高保留率，在遗忘-保留帕累托前沿上达到新的操作点。

与已有工作不同的是，本文的独特切入角度是从因果知识难遗忘这一现象出发，系统性地分析了问题的根源（多跳推理链和梯度稀释），并提出了针对适配器权重空间结构的三阶段解决方案。与现有方法不同，MAAT 不是应用统一的梯度压力，而是进行结构化的适配器手术：仅在冲突时进行梯度投影、基于 SVD 的秩维度修剪、任务向量负向操作，以及混合的保留修复。编码分析显示，Why-type 问题在模型的编码分布上与其他类别没有差异，难度在于关系复杂性和梯度稀释，而不是独特的编码足迹。

核心方法

MAAT 是一个三阶段结构化 LoRA 适配器遗忘框架，直接在 LoRA 适配器权重集合 {A_l, B_l} 上操作，基础模型权重保持冻结。第一阶段是梯度投影上升，只在遗忘梯度和保留梯度冲突时进行条件正交投影，避免破坏保留知识。第二阶段分为两个子阶段：2a) 基于 SVD 的 MLP 适配器秩维度修剪，集中遗忘信号到被遗忘集输入激活的秩维度；2b) 任务向量负向操作，只针对遗忘评分最高的 top-kF 个秩维度进行减法。第三阶段是混合的保留修复，使用包含 KL 散度、隐藏状态距离、输出熵和任务向量余弦惩罚的四目标损失函数。这种设计使得 MAAT 能够在有效遗忘的同时最小化对保留知识的损害。

MAAT 的核心创新是将 LoRA 适配器权重视为结构化空间，其中的秩维度可以通过 SVD 显式评分、选择性修剪和负向操作，而不需要构造负样本或完全替换适配器。与完整任务向量减法不同，MAAT 只针对遗忘评分最高的秩维度进行负向操作，实现了精准的子空间遗忘。另一个关键创新是在第三阶段修复损失中加入负熵项（最大化遗忘集预测的熵），防止修复阶段重新学习被遗忘的内容。这些设计使得 MAAT 成为首个能同时在 Why-type 因果知识上达到高遗忘和高保留率的方法。

方法步骤详情

MAAT 的完整流程分为三个阶段。第一阶段（Gradient-Projected Ascent）：对于每个遗忘样本 (q, a)，计算遗忘梯度 gf 等于 +∇L(q, a) 和保留梯度 gr 等于 ∇KL(p_W 平行于 p_Wref)。当 gf 和 gr 冲突（gf 乘 gr 大于 0）时，应用条件正交投影：g⊥f 等于 gf 减去 (gf 乘 gr 除以 gr 的范数平方加 epsilon) 乘以 gr，否则保持 gf 不变。应用学习率 η1 进行 T 步上升。第二阶段分为 2a 和 2b：2a) 对每个 MLP LoRA 对 (A_l, B_l)，通过评分公式 s_k 等于求和 x 属于 D_score^F 的 ∇_B_l L(x) 的列-k 范数对秩维度评分，将评分最高的 top-ρ 比例的秩维度在 A 和 B 矩阵中置零（仅在 down_proj、up_proj、gate_proj 上，排除注意力模块）；2b) 对每个 LoRA B 矩阵，将遗忘评分最高的 top-kF 个秩维度掩码形成遗忘任务向量 τ_l^F，然后执行 B_l 等于 B_l 减去 α 乘 τ_l^F。第三阶段（Hybrid Repair）：在 S 步内最小化修复损失，其中包含 KL 散度、隐藏状态距离、负熵项和任务向量余弦惩罚四个分量，学习率从 η3 余弦衰减到 η_f。

技术新颖性

MAAT 的技术新颖性体现在多个方面。首先，它引入了条件梯度投影，只在冲突时进行投影，这与 AlphaEdit 的零空间约束不同，AlphaEdit 总是将更新投影到保留知识协方差的零空间，而 MAAT 保留不冲突的更新方向。其次，MAAT 的 SVD 秩维度修剪是针对 MLP 适配器的结构化操作，排除注意力模块以避免破坏指令跟随通路。第三，任务向量负向操作只针对遗忘评分最高的秩维度，而不是完整的适配器增量，这与完整任务向量减法有本质区别。第四，修复阶段的负熵项防止重新学习遗忘内容，这是对传统 KL 正则化的重要补充。最后，MAAT 是首个系统性利用 LoRA 低秩结构进行遗忘操作的方法，而现有方法如 LUNE 和 KGA 虽然也使用 LoRA，但没有利用秩维度的可分离性。

**Figure 1**: Overview of MAAT (multi-phase adapter-aware targeted unlearning) architecture.

实验结果

在 5WBENCH 基准上，MAAT 在遗忘-保留帕累托前沿上占据主导地位。在 Llama 3.2-3B 上，MAAT 达到 77.4% FSR / 71.6% RSR；在 Gemma 3-4B 上，达到 64.0% FSR / 61.8% RSR。最清晰的单个对比是与 RO-FT：两种方法在 Llama 3.2-3B 上都达到 77.4% 的平均 FSR，但 MAAT 实现了 71.6% 的 RSR，而 RO-FT 只有 35.2%，在零遗忘成本下提升了 36.4 个百分点的保留率。更重要的是，MAAT 是唯一在 Llama 3.2-3B 上所有五个 5W 类别都同时超过 60% FSR 和 60% RSR 的方法（Who: 83%/72%, When: 79%/77%, What: 82%/71%, Where: 80%/73%, Why: 63%/65%），没有基线在任何单个类别上达到这个阈值。在 Why 类别上，GA 的更高 RSR（78%）不是更好保留的证据，而是遗忘不足的机械产物，在 44% 的 Why-FSR 下，超过一半的目标因果事实仍保留在模型中，所以保留是默认的而不是设计的。MAAT 遗忘了 19 个百分点的更多 Why-type 知识（63% vs 44%），同时只损失了 13 个 RSR 点（65% vs 78%）。

**Table 1**: Label distribution (%) across model editing and unlearning benchmarks.

**Table 3**: Unlearning results on 5WBENCH (Factify; 100 forget + 100 retain per 5W label; 500 total each split).

**Table 4**: Unlearning results on TOFU (forget05/retain95: 200 forget, 3,800 retain).

**Table 7**: Per-category statistics in 5WBENCH (1,000 samples per category split equally into 500 forget and 500 retain; 5,000 total samples).

**Table 2**: Representative sample from 5WBENCH (what-type, forget split).

**Table 11**: Qualitative example of model outputs on a Why-type forget sample.

**Table 12**: Qualitative example of model outputs on a Why-type retain sample.

**Table 5**: ROUGE scores of the fine-tuned LoRA adapter (pre-unlearning) on 5WBENCH forget and retain sets.

**Table 6**: Post-unlearning ROUGE scores per ablation condition (Llama 3.2-3B; 200 samples: 20 forget + 20 retain per label).

**Table 8**: Full hyperparameter settings per model for knowledge implantation (LoRA fine-tuning) and all MAAT phases.

**Table 9**: Encoding analysis results. Low Gini coefficients and small top-3 mass confirm distributed encoding across all 5W categories on both Llama 3.2-3B and Gemma 3-4B.

**Figure 2**: Ablation study on 5WBENCH (Llama 3.2-3B; 200 samples: 20 forget + 20 retain per label).

**Figure 3**: Complete unlearning metric profiles per 5W label for LLaMA 3.2-3B (top row) and Gemma 3-4B (bottom row), across three aggregation metrics.

**Figure 4**: Label-wise harmonic mean (%) per 5W category for Gemma 3-4B (red) and LLaMA 3.2-3B (blue) under MAAT.

查看结构化数据

任务	指标	本文	基线	提升
5WBENCH - Llama 3.2-3B	FSR (%)	77.4	57.4 (GA)	+20.0
5WBENCH - Llama 3.2-3B	RSR (%)	71.6	53.2 (GA)	+18.4
5WBENCH - Gemma 3-4B	FSR (%)	64.0	61.2 (GA)	+2.8
5WBENCH - Gemma 3-4B	RSR (%)	61.8	51.0 (GA)	+10.8
5WBENCH Why - Llama 3.2-3B	FSR (%)	63.0	44.0 (GA)	+19.0
5WBENCH Why - Llama 3.2-3B	RSR (%)	65.0	78.0 (GA)	较低但有效遗忘
TOFU - Llama 3.2-3B	FSR (%)	67.5	68.0 (GA)	相当
TOFU - Llama 3.2-3B	RSR (%)	46.6	32.0 (GA)	+14.6

局限与改进

作者承认的局限性包括：评估协议使用单个 Qwen 2.5-7B LLM 判别器，虽然提供了可重现的语义感知替代方案，但可能与专有判别器或人类评估存在校准差异。5WBENCH 派生自 Factify-5WQA 语料库，该语料库设计用于事实验证而非知识编辑，主语提取管道可能对隐含或代词主语的事实引入噪声。评估覆盖两个模型家族在 3-4B 规模上对 5WBENCH 和 TOFU 的性能，扩展到 7B+ 检查点和额外架构留给未来工作。Llama 3.2-3B 和 Gemma 3-4B 之间的性能差距表明适配器秩可分离性是架构依赖的，Phase 2a 修剪比 ρ 和 Phase 2b 掩码 k_F 的最优超参数可能需要特定于架构的调优。论文仅评估遗忘操作，尽管 5WBENCH 的格式支持插入和修改操作，但这些留给未来工作。此外，编码分析显示所有 5W 类别在各层之间有广泛分布的编码，但 Why-type 难度源于关系复杂性和梯度稀释，而不是独特的编码足迹，这意味着需要更结构化的方法来处理长因果链。

独立分析的弱点

MAAT 的主要弱点之一是架构敏感性。从 Llama 3.2-3B 到 Gemma 3-4B，MAAT 的性能下降了约 13 个 FSR 点和 10 个 RSR 点，这表明适配器秩可分离性依赖于基础架构。Gemma 3-4B 的交错局部/全局注意力模式更分散地分布知识，降低了可分离性，而 Llama 3.2-3B 的适配器秩维度中的遗忘和保留知识更可分离。另一个弱点是超参数复杂性，Phase 2a 的修剪比 ρ 和 Phase 2b 的掩码 k_F 可能需要特定于架构的调优。此外，MAAT 仍然难以处理 When 类别问题，这在两个模型和所有方法上都是最难的，这与短时间锚定答案限制梯度上升有效性的结构一致。对于 Why-type 问题，MAAT 在 Llama 3.2-3B 上达到 63% FSR，虽然显著高于基线（GA 的 44%），但仍有改进空间，表明长因果链的遗忘仍然具有挑战性。

未来方向

作者提出的未来工作方向包括：扩展到 7B+ 检查点和额外架构，以研究适配器秩可分离性的架构依赖性；探索架构感知的适配器秩选择；补充 LLM 判别器评估与对抗性改写探测，以评估遗忘是真实的还是仅仅抑制了逐字回忆；将 5WBENCH 应用于模型编辑评估，包括插入和修改操作，特别是因果知识；研究更复杂的修复策略，专门针对长因果链的梯度稀释问题；开发针对 When 类别问题的专门方法，解决短时间锚定答案的限制。

复现评估

论文提供了相当详细的复现信息。代码将公开可用。实验使用两个公开可用的模型：LLaMA 3.2-3B-Instruct 和 Gemma 3-4B-Instruct，两者都适合单个消费级 GPU（小于等于 24 GB VRAM）。论文提供了完整的超参数配置，包括 LoRA 微调、三个 MAAT 阶段的所有参数。5WBENCH 数据集的构建过程详细描述，样本格式与 EasyEdit 兼容。然而，论文没有提供具体的训练时间、使用的 GPU 型号或计算预算。虽然 FSR 和 RSR 使用单个 Qwen 2.5-7B LLM 判别器进行评估，提供了可重现的替代方案，但判别器的可用性和版本化可能影响跨时间的可复现性。总体而言，论文提供了足够的细节来复现主要结果，但计算资源需求（需要多个 24GB GPU 来运行不同的模型）可能会限制一些研究者的访问。

MAAT：多阶段适配器感知的目标遗忘 MAAT: Multi-phase Adapter-Aware Targeted Unlearning