通过激活修补测量 LLM 去学习的深度 Measuring the Depth of LLM Unlearning via Activation Patching
提出 UDS 指标，用两阶段激活修补因果量化遗忘知识的擦除深度。
前置知识
机器遗忘 (Machine Unlearning)
给定已训练模型、遗忘集 $D_f$ 与保留集 $D_r$，目标是得到一个等同只在 $D_r$ 上训练的模型，并保留通用能力。代表方法有梯度上升、梯度差、NPO、IdkDPO、RMU 等。
这是论文要评估的对象，UDS 衡量的正是这些遗忘方法在内部表示层面到底擦除了多少知识。
激活修补 (Activation Patching)
机制可解释性的因果干预：把源模型某层隐藏状态覆盖到目标模型对应层，再观察输出变化，从而因果判定知识编码在哪一层、是否可恢复。
UDS 的整个方法机制完全建立在两阶段激活修补之上，不理解它就无法理解 UDS 为什么是因果而非观测的。
教师强制 (Teacher Forcing)
自回归模型预测每个 token 时以真实前缀为条件，一次前向就能算出所有位置概率，消除生成噪声，使不同模型概率可直接对比。
UDS 用它来稳定、高效地计算实体 token 的对数概率 $s^{full}_{i,t}$、$s^{S1}_{i,t}$、$s^{S2}_{i,t}$，是逐层可比较的基础。
忠实性与鲁棒性 (Faithfulness & Robustness)
忠实性指指标能否区分见过与没见过遗忘集的模型(用 AUC-ROC)；鲁棒性指指标在量化、重学习等扰动下是否稳定，二者调和平均为 Overall。
论文用这两条标准做元评估(meta-evaluation)，把 UDS 与另外 19 个指标放在同一框架下评判高下。
白盒评估与观测盲区
直接检查模型内部表示或参数(如 CKA、Logit Lens、Fisher)而非输出概率。这类观测性方法易被表示旋转或扭曲误导，误判知识已擦除。
UDS 属于白盒指标，且论文核心论证就在于因果干预如何克服观测性白盒方法的盲区，需与它们对照才能理解创新点。
研究动机
现有 LLM 遗忘评估主要依赖输出级指标(如 ROUGE、Truth Ratio、MIA 系列)，但它们存在根本缺陷：只看模型最终输出。攻击者却可以通过轻量微调(Fan et al., 2025a)或激活操纵(Seyitoğlu et al., 2024; Jang et al., 2026)恢复「看似已擦除」的知识。在 TOFU 等基准上，ROUGE 类指标在重学习(relearning)下极度不稳定，鲁棒性分数 $R$ 仅 0.06–0.20；残留知识只需一轮微调就能让生成能力快速反弹。已有白盒研究(如 Lynch et al. 训练线性探针、Hong et al. 做因果追踪、Guo et al. 定位事实召回回路)虽然揭示了这种残留知识，但它们要么依赖辅助训练(训练探针)，要么绑定特定数据集，没有一个能给出跨数据集通用、可比较的数值分数。如表 1 所示，现有白盒方法无法同时满足 Train-Free、Causal、Data-Inv、Score 四个性质，导致社区无法系统、公平地比较不同遗忘方法的真实效果——许多方法表面通过输出指标，内部知识却几乎完整保留。
本文的目标是本文要构建一个可靠、通用、可复用的遗忘评估指标，目标具体可量化：(1) Train-Free，不依赖任何辅助训练，直接对任意遗忘集使用；(2) Causal，通过主动干预测试知识是否真正可恢复，而非被动观测表示；(3) Data-Invariant，不绑定 TOFU 等特定基准；(4) 输出一个 0–1 的数值分数，0 表示知识完整保留、1 表示擦除到 retain 模型水平，便于跨方法比较与聚合；(5) 在忠实性(AUC-ROC)和鲁棒性(量化+重学习调和平均)两个维度上均优于现有 19 个指标，综合 Overall 分数争取全场第一。
与已有工作不同的是，本文的独特视角是把机制可解释性里的「激活修补」从定性诊断工具升级为可量化的评估指标。以前的工作用激活修补、CKA、Logit Lens 只是为了「发现」残留知识(诊断性)，无人把它做成标准化、跨数据集可比较的分数。更关键的是，作者敏锐指出「观测性」白盒指标会被表示空间的旋转/扭曲欺骗——遗忘方法可能扭曲内部向量空间，使固定解码矩阵读不出知识，造成「已擦除」的假象。UDS 把 patched 隐藏状态交给 $M_{full}$ 的剩余非线性层「主动重对齐」后重新解码，恰恰填补了这一观测盲区。这种因果干预相对观测读出的本质优势，是论文切入点的核心。
核心方法
直觉上，UDS 回答两个问题：(1) 这条知识在 $M_{full}$ 内部「埋得多深」？(2) 遗忘之后还能挖出多少？它借鉴脑科学/可解释性的「病灶研究」思路——在不同层「植入」不同模型的内部状态，看最终预测如何变化，从而因果地定位知识存储位置与可恢复性。技术路线分两阶段。先把遗忘集每个样本拆成「前缀 + 实体片段」，用教师强制一次性前向拿到 $M_{full}$ 在各实体位置的参考对数概率 $s^{full}_{i,t}$。Stage 1 把 $M_{ret}$(只在保留集训练)的隐藏状态按层 patch 进 $M_{full}$，衡量预测退化量 $\Delta S^1_{i,l}$——$\Delta S^1$ 大说明 $M_{full}$ 在该层编码了 $M_{ret}$ 所没有的遗忘知识，由此确定「知识编码层」集合 $KE$(阈值 $\tau=0.05$)。Stage 2 把 $M_{unl}$(遗忘后模型)的隐藏状态 patch 进 $M_{full}$，得到 $\Delta S^2_{i,l}$，再与 Stage 1 做比值聚合。
核心创新是把两阶段修补的退化量做比值——层擦除比 $LER_{i,l}=\text{clip}(\Delta S^2_{i,l}/\Delta S^1_{i,l},0,1)$。它有清晰因果含义：若遗忘真擦除了知识，patch $M_{unl}$ 应和 patch $M_{ret}$ 一样让预测退化，$LER\approx 1$；若知识还在，$M_{full}$ 仍能从 patched 状态解码，$LER\approx 0$。最终 $UDS_i=\frac{\sum_{l\in KE_i}\Delta S^1_{i,l}\cdot LER_{i,l}}{\sum_{l\in KE_i}\Delta S^1_{i,l}}$ 按知识编码量加权。与已有方法最本质区别在因果二字：CKA 只观测表示几何相似度(低相似≠擦除)，Logit Lens 用冻结解码器读出(会被表示旋转欺骗)，而 UDS 主动调用 $M_{full}$ 的后续非线性层重处理 patched 状态来验证知识是否可恢复，这正是它以 AUC 0.971、HM 0.932 全面胜出的根本原因。
方法步骤详情
(1) 数据准备：对遗忘集每个样本 $i$，用 GPT 提取前缀 $x_i$ 与实体片段 $y_i$，只关注实体因模板短语无论是否遗忘都可预测。(2) 教师强制前向：完整序列一次喂入，$M_{full}$ 预测各实体 token 并记录参考对数概率 $s^{full}_{i,t}$。(3) Stage 1 基线：每层 $l$ 把 $M_{ret}$ 残差流 patch 进 $M_{full}$，算退化量 $\Delta S^1_{i,l}=\frac{1}{T_i}\sum_t(s^{full}_{i,t}-s^{S1}_{i,t})$，保留 $\Delta S^1_{i,l}>\tau=0.05$ 的层为 $KE$ 集合。(4) Stage 2 量化：以 $M_{unl}$ 为源重复修补得 $\Delta S^2_{i,l}$。(5) 算每层 $LER$ 并按 $\Delta S^1$ 加权聚合得 $UDS_i$，对样本取平均得模型级 UDS。(6) 工程：Stage 1 只依赖 $M_{ret}/M_{full}$ 可缓存，新模型只需 Stage 2，无自回归生成延迟。
技术新颖性
技术新颖性有三点。第一，「两阶段 + 比值」结构首次把激活修补从定性诊断变成定量分数，且 retain 参考使分数语义统一(1=retain 水平，0=知识完整)。第二，作者提出对称鲁棒性公式 $Q=1-\frac{|m'-m|}{|m'|+|m|}$、$R=1-\frac{|\Delta_{unl}|}{|\Delta_{unl}|+|\Delta_{ret}|}$，纠正了 Dorna et al. 单向公式只惩罚知识恢复、却奖励量化导致的虚假分数下降的问题(例如 ROUGE 在量化后因生成质量下降而分数走低，单向公式会把它误判为「更安全」，图 2 蓝框即此现象)。第三，按知识编码量 $\Delta S^1$ 加权聚合，使分数聚焦真正承载知识的层而非噪声层。如表 1 所示，UDS 是唯一同时满足 Train-Free、Causal、Data-Inv、Score 四性的方法。
实验结果
元评估在 TOFU forget10(1B 模型)上对 8 方法生成 150 个遗忘模型比较 20 指标。(1) 忠实性：UDS 以 AUC-ROC 0.971 居首，超第二名 Truth Ratio(0.947)与最强白盒 Logit Lens(0.927)；CKA(0.648)、Fisher(0.712)分离差，因不直接测知识内容。(2) 鲁棒性：UDS 综合 HM 0.932 第一(量化 $Q=0.968$、重学习 $R=0.900$)；ROUGE 类重学习 $R$ 仅 0.06–0.20；CKA 重学习崩到 0.013，Fisher 量化 $Q=0.583$ 最脆弱；Overall 0.951 全场第一。(3) 跨尺度：1B/3B/8B 单调序 $full<retain99<retain95<retain90$ 成立。(4) 案例：同一样本 Logit Lens 报 0.801(已擦除)而 UDS 报 0.209(未擦除)。(5) 异质性：单一 IdkNLL 内 Yes/No 题 UDS 0.624 远高于人名/书名(0.025–0.049)。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 忠实性(区分见过/没见过遗忘集的模型) | AUC-ROC | 0.971 | Truth Ratio 0.947 / Logit Lens 0.927 | 比次优高 2.4 个百分点，白盒方法中最高 |
| 综合鲁棒性(量化+重学习) | HM(Q, R) | 0.932 | Logit Lens 0.879 | 比次优白盒高 5.3 个百分点 |
| Overall(忠实性+鲁棒性) | Harmonic Mean | 0.951(全场第一) | Logit Lens 0.902(次优) | 20 个指标中排名第一 |
| 跨尺度单调性验证 | UDS 单调序 | full<retain99<retain95<retain90 在 1B/3B/8B 均成立 | 理论上 retain90=1.0(未见全部) | 分数随未见比例近似线性，1B/3B/8B 一致 |
局限与改进
作者明确承认：(1) 需要一个 retain 模型 $M_{ret}$，部署场景可能拿不到，可退化为只用 Stage 2(patch $M_{unl}$ 进 $M_{full}$)但失去 retain 归一化语义；(2) clip(·,0,1) 把 UDS 封顶 1.0，过度遗忘(表示偏离超过 retain)与完美遗忘数学上不可区分，需联合 utility 轴监测；(3) 当前只在 TOFU 上验证，未覆盖 MUSE/WMDP 等基准，跨域泛化有待加强；(4) 仅作用于 teacher forcing 下的局部实体片段，对长文或多步推理目标的扩展是开放问题，自动实体抽取管线依赖 GPT 也未必普适。我的补充观察：主结果只在 1B 验证、跨尺度仅到 8B，70B 级大模型上 KE 层分布与 patching 显存代价未讨论；阈值 $\tau=0.05$ 与加权方式是启发式，不同数据分布下可能需重调；案例分析的样本量偏小。
独立分析的弱点
(1) retain 模型依赖是最大落地障碍——真实部署里几乎没人会重训一个「没见过遗忘集」的同结构模型。改进方向：用「部分遗忘的中间 checkpoint」或合成的 retain 代理来近似 S1 基线，甚至学习一个轻量的 retain-embedding 校准器，使指标 retain-free 化。(2) 实体片段假设对事实型 QA 友好，但对代码遗忘、长链推理、对话风格遗忘会失效；可改进为基于「信息增量」自适应选 token，而非固定实体 span。(3) clip 截断使指标对过度遗忘不敏感，建议改用带符号的软分数或显式建模过度遗忘惩罚项，联合 utility 一起输出。(4) 跨尺度仅到 8B，70B+ 的 KE 层稀疏性与逐层 patching 显存代价未被讨论；建议给出大模型上的近似方案，如只在 top-k 重要层修补、用稀疏激活缓存。(5) $\tau=0.05$ 等超参虽有消融(表 11)但缺乏跨基准稳健性证明，建议自适应确定 KE 集合而非固定阈值。
未来方向
作者提出：两阶段激活修补框架不限于自回归语言模型，任何分层表示架构(diffusion、vision transformer)都可通过类似 patching 审计残留知识，只是具体度量公式需适配。基于此成果可延伸：(1) 把 UDS 从「事后审计」前移为训练目标，设计「最小化 UDS」的因果遗忘损失，而非仅用输出级损失；(2) 结合 UDS 的逐层 $LER$ 做「定向层修补遗忘」——只擦除 $KE$ 层知识以最大程度保 utility；(3) 构建 retain-free 变体与自适应阈值 $\tau$ 的理论分析；(4) 扩展到多步推理、代码、多模态遗忘；(5) 用 UDS 做大模型的遗忘「深度地图」，系统刻画不同方法在不同知识类型上的擦除深度分布，服务于 AI 安全监管与合规。
复现评估
复现性良好。作者已开源代码与数据(github.com/gnueaj/unlearning-depth-score)。实验基于公开的 TOFU forget10 与 OpenUnlearning 的 8 种方法，超参网格在表 8 明确列出(共 150 个模型)，主模型用 Llama-3.2-1B-Instruct，单卡可跑。关键依赖是三个模型变体 $M_{full}$、$M_{ret}$、$M_{unl}$——前两者可从 OpenUnlearning 直接获取，$M_{ret}$(TOFU retain split 训练)需自行训练但数据公开。算力需求中等：主体是若干次前向的激活修补(teacher forcing，无自回归生成)，1B 模型很轻量；3B/8B 跨尺度验证需更大显存。整体难度中等偏低，主要工程量在精确定位实体 span 与实现逐层 patch hook。主要风险点：自动 span 抽取用 GPT-5.2，复现者需用等价 LLM 才能完全对齐，否则可能影响 KE 集合判定。
论文图表
