让遗忘扎根:基于电路归因的量化永久性机器反学习 Forgetting That Sticks: Quantization-Permanent Unlearning via Circuit Attribution

MANSU 算法如 Algorithm 1 所示,完整流程分四步。第一步定位电路:用 EAP-IG 在遗忘集 $D_f$ 上跑路径积分梯度(干净 vs 损坏提示的 logit 差),按 MLP 子层聚合入向因果贡献,取 top-K=10 得到 $C_{\rm MLP}=\{30,14,31,19,29,15,20,16,21,17\}$,对 Llama-3.1-8B 约占 3.2% 参数;同时在保留集 $D_r$ 上计算对角 Fisher $[F_C]_{ii}=\mathbb{E}_{D_r}[(\partial\log p/\partial\theta_{C,i})^2]$ 与 99 分位阈值 $\tau$。第二步训练循环 T 步,目标函数为 $\min_{\Delta\theta_C\in P_C(\mathbb{R}^{|C|})}-\mathcal{L}_f(\theta+\Delta\theta)+\lambda D_{\rm KL}(p_{\theta^{(0)}}\|p_{\theta+\Delta\theta})\big|_{x\sim D_r}$,每步梯度 $g$ 经过 Fisher 掩码 $\hat g_i = g_i\cdot\mathbb{1}[[F_C]_{ii}\le\tau]$ 后只更新 $\theta_C$,$\theta_{\bar C}$ 冻结;按遗忘集准确率最低且 MMLU 下降 ≤0.08 的 checkpoint 选最佳。第三步下限:对 $C$ 内每个 $i$,若 $0<|\theta_i-\theta^{(0)}_i|<\delta_i$ 则令 $\theta_i\leftarrow\theta^{(0)}_i+\delta_i\cdot{\rm sign}(\theta_i-\theta^{(0)}_i)$,方向保留幅度归位到 NF4 bin 边界;$\delta_i$ 用 per-tensor 近似,与 Definition 1 的精确值同数量级。第四步评估:在 BF16 与 NF4(bitsandbytes 4-bit, double-quant off)下分别测遗忘集、保留集、MMLU、IFEval,并用 EAP-IG 在反学习后重跑得到 CAD(Eq. 6)。所有权重更新为全参数(非 LoRA),附录 B 给出超参与理由。

技术新颖性体现在三个层次。第一,结构化诊断:首次把 94 个跨模型×跨域×跨基准的实验汇聚成一个'双重失败'命题,并用 Proposition 1 给出形式化下界——'稀疏度-永久性权衡' $\|\Delta\theta_i\|\le\sqrt{2\epsilon_r/(|C|\bar F_C)}$,把经验现象升格为可推导的不等式;同时 Theorem 1 用 Cauchy interlace 证明电路限制投影的保留界 $\|\nabla_C\mathcal{L}_r\|\varepsilon+\tfrac{1}{2}\sigma_{\max}(H_{\bar C\bar C})\varepsilon^2$ 严格紧于全局投影,这是反学习文献首次给出这种相对保证。第二,构造性而非启发式的量化永久性:Phase 3 的下限把'更新能否挺过量化'从超参搜索变为可证明的 Lemma 1,而 Proposition 2 进一步揭示 NF4 对跨 bin 更新具有放大效应,使 $\Delta_{\rm PTQ}$ 反转为负。第三,首个事后结构验证指标 CAD:Eq. 6 用反学习后重跑 EAP-IG 的归一化差异来区分'权重层抹除'与'表征层重定向',LUNAR 在所有 8 个 WMDP/MUSE cell 上 CAD∈[0.029,0.045] 而 MANSU 达 1.143,清晰暴露了表征引导方法的机制弱点——这是'方法通过行为评估但电路未变'这一不可观测现象首次被量化。

我的独立分析指出四点可改进之处。第一,Phase 3 的下限是 post-hoc 一次性拉伸,训练过程并不知道这个约束,因此在最终投影前若 $C$ 内某些参数的更新方向未定,下限可能把原本'接近但不跨 bin'的更新强制拉到错误方向;改进方向是在训练损失中显式加入 $|\Delta\theta_i|\ge\delta_i$ 作为不等式约束,用拉格朗日松弛在线优化而非后处理。第二,Theorem 1 依赖 Hessian 在 $C$ 上的 PSD 与二次连续可微假设,且对角 Fisher 掩码只近似投影(Proposition 3 给出 $O(\sigma_{\max}(H)\|E_C\|_{\rm op}/\tau)$ 的误差),当电路选得偏大或 retain 分布长尾时,实际 $\Delta_{\rm PTQ}$ 可能回退;改进方向是引入 off-diagonal Fisher 块的低秩修正或用 KFAC-style 块对角近似替换逐元素掩码。第三,CAD 虽能区分电路抹除与表征引导,但对'电路内部分抹除'无法识别——若某子层权重被部分拆解,CAD 仍是标量聚合;改进方向是按子层粒度报告 CAD 或额外引入 per-edge 保留率曲线。第四,基线覆盖有限,缺少最新 2025 工作(如 MEO/SafeLock 等)以及反学习+量化的最新联合方法;若把这些纳入 Table 1 的'四性质打分表',MANSU 的相对优势可能被收窄。

作者明确方向有三:(1) 把机制可解释性的电路定位从 MLP 子层扩展到 attention head 级别与跨层组合,以进一步压缩 $|C|$ 并提升 CAD;(2) 把下限约束从 NF4 推广到 GPTQ/AWQ 等非均匀码本与更激进的 2-bit 量化;(3) 用 CAD 作为在线 early-stopping 信号,使训练过程自动停在'电路已抹除但未过损'的最佳点。基于成果可延伸的方向有四点:(a) 把 Proposition 1 的下界形式化为反学习的'通用不可行定理',给出特定 $(|C|/d, \delta_i)$ 下任何梯度方法无法满足量化永久的边界条件,从而为不同硬件部署方案选最严约束;(b) 把 CAD 与 AS-C/AS-NC 联合诊断扩展到'反学习鲁棒性'评估——例如对小规模 fine-tune、re-prompt、量化微调的抵御力,形成'行为—结构—鲁棒'三维评估框架;(c) 探索电路编辑与 RLHF 的结合,在反学习的同时做定向对齐,使'遗忘+保留'被纳入同一奖励函数;(d) 把 MANSU 的三阶段流水线泛化到'概念编辑'领域,例如同时遗忘生物危害并强化伦理约束,验证同一稀疏-永久机制是否适用于'加法式编辑'。

复现评估整体中等偏难。代码与权重公开计划:作者承诺论文接收后释放实现、评估脚本与固定评估索引;EAP-IG 已开源(github.com/hannamw/EAP-IG);bitsandbytes 4-bit 量化是标准依赖。数据公开:WMDP、MMLU、MUSE、IFEval 均为公开基准;WMDP 的 forget/retain 划分在原论文中给定,可直接复用。算力门槛:主表 Llama-3.1-8B-Instruct / WMDP-bio 上单次 MANSU 训练在 1 张 H800/A100 上需数小时(梯度仅在 3.2% 电路上反向,但前向仍需全模型);EAP-IG 的 50 提示归因约 1–2 GPUh;94 个非 MANSU 实验的完整复现估计需数百 GPUh。复现难点主要在三处:(a) EAP-IG 的归因对随机种子与归因样本数敏感,文中固定 50 例与默认种子,但不同 transformers 版本可能产生子层排序差异,需严格按附录 E 配置;(b) 对角 Fisher 掩码阈值 $\tau$ 取 99 分位,对 retain 集大小与采样顺序敏感,跨任务迁移时需重新校准;(c) Phase 3 下限中的 $\delta_i$ 用 per-tensor 近似而非 per-channel,若严格实现 Definition 1 需要在保存 checkpoint 时记录每通道尺度 $s_i$,这对工程实现提出额外要求。整体而言,核心算法可复现但达到论文中具体数值需要细致对齐超参与数据子集。