易学难忘：偏差下的鲁棒遗忘学习 Easy to Learn, Yet Hard to Forget: Towards Robust Unlearning Under Bias

CUPID 包含三个阶段，每一步都有明确的输入、输出与操作逻辑。**阶段一：锐度感知划分（Sharpness-Aware Partitioning）**。输入为原始模型参数 $\theta_o$、遗忘集 $D_f$；对每个样本 $(x_i, y_i) \in D_f$，先计算原参数上的损失与梯度，再按 $\theta_{\text{adv}} = \theta_o + \eta \nabla\mathcal{L}(\theta_o, x_i)/\|\nabla\mathcal{L}(\theta_o, x_i)\|$（$\eta = 10^{-3}$）做最坏扰动，锐度 $\omega_{\text{sharpness}}(x_i) = \mathcal{L}(\theta_{\text{adv}}, x_i) - \mathcal{L}(\theta_o, x_i)$；把所有样本按锐度排序，取锐度最高的前 $k=5\%$ 划入因果近似集 $D_{\text{causal}}^f$，其余进入偏见近似集 $D_{\text{bias}}^f$。**阶段二：因果通路识别（Causal Pathway Identification）**。输入为 $\theta_o$ 与 $D_{\text{causal}}^f$；对每个参数 $\theta_{o,i}$，利用 $D_{\text{causal}}^f$ 上的经验 Hessian 对角元素 $H(\theta_o, x)_{ii}$ 与参数幅度平方的乘积，按阈值 $\tau_p = 50\%$ 的百分位筛选，得到二值因果掩码 $m_c(\theta_{o,i}) \in \{0, 1\}$；掩码为 1 的参数构成“因果通路”，其余构成“偏见通路”。**阶段三：定向通路更新（Targeted Pathway Update）**。输入为全部 $D_f$、$D_{\text{causal}}^f$、$m_c$ 与锐度值；计算 $g_{\text{causal}} = \mathbb{E}_{(x,y) \in D_{\text{causal}}^f}[\nabla \mathcal{L}(\theta, x)]$，$g_f = \mathbb{E}_{(x,y) \in D_f}[\nabla \mathcal{L}(\theta, x)]$；把 $g_f$ 沿 $g_{\text{causal}}$ 方向做投影得到 $g_{\text{proj}} = (g_f \cdot g_{\text{causal}} / \|g_{\text{causal}}\|^2) g_{\text{causal}}$，剩余正交分量 $g_{\text{bias}} = g_f - g_{\text{proj}}$；最终更新公式为 $\theta_{t+1} \leftarrow \theta_t + \alpha \cdot [(\omega_{\text{sharpness}} \cdot g_{\text{proj}} \odot m_c) + (g_{\text{bias}} \odot (1-m_c))]$，其中 $\alpha = 10^{-5}$（仅跑 1 个 epoch，batch=64）。整个框架不需要访问保留集。

技术新颖性体现在三方面。第一，将“损失景观几何”作为偏差识别的代理信号——这是一个跨领域借鉴，把 SAM 的平坦极小值假说重新诠释为“多数捷径 vs 少数因果”的判别器；第二，提出了“通路级解耦”思想——通过 Hessian-幅度联合准则显式把网络参数分为因果与偏见两条路径，避免了现有方法依赖“模型自行选择擦除哪个方向”的不可控性；第三，构造了带正交分解的双通路定向更新——把遗忘梯度沿因果方向投影后路由到因果通路，正交分量路由到偏见通路，且用锐度值做加权，这一精细的梯度手术在以往的机器遗忘文献中未见先例。实验上，CUPID 在 Waterbirds/BAR/NICO++ 三个数据集上把 FA 降到 7% 左右（接近 Retrain 金标准的 0%），并把 $\triangle gap$ 和 WGA 都压到 7-13%（远超 NegGrad 的 29-58%），证明了“几何+通路+定向梯度”组合的有效性。

**弱点一：缺乏跨域与跨架构泛化验证**。CUPID 仅在 ResNet-50 + 三个图像分类数据集上验证。Transformer、ConvNeXt、ViT 等架构是否仍能形成稳定的“平坦-尖锐”锐度分布、Hessian 显著性是否仍是有效的因果代理，这些问题尚未回答。**改进方向**：在更大模型与更多数据集上复现，并对比不同架构下 $D_{\text{causal}}^f$ 的纯度。**弱点二：Hessian 计算的可扩展性瓶颈**。对每个因果近似样本都要计算 Hessian 对角元素，对大规模模型而言存储与计算代价高。**改进方向**：用 Fisher 信息矩阵、Kronecker-Factored Approximate Curvature (KFAC)、甚至随机投影估计 Hessian，绕开显式二阶导数。**弱点三：超参数敏感且缺乏自动调节**。$k=5\%$、$\tau_p=50\%$、$\eta=10^{-3}$、$\alpha=10^{-5}$ 都是手工设定，论文未提供完整的敏感性分析或调参指南。**改进方向**：加入自适应阈值（基于锐度分布的拐点），或用元学习搜索最优 $k$、$\tau_p$。**弱点四：对“捷径”与“因果”边界的依赖**。CUPID 假设偏见特征与因果特征在损失景观上能被锐度清晰分离，但某些任务中两者可能高度纠缠（如医学影像中“病变”与“伪影”可能共现于同一锐度区域）。**改进方向**：在划分阶段引入辅助监督（如已知的偏差标签），或使用对比学习增强 $D_{\text{causal}}^f$ 的纯度。**弱点五：单类遗忘场景**。当前方法只针对单一目标类别，未讨论同时遗忘多类、或在遗忘过程中保持对其他类别持续可用性的场景。**改进方向**：拓展到多类遗忘，验证因果通路在多次遗忘后是否仍可识别。

作者在结论中明确指出了未来方向：把 CUPID 的“手术式遗忘”思路推广到**抽象概念**（concept unlearning）层面，例如遗忘“毒性”、“性别偏见”等抽象属性，而不仅仅是类别标签；这需要把因果通路识别从“特定类别”拓展到“特定概念”。基于成果，可延伸的方向还包括：1）**多模态场景**——把锐度信号扩展到 CLIP 等多模态模型，研究视觉与语言模态下的偏见纠缠与解耦；2）**大模型遗忘**——结合 LoRA、PEFT 等高效微调技术，把 CUPID 应用到 LLM 的概念遗忘与合规需求；3）**在线增量遗忘**——当遗忘请求持续到来时，因果通路如何动态更新、避免灾难性干扰；4）**理论分析**——为什么锐度可以作为因果的代理信号，能否给出损失景观几何与因果-捷径分离性的形式化证明；5）**鲁棒性评估**——在对抗扰动、分布偏移下 CUPID 的失效模式；6）**与差分隐私结合**——把 CUPID 的精细化干预与 DP-SGD 的噪声机制结合，提供更强的隐私保障。

论文的可复现性较好。**代码**：作者虽未在附录中明确开源链接，但 AAAI 2026 接收论文通常附带代码（GitHub 仓库可关注作者机构 Chung-Ang University AI Lab 的官方发布）。**数据**：所用数据集全部为公开基准——Waterbirds（Sagawa et al. 2019）、BAR（Nam et al. 2020）、NICO++（Zhang et al. 2023），其中 Biased NICO++ 是作者基于 NICO++ 自行构造的，附录详细说明了构造方法（如“bird-dim”、“cow-grass”、“lizard-rock”、“cat-water”、“sheep-autumn”、“dog-outdoor”6 组强虚假配对）。**算力要求低**：单张 NVIDIA RTX 3090 即可，原始训练 10 epoch（AdamW，lr=$10^{-4}$，weight decay=$10^{-3}$，batch=128），遗忘阶段仅跑 1 epoch（AdamW，lr=$10^{-5}$，batch=64）。**超参数**：作者在附录明确给出了 $k=5\%$、$\eta=10^{-3}$、$\tau_p=50\%$，且消融实验说明这些值在数据集间相对稳定。**复现难度**：中等偏低。Hessian 对角元素的计算是唯一略微复杂的步骤，需要调用 PyTorch 的 `torch.autograd.functional.hessian` 或手动实现 Hutchinson 估计，但作者已明确说明按经验采样即可。**潜在风险**：不同随机种子下 $D_{\text{causal}}^f$ 的纯度会有波动，作者报告的结果是单次实验数值还是多次平均未明确，建议复现时多跑几组种子以获得稳定的统计结论。