基于逆向蒸馏的数据遗忘 Data Unlearning via Inverse Distillation
把多步扩散/流模型一步蒸馏的同时，用混合分布逆向蒸馏抹除指定遗忘样本
前置知识
匹配模型与通用匹配损失
扩散模型（DDPM/SGM）、流匹配等可统一为「匹配模型」：模型 $f$ 沿时间路径 $p_t$ 学习把数据分布 $p_0$ 搬到噪声分布 $p_T$ 的反向场（去噪目标、条件分数或条件漂移），训练目标是通用匹配损失 $\mathcal{L}_{UM}(f,p_0)=\mathbb{E}_{t,x_0,x_t}\|f_t(x_t)-f_t^{p_0}(x_t|x_0)\|^2$，采样时需数值积分反向过程，因此推理是多步的。
IDU 的教师正是这类模型，且 UM 损失对数据分布的线性性是整个方法推导（式 6 分解）的数学基石。
逆向蒸馏（Inverse Distillation）
把「从数据训练教师」的正向最小化问题反解：固定教师 $f^*=\arg\min_f \mathcal{L}_{UM}(f,p_0^*)$，同时训练一步生成器（产出候选数据）与伪模型 $f$（充当最优假教师），目标为 $\min_{p_0}\max_f\ \mathcal{L}_{UM}(f^*,p_0)-\mathcal{L}_{UM}(f,p_0)$。损失差恒非负，衡量教师相对最优伪模型的拟合优势，当且仅当 $p_0=p_0^*$ 时降为 0，从而把训练数据从教师参数中「提取」出来。
IDU 完全建立在该方案之上，唯一改动是把被恢复的分布参数化成遗忘集与生成分布的混合。
机器遗忘（数据遗忘 vs 类遗忘）
机器遗忘（MU）要求不从头重训就抹除特定训练数据的影响。类遗忘针对有标签的条件模型，把不要的类改写成噪声或安全类即可；数据遗忘更难：要删的是具体样本（个人人脸、NSFW 图像），遗忘与保留数据在参数中深度纠缠、无法用提示定位，且保留样本可能根本拿不到，只能靠损失设计区分两者。
本文解决的是更困难的「无类别/提示锚点」数据遗忘，理解两种设定的差别才能明白方法面临的约束来源。
FID 与 FGR 指标
FID（Fréchet Inception Distance）比较生成图像与参考图像在 Inception 特征空间中高斯分布的均值与协方差差异，越小越好；本文对遗忘实验用「保留数据参考集」计算 Retain FID。FGR（forgotten-class generation rate）是生成 50,000 张图后被外部分类器判为遗忘类的比例，直接度量遗忘强度，本文用公开的 LeNet-5（MNIST）与 ResNet-56（CIFAR-10）。
表 1–3 的全部结论都由这两个指标刻画：Retain FID 对应保留质量、FGR 对应遗忘程度，二者构成方法的核心权衡。
SiD（Score identity Distillation）
一种把扩散教师蒸馏为一步生成器的高效框架：在默认逆蒸馏生成器损失 $\mathcal{L}_{UM}(f^*,p_0^\theta)-\mathcal{L}_{UM}(f,p_0^\theta)$ 基础上，引入启发式缩放因子 $\alpha_{SiD}\in[0.5,1.2]$ 对 $\|f_t^*-f_t\|^2$ 项加权，实践中收敛更快、样本质量更高。IDU 沿用该形式，FM 取 $\alpha_{SiD}=0.5$（即默认理论损失），SiD 骨干取 1.2。
读懂 IDU 生成器更新损失与附录 B.5 的超参设置，必须知道这个实用缩放技巧的来历与取值范围。
研究动机
多步匹配模型（扩散、流匹配等）推理需数十步采样，且常在审核不严的网络数据上训练，可能复现隐私人脸、NSFW 等被遗忘数据，带来隐私、版权与法律风险——Carlini 等 2023 年已证明扩散模型能逐字提取训练图像。机器遗忘分两类：类遗忘针对有标签的条件模型；数据遗忘则要在没有类别或提示锚点时抹除具体样本（如人脸）的影响，遗忘与保留数据在参数中深度纠缠，保留数据还可能不可得。现有数据遗忘方法（NegGrad、SA、SalUn、SISS、MGSM、EraseDiff、Retrack 等）几乎都面向多步教师，靠对抗式组合 $\mathcal{L}_{base}=\rho\mathcal{L}_{forget}+(1-\rho)\mathcal{L}_{remain}$ 微调，常需约束优化或正则项稳定训练；面向一步生成器的方案极少：UOT-Unlearn 依赖特征提取器与最优传输代价调参，把 SalUn/SA 等适配到一致性模型又需要分类器与自一致性结构，覆盖不了 GAN、蒸馏等其它一步生成器。
本文的目标是本文的目标是构建一个统一框架，在把多步教师模型（流匹配或分数扩散）蒸馏成一步生成器的同时，抹除指定遗忘子集对生成分布的影响。约束非常苛刻：训练时只允许访问预训练的全量教师 $f^*$ 和遗忘样本 $p_0^F$，既不能接触保留数据 $p_0^R$，也不使用任何特征提取器、分类器或提示标签；方法须对不同类型的匹配教师通用，且新引入的超参只有一个权衡系数 $\rho\in[0,1)$，其理论最优值 $\rho=\pi$（遗忘数据在原数据集中的占比）可直接从数据划分估计。量化目标是在 MNIST 与 CIFAR-10 的流匹配（FM）和分数（SiD）两种骨干下，把遗忘类生成率（FGR）从预训练模型的约 10%–12% 压到 1% 上下，同时保留类 FID 接近「用保留数据从头重训教师再蒸馏」的 oracle 水平，最好能反超。
与已有工作不同的是，已有方法把遗忘与保留建模成两个相互对抗的损失：遗忘损失把模型从遗忘数据推开，保留损失守住其余样本的质量，因此普遍需要多目标优化、梯度冲突调和或约束优化。本文的独特切入点是换一个视角——不去「推开」遗忘数据，而是把逆向蒸馏要恢复的数据分布直接参数化为遗忘集与生成分布的混合 $p_0^{mix}=\rho\,p_0^F+(1-\rho)\,p_0^\theta$。由于混合分布的遗忘分量已由真实遗忘样本承担，一旦生成器还偷偷产出遗忘样本，混合分布就会偏离教师分布，min-max 损失差随之上升，梯度自动惩罚这种行为。这样多目标对抗优化变成单一连贯目标；理论上（定理 1）当 $\rho=\pi$ 时最优生成器恰好只输出保留数据。遗忘不再是需要小心平衡的对抗项，而成为逆向蒸馏过程的结构性约束，蒸馏与遗忘第一次被真正同步完成。
核心方法
方法建立在通用匹配框架上：匹配模型用通用匹配损失 $\mathcal{L}_{UM}$ 拟合条件去噪/分数/漂移估计，教师 $f^*=\arg\min_f\mathcal{L}_{UM}(f,p_0^*)$ 把训练数据编码进参数。逆向蒸馏把正向问题反解：$\min_{p_0}\max_f\ \mathcal{L}_{UM}(f^*,p_0)-\mathcal{L}_{UM}(f,p_0)$，非负损失差衡量教师相对最优伪模型的拟合优势，当且仅当 $p_0=p_0^*$ 时取 0。IDU 的核心改动是把被优化的分布参数化为混合 $p_0^{mix}=\rho\,p_0^F+(1-\rho)\,p_0^\theta$：遗忘分量由真实遗忘样本顶替，生成器只补齐剩余部分。由 UM 损失对数据分布的线性性，目标分解为遗忘项与生成项的加权和。训练交替更新伪模型与生成器，生成器损失沿用 SiD 形式并配缩放 $\alpha_{SiD}$（FM 0.5、SiD 1.2）。定理 1 保证 $\rho=\pi$ 时最优解 $p_0^{\theta_{opt}}=p_0^R$，即只学保留数据。
核心创新是「混合分布参数化」。先前方法都在遗忘损失与保留损失间对抗权衡：NegGrad 只压遗忘损失导致灾难性遗忘，SA 加昂贵的 Fisher 信息正则，SalUn 用梯度掩码，EraseDiff 做约束优化。IDU 证明：只要把逆蒸馏恢复的分布写成 $p_0^{mix}=\rho p_0^F+(1-\rho)p_0^\theta$，遗忘与生成就统一在同一 min-max 目标里——伪模型 $f$ 以权重 $\rho$、$1-\rho$ 同时在遗忘与生成样本上训练，充当混合数据上的最优假教师；它与冻结教师的输出差越大，说明生成器产出越多不该有的遗忘样本，最小化生成器损失就同时清除遗忘成分并压低低质量生成。附录 A.2 表明该损失恰是教师与混合最优伪模型 $f^{mix}$ 输出差平方范数的可计算代理。机制上这与 Kornilov 等 2026 年「用真实数据加速蒸馏」互为镜像：那边把生成器推向教师，这边用遗忘数据把生成器推离遗忘模式。唯一超参 $\rho$ 取代了以往一整组损失权重、正则与约束。
方法步骤详情
流程见算法 1，以流匹配为例。准备：冻结教师 $f^*$，初始化一步生成器 $G_\theta$（微调场景直接加载）、伪模型 $f_\psi$，设定 $\rho$、$\alpha_{SiD}$、迭代数 $N$、批大小 $B$。每轮迭代：(1) 采样 $z\sim p_Z$ 得生成批 $x_0^\theta=G_\theta(z)$，采样噪声 $x_T$ 与时刻 $t$，按 $x_t^\theta=(1-t/T)x_0^\theta+(t/T)x_T$ 加噪；(2) 采样遗忘批 $x_0^F$ 同样加噪；(3) 计算匹配目标 $s_t=(x_T-x_0)/T$；(4) 固定生成器，用 $\rho$ 与 $1-\rho$ 加权的混合损失拟合两组加噪样本，更新伪模型 $f_\psi$；(5) 固定伪模型，用 $2\mathbb{E}[\langle f_t^*-f_{\psi,t},f_t^*-s_t^\theta\rangle-\alpha_{SiD}\|f_t^*-f_{\psi,t}\|^2]$ 更新 $\theta$。重复 $N$ 轮即得只生成保留数据的一步生成器，全程不见保留数据。
技术新颖性
据作者所知，这是首个在无条件流匹配与分数模型上同时完成「蒸馏+数据遗忘」的统一框架。与最接近的 SFD（条件逆蒸馏中做类遗忘）本质不同：SFD 需要类别标签，把教师安全类分数写进生成器遗忘类损失；IDU 只需样本本身，适用于无锚点的人脸/NSFW 数据遗忘，生成器从不接收类别输入，CIFAR-10 类 0 上达到 FID 3.54/FGR 0.58%，与 SFD 的约 3.1/0.36% 相当。与 UOT-Unlearn 相比，IDU 用教师引导替代特征提取器与最优传输代价：CIFAR-10 类 1/6/8 上 Retain FID 2.96/4.16/3.22（对方 9.90/5.11/5.88），FGR 0.61%/0.53%/0.54%（对方约 2%/0.9%/1.5%）。与 SA/SalUn/EraseDiff 相比，遗忘与生成项在同一 min-max 目标内协同训练，免去约束优化。理论上条件很弱：引理 1 保证逆蒸馏当且仅当 $p_0=p_0^*$ 时收敛，定理 1 只做分布等式推导，对任何 UM 损失型教师均成立。
实验结果
主结果（表 1）：FM/MNIST 的 IDU（$\rho=0.4$）Retain FID 3.57，遗忘类 3/7 的 FGR 从预训练 10.40%/10.50% 降到 0.16%/0.16%，反超重训蒸馏 oracle（5.72）；FM/CIFAR-10（$\rho=0.6$）FID 5.81，FGR 0.56%/0.39%（oracle 5.12）；SiD/MNIST（$\rho=0.2$）FID 1.65，FGR 0.63%/0.32%（oracle 1.20）；SiD/CIFAR-10 FID 3.15，FGR 1.11%/1.25%（oracle 2.82）；纯蒸馏对照 FGR 达 7.58%–11.18%。单类鲁棒性（表 2）：FM-MNIST 平均 Retain FID/FGR 4.54/0.16%，FM-CIFAR-10 7.73/0.84%，SiD-CIFAR-10 3.61/0.75%。$\rho$ 消融（表 3）：FM 在 $\rho=0.9$ 发散、$\rho=0.6$ 最佳；SiD 的 $\rho=0.2$ 恰为名义占比 2/10。微调（表 4）：FM 得 5.17/0.89%/0.42%，SiD 得 3.12/2.69%/2.60%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CIFAR-10 数据遗忘（FM 骨干，遗忘类 1/9） | Retain FID / FGR | IDU：FID 5.81，FGR 0.56%/0.39% | 重训蒸馏 oracle：FID 5.12；纯蒸馏 FGR 7.58%/8.75% | FGR 相对纯蒸馏下降约 93%–95%，FID 与 oracle 相差仅 0.69 |
| CIFAR-10 数据遗忘（SiD 骨干，遗忘类 1/9） | Retain FID / FGR | IDU：FID 3.15，FGR 1.11%/1.25% | 重训蒸馏 oracle：FID 2.82；预训练 FGR 11.13%/10.04% | FGR 相对预训练下降约 89%，FID 与 oracle 相差 0.33 |
| MNIST 数据遗忘（FM 骨干，遗忘数字 3/7） | Retain FID / FGR | IDU：FID 3.57，FGR 0.16%/0.16% | 重训蒸馏 oracle：FID 5.72；预训练 FGR 10.40%/10.50% | 反超 oracle 2.15 FID，FGR 下降约 98% |
| 与 UOT-Unlearn 对比（CIFAR-10 一步生成器遗忘类 1/6/8） | Retain FID / FGR | FID 2.96/4.16/3.22，FGR 0.61%/0.53%/0.54% | UOT-Unlearn（最佳 CTM 模型，初始 FID 1.73）：FID 9.90/5.11/5.88，FGR 约 2%/0.9%/1.5% | 三类 FID 全部更低（最好 2.96 对 9.90），FGR 约减半至三分之一 |
| 与 SFD 对比（CIFAR-10 类 0 遗忘，均不给标签） | Retain FID / FGR | IDU：FID 3.54，FGR 0.58% | SFD：FID 约 3.1，FGR 0.36% | 数据遗忘设定下达到与类遗忘 SFD 相当的水平 |
局限与改进
作者承认的局限：一是 FM 实例稳定性——扩展训练中目标类早期即被抑制，但约 2 万次生成器更新后 FGR 可能回升，起点依赖 $\rho$，必须联合选择 $\rho$ 与检查点，SiD 在评测视界内未见反转，作者归因于当前 FM 骨干而非 IDU 目标本身；二是 $\rho$ 敏感与附带抑制，表 5 显示 FM/MNIST 在 $\rho\ge0.6$ 时除遗忘 3、7 外还把数字 2、5（有时 8、9）一并压没，Retain FID 升到 10 以上，保真与遗忘同损；三是重训基线脆弱，MNIST 保留教师 FID 0.340 疑似对小子集过拟合，其蒸馏版常画不好数字 2（FID 5.72），「反超 oracle」需谨慎解读。我的补充观察：实验仅覆盖 28×28/32×32 图像，未验证高分辨率或文生图场景；FGR 依赖外部分类器（LeNet-5、ResNet-56）的正确性；评估停留在 FID/FGR 分布层面，缺成员推断、参数距离等更强遗忘审计；实际场景中 $\pi$ 常未知，$\rho$ 选择依赖保留数据评测或经验扫描。
独立分析的弱点
第一，规模天花板：实验限于 MNIST/CIFAR-10，文生图模型（数十亿参数、潜空间扩散）上的可行性与遗忘效果未知，改进方向是在 SDXL/FLUX 潜空间实现 IDU 并研究教师引导的计算加速。第二，FM 后期遗忘回潮：约 20k 步后 FGR 回升，说明长训练下混合分布匹配不稳定，可引入遗忘率监测的自适应早停、$\rho$ 退火或伪模型 EMA。第三，附带模式抑制不受控：表 5 显示高 $\rho$ 时数字 2、5（有时 8、9）被连带抹除，方法无法指明保留哪些模式，可探索逐样本重要性加权或加入保留先验。第四，依赖完整遗忘样本集：真实删除请求可能只给少量样本甚至文字描述，小样本与概念级遗忘下混合比例假设如何维持值得研究。第五，缺安全审计：FID/FGR 排除不了样本级记忆残留，应补成员推断、图像检索攻击与重训参数距离分析。第六，$\alpha_{SiD}$ 与 $\rho$ 的交互只有经验扫描（FM 0.5、SiD 1.2），缺理论指导。
未来方向
作者提出或暗示的方向：正式发表后发布完整代码、配置、评估脚本与检查点（附录 B.8）；把 IDU 迁移到更大更稳的骨干上，使 $\rho$ 能稳定取到名义遗忘占比 $\pi$（SiD 已在 $\rho=0.2=2/10$ 时做到且无附带抑制），摆脱对 $\rho$ 网格扫描的依赖；把数据遗忘与类/概念遗忘统一，面向文本到图像模型实现提示级擦除。基于成果可自然延伸的研究：一是序贯/持续遗忘——多个删除请求依次到来时避免相互干扰，可与持续学习框架结合；二是把混合分布思想推广到条件模型与更广的匹配家族（generator matching、mean flows 等）；三是为 SiD 形式的生成器损失建立收敛理论，厘清 $\alpha_{SiD}$ 的作用机制；四是可认证遗忘——在分布匹配之外给出可验证的隐私保证（如针对成员推断的界）；五是与联邦学习结合做跨客户端数据删除；六是把「用遗忘数据反向引导生成」的机制反过来用于训练数据筛选、数据估值与水印防御。
复现评估
复现条件较好。代码、配置、评估脚本与检查点将在正式发表时开源（附录 B.8），关键组件均来自公开资源：CIFAR-10 流匹配教师用 TorchCFM 400k 步 I-CFM 权重，SiD 教师用官方 EDM-VP 无条件检查点，FGR 用公开 LeNet-5（99.13% 精度）与 ResNet-56（94.37% top-1），FID 统一用 clean-fid legacy 协议并写明与原 SiD 评估器的协方差分母差异（约 1.00002 倍）。附录 B.5 列出全部超参：FM 侧 MNIST 学习率 $10^{-4}$、CIFAR-10 $3\times10^{-5}$、批 256、约 30k–50k 生成器迭代；SiD 侧学习率 $10^{-5}$、批 512、100 Mimg 视界、$\alpha_{SiD}=1.2$。所有指标为 5 次运行均值±标准差，统计可靠。单张工作站级 GPU 数天内可复现 CIFAR 规模实验；主要不确定性是 FM 需按最低 FID 联合挑检查点以避开后期回潮，MNIST 保留教师需自行重训且对配方敏感。总体难度中等。
论文图表
流匹配设定下 IDU 的完整伪代码：每轮采样生成样本与噪声并加噪、采样遗忘批并加噪、计算匹配目标 $s_t=(x_T-x_0)/T$，先用 $\rho$ 加权混合损失更新伪模型 $f_\psi$，再用 SiD 形式损失（含 $\alpha_{SiD}$ 缩放）更新生成器 $G_\theta$。
实现层面的唯一定义，输入列表把全部超参（$\rho$、$\alpha_{SiD}$、迭代数 $N$、批大小 $B$）集中呈现，照此即可写出训练循环。