M-ErasureBench：面向扩散模型概念擦除的全面多模态评估基准 M-ErasureBench: A Comprehensive Multimodal Evaluation Benchmark for Concept Erasure in Diffusion Models
首次从文本/嵌入/潜变量三种模态系统评估概念擦除的鲁棒性，并提出推理时增强模块 IRECE
前置知识
概念擦除 (Concept Erasure)
概念擦除是一种模型编辑技术，旨在通过微调扩散模型的交叉注意力层，使文本到图像模型不再生成特定有害或受版权保护的内容（如武器、特定艺术家风格）。与重新训练模型相比，概念擦除成本更低，且不破坏模型的整体生成质量。代表性方法包括 ESD（通过负向引导抑制目标概念）、UCE（闭式编辑交叉注意力投影）和 Receler（结合对抗训练增强鲁棒性）。
本文的核心主题就是评估这些概念擦除方法在不同输入模态下的鲁棒性，因此理解什么是概念擦除及其工作原理是阅读本文的前提。
DDIM 反演 (DDIM Inversion)
DDIM 反演是将真实图像映射回扩散模型潜空间的技术。它通过反转去噪过程来重建参考图像的噪声潜变量轨迹：给定时刻 $t$ 的潜变量 $x_t$，反演更新为 $x_{t+1} = \sqrt{\bar{\alpha}_{t+1}} \cdot f_\theta(x_t, t, c) + \sqrt{1-\bar{\alpha}_{t+1}} \cdot \epsilon_\theta(x_t, t, c)$。反演得到的潜变量可用于图像编辑、风格迁移等下游任务。
论文发现 DDIM 反演产生的潜变量是最具威胁的攻击面——即使目标概念被擦除，从包含该概念的潜变量出发仍可生成被擦除的内容。
文本反演 (Textual Inversion)
文本反演是一种轻量级个性化技术，能从少量参考图像中学习一个专用嵌入 $e^*$，该嵌入与占位符 token 关联。优化目标是最小化重建误差：$e^* = \arg\min_e \mathbb{E}_{t,\epsilon} \| \epsilon - \epsilon_\theta(x_t, [c, e]) \|^2$，其中 $\epsilon_\theta$ 是冻结的去噪器。学习完成后，包含该 token 的提示词即可稳定地生成目标概念。
文本反演是本文评估的第二种攻击模态——学习嵌入可以绕过基于文本提示的概念擦除，因为它不在原始文本空间中操作。
交叉注意力 (Cross-Attention)
在 UNet 架构中，交叉注意力层负责将文本条件与图像特征对齐。给定查询 $Q$（来自图像特征）和键值对 $K, V$（来自文本嵌入），注意力计算为 $\text{Attention}(Q,K,V) = \text{softmax}(QK^T/\sqrt{d})V$。注意力图 $A^\ell$ 可以可视化每个文本 token 对图像不同区域的影响程度，是定位目标概念空间位置的关键工具。
IRECE 方法的核心就是利用交叉注意力图来定位被擦除概念在潜变量中的空间位置，然后对该区域进行扰动以阻止概念重现。
概念重现率 (Concept Reproduction Rate, CRR)
CRR 是本文提出的核心评估指标，定义为生成样本中包含被擦除概念的百分比。使用 GroundingDINO 目标检测器判断生成图像中是否出现目标概念。CRR 越低表示擦除效果越好。例如，若生成 150 张图像中有 137 张包含飞机，则 CRR 为 91.3%，表明擦除几乎完全失败。
CRR 是贯穿全文的核心指标，所有实验结果都围绕它展开，理解其定义才能正确解读实验数据。
研究动机
现有的扩散模型概念擦除方法（如 ESD、UCE、Receler）主要针对文本提示进行评估，声称能有效阻止模型生成有害或受版权保护的内容。然而在真实应用场景中，用户与扩散模型的交互远不止简单的文本输入。在个性化生成场景中，用户通过文本反演（Textual Inversion）从参考图像学习专用嵌入；在图像编辑场景中，用户通过 DDIM 反演将真实图像映射回潜空间再进行重采样。这些非文本输入模态构成了概念擦除的潜在攻击面——被擦除的概念可能通过这些路径重新出现。更严重的是，George 等人发现仅用少量样本微调即可复活被擦除的概念，说明当前方法只是破坏了文本-图像对齐而非真正移除了概念。尽管对抗性提示攻击已被研究，基于对抗训练的防御仍局限于文本输入，从未系统探索过非文本路径的鲁棒性。
本文的目标是本文有两个核心目标：第一，构建一个全面的多模态评估基准 M-ErasureBench，系统地评估概念擦除方法在三种输入模态（文本提示、学习嵌入、反演潜变量）和两种访问设置（白盒、黑盒）下的鲁棒性，覆盖五种评估场景；第二，基于评估中发现的漏洞，提出一种即插即用的推理时增强模块 IRECE，在不重新训练模型的前提下恢复概念擦除的鲁棒性，目标是在最具挑战性的白盒潜变量反演场景下将 CRR 降低至少 30%。
与已有工作不同的是，本文的独特切入点在于认识到现有概念擦除方法本质上只破坏了「文本-概念对齐」而非真正「擦除概念」。已有工作 EraseBench 虽然提供了有价值的评估，但仅限于文本提示内部的副作用评估，完全没有考虑非文本输入模态。本文抓住了这个被忽视的关键点：概念信息不仅编码在文本嵌入中，还分布在模型的潜空间和去噪轨迹中。即使文本路径被封锁，通过学习嵌入或反演潜变量仍可直接访问这些概念信息。这种视角将问题从「如何更好地抑制文本中的概念」重新定义为「如何在所有输入模态下真正移除概念」，是一个根本性的研究范式转变。
核心方法
本文的方法包含两个互补的部分：评估框架 M-ErasureBench 和防御模块 IRECE。可以用一个类比来理解：假设你在一个博物馆里移除了一幅画的文字标签（对应文本概念擦除），但画本身还挂在墙上。M-ErasureBench 的作用就是测试参观者能否通过其他途径（看实物、看目录）找到这幅画；而 IRECE 则是在发现画还在之后，用幕布遮住它。技术路线上，M-ErasureBench 设计了三种输入模态的评估流水线：文本提示评估（基本提示 + 对抗提示）、学习嵌入评估（白盒/黑盒/带扰动黑盒）和潜变量反演评估（白盒/黑盒），每种设置下使用 4 种提示策略（空提示、"image"、"object"、TARGET）。IRECE 则在推理时利用标准模型的交叉注意力图定位被擦除概念的空间位置，然后用高斯噪声替换对应区域的潜变量。
IRECE 的核心创新在于它揭示了一个关键洞察并提供了解决方案。洞察是：概念擦除方法本质上只修改了交叉注意力层中「文本条件到图像特征」的映射，但潜变量本身仍然编码着目标概念的信息。当通过 DDIM 反演获得概念相关的潜变量时，这些信息足以绕过擦除。解决方案是：既然标准模型（未擦除）的交叉注意力图能准确指示目标概念在图像中的空间位置，我们可以在推理时利用这些注意力图生成空间掩码，然后用噪声替换被擦除概念对应的潜变量区域。与已有方法的本质区别在于：已有方法都是在训练时修改模型参数（ESD 修改 UNet 权重、UCE 修改交叉注意力投影矩阵、Receler 加入对抗训练），而 IRECE 完全在推理时操作，不修改任何模型参数，是一个即插即用的后处理模块。这意味着它可以叠加在任何已有擦除方法之上，提供额外的鲁棒性保障。
方法步骤详情
IRECE 的完整流程分为以下步骤：（1）给定采样提示嵌入 $c_{sam}$ 和目标概念嵌入 $c_{tgt}$，从初始噪声潜变量 $x_T$ 开始，使用被擦除模型 $\theta_{era}$ 进行 DDIM 去噪；（2）在选定的干预时间步 $t^*$，从标准模型 $\theta_{std}$（白盒设置下用 $\theta_{era}$）提取每一层 $\ell$ 的交叉注意力图 $A^\ell_{cross}$；（3）将所有注意力图上采样到统一分辨率后聚合：$\hat{A} = \sum_{\ell=1}^{L} \text{Upsample}(A^\ell_{cross})$；（4）通过阈值 $\tau$ 将聚合注意力图二值化，生成空间掩码 $M \in \{0,1\}^{H \times W}$，标记与目标概念最相关的像素区域；（5）在掩码区域内注入高斯噪声 $\xi_t \sim \mathcal{N}(0, I)$ 替换原有潜变量，同时保留掩码外的内容不变：$x_t^* = (1-M) \odot x_t + M \odot \xi_t$；（6）从 $x_t^*$ 继续正常去噪直到 $t=0$，生成最终输出 $x_0^*$。
技术新颖性
IRECE 的技术新颖性体现在三个方面。首先，它是第一个在推理时通过潜变量扰动来增强概念擦除鲁棒性的方法，与所有已有方法（训练时修改模型）形成了正交的互补关系。其次，它巧妙地利用了「标准模型的注意力图」来定位「被擦除模型中的概念区域」——这个设计假设标准模型和被擦除模型共享相似的注意力模式，实验验证了这一假设的有效性。第三，扰动策略的设计既简单又有效：不是对整个潜变量施加扰动（会破坏图像质量），而是精准地只替换概念相关区域，这使得 IRECE 能在不显著降低视觉质量的前提下大幅降低 CRR。干预时间步 $t^*$ 和阈值 $\tau$ 的引入也提供了灵活的鲁棒性-质量权衡控制。
实验结果
实验结果揭示了现有概念擦除方法在多模态攻击下的严重脆弱性。在文本提示评估中，三种方法表现良好：ESD 将 CRR 从 96.1% 降至 26.5%，UCE 降至 18.5%，Receler 降至 15.0%。但在对抗提示下，非对抗训练方法大幅退化，ESD 从 26.5% 飙升至 66.7%（+40.2%），而 Receler 保持 14.8% 的低 CRR，验证了对抗训练的价值。在学习嵌入评估的白盒设置下，所有方法几乎失效：ESD 的 CRR 飙升至 91.1%（比文本提示增加 64.6%），UCE 达到 90.4%（+71.9%），Receler 也升至 56.0%（+41.0%）。即使在黑盒设置下，CRR 仍然高于文本基线。最具冲击力的是潜变量反演评估：在白盒设置下使用空提示时，所有方法的 CRR 均超过 92%（ESD 92.9%，UCE 94.9%，Receler 94.4%），几乎完全失败。黑盒设置下空提示仍驱动 CRR 超过 79%。IRECE 的效果显著：在最具挑战性的白盒潜变量反演场景下，使用空提示时，ESD 的 CRR 从 92.9% 降至 35.1%（-57.8%），UCE 从 94.9% 降至 54.4%（-40.5%），Receler 从 94.4% 降至 42.2%（-52.2%）。这些结果表明 IRECE 能有效恢复被破坏的擦除鲁棒性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本提示概念擦除 | CRR (%) | ESD 26.5% / UCE 18.5% / Receler 15.0% | 无擦除 SD 96.1% | ESD -69.6% / UCE -77.6% / Receler -81.1% |
| 对抗提示概念擦除 | CRR (%) | Receler 14.8% | ESD 66.7% / UCE 36.9% | Receler 保持低 CRR，ESD +40.2% 退化 |
| 学习嵌入白盒擦除 | CRR (%) | ESD 91.1% / UCE 90.4% / Receler 56.0% | 文本提示 ESD 26.5% | 所有方法大幅退化，擦除几乎失效 |
| 潜变量反演白盒擦除（空提示） | CRR (%) | ESD 92.9% / UCE 94.9% / Receler 94.4% | 文本提示基线 15-26.5% | 所有方法 CRR 超过 92%，擦除完全失败 |
| IRECE 增强后白盒潜变量反演（空提示） | CRR (%) | ESD 35.1% / UCE 54.4% / Receler 42.2% | 无 IRECE: ESD 92.9% / UCE 94.9% / Receler 94.4% | ESD -57.8% / UCE -40.5% / Receler -52.2% |
局限与改进
本文存在若干值得讨论的局限性。首先，所有实验均基于 Stable Diffusion v1.4 这一特定模型架构，未验证在更新的模型（如 SDXL、SD3）或基于 DiT 的架构上是否同样有效，这限制了结论的泛化性。其次，评估仅使用 CIFAR-10 的 10 个类别作为目标概念，这些类别相对简单且语义清晰，对于更细粒度的概念（如特定艺术家风格、特定人物）的擦除评估尚不充分。第三，IRECE 引入了两个超参数——干预时间步 $t^*$ 和概念定位阈值 $\tau$，论文使用了固定值（$t^*=781$，$\tau=0.4$），但在不同概念和场景下的最优值可能不同，缺乏自适应机制。第四，虽然 IRECE 能降低 CRR，但在某些类别（如 automobile、frog、horse）上仍存在 40-60% 的残留 CRR，说明概念并未被完全擦除。最后，论文未讨论 IRECE 对生成质量和多样性的定量影响，仅通过定性展示说明视觉质量保持良好。
独立分析的弱点
第一个弱点是 IRECE 对标准模型的依赖性。在白盒设置下，IRECE 使用被擦除模型自身的注意力图，但在黑盒设置下需要一个额外的标准模型 $\theta_{std}$ 作为代理。这增加了内存开销和部署复杂性。改进方向是探索轻量级的概念定位方法，例如利用文本-图像对齐模型（如 CLIP）直接定位概念区域，消除对标准模型的依赖。第二个弱点是扰动策略过于粗糙——直接用高斯噪声替换概念区域会导致该区域语义信息完全丢失，生成的图像在被擦除区域可能出现不自然的纹理。改进方向是设计更精细的扰动策略，例如使用语义保持的噪声（仅破坏概念相关的高层语义但保留低层纹理），或在概念区域填充替代内容而非随机噪声。第三个弱点是评估维度不够全面，缺少对生成质量（FID、CLIP Score）、多样性（LPIPS）和推理延迟的定量分析。对于一个声称「保持视觉质量」的方法，缺乏量化证据是不够的。改进方向是补充全面的质量-鲁棒性权衡分析。
未来方向
未来研究可以从以下几个方向展开。第一，将 M-ErasureBench 的评估框架扩展到更多模型架构（SDXL、Stable Diffusion 3、FLUX 等）和更多擦除方法上，建立更全面的鲁棒性评估体系。第二，探索自适应的 IRECE 变体，能根据目标概念的特性和输入模态自动调整干预时间步和阈值，甚至在推理时动态检测是否存在概念复现风险。第三，将 IRECE 的「注意力引导扰动」思想扩展到其他安全场景，如对抗样本防御、版权保护等。第四，研究概念擦除的根本性解决方案——不仅是破坏对齐或扰动潜变量，而是真正从模型参数中移除概念知识，这可能需要发展新的模型编辑范式。第五，结合 IRECE 和对抗训练，设计「训练+推理」双重防御机制，进一步提升鲁棒性上限。
复现评估
从复现角度来看，本文具有较好的可复现性。实验基于 Stable Diffusion v1.4 这一公开模型，使用的三种擦除方法（ESD、UCE、Receler）均有开源实现。数据集基于 CIFAR-10 类标签构建，论文描述了详细的 prompt 模板和生成配置（30 个随机种子、每类 150 个提示）。评估指标 CRR 使用 GroundingDINO 作为检测器，该模型同样开源。IRECE 的实现相对简单——核心逻辑仅涉及注意力图提取、阈值化和噪声替换，约 50 行代码即可实现。论文还提供了详细的超参数设置（引导尺度 7.5、推理步数 50、阈值 $\tau=0.4$、干预步 $t^*=781$）。主要的算力需求在于需要运行大量生成实验（5 种场景 × 3 种方法 × 10 个类别 × 150 个样本），估计需要多块 GPU 运行数天。总体而言，复现难度中等，适合有经验的研究团队。
论文图表
