统一多模态模型中的跨通路概念遗忘研究：UUBENCH 基准与 UNIFORGET 方法 Is Forgetting Unified? Exploring Concept Unlearning in Unified Multimodal Models
提出 UUBENCH 基准与 UNIFORGET 方法，实现统一多模态模型双通路联合概念遗忘
前置知识
统一多模态模型（UMM）
在同一个模型内同时支持文生图与图像理解的多模态大模型。典型代表：BAGEL-7B-MoT 采用 Mixture-of-Transformers（MoT）架构，为不同模态配置独立的 Transformer 参数；Janus-Pro-7B 采用共享统一骨干、但为理解与生成解耦视觉编码器。它能从文本生成图像，也能对输入图像答题，两条“通路”部分共享参数。
本文的问题、基准与方法全部围绕“同一模型的两条通路能否同时遗忘”展开，必须先理解 UMM 的双通路结构才能理解为什么单通路方法会失效。
机器遗忘（Machine Unlearning）
通过更新模型参数来消除指定概念或训练数据影响的后处理技术，无需从头重训。理想效果是模型不再生成或回忆目标内容，同时保留其余能力。它与推理时过滤（prompt 拦截、输出审查）不同——遗忘改的是权重；但本文也明确指出其评估只覆盖“行为遗忘”，不等价于从权重中可认证地删除信息。
跨通路概念遗忘是论文的核心任务，需要分清遗忘、推理时防护与重训三者的边界，以及“行为遗忘”这一评估口径的含义。
闭式概念编辑（TIME / UCE）
对文生图模型注意力投影矩阵做一次性线性代数求解的编辑方法：把目标概念词的隐状态“重定向”到某个替代含义的输出上，同时用保持项约束其他概念不变，无需梯度训练。本文继承该思路，把编辑对象从扩散模型的交叉注意力扩展到 UMM 语言骨干自注意力的 $k_{proj}/v_{proj}$ 投影。
UNIFORGET 的生成端阶段直接改造自这类闭式编辑方法，理解其“目标重定向+保持约束”的机制是读懂方法设计的前提。
LoRA 低秩适配
冻结原模型权重，只训练一对低秩矩阵使等效权重增量为 $\Delta W=BA$（秩 $r\ll d$）的参数高效微调方法。训练完成后可把 $\Delta W$ 按系数 $\rho$ 直接合并进原权重，得到单一检查点，不增加推理成本。本文用 rank 8、$\alpha=16$ 的 LoRA 实现理解端更新。
论文的理解端遗忘靠 LoRA 实现，最终与生成端闭式编辑按系数 $\rho$ 合并，$\rho$ 正是全文最关键的“遗忘-效用”权衡旋钮。
岭回归闭式解
形如 $\min_X \|XK-V\|_F^2+\lambda\|X-W\|_F^2$ 的严格凸问题有唯一全局最优解 $X=(VK^\top+\lambda W)(KK^\top+\lambda I)^{-1}$，可用 Cholesky 分解高效求解而无需迭代。附录 F 证明本文编辑目标因 $\lambda>0$ 严格凸，并给出投影漂移上界 $\|\Delta W\|_F\le\|R_e\|_F/\sqrt{\lambda}$。
生成端编辑的核心公式、解的唯一性证明与漂移界分析全部建立在该闭式解之上，是方法理论保证的基石。
研究动机
统一多模态模型在大规模网络数据上训练，会记忆并复现训练样本中的个人信息与受版权保护的概念（Carlini 等 2021、2023 年分别证明语言模型与扩散模型存在训练数据抽取风险）。从头重训代价高昂，推理时过滤又不可靠，后验机器遗忘因此成为替代方案。但现有遗忘方法都是“单通路”的：TIME、UCE 等生成端方法只在扩散模型交叉注意力上擦除概念；GD、KL 等理解端方法源自 TOFU/MUSE 一类语言模型遗忘研究，只处理文本知识。本文实验量化了这种不足：把 TIME 移植到 UMM 上，BAGEL-7B-MoT 的目标生成遗忘 TF 达 100.0%，但理解端直接遗忘 DF 仅 24.0%——模型照样能认出图片里的埃菲尔铁塔；反过来 GD 与 KL 在两个骨干上的 TF 均为 0.0%，连自己通路内的生成都压不住。更糟的是，模型常以拒答或空洞回答来“假装”遗忘，图像质量下降、邻近概念被误伤：擦除埃菲尔铁塔后，模型对东京塔的描述变得含糊，甚至把它生成成一个普通结构。
本文的目标是本文要回答一个此前未被系统研究的问题：当图像生成与视觉理解由同一个 UMM 承载时，如何让目标概念在两条通路中同时遗忘？具体目标分三层。其一是行为层面的联合遗忘：文生图不再产出可辨认的目标形象（TF/SF），视觉问答不再说出目标名字或别名（DF/VF），且对目标图片仍给出正确的类别级、信息丰富的描述而非拒答（TU）。其二是效用保持：非目标提示的生成保真度（GenEval/DPG-Bench）、通用理解能力（MMBench/MME）以及 60 个邻近概念的生成与识别（NR/SR/NU）不被破坏。其三，为此构建可控诊断基准 UUBENCH（30 个目标概念、60 个邻近概念、720 张参考图，严格划分 seen 与 held-out），提出协调双通路的 UNIFORGET 方法，并系统量化“联合遗忘-能力保持”之间的权衡。
与已有工作不同的是，本文的独特切入点是“跨通路”视角。已有的统一自回归模型擦除工作（EAR、Obliviate）只关注生成端；多模态遗忘基准（MLLMU-Bench、CLEAR、UMU-Bench、UNLINK-VL）主要通过文本回答评估遗忘；扩散擦除基准（UnlearnCanvas、MACE）只看生成图像——没有人同时要求“生成不出来且认不出来”。论文的立论基础是一个关键经验发现：共享参数并不保证遗忘在通路间迁移，TIME 把 TF 推到 100.0% 时 DF 只有 24.0%，说明两条通路对同一概念的编码相对独立。据此作者主张：必须为每条通路设计专门干预（生成端闭式编辑、理解端 LoRA），并把两者协调合并进单一检查点，而不是把现成方法简单拼接——TIME+GD 直接组合在 BAGEL 上仅取得 31.3% 的 Unified Forget，印证了朴素组合的失败。
核心方法
UNIFORGET 的直觉是：两条通路对目标概念的“记忆位置”不同，必须分别打击、统一封装。第一阶段做生成端闭式权重编辑：为每个目标概念构造 20 对“目标提示/类别锚提示”（把概念名替换成“一座 generic landmark”这类类别通用短语），对语言骨干自注意力的 $k_{proj}/v_{proj}$ 投影求解带保持项的岭回归，把目标词的隐状态输出重定向到锚短语的平均输出，从而使生成退化为类别级图像。第二阶段从编辑后检查点出发，冻结骨干，只在第 12/16/20 层的 $k_{proj}/v_{proj}$ 上训练 rank 8 的 LoRA，用六个损失（身份重定向、无名字视觉描述、偏好排序、邻居保持、掩码 KL、抗坍缩）教会模型“不叫出名字、但说得出细节、也不拒答”。最后按 $W_{\text{final},j}=W_{\text{CF},j}+\rho\,\Delta W_{\text{LoRA},j}$ 把两阶段合并进同一检查点，$\rho$ 是协调强度旋钮（BAGEL 取 0.4，Janus 取 1.0），推理时生成与理解共用这一个检查点。
核心创新是“通路特异干预 + 校准合并”的协调框架，与已有方法的本质区别有三。第一，它明确承认生成遗忘不会自动迁移到理解（TIME 在 BAGEL 上 TF=100.0% 而 DF 仅 24.0%），因此为每条通路选择最合适的干预：生成端用闭式回归编辑（无需梯度、可用保持提示保护邻居），理解端用轻量 LoRA 微调（可注入“不拒答、说细节”的效用目标）。第二，理解端训练超越单纯“压制”：总损失 $\mathcal{L}_{und}$ 由身份重定向、无名字视觉描述、偏好排序、邻居保持、掩码 KL 与抗坍缩六项加权而成，偏好项 $[m+\ell_\phi(x,q,y^{+})-\ell_\phi(x,q,y^{-})]_{+}$ 显式惩罚名字泄漏、偏好无名字的有信息回答，把“真遗忘”与“拒答式假遗忘”在目标函数层面区分开。第三，两阶段编辑按 $W_{\text{final}}=W_{\text{CF}}+\rho\,\Delta W_{\text{LoRA}}$ 在参数空间合并为单一检查点，$\rho$ 连续调节遗忘-效用权衡，这是朴素串行拼接（TIME+GD）不具备的协调能力。
方法步骤详情
步骤一（数据准备）：每个概念 3 张 seen 图供编辑训练、5 张 held-out 图供评测，注册名字、别名与类别，训练评测模板严格隔离。步骤二（生成端编辑）：20 个校准模板各用目标名与类别锚短语实例化得到 $K_e$，锚提示输出平均平铺为 $V_e$；98 条保持提示构成 $K_p$、$V_p=W K_p$；对语言骨干自注意力的 $k_{proj}/v_{proj}$ 求解闭式岭回归 $W_{\text{CF}}$（γ=λ=1.0）。步骤三（理解端训练）：两阶段 AdamW 优化 rank 8 LoRA——身份阶段（BAGEL 15 步、Janus 8 步）只含 $\mathcal{L}_{id}$ 与 $\mathcal{L}_{nbr}$；偏好阶段（BAGEL 36 步、Janus 24 步）加入效用、偏好（margin 0.5）与稳定项，效用正样本来自冻结 Base 答案删名净化。步骤四（合并）：按 $W_{\text{final}}=W_{\text{CF}}+\rho\,\Delta W_{\text{LoRA}}$ 并入增量，单一检查点服务双任务。
技术新颖性
技术新颖性体现在四处。其一，问题形式化新颖：首次定义通路级、联合（Joint）与效用保持（Utility-preserving）三层遗忘概念，并给出配对记录级联合判定——Forget 要求同一记录同时满足 TF 与 DF，S. Forget 再叠加 SF、VF、TU，从机制上避免把“生成忘了但理解还在”或“靠拒答蒙混”算作成功。其二，编辑对象与锚设计新颖：把 TIME/UCE 式闭式编辑从扩散模型交叉注意力移植到 UMM 语言骨干自注意力的 $k_{proj}/v_{proj}$，并用同类别共享的类别锚短语（如“一座 generic landmark”）而非随机替代概念作为重定向目标，保证重定向后仍输出合法类别。其三，效用导向的遗忘训练新颖：用净化器从 Base 答案批量构造“无名字但保细节”的监督，配合偏好排序与抗坍缩负样本，直接对抗拒答式假遗忘。其四，附录 F 给出理论保证：编辑目标严格凸、解唯一，漂移有界 $\|\Delta W\|_F\le\|R_e\|_F/\sqrt{\lambda}$，且满足 $K_e^\top A^{-1}h=0$ 的方向严格不变。
实验结果
发现一：单通路方法不足以联合遗忘。TIME 在 BAGEL/Janus 上 TF 达 100.0%/96.7% 但 DF 仅 24.0%/30.7%，GD 与 KL 的 TF 均 0.0%。发现二：协调干预显著优于朴素组合。TIME+GD 仅取得 31.3%/41.3% 的 Unified Forget，UNIFORGET 达 80.0%/92.7%（TF 均 100.0%），S. Forget 提升 18.9 与 27.0 个点。发现三：遗忘与效用存在权衡——Janus 联合指标更好，BAGEL 更保邻居生成（SR 84.6% 对 73.2%）。通用能力上理解端基本稳定（MMBench 88.4→87.8）但生成端受损：GenEval 72.7→63.4 与 78.9→70.1。消融中 20 模板构造把 NR 从 90.4 提到 98.1、掩码 KL 把 TU 从 63.8 提到 72.2；多概念 N=30 时 Janus 的 DF 跌至 37.1%、NR 仅剩单概念值的 41.8%。生成端三种提示攻击下 TF 均 100%，理解端名字暴露攻击下 BAGEL 抑制率仅 61.7%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 联合概念遗忘（BAGEL-7B-MoT） | Unified Forget (%) | 80.0 | TIME + GD：31.3 | +48.7 个百分点 |
| 联合概念遗忘（Janus-Pro-7B） | Unified Forget (%) | 92.7 | TIME + GD：41.3 | +51.4 个百分点 |
| 严格联合遗忘（BAGEL-7B-MoT） | Unified Strict Forget (%) | 47.6 | TIME + GD：28.8 | +18.9 个百分点 |
| 严格联合遗忘（Janus-Pro-7B） | Unified Strict Forget (%) | 58.0 | TIME + GD：31.0 | +27.0 个百分点 |
| 理解端直接遗忘（BAGEL-7B-MoT） | DF (%) | 80.0 | TIME：24.0；GD：0.7 | 较最强基线 +56.0 个百分点 |
| 理解端直接遗忘（Janus-Pro-7B） | DF (%) | 92.7 | GD：22.7；TIME：30.7 | 较最强基线 +62.0 个百分点 |
| 生成端目标遗忘（BAGEL-7B-MoT） | TF (%) | 100.0 | GD / KL：0.0 | +100.0 个百分点 |
| 邻居生成保持（BAGEL-7B-MoT） | SR (%) | 84.6 | TIME + GD：98.1 | -13.5 个百分点（为换取遗忘付出的代价） |
局限与改进
作者承认的局限：实验只覆盖两个 7B 模型与 30 个概念，更大模型与更广领域的泛化留待未来；图像质量与视觉效用依赖自动指标与 LLM 评审（gpt-5.4-mini），可能与人类判断不一致；评估只测标准提示下的行为遗忘，不涉及从权重中可认证的删除。我的补充观察：（1）效用代价不小——BAGEL 的 TU 从 96.7 降到 72.2、SR 降到 84.6，Janus 的 SR 只有 73.2，联合遗忘仍以邻居生成质量为代价；（2）生成能力明显受损，GenEval 下降约 8.8–9.3 个百分点；（3）多概念场景退化严重，N=30 时 Janus 的 DF 仅 37.1%；（4）提示攻击鲁棒性因模型而异，BAGEL 在名字暴露攻击下抑制率仅 61.7%；（5）限制案例（天文望远镜）中 BAGEL 输出截断为 “The main object is a theo”，Janus 只会重复 “a generic object”，物体类细节保持脆弱；（6）UUBENCH 是诊断性基准，实体以西方角色与地标为主，对中文语境或长尾概念的外推未知。
独立分析的弱点
独立分析的弱点与改进方向。其一，超参（$\rho$、六个损失权重、学习率、步数）需按骨干手工调——BAGEL 与 Janus 配置几乎完全不同，换模型就要重调；改进方向是按 Collapse/TU 曲线自动选 $\rho$ 操作点或做帕累托前沿搜索。其二，理解端多概念遗忘严重互扰（Janus 在 N=30 时 DF 跌到 37.1%），LoRA 直接堆叠不可扩展；可为每个概念学习近似正交的低秩子空间，或引入任务算术式增量合并与冲突消解。其三，BAGEL 对名字暴露攻击脆弱（抑制率 61.7%），说明训练分布未覆盖“提示中直接给出答案”的对抗情形，应在偏好阶段加入攻击模板做对抗训练。其四，闭式生成编辑在 $\alpha=1$ 时已拉低 GenEval 约 9 个百分点，编辑是全局性的；可引入低秩/稀疏约束或按层更选择性定位。其五，评测完全依赖 gpt-5.4-mini 自动裁判，可能漏判名字泄漏或误判幻觉，需小规模人工评测校准。其六，效用监督依赖确定性净化器，对 Base 答案质量高度依赖——物体类 Base 答案本就简短，这正是望远镜案例崩坏的可能原因。
未来方向
作者提出的方向：扩展到更大模型与更广领域；研究从权重中可认证删除信息的机制。基于本文成果可延伸的方向：（1）可扩展多概念遗忘——分析概念间梯度冲突，用正交子空间约束或模块化适配器把 UNIFORGET 推到上百概念而效用不塌方；（2）遗忘的可逆性与检测——结合“擦除还是休眠”之争（Liu & Zhang 2025），检验编辑后权重能否被微调唤醒，为安全审计提供信号；（3）隐私审计——在 UUBENCH 上叠加成员推断、模型反演等攻击，验证行为遗忘是否真正降低信息可提取性；（4）更多模态与任务——视频生成/理解、语音与工具调用场景中的概念遗忘；（5）自动锚短语与监督生成——用模型自举生成更丰富的类别锚与效用描述，摆脱对人工净化器的依赖；（6）理论分析——刻画闭式编辑与 LoRA 合并的相互作用，给出跨通路遗忘迁移的充分条件，解释为何 BAGEL 与 Janus 呈现不同的权衡轮廓；（7）纵深防御——把权重级遗忘与推理时过滤结合，抵御残余的提示攻击风险。
复现评估
复现条件较好。论文承诺代码与 UUBENCH 于录用后公开；附录 A/B/E 提供了罕见级别的细节：数据划分与配对规则、指标谓词与聚合方式、自动裁判完整配置（gpt-5.4-mini，2048 token、图片 JPEG 质量 90）、20 个校准模板、98 条保持提示、全部超参（LoRA rank 8、两阶段步数与学习率、margin 0.5、$\rho$、$\gamma=\lambda=1.0$）及攻击模板原文。基础模型公开（BAGEL-7B-MoT、Janus-Pro-7B），种子固定 42、结果为三次测量均值。算力门槛温和：8×A100-40GB，单概念编辑单卡可跑并跨概念并行（主基准最多 6 卡）；闭式编辑只需一次 Cholesky 求解，LoRA 每概念仅 32–51 步。风险点：UUBENCH 图片来自公开媒体仓库，版权与长期可获得性存疑；评测依赖闭源裁判 API，存在版本漂移与成本；论文未报告单概念编辑耗时。总体难度中等，主要成本在图像收集审核与裁判调用。
论文图表
以埃菲尔铁塔为例的示意图：上半部分是文生图通路——编辑后模型无法再画出埃菲尔铁塔，但东京塔等邻居仍能正常生成；下半部分是理解通路——模型对目标图片不再说出“埃菲尔铁塔”，但仍能给出“一座铁质格子塔”级别的类别描述与视觉细节，对邻居图片的识别不受影响。
一图定义了全文的任务目标：联合遗忘=两条通路同时抑制目标身份+保持非目标信息与非目标能力，是理解问题设定的起点。
天文望远镜限制案例的生成对比图：编辑后目标（天文望远镜）生成被抑制，邻居（放大镜）生成保留；但配套的 Table 11 显示理解端视觉描述严重退化——BAGEL 输出被截断为 “The main object is a theo”，Janus 只会重复 “a generic object”。
作者主动展示的失败案例，说明物体类概念的遗忘容易伴随视觉描述能力损失，是理解方法局限的重要证据。
斗兽场案例的理解端回答对比：Base 能准确说出“罗马斗兽场/弗拉维圆形剧场”及其历史，UNIFORGET 改答“一座 generic landmark”，而对可见属性问题仍保留拱门、石质、夜间暖黄灯光等细节描述。
与 Figure 5 配套的正例，具体展示“身份重定向+细节保留”的实际输出形态，帮助读者建立对 DF/TU 指标的直觉。
蝙蝠侠案例的理解端回答对比：Base 直接指认蝙蝠侠，UNIFORGET 改答“一个虚构角色”，但可见属性回答仍保留灰身、黄腰带、黑手套、蓝色披风等外观细节。
角色类正例，与斗兽场案例共同覆盖三类目标概念，证明方法在不同类别上的行为一致性。
天文望远镜限制案例的回答对比：Base 对可见属性给出形状/颜色/材质/部件的完整描述，UNIFORGET 后 BAGEL 只剩截断片段 “The main object is a theo”，Janus 只答 “a generic object”，视觉细节全部丢失。
作者主动呈现的失败样例，直观展示物体类概念的效用塌方，是论文诚实性和局限性分析的重要部分。