RepSelect：通过表示选择性实现稳健的 LLM 遗忘 RepSelect: Robust LLM Unlearning via Representation Selectivity
通过折叠遗忘集的高方差表示方向，实现深度且难以被恢复的 LLM 遗忘
前置知识
机器遗忘
机器遗忘是指让已训练模型忘记特定数据或知识，同时保持对其他数据的记忆和性能的技术。这通常涉及对模型参数进行特定方向的更新，以减少对目标数据的记忆。传统方法包括梯度上升、知识蒸馏等，但容易通过微调或提示攻击恢复。机器遗忘的挑战在于实现深度遗忘，即被遗忘的知识不能通过攻击恢复。
论文的核心就是解决 LLM 遗忘的浅层性问题，理解传统遗忘方法的工作原理和局限性是理解 RepSelect 创新性的基础。
奇异值分解
奇异值分解是一种矩阵分解方法，将矩阵分解为三个矩阵的乘积，其中两个是正交矩阵，一个是对角矩阵。对角元素称为奇异值，按从大到小排序。奇异值分解可以揭示数据的主要变化方向，即最大奇异值对应的奇异向量方向。这些方向往往捕获了数据中最重要的变化模式。
RepSelect 使用奇异值分解来识别遗忘集中的高方差表示方向，这些方向与保留集共享过多信息，因此需要在遗忘前被折叠掉。理解奇异值分解是理解方法如何选择性操作表示的关键。
主成分分析
主成分分析是一种降维技术，通过寻找数据协方差矩阵的特征向量来识别数据的主要变化方向。主成分按方差从大到小排序，前几个主成分解释了数据的大部分方差。在神经网络中，激活的主成分分析可以揭示网络编码的主要概念或特征，高方差主成分通常对应于常见概念，低方差主成分对应于特定细节。
论文通过主成分分析发现，遗忘集的高方差主成分与保留集高度重叠，而低方差主成分则更特定于遗忘集。这是 RepSelect 选择折叠高方差方向的核心理论依据。
低秩适应
低秩适应是一种参数高效的微调方法，通过冻结原始模型权重并添加可训练的低秩矩阵来适应新任务。对于权重矩阵，低秩适应将其替换为原始权重加上两个小矩阵的乘积，其中一个小矩阵将输入映射到低维空间，另一个将低维空间映射回输出空间。训练完成后，这两个小矩阵的乘积可以合并回原始权重。
RepSelect 使用低秩适应作为对抗者来激发模型中的危险行为，因为这些行为在基础模型中被抑制，需要通过低秩适应微调才能在遗忘时准确瞄准。
KL散度
KL散度衡量两个概率分布的差异，定义为第一个分布的对数在第二个分布下的期望减去第一个分布的熵。在机器学习中，KL散度常用于衡量模型分布的变化。论文中使用通用文本上的KL散度作为干扰预算，确保遗忘操作不会过度影响模型的通用能力，所有方法都在相同的KL散度预算下进行比较。
所有方法都在相同的KL散度预算下进行比较，这确保了公平性并衡量了遗忘效率，即在每个单位扰动下实现了多少遗忘。
马哈拉诺比斯方向
马哈拉诺比斯方向是将给定向量从分布中分离出来的方向，通过按方差的倒数重新加权每个主成分来计算。具体而言，对于给定的激活向量和主成分分解，马哈拉诺比斯方向按特征值的倒数加权每个主成分方向的投影，因此高方差方向被抑制，低方差方向被保留。这种方向能够有效分离特定模式。
RepSelect 使用马哈拉诺比斯折叠来软性抑制高方差方向，同时保留低方差方向。这是实现选择性遗忘的关键数学技巧，确保遗忘操作不会过度影响通用能力。
研究动机
现有大语言模型遗忘方法存在根本性缺陷，它们只能实现浅层遗忘，即被遗忘的知识很容易通过微调或少样本提示被恢复。论文的实验表明，即使是最先进的遗忘方法，在遭受全模型微调攻击后，几乎完全恢复了被遗忘的有害知识。例如，在生物危险知识数据集上，基线方法经过微调攻击后，答案准确率从无遗忘的水平仅下降到较低水平，而RepSelect则能将其降至极低水平。这种可恢复性使得这些方法无法满足法律和安全要求，因为数据保护法规要求的是真正删除而非暂时隐藏。问题的根源在于表示重叠，现有方法主要针对遗忘集的高方差表示方向进行操作，但这些方向恰好与保留集高度共享，同时攻击者也会优先恢复这些高方差方向，导致遗忘效果容易被逆转。
本文的目标是论文的目标是实现深度遗忘，即满足三个相互冲突的要求的遗忘方法。第一个要求是有效遗忘目标知识，这通常通过最大化遗忘集上的损失来实现。第二个要求是保持模型通用能力，这要求遗忘操作不干扰模型在保留集上的性能。第三个要求是抵抗重新学习攻击，这要求被遗忘的知识不能通过微调或少样本提示恢复。论文通过统一的评估框架衡量这三个维度，第一阶段在遗忘集上遗忘，在保留集上评估干扰，第二阶段在重新学习集上应用微调或少样本攻击，测量攻击后的答案准确率作为遗忘深度。
与已有工作不同的是，本文的独特切入角度是从表示选择性的角度诊断和解决遗忘的可恢复性问题。现有工作要么关注目标函数设计，要么关注表示干预，但都没有系统性地分析遗忘更新的表示结构。本文通过奇异值分解分析发现，遗忘集的高方差主成分解释了保留集激活方差的相当大比例，高方差主成分编码的是广泛的领域概念而不是特定的遗忘知识，而低方差主成分编码的是小众概念，更特定于遗忘集。这启发了一个新思路，即折叠高方差方向，只在低方差子空间中进行遗忘更新，从而实现深度且鲁棒的遗忘。
核心方法
RepSelect的整体思路是识别并折叠遗忘集中的高方差表示方向，因为这些方向与保留集共享太多信息，只在低方差子空间中进行遗忘更新。直觉上，这类似于只修改那些真正特定于遗忘内容的神经通路，而不触碰那些用于通用语言理解的共享通路。技术路线包括三个步骤，首先使用低秩适应对抗者激发模型中的危险行为，其次在遗忘集上累积权重梯度，然后对权重梯度进行奇异值分解，计算高方差主成分，并通过马哈拉诺比斯折叠抑制这些方向，最后应用折叠后的梯度更新模型权重。整个过程是单次遍历，无需保留集，因此速度快。
核心创新点是通过奇异值分解分析和折叠遗忘集权重梯度的高方差主成分，将遗忘操作限制在遗忘特定的低方差子空间中。这与现有方法的本质区别在于，现有方法直接计算梯度更新，没有考虑表示结构的共享性，表示干预方法使用固定策略重定向激活，而RepSelect自适应地通过奇异值分解识别需要干预的方向。RepSelect不需要保留集，直接从遗忘集的梯度结构中提取选择性信息，这种双向折叠进一步确保了更新的选择性。
方法步骤详情
RepSelect的方法步骤包括四个主要阶段。第一阶段是低秩适应对抗预训练，在每个多层感知机模块上添加低秩适应适配器，在遗忘集上训练一个轮次的随机梯度下降，以激发模型中的危险行为。第二阶段是累积遗忘权重梯度，在低秩适应激活的情况下，对遗忘集的每个样本计算权重梯度，并将其累积到矩阵中。第三阶段是奇异值分解和折叠，对每个模块，对累积的权重梯度矩阵进行低秩奇异值分解，得到奇异向量和奇异值，然后对权重梯度矩阵的输入侧和输出侧分别应用马哈拉诺比斯折叠，折叠公式按方差的倒数重新加权每个主成分方向，抑制高方差方向。第四阶段是应用过滤后的梯度，卸载低秩适应，应用折叠后的权重梯度更新模型权重，整个过程只需要一次遍历遗忘集，可以在很短的时间内完成。
技术新颖性
RepSelect的技术新颖性体现在三个层面。理论层面，首次从表示选择性的角度分析遗忘的可恢复性问题，提出了遗忘、保留、攻击三角冲突的根本原因，即高方差方向是三者共享的子空间。算法层面，提出了通过奇异值分解加马哈拉诺比斯折叠的选择性遗忘框架，与现有方法形成对比，现有方法使用Fisher信息识别保留相关方向或使用零空间投影，但它们都没有考虑遗忘或攻击者的子空间结构。实践层面，单次遍历、无需保留集、超参数少、速度快，使其具有很高的实用价值。
实验结果
RepSelect在所有四个模型家族和两个遗忘场景上都取得了最低的攻击后答案概率。具体而言，对于生物危险知识遗忘，RepSelect的攻击后答案概率下降比最佳基线大八到五十倍。对于虐待倾向遗忘，RepSelect的下降比最佳基线大四到十五倍。在少样本攻击下，RepSelect几乎完全免疫，在某个模型上的攻击后准确率保持在极低水平，而最佳基线接近无遗忘的水平。通用能力保持良好，RepSelect在所有模型上的通用语言理解准确率与原始模型的差距在百分之二以内。数据效率高，十个遗忘样本就能在虐待倾向遗忘任务上实现超过一半的最大遗忘收益，九十个样本饱和。表示分析确认，攻击者将三分之一的权重更新范数集中在前五十个遗忘主成分上，而基线方法也将相当大的比例集中在同一子空间，RepSelect只放置约百分之十。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 生物危险知识遗忘后的微调攻击答案概率 | 答案概率，越低越好 | 在多个模型上达到百分之五到六的水平 | 最佳基线达到百分之十到十五的水平 | 下降幅度比最佳基线大八到五十倍 |
| 虐待倾向遗忘后的微调攻击答案概率 | 答案概率，越低越好 | 在多个模型上达到百分之十七到十九的水平 | 最佳基线达到百分之十九到二十一的水平 | 下降幅度比最佳基线大四到十五倍 |
| 少样本攻击后的生物危险知识准确率 | 准确率，越低越好 | 在多个模型上接近于零 | 最佳基线接近无遗忘的水平 | 几乎完全免疫 vs 基线完全恢复 |
| 通用能力保持的测量指标 | 通用语言理解准确率，差距越小越好 | 与原始模型的差距在百分之二以内 | 所有基线在相同干扰预算下性能相似 | 与基线相当，差距极小 |
局限与改进
论文承认的局限性包括，RepSelect只在多层感知机模块上操作，未来的工作可以测试折叠是否可以转移到注意力头的键值投影中，论文评估了标准的微调和少样本攻击，但没有探索其他攻击，论文成功地从生物危险知识数据集中遗忘事实和从虐待倾向数据集中遗忘行为，但未来的工作应该测试RepSelect如何扩展到更大的遗忘集。我观察到的其他局限性包括，方法依赖于奇异值分解，对于非常大的模型可能计算成本较高，尽管论文已经使用了低秩奇异值分解，马哈拉诺比斯折叠的软性抑制可能不够强硬，某些高方差方向可能仍有残留影响，方法假设遗忘集和保留集的表示结构可以通过主成分分析有效分离，但在某些情况下这种假设可能不成立。
独立分析的弱点
独立分析的弱点包括，对无保留集的假设可能过于乐观，虽然论文不需要显式的保留集，但通过通用文本的KL散度来监控干扰仍然间接使用了保留分布，在实际部署中可能需要更精确的保留集定义。低秩适应对抗者的引入增加了复杂性，论文发现移除低秩适应在某些任务上持续损害性能，这表明低秩适应的选择和配置需要针对不同任务进行调整，增加了调优成本。单次遍历的假设可能不够充分，虽然论文证明单次遍历与多轮迭代表现相当，但对于特别复杂或大规模的遗忘任务可能需要多轮迭代才能充分遗忘。方法的理论基础依赖于激活和梯度独立的假设，这在实际中可能不完全成立，可能影响理论保证的紧致性。论文主要在中等规模参数的模型上评估，对于更大规模的模型，奇异值分解的计算成本和内存需求可能成为瓶颈。
未来方向
作者提出的未来工作方向包括，将折叠操作扩展到注意力头的键值投影，以全面覆盖模型中的概念理解，探索除微调和少样本提示外的其他攻击场景，测试RepSelect在更大遗忘集上的扩展性，这是实现完整生物安全和更广泛有害倾向移除所必需的。基于论文成果可延伸的研究方向包括，将RepSelect与其他遗忘方法结合，探索混合方法是否能进一步提升鲁棒性，研究RepSelect在跨模态遗忘中的适用性，探索表示选择性在其他机器学习任务中的应用，开发自动化的表示质量评估方法，研究RepSelect在联邦学习或分布式学习环境中的应用。
复现评估
论文提供了良好的复现支持，代码已在开源平台上发布，包括完整实现和复现脚本，预构建的容器镜像包含所有依赖，可在容器仓库上获取，所有实验日志都公开在实验跟踪平台上。论文提供了详细的超参数搜索空间，使用优化框架进行参数搜索。硬件需求合理，主要实验使用单张高端图形处理器，最大模型使用更大显存的图形处理器。完整比较消耗了大量图形处理器小时，消融实验更高效。数据集创建过程透明，过滤管道和生成方法都有详细文档。复现难度中等，主要挑战是计算资源需求，需要大显存图形处理器。总体而言，复现性良好，但需要充足的图形处理器资源。
论文图表
该图展示了遗忘的三个可测量维度，即遗忘、干扰和鲁棒性。第一阶段在遗忘集上遗忘，测量遗忘和在保留集上的干扰。第二阶段在重新学习集上应用重新学习，测量攻击后的准确率作为遗忘深度，即鲁棒性。
这张图对理解论文至关重要，因为它建立了统一的评估框架，明确了遗忘问题的三个核心目标及其测量方法。所有后续实验都基于这个框架，理解它有助于理解论文的贡献如何被量化。
该图由三个面板组成，第一个面板展示了为什么朴素遗忘失败，顶部主成分捕获了大部分保留集方差并编码了通用概念，而底部主成分更特定于遗忘集。第二个面板展示了RepSelect在每次更新前折叠顶部主成分，将权重变化限制在遗忘特定的底部子空间。第三个面板展示了RepSelect在微调和少样本攻击下都将攻击后分数远低于最佳基线。
这张图对理解论文的核心创新至关重要，它直观地展示了问题和解决方案，以及结果的定量对比。通过这张图，读者可以快速理解RepSelect的工作原理和优势。
该图展示了遗忘一个事实的权重梯度与每个其他事实的梯度的余弦相似度，没有执行遗忘训练。某些事实之间几乎相同的模式说明它们的大部分表示是共享的，而非事实特定的，展示了表示共享的问题。
这个图对理解表示共享问题至关重要，它展示了表面相似的事实之间存在显著的梯度重叠，这解释了为什么遗忘一个事实可能会干扰其他相关事实。这支持了选择性遗忘的动机。