流形感知概念擦除 MANCE: Manifold Aware Concept Erasure
提出基于流形约束的概念擦除方法MANCE，在保持其他信息的同时有效移除目标概念
前置知识
概念擦除（Concept Erasure）
概念擦除是从神经网络的表示中移除特定属性信息（如性别、毒性等）的技术，同时尽可能保留表示中的其他信息。这通常通过训练一个探测器来预测目标概念，然后反向传播梯度来修改表示，使其无法被探测到。例如，要移除性别偏见，会训练性别探测器，然后迭代修改表示直到探测器无法准确预测性别。
本文的核心任务就是概念擦除，理解这个概念是理解整个论文的基础，所有方法和实验都围绕如何更好地进行概念擦除展开。
流形（Manifold）
在表示学习中，流形是指高维表示空间中的低维子空间，自然数据的表示通常不是均匀分布在整个高维空间中，而是集中在某个结构化的低维区域上。例如，图像的表示可能只占据高维空间中一个特定形状的曲面，这个曲面就是流形。流形的切空间是在某一点处对局部几何结构的一阶线性近似。
本文的核心创新就是基于流形约束的假设，理解流形概念对于理解MANCE方法的工作原理至关重要。
手术性（Surgicality）
手术性衡量概念擦除方法对控制概念的损害程度。理想的手术性是0，表示擦除操作完全不影响控制概念的准确性。例如，在移除性别时，职业信息应该保持不变。手术性通常用控制概念在编辑前后准确度的差异来衡量，负值表示损害。
本文的主要评估指标之一是手术性预算，理解这个概念才能理解实验设置和结果的意义。
研究动机
现有的概念擦除方法面临一个核心挑战：神经网络表示中编码的概念往往相互关联。例如，职业信息与性别高度相关，在职业偏见数据集中，男性更多是医生或工程师，女性更多是护士或教师。当试图移除性别信息时，很容易同时损害职业信息的表达能力。现有方法如INLP（迭代线性nullspace投影）、LEACE（线性期望对齐概念擦除）和IGBP（迭代梯度边界投影）虽然有一定效果，但往往需要在擦除效果和保留其他信息之间做权衡。在最难的情况下（目标概念与控制概念高度相关），这些方法要么擦除不彻底，要么损害太多其他信息。例如，在性别概念上，现有方法如Obliviator只能在13-17个设置中达到随机水平，而总共有39个设置。这表明当概念间相关性很强时，擦除变得非常困难。
本文的目标是本文的具体目标是提出一种更精确的概念擦除方法，能够在更严格的手术性约束下（控制概念准确度下降不超过1-10个百分点）实现更强的目标概念擦除效果。作者希望在119个实验设置（包括39个NLP设置和80个视觉设置）中证明新方法的有效性，特别是在目标概念与控制概念高度相关的困难场景中。具体来说，目标是在保持控制概念准确度下降不超过手术性预算的前提下，最小化目标概念泄漏。
与已有工作不同的是，本文的独特切入角度是提出了流形约束假设（MCH），认为自然输入产生的表示不是均匀分布在整个高维空间，而是集中在一个结构化的低维流形上。现有的概念擦除方法在修改表示时往往不考虑这种几何结构，可能将表示推离自然流形区域，从而损害其他编码信息。本文的核心创新是约束擦除操作在自然表示的流形上进行，通过估计局部切空间并将更新投影到流形上，实现更精确的编辑。这与之前的工作形成对比：INLP和LEACE是线性方法，只能处理线性可解码的信息；IGBP和Obliviator是非线性方法，但它们在表示空间中任意方向移动，不受流形约束。MANCE的洞察是，如果干预被限制在自然表示流形上，应该能更好地保留其他信息。
核心方法
MANCE方法的整体思路是先估计自然表示的流形结构，然后在擦除过程中约束所有更新都在这个流形上进行。直觉上，自然输入的表示在高维空间中不是均匀分布的，而是集中在一个低维流形上。当我们修改表示来擦除某个概念时，如果修改方向偏离这个流形，可能会损害其他信息。MANCE的核心思想是只沿着流形的切方向进行修改。技术路线上，MANCE是一个迭代算法，每轮训练一个非线性概念探测器来预测目标概念，计算探测器对输入表示的梯度，但不是直接沿梯度方向更新，而是将梯度投影到局部切空间，然后应用一个受局部邻域大小约束的步长。此外，作者还提出了两个变体：MANCE+在主循环前先应用LEACE线性擦除；MANCE++进一步增加CovMatch预处理，移除二阶矩类条件协方差不对称性。
核心创新点是基于流形约束的概念擦除，这与已有方法的本质区别在于：MANCE显式估计自然表示的局部流形结构（通过k近邻PCA估计切空间），并将所有擦除更新约束在这个流形的切空间上。之前的非线性方法如IGBP使用固定的全局步长，在完整表示空间中移动；Obliviator使用核特征空间中的投影。而MANCE的关键创新是：(1)每个样本独立的局部切空间估计；(2)将概念探测器梯度投影到这个切空间；(3)根据局部邻域半径计算每个样本的最大允许步长。这种几何约束使得编辑更精确，避免了将表示推离自然流形区域。与无约束的消融实验AmbCE++相比，MANCE++的平均泄漏从5.7到9.8pp降至1.6到0.0pp，证明了流形约束的价值。
方法步骤详情
MANCE方法包含三个主要步骤。步骤1：估计局部流形。对于每个表示，从原始自然表示中找到k个最近邻，计算它们的均值，然后构建中心化的局部变化矩阵。对该矩阵进行SVD分解，保留前r个右奇异向量作为局部切空间的基。步骤2：构建切空间擦除方向。在第t轮，计算概念探测器对输入的梯度，归一化。投影到切空间得到切空间坐标，然后用奇异值谱加权。归一化得到最终的擦除方向。步骤3：选择每个样本的局部邻域约束。计算局部邻域半径（到k个最近邻的平均距离），选择步长使得更新位移不超过邻域半径的epsilon分数。然后沿擦除方向减去样本在该方向上的投影。这个过程重复H轮，每tau轮重新拟合探测器。公式上，更新为xi^(t) = xi^(t-1) - lambda_i * 内积(xi^(t-1), u_hat_i) * u_hat_i，其中步长lambda_i = min(lambda_max, epsilon * ri / 内积(xi^(t-1), u_hat_i))。
技术新颖性
MANCE的技术新颖性体现在三个方面：(1)理论创新：提出了流形约束假设（MCH），形式化了干预应该在自然表示流形上进行的预测，这是一个新的理论视角；(2)算法创新：首次将局部流形估计（通过k近邻PCA和切空间）应用于概念擦除，提出了具体的约束优化算法，包括谱加权的切空间投影和基于局部邻域半径的自适应步长；(3)组合创新：MANCE可以作为后处理步骤应用于任何现有的概念擦除方法，这种正交性使得它能改进之前的方法。实验表明，将MANCE应用于INLP、LEACE和IGBP之后，泄漏分别从15.2、19.1和11.5pp降至1.8、1.5和1.6pp。MANCE++的组合设计（LEACE + CovMatch + MANCE）达到了SOTA水平，在手术性预算小于等于10pp时达到0.0pp泄漏（35/39设置在随机水平）。
实验结果
论文在119个设置上进行了全面评估，核心发现如下：(1)添加MANCE显著改进了现有的概念擦除方法。在39个NLP设置上，在手术性预算小于等于1pp预算下，LEACE的泄漏从19.1pp降至1.5pp，INLP从15.2pp降至1.8pp，IGBP从11.5pp降至1.6pp。类似的效果出现在更宽松的预算下（小于等于3、5、10pp），泄漏都能降至接近0-2pp。(2)MANCE++达到了SOTA水平。在手术性预算小于等于1pp时，MANCE++的泄漏为+1.6pp，而最强的基线Obliviator为+4.3pp；在手术性预算小于等于10pp时，MANCE++降至0.0pp（35/39设置在随机水平），而Obliviator仍有+2.7pp（仅17/39设置在随机水平）。(3)在难度最大的性别概念上，MANCE++的优势最明显。在手术性预算小于等于1pp时，MANCE++在3/13模型上达到随机，Obliviator为0/13；在手术性预算小于等于5pp时，MANCE++达到12/13，Obliviator仍为0/13。安全概念次之，在手术性预算小于等于1pp时MANCE++达到11/13模型，而Obliviator在2/13设置上超出预算。(4)在CelebA视觉任务上，MANCE++在80个设置（40个属性乘以2种手术性机制）上显示出强大的覆盖-泄漏权衡。在低相关性控制下，MANCE++覆盖39/40（手术性预算小于等于1pp）和40/40（手术性预算小于等于3pp）属性，而Obliviator仅覆盖15/40和29/40。在高相关性控制下，MANCE++覆盖19/40和34/40，而Obliviator仅覆盖2/40和15/40。(5)消融实验证明了流形约束的价值。AmbCE++（无切空间约束）的泄漏为+5.7到+9.8pp，而MANCE++为+1.6到0.0pp，且覆盖更多设置。这证明改进来自切空间约束，而非仅来自非线性探测器循环。(6)阿谀概念已经被线性方法解决，LEACE的泄漏已接近随机，MANCE没有进一步改进的空间，这验证了方法在困难情况下的有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| NLP概念擦除（39设置） | 目标泄漏（pp），手术性预算小于等于1pp | MANCE++: +1.6pp（覆盖33/39） | Obliviator: +4.3pp（覆盖39/39） | 降低2.7pp，但MANCE++在更严格的设置上达到随机 |
| NLP概念擦除（39设置） | 达到随机水平的设置数，手术性预算小于等于10pp | MANCE++: 35/39 | Obliviator: 17/39 | 覆盖增加18个设置（+106%） |
| 性别概念擦除（13模型） | 达到随机水平的模型数，手术性预算小于等于5pp | MANCE++: 12/13 | Obliviator: 0/13 | 覆盖增加12个模型（从0到92%） |
| CelebA视觉属性擦除（40属性） | 覆盖数，高相关性控制，手术性预算小于等于3pp | MANCE++: 34/40 | Obliviator: 15/40 | 覆盖增加19个属性（+127%） |
| 现有方法改进 | 泄漏降低，手术性预算小于等于1pp | LEACE+MANCE: 1.5pp | LEACE: 19.1pp | 降低17.6pp（-92%） |
局限与改进
作者承认的局限性包括：(1)测量范围：论文通过重新训练非线性MLP探测器来量化擦除，但这只是经验测量，不是目标概念完全不可恢复的保证。手术性只针对枚举的控制概念，不代表表示的完整信息内容。(2)局部流形估计：MANCE使用k近邻PCA估计局部切空间，这在自然表示稀疏或流形强烈弯曲时会降解。切空间约束只在MCH成立时有优势，当内在维度接近表示维度时，优势会缩小。(3)计算成本：与LEACE等闭式线性擦除器不同，MANCE每轮为每个表示重新计算k-NN查询和局部SVD，并周期性重新拟合非线性探测器。部署到新输入也需要查询自然表示的最近邻，因此拟合和部署都比单次投影方法更重。本文的观察：虽然MANCE++在泄漏指标上达到SOTA，但它在手术性预算小于等于1pp时的覆盖（33/39）不如Obliviator（39/39），这表明在最严格的手术性约束下，MANCE++可能过于保守。另外，论文没有讨论在不同模型规模、不同数据分布或不同架构下的泛化性，所有实验都集中在LLM的中间层和CLIP的最终池化层。
独立分析的弱点
独立分析的弱点：(1)局部流形估计的质量高度依赖于自然表示的密度和多样性。在数据稀缺或分布偏移的场景下，k近邻可能不可靠，导致切空间估计不准确。改进方向：使用更鲁棒的流形估计方法，如基于图拉普拉斯算子的全局流形估计，或使用数据增强来增加表示密度。(2)计算开销较大，每轮每个样本都需要k-NN查询和局部SVD。在大规模数据集（数十万样本）或高维表示（数千维）上，这会成为瓶颈。改进方向：使用近似最近邻算法（如FAISS）、GPU加速的SVD实现，或预计算并缓存切空间基。(3)手术性预算只针对枚举的控制概念，可能无法保证未测量的信息得到保留。改进方向：开发更全面的保留指标，如使用多个任务探测器的平均性能，或使用表示对下游任务的泛化能力作为保留度量。(4)方法对超参数（如k、r、epsilon、lambda_max）虽然跨设置固定，但这些值可能不是所有任务的最优。改进方向：开发自动调参机制，或基于局部几何的自适应参数选择。(5)论文没有讨论对抗性场景，即攻击者可能使用更复杂的探测器来恢复被擦除的概念。改进方向：评估方法对抗攻击的鲁棒性，如使用更强的探测器（集成模型、Transformer探测器）来测量泄漏。
未来方向
作者提出的未来方向：(1)更好的流形估计器：本文使用局部一阶估计（切空间），作者认为非局部和更全局的流形模型能够实现更精确的干预，并且一个估计可以服务于不同的编辑而不需要为每个表示重新计算。(2)将切空间估计质量与干预保证联系起来：作者认为建立流形估计质量和擦除保证之间的形式化联系是一个有前景的方向。基于成果可延伸的方向：(1)扩展到其他表示编辑任务：MCH的思想可以应用于激活引导、特征编辑等其他表示干预任务。(2)多概念同时擦除：当前方法针对单个概念，可以扩展到同时擦除多个概念，探索多个流形约束如何交互。(3)在线擦除：当前方法需要批量处理所有表示来估计流形，可以探索在线或增量式擦除，适用于流式数据场景。(4)跨模态流形：探索不同模态（文本、图像、音频）的表示是否共享相似的流形结构，是否能利用跨模态信息改进擦除。(5)理论分析：建立MCH的理论基础，证明在某些假设下，流形约束干预确实比无约束干预更好地保留其他信息。(6)效率优化：开发更高效的实现，如GPU驻留实现可以大幅减少运行时间，论文显示当前实现约50%时间在局部SVD，40%在CPU-GPU传输。
复现评估
论文代码已开源（https://github.com/MatanAvitan/mance），作者在论文中声明可用。论文提供了详细的实验设置和超参数值（在附录E中），所有119个设置使用固定超参数，无需per-setting调优。数据集方面，NLP使用公开的Bias in Bios（性别）、PKU-SafeRLHF（安全）和阿谀数据集，CelebA是公开的图像数据集。算力方面，论文在NVIDIA B200上运行，MANCE在性别概念上耗时约8分钟（458.8-474.9秒），MANCE+和MANCE++只增加几秒。基线方法LEACE和CovMatch只需几秒，INLP需几分钟。复现难度中等，主要挑战是计算资源（需要大内存GPU）和运行时间（119个设置的总运行时间可能较长）。论文附录提供了详细实现细节和额外实验结果，有助于完整复现。总体评估：代码开源、数据公开、超参数明确，但计算需求较高，适合有GPU资源的研究者复现。
论文图表
这张图展示了流形约束假设的直观理解。图中有两个二维表示空间（可能投影自更高维），展示了自然表示如何集中在低维流形上（显示为曲线或曲面）。图对比了无约束干预和流形约束干预的效果：无约束干预可能在移除目标概念的同时将表示推离自然流形的局部邻域，可能损害其他编码信息；而流形约束干预（MANCE）保持表示在流形上，只在切空间方向移动，从而更好地保留其他信息。图展示了自然输入的表示（未编辑点）在流形上的分布，以及编辑后的点如何保持在流形结构内。
这张图对理解论文至关重要，因为它可视化地解释了核心假设MCH：干预应该约束在自然表示流形上。它帮助读者直观理解为什么MANCE的方法（投影到切空间）是有意义的，以及与无约束更新相比有什么优势。没有这个图，读者可能难以理解流形约束的几何直觉。