稀疏嵌入调制：基于稀疏自编码器的视觉语言模型后处理去偏框架 SEM: Sparse Embedding Modulation for Post-Hoc Debiasing of Vision-Language Models
用SAE分解CLIP嵌入，在稀疏空间精准去偏
前置知识
对比式视觉语言模型（Contrastive Vision-Language Models）
以CLIP为代表的模型通过对比学习将图像和文本映射到共享的嵌入空间。训练时，模型学习拉近匹配的图文对的嵌入距离，推远不匹配的图文对。这种范式使得文本嵌入成为下游任务（如零样本分类、跨模态检索）的通用接口。然而，由于训练数据来自大规模未筛选的网络数据，模型会继承并放大数据中的社会偏见和虚假关联，例如将'医生'与'男性'、'护士'与'女性'过度关联。
理解CLIP的工作原理和偏见来源是理解本文问题动机的基础，SEM正是针对CLIP文本嵌入中的偏见进行干预。
后处理去偏（Post-Hoc Debiasing）
在不修改预训练模型参数的前提下，通过修改输入嵌入来减少模型偏见的方法。这类方法的优势在于无需重新训练模型，计算成本低，且可以灵活应用于不同任务。常见的技术包括基于投影的方法（将嵌入投影到无偏子空间）和基于校准的方法。这类方法特别适合实际应用场景，因为从业者通常使用的是冻结的预训练模型。
SEM属于后处理去偏方法，理解这类方法的范式和局限性是理解本文创新点的前提。
稀疏自编码器（Sparse Autoencoder, SAE）
SAE是一种无监督表示学习方法，通过编码器将输入映射到高维稀疏潜在空间，再通过解码器重建原始输入。训练目标是最小化重建误差的同时强制潜在表示的稀疏性（通常通过L1惩罚或TopK激活实现）。SAE能够学习到一组稀疏的字典原子，将原始的纠缠表示分解为更解耦的特征。论文使用的Matryoshka SAE（MSAE）是一种层次化架构，在不同粒度上学习表示，建立了重建质量和稀疏性之间的最优帕累托前沿。
SAE是SEM的核心技术组件，它将CLIP嵌入分解为稀疏、解耦的特征空间，使得精准的特征级别干预成为可能。
最差群体准确率（Worst-Group Accuracy）
衡量模型在所有偏见子群体中表现最差的那个群体上的准确率。例如在性别偏见场景中，分别计算男性和女性群体的准确率，取其中的最小值。这个指标比整体准确率更能反映模型的公平性，因为即使整体性能很高，如果某个群体的性能极低，模型在实际应用中仍可能造成歧视。Gap指标则是最好群体和最差群体之间的性能差异。
论文的核心贡献之一就是显著提升了worst-group accuracy，解决了先前方法在这个指标上的失败，这是评估去偏效果的关键维度。
研究动机
现有的后处理去偏方法在处理CLIP文本嵌入中的偏见时面临根本性困境。这些方法通常直接在密集的CLIP嵌入空间中操作，通过正交投影移除一个偏见子空间。然而，CLIP嵌入空间中的语义概念（如'职业'）和偏见属性（如'性别'或'种族'）是高度纠缠的。实验数据显示，原始CLIP嵌入的解耦分数仅为5-15%，这意味着职业特征中包含了大量与性别/种族相关的信息。现有方法假设偏见可以用单一的线性方向建模，这对于性别或种族这样的复杂概念是过度简化的。这种粗粒度的操作无法将偏见与内容分离，导致两个严重后果：一是在最差群体准确率上仅有边际改善，例如在Waterbirds数据集上，ORTH-PROJ和ROBOSHOT的worst-group accuracy仅比基线CLIP提升几个百分点；二是公平性增益不一致，某些场景下甚至会恶化性能。
本文的目标是本文的目标是提出一种新的后处理去偏框架，能够在不修改预训练模型的前提下，实现对CLIP文本嵌入中偏见的精准、非线性干预。具体而言，该框架需要：（1）将纠缠的嵌入分解为可分离的特征；（2）在特征级别识别和调制偏见相关的神经元；（3）在保持语义保真度的同时显著提升公平性指标，特别是在worst-group accuracy上实现突破性改善；（4）提供零样本能力，无需针对特定任务进行微调。
与已有工作不同的是，本文的独特视角在于认识到密集嵌入空间的纠缠性是现有方法失败的根本原因，而非简单地认为'投影方向不够好'。与已有工作不同，SEM不是在原始空间中寻找更好的投影方向，而是先将嵌入投影到一个稀疏、解耦的潜在空间，然后在这个空间中进行干预。这种'先分解再干预'的思路抓住了被忽视的关键点：在稀疏空间中，偏见和内容信息被分离到不同的神经元上，使得精准的非线性操作成为可能。论文通过定量分析证明，SAE潜在空间的解耦分数比原始CLIP嵌入提高了1.7-5.7倍，这为后续的精准干预提供了坚实基础。
核心方法
SEM的核心思路可以用一个类比来理解：想象CLIP嵌入是一杯混合果汁，其中'职业味道'和'偏见味道'完全混合在一起，传统的投影方法就像试图用滤网过滤，但由于味道已经融合，效果有限。SEM的做法是先用SAE这台'分子分离机'将混合果汁分解回各个独立的成分，然后精确地减少偏见成分的浓度，增加内容成分的浓度，最后重新混合成一杯更'公平'的果汁。技术路线上，SEM首先使用预训练的Matryoshka SAE将CLIP文本嵌入投影到16384维的稀疏潜在空间；然后通过两个评分机制（内容相关性评分和偏见敏感度评分）识别每个神经元的属性；最后通过调制系数放大内容神经元、衰减偏见神经元，重建出去偏后的嵌入。
SEM最本质的创新是将去偏操作从密集的、纠缠的嵌入空间转移到稀疏的、解耦的SAE潜在空间。这一转换带来了根本性的改变：在原始空间中，每个维度都混合了多种语义信息，投影操作只能做线性、全局的调整；而在SAE空间中，每个神经元对应更纯粹的特征概念，干预可以是非线性、特征级别的。具体而言，SEM设计了一种分数感知的调制机制，为每个神经元计算一个调制系数M(j)，该系数综合考虑了神经元的内容相关性S_concept(j)和偏见敏感度S_bias(j)。对于SEMb变体，调制系数定义为M(j) = (1 + S_concept(j) - S_bias(j))^2，这自然地实现了：当S_concept > S_bias时放大（M > 1），当S_concept < S_bias时衰减（M < 1），当两者接近时保持（M约等于1）。这种设计使得SEM能够在保持核心语义的同时精准移除偏见。
方法步骤详情
SEM的完整流程包含两个主要阶段。第一阶段是神经元评分（Neuron Scoring）：首先，输入查询q通过CLIP文本编码器得到嵌入z，然后通过SAE编码器得到稀疏潜在表示h。接着计算内容相关性分数S_concept(j)，通过比较查询的神经元激活与一组多样化中性提示的激活的百分位排名来实现。为了提高鲁棒性，可以使用LLM生成的改写来增强估计，得到更稳定的中位数激活向量m_q。同时，对于每个偏见类别c，计算其偏见签名m_c（该类别提示激活的中位数），然后计算两个分数：通用分数S_c_gen（相对于中性提示）和特定分数S_c_spec（相对于其他偏见类别）。最终偏见敏感度S_bias(j)是所有类别中通用分数和特定分数最小值的最大值。第二阶段是神经元调制（Neuron Steering）：根据可用信息选择SEMi（仅用S_concept）、SEMb（用S_concept和S_bias）或SEMbi（增强版）计算调制系数M(j)，然后通过插值得到去偏的潜在表示，最后通过SAE解码器重建去偏嵌入。
技术新颖性
SEM的技术新颖性体现在三个方面。首先，它是第一个将SAE应用于VLM后处理去偏的框架，开创了在稀疏潜在空间中进行偏见干预的新范式。与同期工作（如debiaSAE）不同，SEM提出了一个原则性的干预框架，而非简单的探索性应用。其次，SEM设计了双维度的神经元评分机制（内容相关性和偏见敏感度），并通过min-max组合确保只选择既强烈又特异的偏见神经元，这比单一维度的评分更精准。第三，SEM的调制公式实现了自适应的非线性干预，内容提升项是防止在具有强虚假关联的任务上性能崩溃的关键，消融实验显示移除该项会导致Waterbirds上worst-group accuracy从0.624暴跌至0.445。
实验结果
论文在两个CLIP骨干网络（ViT-B/16和ViT-L/14@336px）和四个基准数据集上进行了全面评估，涵盖社会偏见（性别、种族）和虚假关联（背景）两种类型。在零样本分类任务上，SEM展现出显著优势：在Waterbirds数据集（虚假关联的典型测试）上，SEMi将ViT-L/14的worst-group accuracy从基线CLIP的0.396提升到0.523（+12.7点），SEMb提升到0.631（+23.5点），SEMbi更是达到0.684（+28.8点），有效解决了强虚假关联问题。在CelebA社会偏见任务上，SEMb在ViT-L/14上实现了0.824的worst-group accuracy和0.032的Gap，显著优于基线的0.780和0.090。在检索任务上，SEMi在偏见无关设置下成为新的SOTA，在FairFace种族检索（ViT-B/16）上将KL散度从0.237降至0.170，而ROBOSHOT反而恶化到0.327。SEMb和SEMbi在12/16个社会偏见指标上超越或匹配其他零样本方法。最重要的是，SEM展示了模块化和互补性：将SEMbi嵌入输入BENDVLM后，BENDSEMbi在28个指标中的24个上超越了单独的BENDVLM，在Waterbirds（ViT-L/14）上将worst-group accuracy从0.416提升到0.745（+32.9点），在UTKFace种族检索上将KL散度降低了50.6%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Waterbirds零样本分类（ViT-L/14） | Worst-Group Accuracy | SEMbi: 0.684 | BASE CLIP: 0.396 | +28.8点（相对提升72.7%） |
| CelebA性别零样本分类（ViT-L/14） | Worst-Group Accuracy | SEMb: 0.824 | BASE CLIP: 0.780 | +4.4点（相对提升5.6%） |
| FairFace种族检索（ViT-B/16） | KL Divergence@500 | SEMi: 0.170 | BASE CLIP: 0.237 | 降低28.3% |
| Waterbirds零样本分类（ViT-L/14）+ BENDVLM | Worst-Group Accuracy | BENDSEMbi: 0.745 | BENDVLM: 0.416 | +32.9点（相对提升79.1%） |
| CelebA性别零样本分类（ViT-L/14） | Gap（公平性差距） | SEMbi: 0.031 | BASE CLIP: 0.090 | 降低65.6% |
局限与改进
尽管SEM取得了显著成果，但仍存在一些局限性。首先，SEM依赖于预训练的SAE，其质量直接影响去偏效果。论文使用在CC12M-cleaned数据集上训练的MSAE，如果SAE的重建质量不佳或解耦不充分，可能无法实现预期的干预效果。其次，SEM的偏见感知变体（SEMb和SEMbi）需要提供偏见提示（如描述种族或性别的句子），这要求用户事先知道要缓解的偏见类型，限制了其在未知偏见场景下的应用。第三，论文评估主要集中在检索和零样本分类任务上，对于其他下游任务（如图像生成、视觉问答）的效果尚未验证。第四，虽然SEM在worst-group accuracy上表现优异，但在某些检索公平性指标上（如CelebA Hair Color的KL散度），其表现不如需要偏见特定训练的方法（如PRISM），暗示零样本方法在某些场景下仍有性能上限。最后，SAE引入了额外的计算开销，虽然推理时只需前向传播一次SAE，但对于大规模应用场景可能需要考虑效率问题。
独立分析的弱点
从独立分析的角度，SEM存在几个值得改进的弱点。第一，内容相关性评分S_concept基于与中性提示的比较，但如果查询本身就包含偏见相关词汇（如'a female doctor'），这种评分可能无法准确区分内容和偏见，建议探索基于因果推断的方法来更精确地识别因果相关的特征。第二，SEM的调制公式是启发式设计的，虽然实验验证了其有效性，但缺乏理论保证，未来可以探索基于优化理论的调制策略，例如将去偏问题形式化为约束优化问题。第三，论文使用的SAE是通用的，未针对去偏任务进行专门训练，可以探索在训练SAE时引入公平性约束，使其学到的特征天然更适合去偏操作。第四，SEM在处理多个偏见属性（如同时考虑性别和种族）时，采用的是简单的max操作，这可能导致属性间的交互被忽略，建议探索更精细的多属性联合调制策略。
未来方向
论文提出的SEM框架为未来研究开辟了多个方向。首先，可以将SEM扩展到图像嵌入的去偏，论文已证明在文本嵌入上有效，但视觉侧的偏见同样严重，探索SAE在视觉特征上的解耦能力是有价值的方向。其次，SEM的模块化特性使其可以与其他方法结合，未来可以探索与训练时去偏方法的协同，例如先用SEM进行后处理，再用对抗训练微调模型。第三，可以将SEM的思想应用于生成模型，如Stable Diffusion的文本条件嵌入，减少生成图像中的偏见。第四，探索自适应的偏见发现机制，不依赖预定义的偏见提示，而是自动从数据中识别需要缓解的偏见类型。最后，将SEM扩展到多语言场景，研究不同语言文化背景下的偏见模式和去偏策略。
复现评估
论文的复现条件相对友好。代码和模型已开源在项目主页（https://sparse-embedding-modulation.github.io/）。SAE训练使用CC12M-cleaned数据集（8.5M张图片的描述），这是公开可用的资源。训练SAE在单个NVIDIA A100 GPU上约需1.5小时，计算成本可控。论文提供了详细的超参数设置和训练细节（见补充材料）。评估使用了四个标准基准数据集（FairFace、UTKFace、CelebA、Waterbirds），均为公开数据集。主要的复现挑战在于：（1）需要获得CLIP骨干网络的访问权限；（2）SAE的训练质量可能因随机种子和实现细节而异；（3）评估协议较为复杂（10折交叉验证、参考集/评估集划分）。总体而言，对于有ML基础设施的团队，复现难度为中等。
论文图表
展示了在ViT-B/16和ViT-L/14@336px两个骨干网络上，原始CLIP嵌入（蓝色）和SAE潜在空间（橙色）在性别和种族属性上的解耦分数对比。SAE空间的解耦分数在性别属性上提高了1.7-2.6倍，在更复杂的种族属性上提高了5.6-5.7倍，定量证明了SAE能有效分离职业特征和偏见特征。
这是论文的定量动机分析，用数据证明了SAE空间确实比原始CLIP空间更解耦，为后续方法提供了实证基础。