SING：分类器中语义不变量的分析方法 Make it SING: Analyzing Semantic Invariants in Classifiers
通过零空间几何与CLIP映射，量化分类器的语义不变性
前置知识
奇异值分解（SVD）
奇异值分解是线性代数中将矩阵分解为三个矩阵乘积的方法。对于权重矩阵 $W = U\Sigma V^\top$，其中 $\Sigma$ 包含按降序排列的奇异值，$U$ 和 $V$ 分别包含左奇异向量和右奇异向量。在本文中，SVD 被用于分解分类器最后一层全连接层的权重，将特征空间分为主空间（对应非零奇异值）和零空间（对应零奇异值），从而识别出不影响分类输出的不变方向。
理解 SVD 是理解本文方法的基础，因为整个 SING 框架建立在对分类器权重进行 SVD 分解以提取零空间投影矩阵之上。
零空间（Null Space）
对于线性映射 $W \in \mathbb{R}^{c \times m}$，其零空间是所有满足 $W\nu = 0$ 的向量 $\nu$ 构成的子空间。这意味着对特征 $f$ 添加零空间中的任何扰动 $\nu$，输出的逻辑值保持不变：$W(f + \nu) = Wf$。零空间中的方向代表了分类器忽略的变化模式，但这些变化的语义含义此前缺乏系统性研究。
零空间是本文研究的核心对象，所有实验都围绕分析零空间中不变量的语义内容展开。
对比语言-图像预训练（CLIP）
CLIP 是 OpenAI 提出的多模态模型，通过对比学习在共享嵌入空间中对齐图像和文本表示。给定图像嵌入 $z_{\text{img}}$ 和文本嵌入 $z_{\text{text}}$，CLIP 通过余弦相似度衡量它们的语义相关性。CLIP 的一个重要特性是存在模态间隙（modality gap），即图像和文本嵌入在空间中的分布区域不同。本文利用 CLIP 的视觉-语言空间作为语义解释的目标空间。
CLIP 是本文将分类器特征映射为人类可理解语义的关键桥梁，使得零空间扰动能够获得自然语言描述。
等价对（Equivalent Pairs）
在本文中，等价对是指经过零空间扰动后产生相同逻辑值输出的两个特征向量 $(f, \tilde{f})$，其中 $\tilde{f} = f - \Pi_n f$，$\Pi_n = V_n V_n^\top$ 是零空间投影矩阵。虽然两者在分类器看来等价，但它们的语义内容可能完全不同，这种差异正是 SING 方法要揭示和量化的。
等价对是连接分类器几何结构与语义解释的核心概念，通过比较等价对的语义差异来评估分类器的不变性质量。
属性分数（Attribute Score, AS）
属性分数定义为原始特征和等价对在 CLIP 空间中与目标文本嵌入的角度差：$\text{AS}(f, \tilde{f} | z_{\text{text}}, T_\Theta) = \angle(T_\Theta(f), z_{\text{text}}) - \angle(T_\Theta(\tilde{f}), z_{\text{text}})$。正值表示等价图像在语义上更接近目标文本，负值则相反。低 AS 表明分类器的零空间扰动不会显著改变与分类相关的语义，这是理想分类器应具备的特性。
AS 是本文最核心的评估指标，用于衡量分类器零空间中类相关语义信息的泄漏程度，直接决定了模型比较的结论。
研究动机
现有视觉分类器虽然在识别基准测试上表现出色，但其内部表示的几何结构极其复杂，使得机制可解释性变得困难。所有分类器都存在不变量——即映射到相同输出的不同输入集合。这些不变量部分源于分类器线性层零空间的几何结构。然而，现有方法无法有效解释这些不变方向的语义含义。例如，基于 SVD 的特征空间分解方法（如 Aubry 和 Russell [3]、Härkönen 等人 [25]、Haas 等人 [19] 的工作）虽然能识别主导变化模式，但这些方法本质上依赖于数据协方差而非网络机制，可能遗漏分类器零空间中的不变量。直接在权重诱导的零空间中操作的方法（如 Ravfogel 等人 [46] 的信息移除、Li 和 Short [32] 的隐写术、Cook 等人 [11] 的 OOD 检测）虽然能识别不变方向的存在，但无法解释这些方向代表什么语义含义，往往只能依赖特定任务的数据来演示这些方向。这种语义解释的缺失使得从业者无法确定模型实际学习了什么不变性，只能通过严格测试来评估。
本文的目标是本文提出 SING（Semantic Interpretation of the Null-space Geometry）方法，旨在为分类器零空间中的不变方向赋予语义解释。具体目标包括三个层面：在模型层面，提供一个公平的敏感性比较协议，通过测量语义泄漏来比较不同架构；在类层面，高亮显示对语义偏移不够鲁棒的类别，揭示虚假相关性；在图像层面，提供细粒度的诊断工具，帮助识别和调试失败案例。最终目标是将零空间转化为可度量、人类可读的证据，为分类器的鲁棒性评估提供新的视角。
与已有工作不同的是，本文的独特切入角度在于首次将分类器的不变方向映射到多模态视觉-语言网络中进行系统性分析。与以往只关注分类器活跃特征子空间的方法不同，SING 专注于被忽略的零空间。通过使用线性翻译器将分类器特征映射到 CLIP 的视觉-语言空间，SING 能够获得不变量的自然语言描述和视觉示例，这是前所未有的能力。该方法支持从单张图像到整个模型的多粒度分析，可以检测虚假关联（如背景线索）并评估其贡献，还可以测量特定概念被模型忽略的程度。这种将分类器几何结构与人类可读解释连接起来的能力，填补了现有可解释性方法在零空间语义分析方面的空白。
核心方法
SING 方法的整体思路可以概括为三个阶段：首先通过 SVD 分解分类器最后一层权重，提取主空间和零空间的投影算子；然后训练一个线性翻译器，将分类器的特征空间映射到 CLIP 的图像嵌入空间；最后通过构造等价对（原始特征与零空间移除后的特征）并测量它们在 CLIP 空间中的语义差异，来量化和解释不变量的语义内容。直觉上，如果一个分类器学习到了良好的不变性，那么零空间移除应该只改变与分类无关的属性（如背景、光照），而不影响类相关语义。反之，如果零空间中泄漏了类相关语义，说明分类器可能依赖于虚假线索。
SING 的核心创新在于将分类器的零空间几何结构与 CLIP 的视觉-语言空间连接起来。具体来说，对于分类器最后一层权重 $W \in \mathbb{R}^{c \times m}$，通过 SVD 分解得到零空间投影矩阵 $\Pi_n = V_n V_n^\top$。对特征 $f$ 进行零空间移除得到等价对 $\tilde{f} = f - \Pi_n f$，两者产生相同的逻辑值但可能具有不同的语义内容。关键区别在于：以前的方法只能识别不变方向的存在，而 SING 通过训练一个线性翻译器 $T_\Theta: \mathbb{R}^m \rightarrow \mathbb{R}^n$ 将特征映射到 CLIP 空间，使得这些不变方向获得了可解释的语义含义。由于翻译器是线性的，它天然适合加性特征分解：$T_\Theta(f + v) = T_\Theta(f) + T_\Theta(v)$，这使得零空间扰动可以直接在 CLIP 空间中被分析。
方法步骤详情
SING 方法包含四个主要步骤。第一步是 SVD 分解：对分类器最后一层权重 $W$ 进行奇异值分解 $W = U\Sigma V^\top$，根据秩 $\text{rank}(W)$ 将右奇异向量 $V$ 分为主空间 $V_p$（对应非零奇异值）和零空间 $V_n$（对应零奇异值），构建投影矩阵 $\Pi_p = V_p V_p^\top$ 和 $\Pi_n = V_n V_n^\top$。第二步是训练线性翻译器：给定分类器特征 $f \in \mathbb{R}^m$ 和对应的 CLIP 图像特征 $z_{\text{img}} \in \mathbb{R}^n$，通过最小化损失函数 $\mathcal{L} = \|T_\Theta(f) - z_{\text{img}}\|_2^2 + \lambda\|\Theta\|_2^2$ 来训练翻译器，其中 $\lambda$ 是权重衰减系数。第三步是构造等价对：对特征 $f$ 进行零空间移除 $\tilde{f} = f - \Pi_n f$，确保 $W\tilde{f} = Wf$。第四步是语义分析：将原始特征和等价对分别通过翻译器映射到 CLIP 空间，计算属性分数 AS 和图像分数 IS，量化语义变化。
技术新颖性
SING 的技术新颖性体现在多个方面。首先，它是第一个将分类器零空间不变方向映射到多模态网络进行系统性分析的方法，这在以往的可解释性研究中从未被尝试过。其次，作者发现线性翻译器足以胜任特征空间映射，尽管也尝试了多种非线性架构（3层MLP、4层MLP、残差MLP），但在2000张图像的验证集上，线性翻译器的余弦相似度为0.8946，与非线性架构的0.9023-0.9049相差无几，这大大简化了方法的实现。第三，SING 引入了两个互补的评估指标：AS 衡量类相关语义泄漏，IS 衡量一般语义变化，两者的比值 IS/AS 提供了模型质量的单一度量。第四，方法支持从模型级别到图像级别的多粒度分析，还支持开放词汇的概念分析和基于文本梯度的零空间扰动，提供了前所未有的诊断灵活性。
实验结果
本文在五个预训练模型上进行了全面实验：DinoViT、ResNet50、ResNext101、EfficientNetB4 和 BiTResNetv2。核心发现如下：在模型级别比较中，DinoViT 取得了最佳的 IS/AS 权衡，在所有测试模型中 IS/AS 比值最高，表明其零空间中类相关语义泄漏最少，同时允许丰富的非语义不变性（如背景变化）。具体而言，DinoViT 的 AS 分布紧密集中在零附近，而 ResNext101 显示出高 AS 和显著方差，表明存在类依赖的语义泄漏。在类级别分析中，DinoViT 在所有类别上表现出稳定的低 AS 幅度（通常 |AS| < 1），而 ResNet50 在不同类别间显示出更大且更可变的 AS，某些类别（如豪猪、跑车）泄漏了大量语义信息到零空间。有趣的是，两个模型的每类 AS 排序之间没有显著相关性，表明这种效应是模型依赖的而非数据集类结构驱动的。在开放词汇分析中，'阿拉伯骆驼'类显示几乎没有 AS，'沙漠'概念获得了最小的 CLIP 角度；而'水母'类具有显著更大的 AS，表明概念与该类别的不变性紧密耦合。在文本梯度零扰动实验中，校准到 IS=40° 后，DinoViT 对目标提示的 |AS| 仅为 5.0±0.59，远低于 ResNet50 的 12.04±0.25 和 EfficientNet 的 12.38±0.52，表明 DinoViT 对定向零空间操纵具有最强的抵抗力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 模型级零空间语义泄漏评估（1000类 ImageNet） | IS/AS 比值（越高越好） | DinoViT 达到最高 IS/AS 比值 | ResNet50, ResNext101, EfficientNetB4, BiTResNetv2 | DinoViT 比 IS/AS 最低的 ResNext101 表现显著更优 |
| 文本梯度零空间扰动抵抗力 | |AS|（越低越好，校准到 IS=40°） | DinoViT: 5.0±0.59 | ResNet50: 12.04±0.25, EfficientNet: 12.38±0.52, BiTresnet: 9.19±0.31, ResNext101: 11.15±0.53 | DinoViT 的 |AS| 比次优的 BiTresnet 低 45.6% |
| 翻译器验证（主特征分类精度） | Pearson 相关系数 | 0.972 | 无（验证翻译器保真度） | 表明翻译器在 CLIP 空间中保留了分类性能 |
局限与改进
本文存在几个值得讨论的局限性。首先，实验仅基于五个预训练在 ImageNet-1k 上的模型，虽然涵盖了 CNN 和 ViT 架构，但样本量有限，可能无法完全代表所有现代视觉模型的行为。补充材料中扩展到12个模型的验证部分缓解了这一问题。其次，线性翻译器虽然在实验中表现良好（余弦相似度约0.89），但可能存在信息损失，无法完全捕获分类器特征空间的所有语义内容，特别是对于高度非线性的特征表示。第三，CLIP 本身存在模态间隙问题，图像和文本嵌入的分布区域不同，这可能影响 AS 和 IS 指标的准确性。作者提到可以使用其他视觉-语言模型（如 EVA02）作为目标空间，并在补充材料中进行了验证，但系统性的比较仍然有限。第四，可视化使用 UnCLIP 生成图像仅用于定性说明，所有定量声明依赖于逻辑值和 CLIP 嵌入，但 UnCLIP 的生成质量可能影响人类对语义变化的直观理解。最后，方法主要关注分类器最后一层全连接层的零空间，对更深层次的网络内部表示分析较少。
独立分析的弱点
本文有几个可改进的弱点。首先，实验规模方面，虽然补充材料扩展到12个模型，但核心实验仅使用5个模型，且全部基于 ImageNet-1k 预训练，缺乏在大规模数据集（如 ImageNet-21k）或特定领域数据集上的验证。改进方向是扩展到更多架构和预训练策略的系统性比较。其次，翻译器训练方面，当前使用 MSE 损失加 L2 正则化，虽然简单有效，但可能不是最优目标函数。可以探索对比学习损失或更复杂的对齐策略，特别是在处理 CLIP 模态间隙时。第三，指标设计方面，AS 和 IS 都基于角度测量，可能对嵌入空间的几何特性敏感。可以引入更鲁棒的分布距离度量（如 Wasserstein 距离）来替代或补充角度指标。第四，可视化质量方面，依赖 UnCLIP 进行图像生成可能引入额外的语义失真，特别是在大角度扰动时。可以探索更直接的特征可视化方法或使用多个生成器进行交叉验证。
未来方向
作者在论文末尾提出了两个有前景的研究方向。第一，定向增强微调：在微调过程中鼓励对关键概念的小 AS，即通过数据增强或正则化技术，主动将有用的语义从零空间转移到主空间，同时保持逻辑值不变。第二，线性代数控制：使用投影正则化、秩调整或约束更新，更直接地控制零空间的内容。基于本文成果，可以延伸的方向包括：将 SING 应用于模型安全性审计，检测可能被对抗攻击利用的零空间漏洞；扩展到多模态模型的分析，研究视觉-语言模型中的零空间结构；开发基于零空间分析的模型压缩方法，识别并移除不重要的不变方向；以及将方法应用于持续学习场景，分析新任务学习对已有不变性的影响。
复现评估
本文在可复现性方面做得较好。代码已在 GitHub 公开（https://tinyurl.com/github-SING），提供了完整的实现细节。补充材料详细描述了翻译器训练的超参数选择过程，使用 Weights & Biases 进行实验跟踪。实验基于公开可用的预训练模型（通过 PyTorch 和 Hugging Face 提供）和标准数据集（ImageNet-1k），降低了复现门槛。线性翻译器使用 scikit-learn 的岭回归拟合，计算成本较低。然而，完整实验需要处理10k个特征向量/模型的统计分析，以及 UnCLIP 可视化需要额外的生成模型，这可能需要中等规模的 GPU 资源。总体而言，复现难度为中等，主要挑战在于需要下载和运行多个预训练模型，以及理解 SVD 分解和零空间投影的数学细节。
论文图表
该图展示了来自预训练 ResNet50 的四个特征图像，经过零空间移除后的等价图像对。左侧（绿色）展示了鲁棒性良好的情况，语义变化很小；右侧（红色）展示了语义偏差较大的情况。每对图像产生相同的逻辑值，但视觉语义内容可能完全不同。
这张图直观地展示了本文研究的核心问题：分类器零空间中的不变量可能保持良性（如背景变化）也可能导致语义偏差，为后续的量化分析奠定了直觉基础。