视觉嵌入模型中的组合泛化需要线性、正交表示

组合泛化的三个理想性质迫使视觉嵌入必须呈线性因子分解加跨概念正交的几何结构

前置知识

组合泛化 (Compositional Generalization)

指模型能够在训练数据中从未出现过的概念组合上正确识别已知概念的能力。例如，训练数据中只有「猫在人上面」的图片，但模型需要在从未见过的「人在猫上面」的图片上同样能识别出「人」和「猫」。这是智能系统的核心能力之一，因为现实世界的概念组合空间是组合爆炸的（$n^k$ 个组合），而训练数据只能覆盖极小的一部分。

本文的核心命题就是：如果一个模型能够实现组合泛化，那么它的表示必须满足什么样的几何约束。理解这个概念是理解全文的前提。

线性表示假说 (Linear Representation Hypothesis, LRH)

这是在大语言模型和视觉模型中被广泛观察到的经验现象：神经网络学到的表示中，有意义的概念往往对应线性方向。例如在 CLIP 中，「猫」的概念可以通过一个特定的方向向量来表示，改变这个方向上的分量就改变了对「猫」的识别。Elhage et al. (2022) 在自编码器中发现神经网络倾向于以近正交的方式编码更多特征。

本文的核心理论贡献就是为 LRH 提供了因果性的理论基础——线性结构不是巧合，而是组合泛化的必然结果。

线性探测 (Linear Probing)

在预训练模型的嵌入层之上训练一个线性分类器来评估表示质量的方法。具体来说，给定编码器 $f$ 输出的嵌入 $z = f(x)$，线性探测通过 $h(z) = Wz + b$ 来预测概念值。如果线性探测就能取得好效果，说明嵌入空间的结构已经足够好，信息已经被线性地编码。在 CLIP 类模型中，文本编码器本身就充当了线性探测的角色。

本文的理论和实验都建立在线性读出（linear readout）的设定上，即预测头是嵌入的线性函数。这是 CLIP 零样本分类、线性探测等常见用法的核心范式。

概念空间 (Concept Space)

本文的形式化框架核心。将输入数据描述为 $k$ 个概念的笛卡尔积 $C = C_1 \times C_2 \times \cdots \times C_k$，每个概念 $C_i$ 取 $n_i$ 个离散值。例如对于一张图片，概念可以是（物体类别、颜色、大小、背景），每个概念有若干可能的取值。任何输入 $x_c$ 对应一个概念元组 $c \in C$。总的概念组合数为 $\prod_i n_i$。

这是本文数学推导的基础设定，所有定理和命题都围绕概念空间的结构展开。

SVM 最大间隔 (Max-Margin SVM)

支持向量机（SVM）在数据线性可分时的最优解具有最大间隔性质：决策边界到最近数据点（支持向量）的距离最大化。一个重要理论结果是：梯度下降训练交叉熵损失在二分类可分情况下会收敛到最大间隔 SVM 解（Soudry et al., 2024）。本文的核心证明就依赖于这个收敛性质，通过 SVM 的几何性质推导出表示的线性分解和正交性。

本文的必要性证明（Proposition 1）的关键一步就是利用 GD+CE 收敛到最大间隔 SVM 这一事实，然后通过 SVM 的几何结构推出表示必须是线性分解的。

研究动机

现代视觉-语言模型（如 CLIP、SigLIP）在零样本分类等任务上表现惊人，但当测试图像包含训练中从未出现过的概念组合时，经常失败。例如，Xu et al. (2022)、Bao et al. (2024)、Thrush et al. (2022) 等大量工作表明，CLIP 在不常见的属性-物体组合（如「粉色的大象」）上的识别能力显著下降。根本问题在于：训练数据（如 LAION-400M）虽然规模巨大，但只覆盖了概念组合空间的极小一部分。以 $n$ 个值的 $k$ 个概念为例，总组合数为 $n^k$，是指数级的。面对这种组合爆炸，现有模型的表示空间需要满足什么结构才能支持从未见过的组合上的泛化？这是一个关键但缺乏理论回答的问题。

本文的目标是本文的直接目标是回答一个根本性的理论问题：假设一个嵌入模型能够成功实现组合泛化（即在未见过的概念组合上正确识别每个概念），那么它的表示空间必须满足什么样的几何约束？更具体地说，作者希望推导出组合泛化对表示几何的必要条件，并在现代视觉模型（CLIP、SigLIP、DINO 系列）上验证这些条件是否被满足，以及满足程度是否与组合泛化能力相关。

与已有工作不同的是，已有的关于组合泛化的工作主要关注充分条件：在特定数据生成过程或表示假设下，什么条件能保证组合泛化。例如 Wiedemer et al. (2023) 研究了生成模型在可微渲染下的充分条件，Mahajan et al. (2025) 研究了加性能量分布下的充分条件，Uselis et al. (2025) 研究了两个概念下的充分条件。本文的切入点完全不同：作者不假设数据生成过程或表示结构，而是反过来问——如果一个模型确实能组合泛化，那么它的表示必须是什么样的？这是一个必要条件的问题，具有更强的理论约束力。同时，这为线性表示假说（LRH）提供了理论根基：线性结构不是巧合，而是组合泛化的必然代价。

核心方法

本文的方法可以分为理论和实验两部分。理论部分的核心直觉是：如果我们要求模型的读出（如 CLIP 的文本探针）在不同的训练数据子集上都稳定地正确分类所有概念组合，那么模型的嵌入空间必须像一本「字典」——每个输入的表示可以拆成各个概念因子的加和，而且不同概念的因子方向必须互相正交。想象一个二维网格，横轴代表概念A，纵轴代表概念B：如果一个点的坐标是（概念A的值，概念B的值），那么改变概念A只会让点沿横轴移动，改变概念B只会让点沿纵轴移动，两者方向正交。技术路线是：首先形式化三个理想性质（可分性、可迁移性、稳定性），然后证明在梯度下降 + 交叉熵的标准训练设定下，这三个性质迫使嵌入空间满足线性分解 + 跨概念正交。实验部分则在 CLIP、SigLIP、DINO 等多种现代视觉模型上测量这些几何性质，并验证其与组合泛化能力的相关性。

本文最核心的创新在于建立了三个实践驱动的理想性质（desiderata）与表示几何之间的必然因果关系。这三个性质分别是：（1）可分性（Divisibility）——读出必须能表示所有概念组合的决策区域；（2）可迁移性（Transferability）——在任何有效的训练子集上训练的读出都能正确分类完整的概念空间；（3）稳定性（Stability）——在不同有效训练子集上训练的读出，其后验概率必须一致。作者证明，在梯度下降 + 交叉熵损失的标准设定下，这三个性质一起迫使嵌入满足两个几何约束：线性分解（$z_c = \sum_{i=1}^k u_{i,c_i}$）和跨概念正交性（$(u_{i,1} - u_{i,0}) \perp (u_{j,1} - u_{j,0})$ 对所有 $i \neq j$）。关键证明技巧在于：GD+CE 收敛到最大间隔 SVM，稳定性要求不同训练集的权重一致，SVM 的支持向量几何迫使翻转一个概念值产生一个与其他概念无关的加性位移。这个结论的深刻之处在于：线性结构不是偶然的经验观察，而是组合泛化的理论必要条件。

方法步骤详情

理论推导分为以下关键步骤：第一步，形式化概念空间 $C = C_1 \times \cdots \times C_k$ 和有效性规则 $R$，定义哪些训练子集是「有效的」。第二步，定义线性可组合模型：存在读出 $h(z) = Wz + b$ 使得对于所有概念组合 $c \in C$，$\arg\max_j h(f(x_c))_{i,j} = c_i$。第三步，证明核心定理（Proposition 1）：在 $|T| = 2^{k-1} + 1$ 的有效性规则下，若满足三个 desiderata，则嵌入满足线性分解和跨概念正交。证明的关键是：(a) 利用 GD+CE 收敛到最大间隔 SVM；(b) 利用稳定性推出不同训练集的 SVM 权重一致；(c) 对于任意点 $z_c$，翻转概念 $i$ 得到的 $z_{c(i \to \bar{c}_i)}$ 是 SVM 的支持向量；(d) 通过计算得出翻转概念 $i$ 产生的位移与其他概念的值无关，从而推出线性分解；(e) 利用不变性引理（预测不随其他概念变化）推出正交性。第四步，证明充分性（Proposition 2）：在线性分解 + 跨概念正交的条件下，GD+CE 在充分信息的训练集上能自动实现可迁移性和稳定性。第五步，证明最小维度（Proposition 3）：$k$ 个概念至少需要 $d \geq k$ 的嵌入维度。

技术新颖性

本文的技术新颖性体现在三个层面。第一，视角的反转：已有工作研究充分条件（什么条件下能泛化），本文研究必要条件（能泛化意味着什么）。这种视角更具有实践指导意义——它给出了一个具体的几何目标让模型去趋近。第二，理论框架的统一性：通过三个实践驱动的 desiderata（可分性、可迁移性、稳定性），将分散在各处的经验观察（线性表示、正交特征、概念解纠缠）统一到一个理论框架下。第三，证明技巧的新颖性：核心证明将 GD+CE 收敛到最大间隔 SVM 的已知结果与稳定性约束巧妙结合——稳定性迫使不同训练集的 SVM 权重一致，这使得支持向量几何与加性分解之间建立了必然联系。特别值得注意的是，作者还证明了线性分解本身不是平凡的：即使完美分类成立（线性可组合模型存在），嵌入也可以不满足线性分解（Section H.4 的反例），只有加上稳定性约束才能推出这个强结论。

**Figure 7**: 线性分解+正交性假说在 DINOv3 和 dSprites 上的总结

实验结果

本文在多个层面验证了理论预测。在线性分解方面，作者在三个合成数据集（PUG-Animal、dSprites、MPI3D）上计算了投影 $R^2$ 分数（公式7），用来衡量嵌入能被多少方差解释为各概念因子的加和。结果显示，所有预训练模型的 $R^2$ 分数（约0.4-0.6）显著高于随机初始化基线（0.12-0.42），表明嵌入部分满足线性分解。例如，OpenAI CLIP ViT-L/14 在 PUG-Animal 上的 $R^2$ 约为 0.55，dSprites 上约为 0.42，MPI3D 上约为 0.49。在组合泛化与线性分解的相关性方面，Figure 8 的散点图清晰显示：$R^2$ 越高的模型，组合准确率也越高。以 dSprites 为例，DINOv3 达到约 0.98 的准确率，$R^2$ 约为 0.52；而随机初始化的 OpenCLIP 仅有约 0.40 的准确率和 0.42 的 $R^2$。在正交性方面，同一概念内的方向余弦相似度约 0.53-0.55，而不同概念间的相似度仅约 0.09-0.12，远低于随机初始化模型的 0.32。在因子维度方面，序数/连续因子的维度很低（通常 $\leq 2$ 个主成分即可解释 95% 方差），而离散因子秩稍高。不同模型在同一数据集上展现出高度相似的因子几何，与 Platonic Representation Hypothesis（Huh et al., 2024）一致。

**Figure 8**: 嵌入中的线性分解程度与组合泛化在 VLM 和自监督模型上的相关性

**Figure 10**: 预训练模型展现出强的同概念方向相似性和部分跨概念正交性

查看结构化数据

任务	指标	本文	基线	提升
dSprites 组合泛化	组合准确率（10% 训练，90% 测试）	DINOv3-B/16: ~0.98	随机初始化 OpenCLIP ViT-L/14: ~0.40	提升约 0.58 个百分点
PUG-Animal 组合泛化	组合准确率（10% 训练，90% 测试）	DINOv3-B/16: ~0.90	随机初始化 OpenCLIP ViT-L/14: ~0.47	提升约 0.43 个百分点
MPI3D 组合泛化	组合准确率（10% 训练，90% 测试）	DINOv3-B/16: ~0.98	随机初始化 OpenCLIP ViT-L/14: ~0.63	提升约 0.35 个百分点
跨概念正交性	平均绝对余弦相似度（越低越正交）	预训练模型: ~0.09-0.12	随机初始化: ~0.32	降低约 0.20-0.23
线性分解程度	投影 R² 分数	预训练模型: ~0.4-0.6	随机初始化: ~0.12-0.42	显著高于随机基线

局限与改进

本文存在几个重要的局限性。首先，理论框架建立在二值概念空间（$C_i = \{0, 1\}$）上，虽然作者声称多值情况可以自然扩展（公式6），但严格证明仅适用于二值设定。实验中的概念有的是多值甚至连续的，理论预测与实验验证之间存在一定的形式鸿沟。其次，稳定性要求（Desideratum 3）是一个很强的理想化假设：它要求在任何有效训练子集上训练的读出后验概率完全一致。在实践中这不太可能严格成立，作者也承认将其放宽为近似稳定性是有意义的未来方向。第三，理论假设编码器 $f$ 是固定的，只考虑在不同训练集上重训读出 $h$；但实际上编码器是在单一数据集上一次性训练的，这个假设与实际训练流程不完全一致。第四，$R^2$ 分数虽然显著高于随机基线，但仍远低于完美线性分解的 1.0（通常在 0.4-0.6），说明当前模型只是「部分」满足理论预测的结构，还有大量未被线性分解解释的方差。最后，本文的分析集中在 CLS token 嵌入上，没有考虑 patch token 级别的几何结构。

独立分析的弱点

从方法论角度看，本文的一个弱点是 $R^2$ 分数的白化（whitening）处理可能掩盖了某些问题。作者通过 PCA 白化来防止少数主导方向虚增 $R^2$，但白化本身假设了高斯分布的噪声结构，这在高维嵌入空间中未必成立。改进方向是探索更鲁棒的分解质量度量，例如基于稀疏自编码器（SAE）的方法。另一个弱点是正交性分析中使用的是平均绝对余弦相似度，这可能掩盖了个别概念对之间的非正交情况。建议进一步分析哪些概念对之间的正交性较差，以及是否与特定的组合泛化失败案例相关。此外，实验中的数据集（dSprites、MPI3D）是合成数据，概念标签是精确的；在自然图像数据集上，概念边界本身就是模糊的，理论预测的适用性需要更细致的讨论。

未来方向

作者提出了几个重要的未来方向。第一，将稳定性从精确要求放松为近似/平均情况下的稳定性，这可能更好地匹配实际设定，并可能揭示不同训练子集如何影响表示几何的实用设计指南。第二，深入理解编码器被固定（而非在不同子集上重训）对必要条件的影响——这是当前理论与实践之间的重要差距。第三，利用这些必要条件指导数据收集：如果目标是让模型在特定概念组合上泛化，应该收集什么样的训练数据来驱动嵌入趋近于所需的几何结构？第四，将理论扩展到关系型概念（如空间关系「在...上面」），本文目前只处理独立概念，不涉及概念之间的绑定关系。第五，从本文的发现出发，可以设计显式的目标函数来鼓励线性分解和正交性，从而主动改善模型的组合泛化能力，而非仅仅事后分析。

复现评估

本文的代码已在 GitHub 开源（https://github.com/oshapio/necessary-compositionality）。实验涉及的数据集（PUG-Animal、dSprites、MPI3D）都是公开可用的合成/受控数据集，不需要额外的数据采集。在模型方面，实验使用的所有预训练模型（CLIP、SigLIP、DINO 系列）都有公开的 checkpoint。计算资源方面，主要计算开销在于嵌入提取和线性探测训练，不需要大规模 GPU 集群。核心的 $R^2$ 分数计算和正交性分析都可以在标准的科学计算环境中实现。总体而言，复现难度较低，适合研究团队验证和扩展。

视觉嵌入模型中的组合泛化需要线性、正交表示 Compositional Generalization Requires Linear, Orthogonal Representations in Vision Embedding Models