几何稳定性：表征的缺失维度 Geometric Stability: The Missing Axis of Representations
提出Shesha指标揭示表征稳定性与相似性独立，发现DINOv2存在"几何税"
前置知识
表征不相似矩阵（RDM, Representational Dissimilarity Matrix）
RDM是神经科学和机器学习中用于刻画表征几何结构的标准工具。给定n个样本的d维表征矩阵$X \in \mathbb{R}^{n \times d}$，RDM是一个$n \times n$的矩阵，其中每个元素$D_{ij}$表示样本i和样本j在表征空间中的距离（本文使用余弦距离$D_{ij} = 1 - \frac{x_i^\top x_j}{\|x_i\| \|x_j\|}$）。RDM抽象掉了单个神经元或特征维度的具体身份，只保留群体编码的距离结构，从而可以跨系统比较表征。
RDM是本文方法Shesha的基础构件——Shesha正是通过比较两个从不同特征子集构建的RDM来衡量表征的稳定性。理解RDM才能理解稳定性的操作化定义。
中心核对齐（CKA, Centered Kernel Alignment）
CKA是由Kornblith等人（2019）提出的表征相似性度量。线性CKA计算两个表征的Gram矩阵$XX^\top$和$YY^\top$之间的归一化相似性。关键性质是CKA对特征空间的各向同性缩放和正交变换保持不变——只要$Y = XQ$（Q为正交矩阵），就有$YY^\top = XX^\top$，因此CKA(X,Y) = CKA(X,X) = 1。这意味着CKA只依赖Gram矩阵，不关心几何信息如何分布于各个坐标轴。
CKA是当前最广泛使用的表征相似性指标，本文的核心论证正是建立在CKA与Shesha具有互补盲点这一数学性质上。理解CKA的不变性才能理解为什么它检测不到压缩导致的几何损伤。
正交变换与正交不变性
正交变换是指$Y = XQ$形式的变换，其中Q是正交矩阵（$QQ^\top = I$）。这类变换包括旋转和反射，保持向量间的内积和距离不变。在表征分析中，正交变换对应于对特征空间的坐标轴进行重新定向，不改变表征的内容（信息），但改变信息在各维度上的分布。一个度量如果对正交变换不变，意味着它无法区分"信息集中在少数维度"和"信息均匀分布在所有维度"这两种表征。
这是本文最关键的数学洞察：CKA对正交变换不变（因此看不到信息的分布方式），而Shesha对正交变换不敏感（因此能看到）。正是这一性质差异导致了两个度量的互补盲点。
PCA压缩与谱集中
主成分分析（PCA）通过保留前k个主成分来降维，本质上是一种压缩操作。在谱分析视角下，PCA将所有几何信息集中到少数几个主导特征值对应的子空间中，丢弃其余维度的信息。训练良好的神经网络表征往往具有幂律谱——少数特征值很大，其余衰减很快。这种"谱集中"正是本文所讨论的"几何税"的数学机制。
PCA压缩是本文实验的核心干预手段，也是解释DINOv2悖论的机制——自蒸馏训练目标使表征的几何信息集中到少数维度，导致特征分割测试失败。
迁移学习中的LogME指标
LogME（Log Maximum Evidence）是一种无需训练的迁移性评估指标，通过贝叶斯证据框架估计预训练表征对下游任务的适应能力。给定预训练特征和下游标签，LogME计算边际似然的对数值，值越高表示表征越容易迁移到新任务。相比需要微调的方法，LogME计算高效且与下游准确率高度相关。
本文用LogME衡量迁移学习性能，发现DINOv2在LogME上排名第一的同时在Shesha上排名垫底，揭示了迁移性与稳定性之间的"几何税"。
研究动机
表征相似性分析（RSA）、中心核对齐（CKA）及其变体已成为比较神经网络和生物系统内部几何结构的标准工具。这些方法回答的核心问题是：两个系统是否编码了相同的成对距离结构？然而，它们都只测量了"内容"——即表征了什么信息——却没有测量"可靠性"——即该结构是否鲁棒。一个表征可能在所有相似性基准上得分很高，但当特征基被扰动时其内部几何结构会剧烈重组。在实际部署中，这意味着一个视觉模型可能在CKA、RSA、Procrustes等所有相似性基准上看起来等价于一个鲁棒模型，却会在分布偏移、对抗扰动或后训练微调时不可预测地失败。现有评估框架完全没有测量这种脆弱性，因此也无法管理它。这是表征分析领域存在了一个根本性的盲点。
本文的目标是本文的具体目标是：（1）形式化定义"几何稳定性"这一表征质量维度，使其与表征相似性在数学上分离；（2）提出可操作的度量指标Shesha，通过特征分割的split-half相关性量化表征的距离结构对测量基扰动的鲁棒性；（3）在跨越语言、视觉、音频、视频、蛋白质序列、分子谱和神经群体记录等七个领域的2,463个编码器配置上验证稳定性和相似性的独立性；（4）在94个预训练视觉模型上展示"几何税"——迁移学习性能与几何稳定性之间的系统性脱钩。
与已有工作不同的是，本文的独特切入角度在于将测量科学中"效度vs信度"的经典区分引入表征分析。已有的表征比较方法都是在测量效度（两个系统是否编码相同结构），而本文测量的是信度（单个系统的结构是否可靠）。更具体地说，RSA的噪声上限（noise ceiling）通过分裂观测来评估数据质量——给定测量噪声，任何模型能多好地预测这个RDM？而Shesha通过分裂特征来评估表征架构——给定几何信息在特征维度上的分布，这个表征能多可靠地维持其距离结构？这两者用相同的数学框架（split-half相关性），但沿着完全正交的解释轴。另一个被忽视的关键点是：CKA依赖Gram矩阵$XX^\top$，对正交变换不变，因此无法检测几何信息在坐标轴之间的重新分布。而Shesha依赖逐轴结构——它将特征维度分成两半并检查每半是否恢复相同的成对几何。这种互补盲点是已有文献从未明确刻画的性质。
核心方法
Shesha的核心思想可以用图书馆的类比来理解：两个图书馆可能拥有完全相同的藏书和分类方案，但一个图书馆的物理排列是"弹性"的——放错几本书不会破坏相邻书架的内容相关性；另一个图书馆的排列是"脆性"的——几本书放错位置就可能导致相邻书架的内容不可靠。内容审计（相似性比较）无法区分这两种情况，但结构审计（稳定性评估）可以。技术路线上，Shesha通过split-half方法操作化这一直觉：将表征矩阵$X \in \mathbb{R}^{n \times d}$的d个特征维度随机分成两个不相交的子集$F_1$和$F_2$，分别从每个子集计算n个样本的RDM，然后用Spearman等级相关衡量两个RDM的一致性。重复K=30次随机分割并平均，得到稳定性分数。如果表征的几何信息均匀分布在所有维度上，任意一个特征子集都能恢复相同的距离结构，Shesha得分高；如果几何信息集中在少数维度，随机分割很可能把信息维度分到一边而把噪声分到另一边，Shesha得分低。
本文最核心的创新是发现了CKA与Shesha之间存在互补的盲点，这源于一个严格的数学性质：CKA只依赖Gram矩阵$XX^\top$，而$XX^\top$对任意正交变换$Q$保持不变（$(XQ)(XQ)^\top = XQQ^\top X^\top = XX^\top$）；Shesha依赖逐轴结构，正交变换会重新分配几何信息到各坐标轴，改变每个特征分割半部分捕获的内容，因此改变Shesha的值。这创造了一对具有互补盲点的度量：（1）旋转——CKA不变，Shesha检测到几何信息的重新分布；（2）压缩——PCA将所有几何信息集中到少数主成分，CKA被主导特征值控制所以几乎不变，而Shesha急剧下降因为随机分割很可能只有一半包含信息。这种互补性意味着现有所有基于相似性的评估工具（RSA、CKA、Procrustes、tRSA）都在一个维度上刻画表征，而第二个维度一直不可见。这是全文最重要的洞察。
方法步骤详情
SheshaFS（Feature-Split Shesha）的计算步骤如下：（1）输入：表征矩阵$X \in \mathbb{R}^{n \times d}$，其中n是样本数，d是特征维度数。（2）随机将特征维度$\{1, ..., d\}$划分为两个不相交的子集$F^{(1)}_k$和$F^{(2)}_k$，每个子集包含约d/2个维度。（3）对每个子集，从对应的特征列计算n个样本之间的余弦距离RDM：$D_{ij} = 1 - \frac{x_i^\top x_j}{\|x_i\| \|x_j\|}$。（4）提取两个RDM的上三角元素，计算Spearman等级相关$\rho_s(\text{vec}(D^{(1)}_k), \text{vec}(D^{(2)}_k))$。（5）重复步骤(2)-(4)共K=30次，取平均值作为最终稳定性分数：$\text{SheshaFS}(X) = \frac{1}{K} \sum_{k=1}^{K} \rho_s(\text{vec}(D^{(1)}_k), \text{vec}(D^{(2)}_k))$。（6）与CKA的计算对比：CKA从完整的Gram矩阵$XX^\top$计算，对特征空间的任何正交旋转不变；Shesha从特征子集的RDM计算，对旋转敏感但对全局缩放、单调距离变换和特征置换不变。两者的不变性差异正是它们互补盲点的形式化来源。
技术新颖性
Shesha的技术新颖性体现在三个层面。首先，在概念层面，本文首次将"稳定性"（单个表征内部的距离结构鲁棒性）与"相似性"（两个表征之间的结构对齐）形式分离为正交维度，这不同于RSA噪声上限（分裂观测量评估数据质量）的思路，而是分裂特征评估表征架构。其次，在数学层面，本文严格证明并可视化了CKA与Shesha在正交变换下的互补不变性——这是已有文献从未明确刻画的性质。Table 1系统比较了Shesha、CKA、Procrustes、PWCCA在五种变换下的不变性，揭示了Shesha对正交旋转的不敏感性是其能检测压缩损伤的结构性原因。第三，在实证层面，本文在2,463个编码器配置上验证了稳定性与相似性的独立性（ρ = -0.01），并通过regime分析揭示了这一近零相关并非噪声，而是几何保持变换（ρ ≈ +0.90）和压缩变换（ρ = -0.47）这两种相反效应的抵消。
实验结果
本文的核心发现可以分为四个层次。第一，在合成数据上的验证显示Shesha能够精确恢复已知的稳定性水平：通过控制信号-噪声混合比例α（从0到1共21个水平），Shesha与ground truth的Spearman ρ = 0.990（p < 10^{-86}）。四象限分析进一步证明稳定性和相似性可分离：在稳定性高/相似性低象限（独立高信号表征，Shesha = 0.701 ± 0.004，CKA = 0.001 ± 0.010）和稳定性低/相似性高象限（对抗构造，Shesha = -0.001 ± 0.005，CKA = 0.978 ± 0.000）都存在表征，证明高相似性不蕴含高稳定性。谱敏感性实验揭示了机制：移除仅一个主成分后CKA崩溃到0.4以下，而Shesha直到移除26个成分才降到0.4以下；在k=30时Shesha保留的信号是CKA的110倍。第二，跨领域验证涵盖2,463个编码器配置（语言127个、视觉129个、音频64个、视频128个、神经科学846个、蛋白质402个、分子767个），总体Spearman ρ = -0.01（95% CI [-0.06, +0.03]），稳定性和相似性共享不到0.1%的方差。7个领域中有6个显示|ρ| < 0.30，4个显示|ρ| < 0.10。线性混合效应模型控制基模型聚类后，相似性对稳定性的固定效应β = 0.10（95% CI [0.06, 0.15]），基模型身份的ICC = 0.10，表明90%的方差来自编码器特异性属性。第三，regime分析揭示近零总体相关来自相反效应的抵消：几何保持变换（随机投影ρ = +0.90、特征选择ρ = +0.92）使两指标正相关，压缩变换（PCA ρ = -0.47）使两指标负相关，自然编码器处于中间状态（ρ ≈ +0.31到+0.34）。第四，也是最具实践意义的发现——"几何税"：在94个预训练视觉模型、6个基准数据集上，DINOv2在5个数据集上迁移学习排名最高（LogME排名1/29或2/29）的同时几何稳定性排名垫底（CIFAR-10: 29/29、CIFAR-100: 28/29、Flowers-102: 29/29）。唯一例外是EuroSAT（卫星影像，纹理分布均匀），DINOv2同时获得高迁移性（2/29）和高稳定性（3/29）。两个因素一致预测稳定性：对比学习目标（CLIP在CIFAR-100上SheshaFS = 0.83 ± 0.06，自监督模型为0.48 ± 0.24，Δ = +0.34）和层次化架构（Swin等在CIFAR-10上比ViT等高Δ = +0.12，p = 0.011）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CIFAR-10 迁移学习 | LogME | DINOv2: 1.020 (1/29) | CLIP/EVA02: ~0.85-0.90 | DINOv2迁移性最高，但SheshaFS = 0.378 (29/29) |
| CIFAR-100 迁移学习 | LogME | DINOv2: 1.360 (1/29) | CLIP/EVA02: ~1.1-1.2 | DINOv2迁移性最高，但SheshaFS = 0.273 (28/29) |
| Flowers-102 迁移学习 | LogME | DINOv2: 2.466 (1/29) | CLIP/EVA02: ~2.0-2.3 | DINOv2迁移性最高，但SheshaFS = 0.337 (29/29) |
| EuroSAT 迁移学习 | LogME | DINOv2: 0.572 (2/29) | 最高: ~0.60 | DINOv2迁移性第二，且SheshaFS = 0.948 (3/29)，唯一例外 |
| 跨领域稳定性-相似性独立性 | Spearman ρ | ρ = -0.01 | 完全相关假设 ρ = ±1 | 95% CI [-0.06, +0.03]，稳定性和相似性共享<0.1%方差 |
局限与改进
本文存在几个明确的局限性。首先，Shesha是一个全局指标——它对完整的RDM进行操作并返回一个标量，这可能遗漏表征中的局部不稳定性，例如一个整体稳定表征中的脆弱子空间，或语言模型中跨序列位置的稳定性变化。其次，视觉分析中由于计算限制仅使用单个随机种子（seed=320）进行特征提取，虽然初步运行显示家族排名一致，且跨域分析平均了15个种子，但单种子结果需要谨慎解释。第三，跨域验证依赖于对基础表征施加受控变换（PCA、随机投影、噪声注入等），这些干预旨在测试度量在已知几何操作下的行为，而非模拟自然模型变异的全部范围。第四，Shesha的计算成本不可忽视：K=30次split-half迭代各需构造$n \times n$的RDM，时间复杂度为$O(Kn^2d)$。对于本文使用的样本量（n ≤ 5,000）是可行的，但对更大数据集需要子采样（n_max = 1,600时估计偏差低于0.008）。最后，也是最重要的，本文建立了无监督稳定性与相似性的独立性及其对视觉模型评估的影响，但未建立稳定性与下游性能之间的因果关系——"几何税"是一个观察到的脱钩，而非被证明的失败机制。低稳定性是否导致脆弱的部署行为，还是仅与独立导致脆弱的架构属性相关，这需要未来的干预研究来回答。
独立分析的弱点
从独立分析的角度，本文存在以下几个弱点和改进方向。第一，全局指标的粒度不足：Shesha返回单一标量，无法定位表征中哪些子空间、哪些层、哪些token位置不稳定。改进方向是开发per-subspace、per-layer、per-token的变体，例如通过注意力机制或梯度信息引导特征分割，使指标能够诊断具体的脆弱点。第二，split-half的随机性引入方差：虽然K=30次平均已使估计足够稳定，但随机等分策略可能不是最优的——如果已知某些特征维度高度相关，分层抽样或基于相关性的分组可能提高效率。第三，缺乏与下游任务失败的因果链接：论文发现DINOv2稳定性低但迁移性高，但未证明低稳定性是否导致实际部署中的失败（如对抗攻击、分布偏移下的性能退化）。这需要设计干预实验，例如在控制稳定性的同时测量鲁棒性。第四，生物领域的验证较浅：蛋白质、分子、神经科学领域的分析主要是相关性验证，缺乏对这些领域具体应用场景的深入分析，例如稳定性如何预测蛋白质功能预测的可靠性或单细胞分析的可重复性。
未来方向
作者在讨论部分提出了几个自然的扩展方向。首先是监督变体：当前Shesha是无监督的（不使用标签），可以开发以任务相关结构为条件的split-half评估，预测表征是否支持特定语义方向的线性干预，或评估后训练对齐是否保留了任务相关几何。其次是超越特征分割的split-half原则：分裂观测量（而非特征）可衡量表征对输入变异的鲁棒性；分裂时间点可衡量时间漂移；在生物系统中，衡量细胞群体对扰动响应的方向一致性可量化遗传扰动是否激活了鲁棒的调控程序。第三是稳定性感知的训练目标：观察到对比学习和层次化架构都预测更高稳定性，这意味着"几何税"不是学习强大表征的必然代价，而是特定训练机制的属性，可以通过优化稳定性目标来减轻。第四是将框架扩展到表征压缩：量化量化、剪枝、蒸馏等后处理操作对稳定性的影响，为部署决策提供更完整的评估。
复现评估
本文的可复现性较高。作者已在GitHub（https://github.com/prashantcraju/geometric-stability）开源全部自定义代码，并通过PyPI发布了Python库shesha-geometry。数据方面，使用的预训练模型均可公开获取（HuggingFace Hub），生物数据集（Swiss-Prot、pbmc3k、Steinmetz Neuropixels）均为公开标准数据集。计算上，Shesha的时间复杂度为$O(Kn^2d)$，在本文规模（n ≤ 5,000, d ≤ 几千，K=30）下单GPU可在几小时内完成；视觉基准测试（94个模型×6个数据集）需要更多GPU时间但完全可复现。所有计算使用Float64精度和固定种子320。统计方法（10,000次bootstrap、线性混合效应模型、Mann-Whitney U检验）均有详细描述在SI Appendix中。总体而言，复现难度为中等偏低——核心算法简单清晰，依赖项均为标准库。
论文图表
