重新审视柏拉图表征假说：亚里士多德视角

揭示表征相似性度量的宽度和深度混淆因素，提出亚里士多德表征假说

前置知识

柏拉图表征假说 (Platonic Representation Hypothesis)

该假说认为随着神经网络规模扩大，不同模态（如视觉和语言）训练的模型会收敛到共享的现实统计模型。具体而言，不同架构和训练目标的模型在表征空间中会变得越来越相似，暗示存在某种'理想'的表征形式。这一假说由Huh等人在2024年提出，已成为表征学习研究的重要理论框架。

本文的核心贡献就是对这一假说进行重新审视和修正，理解原始假说对于把握本文的研究动机至关重要。

表征相似性度量 (Representational Similarity Metrics)

用于量化两个神经网络表征空间相似性的指标，主要包括三大类：谱度量（如CKA、CCA）、几何度量（如RSA）和邻域度量（如mKNN）。CKA通过计算中心化核对齐来衡量全局相似性，mKNN则比较局部邻域的重叠程度。这些度量被广泛用于理解模型学习的特征结构。

本文发现这些度量存在系统性偏差，是论文要解决的核心问题所在。

零假设 (Null Hypothesis)

在统计推断中，零假设通常指'无效应'或'无关系'的假设。在本文中，零假设H₀定义为两个表征空间之间不存在超出其边缘统计的关系。通过打乱样本来构建零分布，可以评估观测到的相似性是否显著偏离随机水平。

本文的校准框架基于零假设检验，通过比较观测分数与零分布来校正系统性偏差。

极端值理论 (Extreme Value Theory)

研究随机变量最大值或最小值分布的统计理论。在本文中，当对多个层对取最大相似性时，即使在零假设下，最大值也会随搜索空间增大而膨胀。极端值理论提供了量化这种膨胀的数学工具，例如公式E[T_{max}] ≤ µ + Cσ√(log M)描述了最大值随搜索空间M的增长规律。

理解极端值理论对于认识深度混淆因素（depth confounder）的数学原理是必要的。

研究动机

现有用于衡量神经网络表征相似性的度量存在两个严重的系统性偏差，导致对表征收敛性的结论不可靠。第一个偏差是宽度混淆因素（width confounder）：当表征维度d相对于样本量n增大时，基于交互矩阵的相似性度量（如CKA）会表现出系统性的正基线。具体而言，即使两个表征完全独立，CKA的零期望值也会随d/n比例增长，论文推导出其规模为O(d/n)。这意味着更宽的模型仅仅因为其表征存在于更高维空间中就显得更相似，而非真正具有更相似的表征结构。第二个偏差是深度混淆因素（depth confounder）：当比较两个多层模型时，常用的方法是计算所有层对的相似性矩阵并取最大值。然而，即使在零假设下，对M = L_A × L_B个独立比较取最大值也会导致分数膨胀，其期望值约为µ + Cσ√(log M)。这使得更深的模型仅仅因为搜索空间更大就显得更相似，造成了'看别处效应'（look-elsewhere effect）的统计伪像。

本文的目标是本文的具体目标是：(1) 识别并形式化表征相似性度量中的宽度和深度两个混淆因素；(2) 提出一个通用的零校准（null-calibration）框架，将任意相似性度量转换为具有原则性零点的校准分数；(3) 使用该校准框架重新审视柏拉图表征假说，确定之前报告的跨模态收敛趋势在控制混淆因素后是否仍然成立；(4) 基于校准后的发现，提出一个更精确的表征收敛假说。

与已有工作不同的是，本文的独特切入角度在于将表征相似性分析从单纯的度量计算提升到统计推断的层面。之前的文献虽然注意到不同度量可能给出不同结论（Klabunde et al., 2025; Ding et al., 2021），但没有系统地将这些问题归因于可量化的统计伪像。本文的关键洞察是：相似性分数本身没有意义，必须相对于一个适当的零分布来解释。通过引入基于置换检验的校准框架，本文提供了一个度量无关、实现忠实（implementation-faithful）的校正方法，无需针对每个度量单独推导偏差校正公式。这种视角的转换——从'哪个度量更好'到'如何正确解释任何度量'——是本文的核心贡献。

核心方法

本文的方法可以类比为医学诊断中的'基准测试'。就像血压读数140/90只有与正常范围比较才有意义一样，表征相似性分数也需要一个'正常范围'（零分布）来判断其是否有意义。本文的核心思路是：通过打乱样本对应关系来构建经验零分布，然后将观测到的相似性分数相对于这个零分布进行校准。具体技术路线分为两步：对于单次比较（标量校准），计算置换p值和校准分数；对于跨层聚合比较（聚合感知校准），确保校准针对最终报告的统计量进行，而不是逐层校准后再聚合。这种方法的优势在于它不依赖于特定度量的数学形式，可以应用于任何相似性度量。

本文最核心的创新点是提出了'聚合感知零校准'（aggregation-aware null-calibration）的概念。已有的偏差校正方法（如Murphy et al., 2024对CKA的去偏）都是针对特定度量的，且只校正单次比较的偏差。然而，在实际使用中，研究者通常会对多个层对计算相似性然后取最大值或top-k，这个聚合步骤本身就会引入偏差。本文的关键洞察是：校准必须与完整的分析流程相匹配——如果最终报告的是最大值，那么零分布也应该是最大值的分布。具体而言，对于每个置换抽样π_k，必须将相同的样本置换应用于模型B的所有层，然后计算聚合统计量T(S^{(k)})，这样才能正确校准'看别处效应'。这与简单的逐元素校准有本质区别，因为逐元素校准后再取最大值仍然会受到多重比较问题的影响。

方法步骤详情

方法包含三个主要步骤。第一步是构建零分布：给定两个表征矩阵X∈R^{n×d_x}和Y∈R^{n×d_y}，通过K次独立的样本置换{π_1,...,π_K}生成零样本s^{(k)} = s(X, π_k(Y))，其中π_k均匀采样自置换群Π_n。第二步是计算校准统计量：对于标量比较，计算观测分数s_obs在合并集合{s_obs, s^{(1)},...,s^{(K)}}中的排序，定义临界值τ_α = s_{⌈(1-α)(K+1)⌉}作为零点，校准分数为s_cal = max((s_obs - τ_α)/(s_max - τ_α), 0)；对于聚合比较（如最大值），对每个置换计算层间相似矩阵S^{(k)}_{ℓ,ℓ'} = s(X^{(A)}_ℓ, π_k(Y^{(B)}_{ℓ'}))，然后计算聚合统计量T^{(k)} = T(S^{(k)})，使用相同的公式校准。第三步是报告结果：同时报告校准分数T_cal和置换p值p_agg，并在比较多对模型时应用Benjamini-Hochberg FDR校正。

技术新颖性

本文的技术新颖性体现在三个方面。首先，统一性：与现有方法（如Murphy et al.的CKA去偏、Chun et al.的dep-cols CKA）针对特定度量不同，本文的框架适用于任何有界相似性度量，无需度量特定的推导。其次，有限样本保证：基于置换检验的校准在有限样本下是精确的（在可交换性假设下），不依赖于大样本渐近近似，这对于实际应用中的中等样本量（n≈1000）尤为重要。第三，聚合感知：这是首次在表征相似性分析中引入'聚合感知'的校准概念，解决了层选择步骤引入的多重比较膨胀问题。论文通过理论分析（命题D.6）证明了最大值膨胀的上界为O(√(log M))，并通过实验证明逐层校准后再聚合仍然会产生膨胀，突出了整体校准的重要性。

实验结果

本文的核心发现可以概括为三点。首先，关于宽度混淆因素：在合成实验中，当d/n从0.25增加到2.0时，未校准的CKA线性分数从约0.3增加到约0.7，而校准后的分数保持在零附近（图3）。这证实了更宽的模型会因高维有限样本效应而显得更相似。对于mKNN，其零基线规模为O(k/n)，比CKA的O(d/n)低一个数量级，这解释了为什么邻域度量对宽度不那么敏感。其次，关于深度混淆因素：在合成实验中，当层数从1增加到128时，未校准的最大聚合CKA分数从约0.88增加到约0.92，而校准后的聚合保持稳定（图5）。论文还证明了简单的逐元素校准后再取最大值仍然会产生膨胀，强调了聚合感知校准的必要性。第三，关于柏拉图表征假说的重新审视：使用n = 1024个图文对评估204个视觉-语言模型对后发现，未校准的CKA分数随模型规模增加而上升的趋势在校准后完全消失（图6a），而mKNN的对齐趋势在校准后仍然保持（图6b）。这表明之前报告的全局谱收敛主要是宽度和深度混淆因素造成的伪像，而局部邻域对齐是真实的。

查看结构化数据

任务	指标	本文	基线	提升
视觉-语言表征对齐	CKA (RBF)	校准后无收敛趋势	未校准分数随规模增加（0.3→0.5）	消除了虚假的收敛趋势
视觉-语言表征对齐	mKNN (k=10)	校准后保持对齐趋势（约0.08→0.14）	未校准分数（约0.10→0.16）	确认了真实的局部邻域收敛
视频-语言表征对齐	CKA (RBF)	校准后对齐大幅下降	未校准分数显示对齐	在视频模态验证了宽度混淆因素
视频-语言表征对齐	mKNN (k=10)	校准后保持对齐趋势	未校准分数显示对齐	在视频模态验证了局部邻域收敛

局限与改进

本文存在几个重要局限性。首先，校准框架依赖于可交换性假设（假设3.1），即在零假设下，配对样本的联合分布在重新标记对应关系时是不变的。在实际中，如果样本存在分组或聚类结构（如同一物体的多张图片），这一假设可能被违反，此时需要使用受限置换（如在块内置换）来恢复有效性。其次，校准引入了计算开销：标量校准需要K次额外的相似性计算，聚合感知校准需要K×L_A×L_B次计算。虽然K = 200-500通常足够，但对于大规模模型比较，这可能成为瓶颈。第三，本文的实验设置限于相对标准的视觉和语言模型（BLOOM、OpenLLaMA、LLaMA和对应的视觉模型），对于更大规模的模型（如GPT-4V、Gemini）或其他模态（如音频、3D）的适用性尚待验证。第四，校准分数s_cal不是单调不变的，这意味着两个表征的相对排序在原始分数和校准分数下可能不同，这虽然是有意为之的设计（为了纠正尺度依赖的零基线），但可能给习惯于单调度量的实践者带来困惑。

独立分析的弱点

从独立分析的角度，本文存在以下几个弱点及其改进方向。第一个弱点是置换检验的计算成本：对于每个模型对，需要K×L_A×L_B次相似性计算，当模型很深（如100层）且比较多个模型对时，计算量可能非常大。改进方向包括：(1) 使用方差缩减技术（如控制变量法）减少所需的置换次数K；(2) 开发近似校准方法，例如基于解析零分布的快速校正。第二个弱点是校准对α选择的依赖：虽然论文展示了结论对α∈{0.01, 0.05, 0.10}的鲁棒性，但校准分数s_cal仍然依赖于α的选择。改进方向是探索α-free的校准方法，例如直接使用置换p值作为主要报告量。第三个弱点是实验规模的局限性：204个模型对虽然覆盖了多个模型家族，但仍在相对可控的设置下。改进方向是将分析扩展到更多样化的模型（如不同架构：CNN vs Transformer vs SSM）、更多模态（音频、3D点云）和更大规模的模型。

未来方向

基于本文的成果，有几个有前景的未来研究方向。首先，作者提出的'亚里士多德表征假说'——神经网络收敛到共享的局部邻域关系——需要进一步的理论解释：为什么不同训练目标和架构会收敛到相同的局部拓扑？这种收敛是否可以从信息论或优化理论的角度推导出来？其次，本文发现的拓扑对齐（邻域身份一致）与度量不对齐（精确距离不一致）的分离值得深入研究：这暗示存在某种'拓扑不变量'在不同表征空间中被保留，探索这种不变量的性质可能揭示深度学习的本质。第三，校准框架可以扩展到其他表征分析任务，例如：(1) 迁移学习中的表征选择——使用校准相似性预测迁移效果；(2) 模型编辑中的表征对齐——确保编辑后的模型保持与原始模型的局部邻域关系；(3) 多模态融合——基于校准对齐度量选择最佳融合策略。

复现评估

本文的复现性非常好。论文提供了完整的代码（github.com/mlbio-epfl/aristotelian）和项目页面（brbiclab.epfl.ch/aristotelian）。校准框架的实现非常简洁：算法1（标量校准）和算法2（聚合感知校准）的伪代码在附录E中给出，核心逻辑仅需约20行代码。数据方面，使用的是公开可用的WIT数据集（Wikipedia-based Image-Text dataset）和标准的预训练模型（BLOOM、OpenLLaMA、LLaMA、DINOv2、CLIP等）。算力需求方面，论文使用K = 200次置换，α = 0.05，对于中等规模的模型对（如n = 1024样本，d ≈ 1000维度，L ≈ 20层），单次校准可在GPU上几分钟内完成。复现的主要挑战可能在于获取所有预训练模型的嵌入，但论文使用的都是广泛可用的模型，这降低了复现门槛。

重新审视柏拉图表征假说：亚里士多德视角 Revisiting the Platonic Representation Hypothesis: An Aristotelian View