人类大脑中的柏拉图表示：通用几何的无监督恢复 Platonic Representations in the Human Brain: Unsupervised Recovery of Universal Geometry
无需配对数据实现跨个体fMRI表示的无监督转换
前置知识
柏拉图表示假设
柏拉图表示假设是机器学习领域的一个重要概念，它指出独立训练的神经网络会收敛到几何上相似的表示空间，因为它们从世界中恢复了相同的潜在结构。强版本假设进一步提出，表示空间可以在没有共享输入或配对监督的情况下进行转换。这个假设最初是针对人工神经网络提出的，通过模型缝合和潜在空间映射等构造性方法得到了验证。本文将这个假设扩展到生物神经系统，询问人类大脑的神经表示是否也共享一个通用的几何结构，可以通过纯几何转换进行跨个体转换。
本文的核心目标就是测试强柏拉图表示假设是否适用于人类大脑，因此理解这个假设的起源和内涵是理解本文研究动机和理论框架的基础。只有理解了柏拉图表示假设在人工智能领域的背景，才能理解将其扩展到神经科学领域的意义和挑战。
fMRI表示学习
fMRI表示学习是指从功能性磁共振成像数据中学习有意义的神经表示。fMRI通过检测大脑中血流变化来测量神经活动，具有低时间分辨率和高空间分辨率的特点。本文使用自然场景数据集（NSD），这是一个包含8名受试者观看自然图像时的fMRI响应的基准数据集。每个受试者观看了多达10,000张不同的图像，每张图像重复多达3次。NSD包含受试者特定的图像和跨受试者共享的图像集合。本文仅使用受试者特定的、非共享图像来学习受试者编码器和脑到脑转换，共享图像仅用于评估。
理解fMRI数据的特性和NSD数据集的构成对于评估实验结果的可靠性和泛化能力至关重要。本文的方法设计（如利用重复刺激呈现作为自监督）和实验设置（如使用受试者特定图像进行训练、共享图像进行评估）都依赖于对fMRI数据特性的深入理解。
正交变换和等距性
正交变换是一类保持距离和内积不变的线性变换，用数学表达为正交矩阵R满足R的转置乘以R等于单位矩阵。等距性是指一个映射保持点之间的距离不变。在本文中，研究者假设受试者特异性嵌入空间是共享潜在几何的噪声实例，因此受试者间的差异应该由近似等距变换来捕获。这种约束防止了任意的几何扭曲，为独立学习的神经表示是否可以仅通过几何转换翻译到共享坐标系提供了强有力检验。正交变换可以通过奇异值分解来求解。
正交变换和等距性是本文方法的核心理论基础。研究者将变换限制为正交矩阵，这不仅简化了优化问题，更重要的是提供了对柏拉图表示假设的直接检验。如果受试者嵌入空间共享一个通用几何，那么正交旋转就足以实现跨个体转换；如果不存在这种共享几何，则需要更复杂的变换。因此理解正交变换和等距性的数学含义对于理解本文的方法设计和结论解释至关重要。
典型相关分析（CCA）和多视图CCA
典型相关分析（CCA）是一种统计方法，用于找到两组变量之间的线性组合，使得这些组合之间的相关性最大。多视图CCA是CCA的扩展，用于处理多个视图或多个变量集合的情况。在本文中，每个图像呈现r次，产生同一刺激的多个测量或视图。研究者应用MCCA到重复视图，学习投影最大化跨视图相关性。这样可以提取跨重复共享的组件，减少噪声和变异。然后研究者将多视图投影蒸馏为单个线性映射，通过岭回归优化目标函数。
多视图CCA是本文编码器的关键组件，它允许从重复刺激呈现中提取稳定的神经表示。理解MCCA如何工作以及它如何与对比学习结合使用，对于理解本文编码器的创新性和有效性至关重要。特别是，MCCA的使用体现了研究者如何利用fMRI数据的重复结构来构建自监督信号，而不需要外部标签或模型特征。
正交同步
正交同步是一种数学技术，用于从成对相对估计中恢复全局绝对估计。给定成对正交变换，目标是找到一个正交变换使得成对旋转近似等于全局旋转的乘积。在理想的无噪声情况下，这些成对旋转形成的块矩阵可以分解为全局旋转矩阵与自身的乘积。研究者通过谱方法计算块矩阵的前d个特征向量得到近似解，然后将每个块投影到正交矩阵上。全局同步通过强制受试者图中的一致性去除了成对估计中的噪声，不仅改进了性能，还为近似等距性假设提供了直接验证。
正交同步是本文方法的关键创新之一，它允许将成对脑到脑旋转集成到一个全局共享潜在空间。理解正交同步如何工作及其数学基础，对于理解本文如何从独立受试者对扩展到全局共享空间至关重要。更重要的是，同步的成功支持了柏拉图表示假设的核心预测：成对旋转是相互兼容的，存在一个统一的共享坐标系。
研究动机
当前神经科学研究面临一个根本性挑战：如何在不同受试者之间建立稳定且准确的神经表示对应关系。现有主流方法如超对齐技术，严重依赖共享刺激来建立跨受试者对应关系，这需要大量配对数据。具体来说，传统方法要求所有受试者观看相同的刺激图像，然后利用这些共享刺激的fMRI响应来学习对齐映射。然而，在许多实际应用场景中，收集这样的配对数据成本高昂且往往不可行。另一些方法则通过模型衍生特征空间或图像到fMRI编码器引入锚点，但这种方法引入了对外部预训练模型的依赖，可能引入模型本身的偏差。此外，这些方法都无法回答一个更根本的问题：是否可以从独立学习的大脑表示本身中恢复共享神经几何，而不需要任何配对数据或外部参考空间。这个问题的答案对于理解大脑表示的本质具有重要理论意义。
本文的目标是本文的核心目标是验证强柏拉图表示假设是否适用于人类视觉皮层。具体来说，研究者希望测试是否可以将从神经数据独立学习的受试者特异性fMRI嵌入空间，仅使用神经响应的内在几何结构进行跨受试者转换，而不需要配对的跨受试者数据来学习映射。这个目标不仅具有理论重要性，探索了大脑表示是否具有类似人工神经网络的通用几何结构，还具有实际应用价值。如果成功，将大大减少对大量受试者特定校准数据的需求，使得在一个受试者上学习的数据、编码器和解码器可以转移到另一个受试者，从而促进图像到fMRI编码、fMRI到图像解码和合成神经数据生成等应用的发展。
与已有工作不同的是，本文的独特切入角度在于完全从神经数据本身出发，不依赖任何外部模型、配对数据或共享刺激。以往的研究要么依赖共享刺激来建立对应关系（如超对齐），要么引入外部模型特征作为锚点（如使用CLIP或DINOv2等预训练模型），而本文假设并验证受试者特异性空间可能共享一个通用的潜在几何结构，可以通过纯几何转换进行转换。这种角度挑战了传统对齐方法的基本假设，提供了一个更纯粹地探索大脑表示共性的框架。更重要的是，本文将人工智能领域的柏拉图表示假设扩展到生物神经系统，这是首次尝试回答人工神经系统和生物神经系统是否共享类似表示几何的问题，具有重要的跨学科意义。
核心方法
本文方法分为三个主要阶段，每个阶段都专注于解决跨个体神经表示对齐的一个关键子问题。第一阶段，为每个受试者学习一个自监督编码器，将fMRI响应映射到低维嵌入空间。这个编码器利用重复刺激呈现作为自监督信号，通过优化重复呈现之间的不变性来提取稳定的刺激表示。编码器采用两阶段设计：首先通过体素可靠性权重、PCA降维和多视图CCA提取线性嵌入，然后通过对比学习进行非线性残差精炼。第二阶段，通过估计无监督正交旋转在不同受试者之间转换嵌入。这个阶段的核心挑战是如何在没有配对数据的情况下建立对应关系，研究者通过几何衍生的伪对应关系来学习转换矩阵，结合K-means聚类、二次分配求解器和迭代精炼。第三阶段，将成对旋转同步到一个共享潜在空间，确保所有受试者嵌入在共同坐标系中一致。这个阶段通过正交同步技术将成对估计集成到全局解，不仅改进了性能，还为近似等距性假设提供了直接验证。整个方法的核心思想是利用表示的内在几何结构而非外部标签或配对数据来建立跨受试者对应关系。
本文的核心创新在于使用纯几何方法（正交旋转）实现跨个体神经表示转换，这是对柏拉图表示假设在神经科学领域的首次构造性验证。与依赖共享刺激或外部模型特征的传统方法不同，本文方法完全基于神经数据的内在几何结构，假设受试者特异性嵌入空间是共享潜在几何的噪声实例，因此受试者间的差异应该由近似等距的正交变换来捕获。这种约束不仅简化了优化问题，更重要的是提供了对柏拉图表示假设的直接检验：如果正交旋转足以实现高精度跨个体转换，那么就支持了共享神经几何的存在；如果需要更复杂的变换，则表明假设不成立。另一个关键创新是将成对旋转通过正交同步集成到一个全局共享空间，这不仅改进了性能（平均Mean Rank从2.47降至1.97），还验证了成对旋转的相互兼容性，提供了强柏拉图表示假设适用于人类大脑的直接证据。
方法步骤详情
方法的第一步是学习几何保留嵌入。首先计算体素可靠性：对每个体素，计算其在重复对之间的平均相关性，然后按可靠性缩放每个体素，减少没有稳定重复结构的体素影响。接着将可靠性加权响应投影到低维子空间，使用PCA得到降维后的表示。然后应用多视图典型相关分析（MCCA）到重复视图，学习投影最大化跨视图相关性。通过平均所有视图的投影得到目标表示，然后通过岭回归蒸馏为单个线性映射，得到线性嵌入。最后用残差非线性精炼线性嵌入，使用多层感知机加上可学习标量。使用对比InfoNCE损失和余弦拉近项训练，其中InfoNCE损失使用批次内负样本和余弦相似度。第二步是成对脑到脑翻译。对每个受试者对，通过在每个空间中应用K-means聚类并通过二次分配求解器匹配质心来构建伪配对，然后求解初始正交Procrustes问题。通过迭代精炼：在每次迭代中，变换源嵌入的子集并匹配目标空间中的最近邻，然后更新变换。最后对称化成对翻译，强制逆变换等于正变换的转置。第三步是共享潜在空间构造。形成块矩阵，其对角块为单位矩阵，非对角块为成对旋转，计算块矩阵的前d个特征向量得到近似解，然后将每个块投影到正交矩阵上。结果变换定义共享潜在空间，每个受试者嵌入通过其特定的正交旋转映射到共享空间。
技术新颖性
本文的技术新颖性体现在多个维度。首先，将表示学习中的柏拉图表示假设扩展到神经科学领域，提出了一个新的研究问题：人工神经网络和生物神经网络是否共享类似的表示几何？这是首次尝试在神经科学中构造性验证这个假设。其次，提出了针对fMRI数据的自监督编码器，利用重复刺激呈现而非外部模型特征，这是对传统fMRI编码方法的重要创新。编码器的两阶段设计（线性投影加非线性精炼）平衡了几何保留和实例级匹配。第三，在无配对翻译过程中，创新性地结合K-means聚类、二次分配求解器和迭代精炼来构建伪配对，避免了对外部参考的依赖。第四，通过正交同步将成对旋转集成到全局共享空间，这不仅改进了性能，还为近似等距性假设提供了直接验证，这是对无配对翻译方法的重要贡献。最后，论文的实验设计也很新颖，仅使用受试者特定的非共享图像进行训练，而将共享图像仅用于评估，这种设计确保了实验结果真正测试了无配对翻译的有效性。
实验结果
论文在自然场景数据集（NSD）上的8名受试者fMRI数据进行了系统实验，核心发现强有力地支持了强柏拉图表示假设适用于人类视觉皮层。在受试者内编码器评估中，本文方法平均Mean Rank为5.28，Recall@1为0.82，RSA为0.53，表明编码器能够从噪声fMRI响应中提取稳定的刺激表示。值得注意的是存在显著的个体差异：S1和S2在重复呈现上几乎完美匹配，Mean Rank仅分别为1.03和1.12，Recall@1高达0.99和0.98；而S3和S8表现相对较弱，Mean Rank分别为11.25和11.67，Recall@1分别为0.75和0.62。在成对脑到脑翻译实验中，平均Mean Rank为2.47，Recall@1为0.78，RSA为0.63，显著优于无翻译控制的189.28和0.007，也优于最优传输匹配的166.04和0.011。更有趣的是，通过旋转同步构造共享潜在空间后，平均Mean Rank进一步降至1.97，Recall@1提升到0.83，表明成对旋转是相互兼容的，支持了共享神经几何的存在。模型到脑对齐实验显示，即使使用预训练模型特征作为中间空间，其性能仍低于纯脑到脑转换：最佳的有监督模型到脑映射（DINOv2加岭回归）Mean Rank为5.86，Recall@1为0.51，而共享空间脑到脑翻译Mean Rank为1.97，Recall@1为0.83。这暗示当前模型空间与神经嵌入空间在几何上存在根本差异，模型特征虽然与神经响应相关，但不是通过跨大脑中观察到的近似等距变换相关的。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 受试者内检索 | Mean Rank | 5.28 | GLMsingle预处理 144.15 | 96.3% |
| 受试者内检索 | Recall@1 | 0.82 | GLMsingle预处理 0.07 | 1071% |
| 受试者内检索 | RSA | 0.53 | GLMsingle预处理 0.18 | 194% |
| 跨受试者检索 | Mean Rank | 2.47（成对）/1.97（共享） | 无翻译控制 189.28 | 98.7%/99.0% |
| 跨受试者检索 | Recall@1 | 0.78（成对）/0.83（共享） | 无翻译控制 0.007 | 11043%/11757% |
| 跨受试者检索 | Mean Rank | 2.47（成对） | ViT AugReg-L/16模型引导 5.54 | 55.4% |
| 跨受试者检索 | Mean Rank | 2.47（成对） | CLIP ViT-B/16模型引导 6.60 | 62.6% |
| 跨受试者检索 | Recall@1 | 0.78（成对） | ViT AugReg-L/16模型引导 0.48 | 62.5% |
局限与改进
论文的局限性体现在多个方面，既有作者承认的限制，也有独立分析中发现的潜在问题。首先，分析依赖于高质量的fMRI数据，这些数据具有重复刺激呈现（每张图像重复3次）以分离稳定的刺激相关信号。目前尚不清楚类似的等距性是否在低信噪比模态（如EEG或MEG）、较小数据集或更高级认知任务（如语言处理、记忆检索）中成立。这是一个重要的未解决问题，限制了方法的泛化能力。其次，无配对翻译过程对初始化敏感，需要重复运行（10个随机种子）和种子选择，这在实际应用中增加了计算成本和不确定性。作者指出开发完全内部模型选择标准是重要的下一步，但目前没有提供这样的标准。第三，实验仅限于视觉模态和自然图像刺激，未来工作应测试共享神经几何是否扩展到更遥远的刺激分布（如声音、触觉）、任务上下文和临床数据集（如精神疾病患者）。第四，虽然方法整体有效，但存在明显的个体差异：某些受试者（如S3和S8）在受试者内和跨受试者任务中表现都明显较差，作者没有深入分析这些差异的来源，这可能限制了方法在临床环境中的应用。最后，作者提出一个重要的伦理问题：受试者不可知神经空间可能改进解码和迁移学习，但相关方法在未经同意应用于敏感大脑数据时可能引发神经隐私问题，未来使用需要明确同意、仔细的数据治理和防止滥用的保障措施。
独立分析的弱点
论文的一个主要弱点是无配对翻译过程对初始化的敏感性。作者需要运行10个随机种子并选择最佳种子，这在实际应用中增加了计算成本和不确定性。更重要的是，缺乏自动选择最佳种子的内部标准，这使得方法在自动化场景中可能不实用。改进方向是开发内部模型选择标准，例如通过分析伪配对的质量估计（如质心匹配的一致性）或转换的稳定性（如不同初始化下解的方差）来自动选择最佳种子。另一个弱点是方法对高质量fMRI数据的依赖，特别是在需要重复刺激呈现方面。在更临床或自然设置中，这种数据可能难以获得，因为重复呈现会增加实验时间和受试者负担。可以探索降低对重复要求的替代方案，例如利用时间平滑性（相邻时间点之间的相关性）或跨模态一致性（如fMRI与EEG之间的相关性）来构建自监督信号。第三个弱点是对个体差异的处理不够深入。虽然方法整体有效，但某些受试者（如S3和S8）表现明显较差，作者没有深入分析这些差异的来源，是由于解剖差异、功能组织差异还是噪声水平差异？改进方向是分析性能差异与受试者特定因素（如信噪比、头动、解剖变异）的关系，并可能开发自适应方法，根据受试者特定特征调整编码器或转换策略。最后，方法的理论保证较弱，虽然实验结果支持了柏拉图表示假设，但缺乏理论分析说明在什么条件下正交旋转是充分的，以及近似等距性的界限是什么。
未来方向
作者提出未来工作应测试共享神经几何是否扩展到更遥远的刺激分布、任务上下文和临床数据集。基于论文成果，可以延伸出多个重要研究方向。首先，探索这种共享几何是否存在于其他脑区和认知功能中，如语言处理、记忆检索、决策制定或情绪处理。这可能揭示大脑表示的全局组织原则。其次，研究这种几何结构在发育过程中如何形成，在儿童和成人之间是否不同，以及在病理状态下（如精神疾病、神经退行性疾病或脑损伤）是否发生改变。这可能为疾病的生物标记物开发提供新途径。第三，开发更鲁棒的无配对翻译算法，减少对初始化的敏感性，例如通过不确定性估计、贝叶斯方法或强化学习来自动优化初始化和选择策略。第四，探索将大脑衍生共享空间作为人工神经网络的训练目标，可能引导模型发展更接近生物神经系统的表示，这可能提高模型的鲁棒性、泛化能力和可解释性。第五，研究神经隐私问题，开发保护大脑数据隐私的方法，如差分隐私技术或同态加密，以便在保护隐私的同时利用共享神经几何的优势。第六，跨物种比较研究，探索人类与其他动物（如猴子、老鼠）的神经表示几何是否共享某些通用结构，这可能揭示进化的保守性和特异性。第七，研究这种共享几何的时间动态，在持续学习和记忆形成过程中是否稳定，还是会随着经验积累而变化。最后，探索将这种方法扩展到其他神经成像模态，如EEG、MEG或fNIRS，可能需要针对不同模态的特性调整方法。
复现评估
论文的复现性评估显示以下情况。代码开源情况未在论文中明确说明，这可能会影响复现的便利性。数据方面，论文使用了自然场景数据集（NSD），这是一个公开的fMRI数据集，但需要正式申请访问，这可能增加复现的时间成本。计算资源方面，方法涉及多个受试者的编码器训练、成对翻译（8乘以7等于56个受试者对）和同步过程，需要相当的GPU资源，特别是在种子选择阶段需要运行10个随机种子。复现难度属于中等偏高，主要是因为fMRI数据的预处理需要专业知识和NSD数据集的访问申请。论文在附录中提供了预处理细节和超参数配置，这有助于复现。但缺少公开代码库是一个主要障碍，可能使得其他研究者难以验证结果或在现有方法基础上进行扩展。建议作者在未来工作中公开代码和预训练模型，这将大大促进该领域的研究。此外，论文没有提供详细的超参数敏感性分析，这使得其他研究者难以理解方法的鲁棒性。建议提供对关键超参数（如嵌入维度、MCCA组件数、对比学习权重等）的敏感性分析。最后，论文没有提供消融实验来验证每个设计选择（如体素可靠性权重、MCCA对比单视图CCA、非线性精炼等）的必要性，这使得方法的必要性难以完全评估。
论文图表
