几何对齐税：科学基础模型中的分词与连续几何 The Geometric Alignment Tax: Tokenization vs. Continuous Geometry in Scientific Foundation Models
离散token化破坏科学基础模型的连续几何，提出几何对齐税理论
前置知识
几何对齐税
指在科学基础模型中，将连续的物理流形通过离散分类瓶颈处理时，所固有的几何失真成本。当连续数据被迫进入离散的token空间时，流形结构被分割成多个决策区域，形成离散化的分界面，导致模型内部表示无法保持原始系统的连续几何特性。这种失真会随着模型规模增大而累积。
这是本文的核心概念，解释了为什么科学基础模型在预测准确率高的同时，内部表示却系统地失效。理解这个概念是读懂本文所有实验、分析和结论的基础。
Procrustes失真
一种衡量两个嵌入集合之间几何对齐程度的指标。给定清洁嵌入矩阵和扰动嵌入矩阵，Procrustes失真通过求解最优正交旋转后的L2距离计算。值越小表示两个嵌入流形在几何上越接近。它能够捕捉到微小扰动下的流形稳定性，是本文量化几何对齐税的核心指标之一。
本文通过Procrustes失真量化离散token化对几何的破坏程度，这是理解实验结果、验证理论预测的关键工具。
率失真理论
信息论的一个分支，研究在给定失真约束下编码数据所需的最小信息传输速率。对于高斯源在均方误差失真下，率失真函数与2的负2R除以dM次方成正比。当使用大小为K的离散词汇表时，信道容量为log2 K，代入得到D与K的负2除以dM次方成正比。但对于几何失真，实际经验规律是D与1除以log K成正比。
本文用率失真理论形式化了几何对齐税，揭示了token化的根本局限性，是理解为什么无法通过细化码本逃避税收的理论基础。
向量量化双重束缚
指VQ码本的两难困境：粗糙码本因量化噪声损失信息，重建误差高；精细码本边界密集，固定扰动更可能跨越单元边界，恶化几何稳定性。实验显示Procrustes失真在K等于64处达到最小值0.073，随后在K等于512和K等于1024处分别增加到0.100和0.105。
这是反驳更精细的token化可以解决问题的关键证据，也是理解几何对齐税内在机制的实验核心。
MINE互信息神经估计
Mutual Information Neural Estimation，一种通过神经网络估计互信息的方法。本文使用Donsker-Varadhan变分下界，通过一个三层MLP统计网络估计嵌入与生物特征之间的互信息。所有结果报告为超过匹配随机基线的超额互信息以消除有限样本MINE偏差。
MINE帮助识别三种失败模式，从信息论角度揭示几何对齐税的后果，是理解几何稳定但不编码信息这一关键悖论的工具。
研究动机
现有的生物学和物理学基础模型主要关注预测准确率指标，如困惑度、AUC和基准测试排名。然而，这些指标对模型内部表示是否保持其建模系统的连续几何视而不见。作者发现了一个隐藏成本：几何对齐税，即将连续物理流形通过离散分类瓶颈处理时固有的几何失真。在BRCA1基因的2kb核心区域构建单点突变游走实验中，跨越122个中间序列的评估显示，四种基因组基础模型之间的平均余弦Lipschitz相差三个数量级。没有一个模型将致病性C61G突变检测为Lipschitz峰值。在合成物理系统的连续插值测试中，三种架构在使用MSE损失训练时产生平滑的PCA轨迹，平均Lipschitz值相差仅1.3倍。这与生物数据的3000倍差距形成鲜明对比。
本文的目标是本文的目标是识别、量化和形式化几何对齐税，揭示离散token化作为科学基础模型几何不稳定根本原因的机制，并提出物理对齐的新评估框架。具体包括：通过受控合成实验隔离token化作为几何不稳定的因果瓶颈；通过14个生物学基础模型展示税收随参数规模递增且对上下文长度不变的缩放定律；通过率失真理论和MINE进行信息论形式化，识别三种独特的失败模式；通过全面的消融实验排除替代解释；通过纹理假设测试证明Evo 2的反补体稳健性反映保留的序列组成而非学习对称性。
与已有工作不同的是，本文的独特切入角度是从几何对齐的角度重新审视科学基础模型的表示学习。现有的评估范式盲目于预测准确率，无法捕捉模型内部表示的几何质量。作者提出，离散token化与连续物理对称性之间存在根本性的结构分歧，这不仅仅是架构问题，而是将连续世界在处理前离散化的代价。与传统的比较不同架构的工作不同，本文通过同一编码器在连续目标与离散token化之间的对比，发现离散-连续差距远大于跨架构差距，揭示了问题的本质是token化而非架构选择。
核心方法
本文的方法论从直觉到技术路线分为三个层次。首先，通过受控的合成动力系统实验隔离token化作为几何不稳定的因果瓶颈，比较离散交叉熵与连续MSE头在相同编码器上的几何稳定性差异。其次，跨越14个生物学基础模型的缩放实验展示税收的普遍性和渐进性。最后，通过率失真理论形式化机制，并用MINE量化信息-几何权衡，识别三种失败模式。整个研究流程遵循受控因果测试、规模验证、理论形式化的逻辑，每个层次都有明确的实验协议和评估指标。
核心创新点在于首次将几何对齐税形式化，并通过受控实验证明离散token化是科学基础模型几何不稳定的充分条件。与已有方法不同，本文不是简单比较不同架构的性能差异，而是通过同一编码器在不同输出目标下的对比，揭示离散-连续差距远大于跨架构差距这一根本发现。具体而言，在Lorenz数据集的1%噪声下，SmallBERT从离散CE的0.096改进到连续MSE的0.034，改进2.8倍；SmallStripedHyena从0.072改进到0.0085，改进8.5倍，这是整个研究中的最佳条件。更重要的是，本文识别了三种失败模式，这些不是独立的病理学，而是在同一率失真约束下有限容量的不同分配方式。
方法步骤详情
方法步骤完整描述如下。步骤1：受控合成实验。训练三种小架构在合成动力系统上使用因果语言建模，包含256-bin均匀离散化的三个数据集：叠加正弦波、阻尼谐振子、Lorenz吸引子。使用两遍全局离散化方案计算数据集范围的min和max值，确保相同的物理状态映射到所有序列的同一bin，防止逐序列归一化伪影。步骤2：评估协议。使用Shesha几何库构建标准化工具，为每个模型嵌入清洁和扰动序列，提取中心窗口，使用余弦距离计算配对表征不相似性矩阵。报告四个核心指标：RDM相似性、扰动稳定性、特征分割和样本分割分数。复合稳定性分数是这四个指标的平均值。扰动包括1%、2%、5%、10%位置值噪声，加上时间反转。步骤3：消融变体。执行六个消融变体：变体A用线性投影在MSE损失下训练的连续头替换分类CE输出头；变体B添加Frobenius范数惩罚到CE损失，在多个lambda值上扫描；变体C用MSE头的SmallMamba作为阳性对照；变体D用离散CE的SmallLSTM测试循环是否足以实现几何稳定性；变体E注意力比例扫描将8层StripedHyena中注意力层的比例从0除以8滴定到8除以8；变体F Hyena滤波器阶数扫描测试阶数1、2、4、8。步骤4：跨架构跨尺度评估。评估14个生物学基础模型，包括ESM-2蛋白质Transformer套件、Nucleotide Transformer、SaProt、Caduceus、ProtMamba、Evo 2。在10000个合成蛋白质序列上用1到10%位置氨基酸替换和序列反转进行扰动。使用复合稳定性分数和Procrustes缩减量化全局漂移。步骤5：信息论分析。使用MINE的Donsker-Varadhan变分下界，通过三层MLP统计网络估计嵌入与生物特征之间的互信息。报告超过匹配随机基线的超额互信息。
技术新颖性
技术新颖性体现在多个方面。首先，首次将几何对齐税形式化，通过率失真理论揭示了几何失真随码本大小增长的缓慢衰减，意味着需要指数级更多的码本才能接近连续性能。其次，识别了三种失败模式：局部-全局解耦、表示压缩、几何空洞。第三，通过纹理假设测试证明Evo 2的反补体稳健性反映保留的序列组成而非学习对称性：二核苷酸洗牌的真实DNA恢复了97%的真实-随机RC间隙，而纹理匹配的Markov序列仅恢复3%。第四，通过RCCR实验展示后对称性正则化实现了完美的逐序列RC一致性，但群体级几何结构退化：正向和RC嵌入矩阵之间的Procrustes差异增加91%，RC RDM相似性变为负值，SNP扰动敏感性降低两个数量级。
实验结果
核心发现包括：在合成动力系统的受控实验中，将离散CE替换为连续MSE头在相同编码器上消除了流形断裂。在Lorenz数据集的1%噪声下，SmallBERT改进2.8倍，SmallStripedHyena改进8.5倍，这是整个研究中的最佳条件。跨架构离散CE差距为0.072到0.157，连续MSE差距收缩到0.0085到0.034。VQ码本扫描显示双重束缚：在K等于64处有浅最优0.073，略好于均匀256-bin基线0.096，但失真随后增加：K等于512产生0.100，K等于1024产生0.105，均差于均匀基线。重建MSE从0.098单调下降到0.00014。经验Procrustes失真遵循1除以log K的比例，R平方等于0.98。ESM-2在1%替换下的复合稳定性单调下降：0.463、0.454、0.443、0.419、0.391，跨越近四个数量级参数的渐进税收。15B检查点看似恢复到0.445，但这被同时的Procrustes缩减峰值揭露，揭示全局流形漂移而非真正的几何改进。Caduceus是免税基线：复合稳定性在规模上几乎恒定，在真实chr22 DNA上具有近乎完美的RC保留。Evo 2上下文扩展在合成DNA上的SNP稳定性增益适中，在真实chr22序列上边际。上下文税测试的冻结头准确率显示128倍更多上下文获得几乎零几何增益。Evo 2在合成DNA上完全未能通过RC测试。纹理假设测试证明Evo 2的嵌入作为高维逐序列k-mer直方图起作用。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Lorenz吸引子几何稳定性 | Procrustes失真（1%噪声） | SmallBERT连续MSE为0.034，SmallStripedHyena连续MSE为0.0085 | SmallBERT离散CE为0.096，SmallStripedHyena离散CE为0.072 | SmallBERT改进2.8倍，SmallStripedHyena改进8.5倍 |
| VQ码本最优大小 | Procrustes失真 | K等于64时为0.073 | 均匀256-bin为0.096，K等于512为0.100，K等于1024为0.105 | K等于64比均匀基线好24%，但更大K反而恶化 |
| ESM-2规模缩放 | 复合稳定性（1%替换） | 15B为0.445 | 8M为0.463，3B为0.391 | 相对于3B恢复，但Procrustes缩减揭示全局漂移而非真正改进 |
| Evo 2反补体测试 | RC RDM相似性（合成DNA） | 8K为0.139，262K为0.156，1M为0.208 | 真实chr22为0.873到0.883 | 合成DNA上功能为零，真实DNA上的高RDM反映统计伪影而非学习对称性 |
| MINE超额互信息 | Excess MI（nats） | ProtMamba低于零，ESM-1b和OpenFold显示大的正值，Evo 2是适度正值 | 随机基线蛋白质为2.664加减0.054，DNA为1.681加减0.033 | 三种失败模式揭示了几何对齐税的不同支付方式 |
局限与改进
作者承认的局限性包括：发现范围限定于AI for Science领域，其中真实连续对称性提供硬约束，警告不要将几何对齐税推广到缺乏刚性数学连续不变量的自然语言。分析涵盖高达15B参数和1M上下文长度的模型，虽然率失真框架预测税收渐近持续，但无法排除超越经验视界的更大规模处出现缓解。承认连续输出形式提供理论替代方案，但消融仅限于合成物理学，在生物序列上证明连续目标减少几何失真同时保持任务性能是重要下一步。绝大多数部署的生物学基础模型使用离散token化，目标是表征主导范式的成本而非开处方。在无显式对称性约束的香草CE目标下表征税收，虽然嵌入级RCCR实验显示后RC一致性正则化尽管达到完美逐序列对称性但仍退化流形几何，但这仅测试一种实例在一个超参数设置。架构等变性、替代RCCR形式和更广泛的lambda扫描可能产生不同结果。MINE真实特征是组成的，虽然ProtMamba空洞发现通过冻结头探针在所有条件下机会水平准确率独立确认，但编码这些目标未捕获的更高阶结构特征的模型可能在协议下显得信息浅薄。
独立分析的弱点
独立分析的弱点包括：实验范围局限于合成物理学和生物序列，缺乏在真实物理学模拟、化学分子表示或材料科学中的验证。虽然ESM-2在真实UniRef50蛋白质上显示了相同的单调趋势和虚假15B恢复，但更多真实世界场景的验证将增强泛化性。MINE真实特征的选择可能过于浅薄，编码更高阶结构特征的模型可能在当前协议下显得信息浅薄。虽然冻结头探针确认了ProtMamba空洞，但非线性探针仅测试到512隐藏单元的三层MLP，更深或更复杂的探针可能揭示隐藏的信息。几何对齐税的缩放定律在15B参数和1M上下文长度上验证，但无法排除超越这些尺度的模型可能通过自发涌现的性质缓解税收。论文识别了问题但未提供实用解决方案或可部署的替代架构。改进方向包括：扩展MINE真实特征以包含更高阶结构特征；在更多真实世界科学领域验证税收；探索更复杂的探针架构以确认信息空洞；研究超越15B参数的模型的税收行为；提出可部署的替代架构或训练策略。
未来方向
作者提出的未来方向包括：原生统一连续几何先验与高保真离散编码的架构，而非将一个嫁接到另一个。几何稳定性审计应成为与任务性能并列的一流评估标准。连续值基础模型和联合优化预测准确性与流形保留的混合目标是有前途的方向。基于成果可延伸的未来工作包括：扩展分析以涵盖物理学基础模型和材料科学模型，测试税收的泛化性。探索超越当前经验视界的更大规模是否可能出现自发缓解。研究架构等变性作为后正则化的替代方案。开发新的评估指标，将几何稳定性和任务性能结合为单一指标。探索新的训练目标，联合优化预测准确率和流形保真度。研究混合token化策略。探索扩散模型或生成式流网络等连续生成方法在科学领域的应用。
复现评估
复现评估：论文声称代码在公开，包含复现所有实验、基准和分析所需的完整代码。基础设施、软件版本和配置的详细信息在附录J中概述。合成数据集的生成方法在文中详细描述。评估协议使用Shesha几何库，该库基于开源实现。14个生物学基础模型的评估使用了公开可用的模型检查点和权重。然而，论文未明确说明计算资源需求，这可能是复现的障碍。从模型规模和实验数量来看，需求可能相当高。消融实验和跨架构跨尺度评估需要大量计算。MINE估计需要多次独立运行以获得可靠的互信息估计。论文提到复现性细节出现在附录J，但未在正文中总结，这增加了复现复杂性。总体而言，虽然代码和方法的公开有助于复现，但高计算需求和缺乏明确的资源要求限制了完全复现的可行性。
论文图表
