用科学的语言说话：迈向自然科学领域的通用生成式基础模型 Speaking the Language of Science: Toward a General-Purpose Generative Foundation Model for the Natural Sciences
提出基于统一科学语法的多领域生成框架LOGOS，实现蛋白质、小分子、材料等科学任务的统一序列建模
前置知识
自回归语言模型
自回归语言模型是基于条件概率的生成模型，通过预测序列中的下一个 token 来建模联合概率分布。这种模型逐个生成 tokens，每个 token 的生成都依赖于之前生成的所有 tokens。典型的架构包括 GPT 系列和 Transformer 解码器。训练目标是最大化训练数据的对数似然。自回归建模的优势是自然支持条件生成和续写任务，缺点是生成速度受串行性质限制。
本文的核心创新是将科学对象建模为 token 序列，使用自回归框架学习这些序列的联合分布。理解自回归建模的原理对于把握 LOGOS 如何学习蛋白质-配体交互、化学转变等复杂关系至关重要。
科学语法
科学语法是本文提出的形式化系统，将不同科学对象和关系映射到共享的 token 空间。它定义了一组特殊的边界标记（如 、、）和关系标记（如 、、、），用于编码科学实体的类型、层次结构和交互模式。例如，蛋白质-配体复合体的语法是 ...SMILES...SMILES。通过嵌套语法结构，科学语法在统一框架内同时表达多模态信息和跨模态关系。
科学语法是 LOGOS 框架的基石。它不仅统一了不同科学对象的表示形式，更重要的是通过显式的 token 化空间交互（如蛋白质-配体结合），使得复杂的 3D 结构信息可以在纯序列框架内建模，这是本文与传统几何神经网络方法的关键区别。
SMILES 表示
SMILES（Simplified Molecular Input Line Entry System）是一种线性符号表示法，用于编码分子的结构信息，包括原子类型、键连接性、芳香性和立体化学。例如，苯的 SMILES 是 'c1ccccc1'，乙醇是 'CCO'。SMILES 通过括号、数字和特殊符号表示分支、环和立体化学。它是化学信息学中最广泛使用的分子表示格式之一，因其简洁性和可解析性成为分子机器学习任务的标准输入格式。SMILES 的优点是可以被 RDKit 等库解析为分子图，同时保持字符串表示的序列性质。
本文大量使用 SMILES 作为小分子和配体的表示形式。更关键的是，作者创新性地将蛋白质口袋残基扩展为对应的侧链 SMILES，从而在 token 级别建立蛋白质和小分子化学空间的显式对齐，这是实现跨模态知识迁移的核心设计。
Vina 对接分数
Vina 对接分数由 AutoDock Vina 程序计算，用于评估配体与蛋白质口袋之间的结合亲和力，单位为 kcal/mol。分数越低表示预测的结合亲和力越强（更稳定的结合）。Vina 基于经验打分函数，考虑了范德华力、氢键、疏水相互作用和去溶剂化效应。在实际药物设计中，Vina 分数是虚拟筛选和先导化合物优化的关键指标。优秀的配体设计方法应能生成 Vina 分数低于 -7.0 的分子。
Vina 分数是本文配体设计任务的核心评估指标。LOGOS-8B 在该指标上达到 -7.76，显著优于所有基线方法，证明了通过序列建模捕获蛋白质-配体相互作用模式的可行性。
逆合成预测
逆合成预测是给定目标产物分子，推断可能的反应物组合的任务。它是合成路线规划和药物化学的核心任务。评估标准是 Top-k 准确率：正确反应物集是否出现在模型预测的前 k 个候选中。USPTO-50K 是常用基准数据集，包含 5 万个有机化学反应。Top-1 准确率反映模型识别最可能的逆合成路径的能力，Top-3 准确率评估在考虑多个候选时的鲁棒性。现代方法使用序列到序列模型或图神经网络来建模分子转换模式。
逆合成预测是验证 LOGOS 多领域能力的关键任务。LOGOS-8B 在 Top-1 准确率上达到 74.8%，证明了统一语法框架能够有效捕获化学键断裂和重组规律，这是科学语法促进跨领域知识迁移的直接证据。
MOF（金属有机框架）
金属有机框架是由无机金属簇（节点）和有机配体（连接子）通过配位键自组装形成的结晶多孔材料。MOFs 具有可调的孔径、高比表面积和丰富的化学功能化位点，在气体吸附、催化、药物递送等领域有广泛应用。MOFs 的典型结构是周期性重复的金属簇-有机配体组合。在生成任务中，需要同时保证金属簇和有机配体的化学有效性，以及它们配位连接的几何合理性。评估指标包括化学有效性、结构新颖性和组件新颖性。
MOF 生成任务验证了 LOGOS 处理层级化学结构的能力。通过嵌套语法，LOGOS 在不依赖几何信息的情况下生成了有效的 MOFs，NBB 指标达到 17.78%，证明了跨领域协同效应。
研究动机
AI for Science（AI4S）领域面临的一个核心问题是：现有方法主要专注于特定领域的表示学习和预测，采用 BERT 等编码器架构，通过掩码重建或对比学习等自监督目标进行预训练，然后通过微调适应下游任务。然而，这种范式存在内在局限性。一方面，预训练目标（如掩码重建或对比对齐）与真实下游任务（如结合亲和力优化或合成可及性）之间存在显著的语义错位。预训练的表示往往缺乏直接的原位迁移能力，通常需要下游监督来重新校准表示空间。另一方面，仅编码器架构缺乏统一的条件生成机制，通常需要依赖辅助生成模块或精心设计的采样策略来支持生成任务。此外，大多数现有的生成式模型局限于单一生物领域，缺乏跨域建模的统一框架，无法捕获跨生物模态的共享原则和协同关系。NatureLM 虽然尝试使用自然语言作为通用接口，但在数据不平衡的情况下，模型可能过度利用通用语言模式而牺牲领域原生结构的精细建模能力。
本文的目标是本文的目标是构建一个真正通用的自然科学生成式基础模型，能够在统一框架内处理蛋白质、抗体、小分子、化学反应、材料及其空间交互等多模态科学对象，将理解、预测和设计统一在单一建模范式下。具体而言，目标是：（1）设计统一的形式化语法，将异构科学对象及其关系映射到共享的离散 token 空间；（2）通过自回归联合预训练学习这些序列的联合分布，使预训练目标与下游生成任务在形式和优化方向上保持一致；（3）验证一个模型适用所有范式的可行性，在多个代表性科学任务上实现与领域专用方法相当或更优的性能；（4）探索不依赖显式 3D 几何网络的序列建模方式，通过语法化和 token 化空间交互关系捕获复杂结构信息。
与已有工作不同的是，本文的独特切入角度是：直接从科学对象的原生结构和空间交互原理出发，将多领域科学任务重新表述为统一的生成式 token 建模问题。核心洞察是：蛋白质、小分子、材料和反应系统在符号表示层面呈现异质性，但都遵循特定的组合规则、结构约束和交互语义，因此可以视为共享科学语言的实例。与 NatureLM 等使用自然语言作为中介的方法不同，本文选择从科学对象的原生表示出发，使用统一科学语法而非自然语言作为跨模态接口，将模型容量集中在科学模态的原生表示学习上。更关键的是，本文探索了一条不依赖显式 3D 坐标、几何神经网络或专用结构模块的替代路径：通过将空间接触和约束模式离散化为 token，在纯序列框架内建模复杂结构交互。这种设计不仅规避了不同领域 3D 结构数据可用性的不一致性，而且通过统一的语法系统实现了异构多领域科学数据的深层统一。
核心方法
LOGOS 框架的整体思路可以概括为：通过统一科学语法将多领域科学对象及其关系编码为共享 token 空间中的序列，然后使用自回归语言模型学习这些序列的联合分布，将下游任务统一为在相同语法空间内的 next-token 预测问题。直觉上，作者将蛋白质、小分子、材料等视为科学语言中的句子，将它们的组合规则和交互模式视为语法。通过定义形式化的语法规则，不同科学对象可以在同一 token 空间中表达，它们之间的关系可以通过嵌套结构和关系标记显式编码。例如，蛋白质口袋可以通过标记嵌入在蛋白质序列中，口袋残基可以扩展为 SMILES 表示，从而建立蛋白质和小分子化学空间的 token 级别对齐。在技术路线上，框架包含三个核心组件：（1）多领域数据构建和科学语法设计；（2）基于 LLM 权重初始化的持续预训练；（3）多任务联合后训练。预训练阶段使用 44.87B tokens 覆盖七种模态，后训练阶段混合四个代表性任务的数据进行联合 SFT。整个框架在纯序列范式中运作，不依赖显式几何信息。
LOGOS 的核心创新点是统一科学语法的设计，特别是将空间交互关系语法化和 token 化的能力。与大多数依赖显式 3D 坐标和几何神经网络的方法不同，LOGOS 通过精心设计的序列表示来编码空间信息。对于蛋白质-配体交互，作者设计了四种递进的表示：（1）氨基酸级口袋注释序列：在蛋白质序列中用标记标记口袋残基位置；（2）小分子扩展口袋序列：将每个口袋残基扩展为对应的侧链 SMILES，使接口描述位于与小分子相同的化学表示空间中；（3）氨基酸-小分子转换序列：引入标记连接氨基酸级序列和 SMILES 扩展序列，直接建模两种表示之间的映射；（4）结合位点识别序列：将位点发现表述为生成序列预测问题。这种递进设计从定位空间交互到化学表征它，再到学习跨表示映射，最后到预测它，系统地将空间交互的关键方面编码在统一语法内。蛋白质-配体复合体的表示进一步将蛋白质口袋序列与配体 SMILES 序列连接，完整编码哪些残基结合哪个配体的关系。
方法步骤详情
LOGOS 的方法步骤包括：步骤 1 - 多领域数据构建。作者从 UniRef90 提取 5.8B tokens 的蛋白质序列，从 OAS 提取 2.1B tokens 的抗体序列，从 PubChemQC 提取 4.6B tokens 的小分子 SMILES，从 ORD 和 ECReact 提取 3.0B tokens 的化学反应，从假设 MOF 数据库提取 0.47B tokens 的材料数据，从 PDB 使用 P2Rank 提取 28.9B tokens 的蛋白质口袋和蛋白质-配体复合体数据。步骤 2 - 科学语法设计。为每种模态定义边界标记（如蛋白质、抗体、分子标记），并为交互定义关系标记（反应、逆反应、转换、搜索）。蛋白质口袋采用四种嵌套表示，蛋白质-配体复合体采用联合口袋-配体表示。步骤 3 - 模型初始化和持续预训练。选择 Qwen3-8B（以及 Llama3.2-1B/3B）作为基础架构，嵌入层、Transformer 主干和语言建模头继承 LLM 预训练权重，新增的特殊 token 嵌入随机初始化。使用 32 张 NVIDIA A800 GPU，AdamW 优化器，峰值学习率 2.0×10^-5，余弦学习率调度器，训练 100,000 步，批量大小 1024。步骤 4 - 多任务联合后训练。从四个下游任务（配体生成、材料生成、位点识别、逆合成预测）的训练集采样小量数据，按照指令-输出模板分割，混合后进行统一 SFT。使用 8 张 NVIDIA A800 GPU，峰值学习率 1.0×10^-5，训练 8 个 epoch，批量大小 128。
技术新颖性
LOGOS 的技术新颖性体现在多个层面。在表示层面，它首次提出统一科学语法的概念，将异构科学对象和跨对象关系映射到共享离散 token 空间。这种设计超越了简单的表示统一，通过嵌套语法结构和显式跨表示转换序列，实现了不同符号系统间的深层语义对齐。在建模层面，它探索了一条不依赖显式 3D 几何的新路径：通过将空间接触和约束模式离散化为 token，在纯序列框架内建模复杂结构交互。这与主流的几何神经网络方法形成鲜明对比，为 3D 结构数据稀疏或不可用的场景提供了替代方案。在训练范式层面，它验证了多领域联合建模的协同效应：通过跨领域 SFT，四个任务都优于单任务独立训练，表明不同科学领域间存在可共享的底层结构规律和组合逻辑。在容量分配层面，它发现了重要权衡：虽然 LLM 预训练权重在权重层面对科学模态学习有益，但在持续训练中直接引入大量自然语言语料反而损害科学模态学习。这启发作者选择从科学对象的原生表示出发，将模型容量集中在领域原生表示学习上，从而在领域原生驱动的任务中实现更高的参数效率。
实验结果
实验结果提供了对单一模型适用所有范式的初步验证。在配体设计任务中，LOGOS-8B 在 Vina 分数上达到 -7.76，优于所有领域专用方法，包括依赖显式 3D 坐标的 TargetDiff (-7.38) 和 TamGen (-6.79)。值得注意的是，LOGOS-1B (-7.64) 就优于 NatureLM (8×7B, -6.91)，参数效率约为 1/56，验证了集中模型容量在科学表示学习上的优势。在药物样性和合成可及性方面，LOGOS-8B 的 QED 为 0.57，SAS 为 0.73-0.74，LogP 为 1.22（在 -0.4 到 5.6 的合理范围内），LPSK 为 4.71，表明生成的配体在多维药物化学性质上保持优势。在蛋白质配体结合位点识别任务中，LOGOS-8B 在 COACH420 数据集上达到 Top-n: 66.5% 和 Top-(n+2): 74.8%，在 HOLO4K 数据集上达到 Top-n: 58.5% 和 Top-(n+2): 68.9%，仅次于使用 3D 结构作为输入的 P2Rank，而仅使用氨基酸序列。这显著扩展了位点识别的适用性：从有解析 3D 结构的蛋白质到只有序列信息的蛋白质。在逆合成预测任务中，LOGOS-8B 在 USPTO-50K 测试集上达到 Top-1: 74.8% 和 Top-3: 75.6%，优于 NatureLM (8×7B, Top-1: 71.9%) 和领域专用方法。Top-1 准确率的优势表明建模在原生化学转换空间允许模型将概率质量集中在最合理的键断裂和重组模式上。在材料生成任务中，LOGOS-8B 在 Valid: 45.19%、VNU: 39.02%、NBB: 17.78% 三个指标上显著优于 MOFDiff 和 MOFFlow-2。NBB 的 76% 相对提升（从 10.10% 到 17.78%）特别有意义，因为它要求模型不仅学习已知组件的合理组合，还要探索未见过的分子构建块，验证了生成导向未知化学空间的能力。在蛋白质编辑任务中，LOGOS-8B 在 AAV（Hard）的 Fitness 达到 0.70，在 GFP（Hard）的 Fitness 达到 0.93，大幅优于 GGS（AAV: 0.33, GFP: 0.34）等方法。更重要的是，LOGOS 在难度增加时性能保持稳定，而许多基线方法性能显著下降。在抗体 CDR 设计任务中，LOGOS-8B 在 CDR-L1 的 AAR 达到 85.18%，在 CDR-L2 的 AAR 达到 85.93%，均为最佳。在 CDR3（尤其是 CDR-H3）上存在差距，这是因为 CDR-H3 的高序列多样性和长度变异性主要来自 V(D)J 重组过程中的 D 基因选择和随机插入缺失，而不是从框架区域序列上下文可预测的。然而，LOGOS 在所有 CDR 区域的 Plausibility 指标上都达到最佳或高度竞争，表明生成的序列符合自然抗体分布，即使 AAR 较低。这支持了模型生成分布上合理的替代方案而非仅仅恢复特定参考序列的解释。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Interaction-Aware Ligand Design for Binding Pockets | Vina↓ | -7.76 (LOGOS-8B) | -7.38 (TargetDiff) | 提升 0.38 kcal/mol，约 5.1% 相对改善 |
| Interaction-Aware Ligand Design for Binding Pockets | QED↑ | 0.57 (LOGOS-8B) | 0.55 (TamGen) | 提升 0.02，约 3.6% 相对改善 |
| Protein Ligand-Binding Site Identification (COACH420) | Top-n↑ | 66.5% (LOGOS-8B) | 63.4% (MetaPocket 2.0) | 提升 3.1 个百分点，约 4.9% 相对改善 |
| Protein Ligand-Binding Site Identification (HOLO4K) | Top-n↑ | 58.5% (LOGOS-8B) | 57.9% (MetaPocket 2.0) | 提升 0.6 个百分点，约 1.0% 相对改善 |
| Retrosynthesis Prediction | Top-1↑ | 74.8% (LOGOS-8B) | 71.9% (NatureLM 8×7B) | 提升 2.9 个百分点，约 4.0% 相对改善 |
| Unconditional Material Generation | NBB↑ | 17.78% (LOGOS-8B) | 10.10% (MOFFlow-2) | 提升 7.68 个百分点，约 76.0% 相对改善 |
| Protein Editing (AAV, Hard) | Fitness↑ | 0.70 (LOGOS-8B) | 0.33 (GGS) | 提升 0.37，约 112% 相对改善 |
| Protein Editing (GFP, Hard) | Fitness↑ | 0.93 (LOGOS-8B) | 0.34 (GGS) | 提升 0.59，约 174% 相对改善 |
| Antibody CDR Design (CDR-L1) | AAR↑ | 85.18% (LOGOS-8B) | 83.72% (RADAb) | 提升 1.46 个百分点，约 1.7% 相对改善 |
| Antibody CDR Design (CDR-L2) | AAR↑ | 85.93% (LOGOS-8B) | 84.58% (RADAb) | 提升 1.35 个百分点，约 1.6% 相对改善 |
局限与改进
作者承认的局限性包括：第一，领域覆盖有限。受限于可用计算资源，当前框架尚未纳入核酸相关模态（如基因组和转录组序列）。第二，数据规模和模型规模有限。预训练语料库仅覆盖各领域公开数据的一个子集，实验仅在 1B 到 8B 参数范围内观察到稳定的缩放行为。扩展数据和模型规模将进一步测试框架的容量边界。第三，信息模态限制。当前设计通过离散化的 token 表示编码空间关系，对于对 3D 结构敏感的任务，结合显式几何信息可能进一步提升性能。此外，独立观察到的局限性包括：第一，在抗体 CDR3 设计任务上，尤其是 CDR-H3，LOGOS 与逆折叠方法存在明显差距。这是因为 CDR-H3 的序列多样性极高，主要来自 V(D)J 重组过程中的随机性，而不是从框架区域序列上下文可预测的。纯序列模型在缺乏 3D 结构输入的情况下，CDR3 恢复准确率有限。第二，虽然多任务联合 SFT 在所有任务上都优于单任务独立 SFT，但 Top-3 准确率的提升不及 Top-1 明显（如在逆合成预测中），这可能反映了不同生成范式之间预测精度和候选多样性的权衡。第三，框架的参数效率优势建立在牺牲自然语言理解能力的基础上。虽然这对领域原生驱动的任务有利，但在需要跨模态推理或自然语言交互的场景中可能成为限制。
独立分析的弱点
LOGOS 的独立分析弱点包括：第一，对高序列多样性区域（如抗体 CDR-H3）的预测能力有限。CDR-H3 的序列主要来自 V(D)J 重组过程中的随机插入缺失，而不是从框架上下文可预测的。改进方向是引入显式的 V(D)J 重组机制建模，或结合部分 3D 结构信息作为辅助输入。第二，参数效率优势以牺牲自然语言能力为代价。虽然这对纯科学任务有利，但在需要自然语言交互或跨模态推理的场景中可能不足。改进方向是探索混合训练策略，在保持科学表示学习效率的同时保留部分自然语言能力，或开发科学-自然语言接口层。第三，空间信息的离散化表示可能损失精细几何细节。虽然通过语法化和 token 化可以在序列框架内编码空间交互，但对于需要精确几何约束的任务（如酶催化机制建模），离散表示可能不足。改进方向是在关键任务中引入层次化表示：序列层捕获粗粒度模式，几何层提供精细约束。第四，缺乏实时反馈机制。当前框架是离线生成模型，无法在生成过程中整合实验反馈或物理模拟。改进方向是开发主动学习循环，将模型生成、实验验证和模型更新闭环。
未来方向
作者提出的未来工作方向包括：第一，扩展领域覆盖。将科学语法扩展到核酸相关模态（基因组、转录组序列），实现更广泛的自然科学覆盖。第二，扩展数据和模型规模。使用更完整的公开数据集，探索更大规模的模型（如 10B+ 参数），测试框架的容量边界并表征科学模态上的缩放行为。第三，丰富信息模态。结合显式几何信息以补充序列建模，特别是对于对 3D 结构敏感的任务。基于成果可延伸的方向包括：第一，开发交互式科学设计工具。利用 LOGOS 的统一生成能力，构建支持用户通过自然语言指令与模型交互的系统，实现描述-生成-优化的科学设计流程。第二，探索跨领域知识发现。利用统一语法框架在多模态科学数据中挖掘跨领域模式和原理，如蛋白质序列模式与小分子骨架结构的关联。第三，集成物理模拟验证。将 LOGOS 的生成能力与分子动力学模拟或量子化学计算结合，形成生成-验证-修正的闭环，提高生成结果的可信度。第四，开发任务特定的微调范式。针对不同科学任务的特点，设计更精细的微调策略，如课程学习、多目标优化或基于人类反馈的强化学习。
复现评估
论文在复现性方面表现良好。作者已开源模型权重、训练数据处理管道和相关资源，为社区提供了可重用的技术路径。数据来源均为公开数据集：UniRef90、OAS、PubChemQC、ORD、ECReact、假设 MOF 数据库、PDB（用于口袋和复合体）、PDBBind（用于配体设计）、COACH420/HOLO4K（用于位点识别）、USPTO-50K（用于逆合成预测）、SAbDab（用于 CDR 设计）。训练配置在附录中详细说明：持续预训练使用 32 张 NVIDIA A800 GPU，AdamW 优化器，峰值学习率 2.0×10^-5，余弦学习率调度，训练 100,000 步，批量大小 1024。后训练使用 8 张 NVIDIA A800 GPU，峰值学习率 1.0×10^-5，训练 8 个 epoch，批量大小 128。不同下游任务的推理参数也明确给出。评估指标定义详细，并与基准方法一致。总体而言，复现难度中等：虽然需要大量计算资源（32-64 张 A800 GPU）才能复现完整的训练流程，但模型权重已开源，可以进行下游任务实验的独立验证。数据处理管道的开放也有助于社区扩展到其他数据集或领域。
论文图表