基于深度原生结构推理的准确、跨学科且透明的结构-属性理解 Accurate, Interdisciplinary and Transparent Structure-property Understanding with Deep Native Structural Reasoning

方法包含四个完整步骤：（1）数据构建与处理：蛋白质数据从UniProt和AlphaFoldDB收集，使用Foldseek 3Di编码结构，低置信度区域（pLDDT<70）被屏蔽；小分子数据从ChEMBL和BindingDB收集，使用ConfSeq编码3D构象；材料数据从Materials Project、JARVIS-DFT等数据库收集，使用SLICES编码晶体结构；DNA/RNA数据从RNAcentral和NCBI收集。所有数据通过自然语言模板与文本描述关联。（2）离线结构编码：使用领域特定的离散编码器将原始结构输入编码为结构信息序列：Foldseek用于蛋白质3D结构，SLICES用于晶体，ConfSeq用于3D分子结构。编码后的序列用相应标签包装，如。（3）三阶段预训练：Stage 1（warm-up训练）冻结骨干参数 $\theta_{\text{backbone}}$，仅训练 $\phi = \{\theta_{\text{vocab}}, \theta_{\text{emb}}, \theta_{\text{head}}\}$，在基本结构到文本重建任务上训练，使用独立优化器和学习率调度；Stage 2（全参数训练）解冻所有参数 $\phi = \Theta$，在多样化结构-文本数据上训练，使用共享的Warmup-Stable-Decay (WSD)学习率调度器 $\eta(t)$，包含warmup、stable和decay三个阶段；Stage 3（退火训练）保持全参数优化，增加QA风格数据比例，继续使用WSD调度器。（4）两阶段后训练：首先进行领域内结构证据基础，对每个任务组独立应用DAPO强化学习优化，得到专家模型 ${M_j^{\text{expert}}}_{j=1}^J$；然后进行跨领域推理整合，将专家在各自组提示上滚动的验证通过轨迹 $\tilde{c}$ 替换外部监督 $c$，汇集所有任务并增加非思考数据，从统一冷启动检查点进行单次冷启动和RL训练，得到最终模型 $M_{\text{final}}$。两阶段后训练使用经验求解率过滤和困难中心采样，选择中等难度实例 $\tilde{p}(x) \in (0.125, 0.875)$ 的2000个示例作为每个子任务的RL训练池。

SciReasoner的技术新颖性体现在三个层面：表示层面，首个将三维坐标、分子拓扑和晶体晶格离散化为领域原生标记的统一词汇表，避免了子词分词器对物理拓扑的任意破坏；架构层面，使用离散嵌入查找替代重型连续编码器，优雅地解决了跨模态对齐的计算瓶颈；训练层面，首次提出自举原生结构推理框架，通过领域内结构证据基础和跨领域推理整合两个阶段，解决了科学推理轨迹缺失和异构任务推理模式冲突的问题。与传统科学AI系统相比，SciReasoner的创新在于让结构标记成为推理轨迹内的可寻址证据单元，而非辅助描述符。这使得残基、分子片段、构象线索和晶体描述符可以在生成推理轨迹中被组合、引用和检查，实现了领域原生结构表示与显式科学推理的桥梁。与通用LLM相比，SciReasoner在结构密集任务上表现显著优势，在低同源性蛋白质GO预测中将CC的Fmax从0.42提升到0.55，在逆合成中将单步准确率从0.63提升到0.72。

SciReasoner在特定材料属性预测上仍存在改进空间，特别是GNoME和JARVIS-DFT等材料数据库上的MAD_MAE指标落后于LLM-Prop。这可能是因为这些属性需要更精细的电子结构计算或实验条件信息，而当前的结构表示可能没有充分捕获这些细微差别。另一个潜在的弱点是，虽然结构消融实验证明了结构证据的重要性，但在某些任务上移除结构信息后性能下降相对较小，这表明模型可能仍在依赖序列或组成级别的快捷方式，特别是在结构信息不充分的情况下。例如，在高同源性蛋白质上，序列相似性可能仍然提供主要信号，掩盖了结构推理的贡献。在计算效率方面，SciReasoner需要两个阶段的强化学习训练（领域内和跨领域），比单一阶段训练更复杂，增加了计算成本和调优难度。另外，当前的方法主要依赖于预训练的结构编码器（Foldseek、ConfSeq、SLICES），这些编码器本身可能存在限制，如对局部环境的敏感性不足或对远程相互作用的编码不完全。最后，虽然论文展示了三个领域的代表性案例，但方法在其他科学领域（如天文学、地球科学）的适用性尚未验证。

作者提出的未来研究方向包括扩展到更多科学模态和任务类型，如光谱数据、动力学模拟、量子化学计算和多物理场耦合系统。另一个方向是改进结构表示，特别是对电子结构、激发态和量子效应的编码，这可能需要将密度泛函理论（DFT）计算或波函数信息集成到结构感知词汇表中。训练效率也是一个重要方向，可以探索更高效的自举策略，如并行领域训练或meta-learning方法，减少两阶段强化学习的计算开销。模型解释性可以进一步增强，例如开发结构标记到可视化的自动映射工具，使专家能够更直观地检查推理轨迹中的结构证据。另一个有趣的方向是将SciReasoner与主动学习或实验设计集成，形成从假设生成到实验验证的闭环科学发现系统。可解释性方面，可以开发结构敏感注意力可视化工具，让专家看到哪些结构特征驱动了模型的预测。最后，大规模的专家评估和用户研究可以更好地理解SciReasoner在实际科学工作流程中的效用，并识别需要改进的具体领域。

论文提供了详细的实验设置、数据来源和训练参数。代码、模型和数据集的可用性信息可以在项目网站SciReasoner.github.io上找到。预训练数据集来自公开数据库（UniProt、AlphaFoldDB、ChEMBL、BindingDB、Materials Project、JARVIS-DFT、SNUMAT、hMOF、QMOF、OQMD、OMDB、GNoME、Cantor HEA、RNAcentral、NCBI等），但具体的数据处理和过滤步骤的代码开源情况未明确说明。模型架构基于Qwen3-14B，这是一个公开可用的基础模型。训练使用了三阶段预训练和两阶段后训练，每个阶段的学习率调度、数据比例和优化器配置都有描述，但具体的超参数（如warmup步数、stable步数、decay函数形式）在论文中未完全披露。算力要求方面，由于使用了14B参数的模型，预训练和后训练需要大量GPU资源，论文未报告具体的训练时间和硬件配置。评估基准都是公开数据集，评估指标的定义清晰，这使得结果可以复现。然而，某些实验设置（如RL训练中的采样温度T的自适应调整、困难中心采样的具体实现细节）的代码开源情况未知，可能影响复现。总体而言，论文提供了足够的方法细节，但完整的复现可能需要访问源代码和训练脚本。