分子性质预测的 BERT 学研究 BERTology of Molecular Property Prediction
系统探究化学语言模型缩放规律与标准化噪声影响
前置知识
化学语言模型（CLM）
化学语言模型是将自然语言处理技术应用于化学领域的方法，将分子结构的文本表示（如 SMILES 字符串）视为化学语言，通过语言建模目标学习其底层结构、规则、语法和语义。CLMs 通常基于 Transformer 架构，特别是编码器-only 的模型如 BERT，通过大规模化学数据的自监督学习预训练，然后在特定的分子性质预测任务上微调。
本文的核心研究对象是化学语言模型，理解 CLM 的工作原理和训练范式是理解整篇论文的基础，包括掩码语言建模目标、预训练-微调两阶段学习流程等关键概念。
SMILES 表示
Simplified Molecular Input Line Entry System（SMILES）是一种用 ASCII 字符串表示分子化学结构的线性符号系统。它通过一套简洁的语法规则将分子图转化为字符串，例如乙醇的 SMILES 是 CCO，其中每个字符代表特定的原子或键。SMILES 是 CLMs 处理化学信息的主要输入形式，模型通过学习 SMILES 字符串的模式来理解分子结构。
SMILES 是 CLMs 的输入数据格式，本文中所有预训练和微调实验都基于 SMILES 字符串，理解 SMILES 的表示方式对于理解标准化噪声的影响至关重要。
掩码语言建模（MLM）
掩码语言建模是 BERT 类模型的核心预训练目标，其基本思想是随机掩盖输入序列中一定比例（通常为 15%）的标记，然后要求模型根据上下文预测被掩盖的原始标记。损失函数定义为负伪对数似然，通过最小化交叉熵损失来训练模型预测被掩盖的标记。
MLM 是本文所有预训练实验的目标函数，理解 MLM 的数学形式和伪困惑度（PPPL）、准确率、加权 F1 分数等评估指标对于理解实验结果至关重要。
缩放定律
缩放定律是大语言模型研究中的重要发现，描述了模型测试性能与模型大小、数据集大小、训练计算量等因素之间的经验幂律关系。对于自回归语言模型，已建立了严格的缩放定律框架，表明性能随这些因素对数线性提升。但对于编码器-only 的掩码语言模型，目前缺乏类似的缩放定律框架。
本文的研究动机正是由于缺乏编码器-only CLMs 的缩放定律，论文通过系统实验提供了支持此类模型缩放定律存在的数值证据，这是理解论文研究意义的关键。
化学标准化
化学标准化是将分子的 SMILES 表示转换为一致且唯一形式的过程，通常包括互变异构体规范化、芳香性处理、电荷平衡、立体化学标准化等步骤。不同的化学数据库使用不同的标准化协议，例如 PubChem 基于 OpenEye OEChem 工具包，而 ChEMBL 基于 RDKit。标准化确保相同分子结构的表示唯一性，但混合不同标准化协议会引入标准化噪声。
标准化噪声是本文的核心发现之一，作者通过实验证明混合不同标准化协议会严重损害预训练性能，这是解释文献中不一致结果的关键因素，也是理解论文创新点的重要基础。
研究动机
化学语言模型在分子性质预测任务中展现出巨大潜力，但文献中报告的性能结果存在严重的不一致性和矛盾性。具体表现为：Chen 等人预训练的 BERT 变体在三个不同大小的数据集（1,941,410 个化合物、103,395,400 个化合物、775,007,514 个化合物）上，在 10 个 MoleculeNet 下游任务中的表现令人惊讶——在 7 个任务上，最小数据集预训练的模型反而表现更好。这种违反直觉的反缩放现象在多篇研究中被报告，使得化学语言模型的实际价值和优化方向变得不清晰。更深层的问题是，缺乏针对编码器-only 掩码语言模型的缩放定律框架，无法像自回归模型那样预测模型性能随数据集和模型大小变化的规律。
本文的目标是本文的具体目标是通过数百个精心控制的实验，系统性地调查各种因素对化学语言模型在分子性质预测任务上预训练和微调性能的影响。研究因素包括：数据集大小、模型大小、分词方法、模型架构和标准化协议。作者希望提供全面的数值证据和深入的理解，阐明影响 CLM 性能的底层机制，特别是揭示文献中被完全忽略的因素，并为编码器-only 化学语言模型建立类似自回归模型的缩放定律提供基础。此外，作者还希望通过严格的实验控制，解决文献中报告的不一致和矛盾结果，为 CLMs 的实际应用提供可靠指导。
与已有工作不同的是，本文的独特切入角度在于采用严格的实验控制方法，系统地解构影响化学语言模型性能的各个因素，而不是简单地报告在特定任务上的性能提升。与大多数研究直接在 MoleculeNet 等基准数据集上评估不同模型不同不同，本文作者深入到预训练过程本身，研究了模型初始化随机性、数据采样随机性、标准化噪声、分词算法选择等基础因素对预训练性能的影响。这种 BERT 学研究方法借鉴了 NLP 领域对 BERT 模型的系统性研究，但首次将其应用于化学语言模型领域。论文的核心创新假设是：文献中报告的不一致结果可能是由于混合不同化学数据库的标准化协议引入了标准化噪声，而非 CLMs 本身的局限性。
核心方法
本文的方法整体思路采用 BERT 学研究范式，通过大规模系统性实验来探究化学语言模型的缩放行为和性能影响因素。作者在 PubChem 数据集上预训练三种不同大小的 BERT 变体（Tiny、Small、Base），然后使用 Biogen ADME 数据集进行微调评估。研究分为预训练和微调两个阶段，预训练阶段关注模型初始化随机性、标准化噪声、分词方法、数据集大小和模型大小对 MLM 目标的影响；微调阶段则评估预训练数据集大小和模型大小对下游分子性质预测任务的影响。所有实验都采用严格的统计方法，使用 95% 置信区间来评估结果的可靠性，并针对小样本量（N=3 或 N=5）使用 NIST 的 Student's t 分布临界值表来确定合适的临界值，避免错误估计误差棒。
本文的核心创新点是提出并验证了标准化噪声假设：文献中报告的 CLMs 性能不一致性和反缩放现象，主要是由于混合不同化学数据库（如 ChEMBL、PubChem、ZINC）时引入了不同标准化协议的噪声，而非 CLMs 本身的局限性。作者通过实验证明，当训练和验证数据使用不同标准化协议时，模型的预训练性能会严重下降，验证伪困惑度（V-PPPL）从 1.7715 增加到 3.6218（Tiny-BERT），甚至导致模型发散。另一个关键创新是建立了编码器-only 化学语言模型的缩放行为框架，表明在统一标准化协议下，预训练数据集大小和模型大小对预训练和微调性能的影响与自回归模型的缩放定律一致，即 larger 高质量预训练数据集和更大模型带来更好的下游任务性能。
方法步骤详情
方法步骤的完整描述如下：第一步是数据准备，使用 PubChem 数据集（2025 年 4 月 18 日版本），包含 119,184,806 个标准化的规范异构 SMILES，随机分为训练集（95,347,844 个数据点，约 80%）和验证集（23,836,962 个数据点，约 20%）。第二步是分词器训练，使用 Hugging Face 的 tokenizers 库从零开始训练 WordPiece 和 BPE 分词器，词汇表大小限制为 30,522，最大序列长度为 512，最小频率阈值为 2。第三步是预训练，使用 MLM 目标预训练三种 BERT 变体（Tiny、Small、Base），随机掩盖 15% 的标记，使用动态掩盖策略，AdamW 优化器，学习率为 0.0001，权重衰减 0.01，有效全局批量大小为 1024。第四步是标准化噪声实验，通过参数 tau 和 nu 控制训练和验证分割中 SMILES 的标准化噪声，从纯 PubChem（tau=nu=0）到纯 ChEMBL（tau=5, nu=0 或 tau=0, nu=1.0）。第五步是数据集大小实验，创建六个数据集箱子，训练样本数量遵循指数表达式，对应 2.5%、5%、10%、20%、40% 和 80% 的数据。第六步是微调，使用 Biogen ADME 数据集进行 3 折交叉验证，数据分割为 80% 训练验证集和 20% 测试集，每折使用贝叶斯超参数搜索（50 个模型架构），基于验证 R 平方选择最佳模型，然后在完整训练验证数据上重新拟合并评估测试集。
技术新颖性
本文的技术新颖性体现在多个方面：首先，首次系统性地将 BERT 学研究方法应用于化学语言模型领域，通过数百个精心控制的实验揭示了影响 CLM 性能的深层因素，而非简单地在下游任务上报告性能提升。其次，发现并量化了标准化噪声对预训练性能的严重负面影响，这是化学语言模型领域此前被完全忽略的重要因素。第三，在缺乏编码器-only 掩码语言模型缩放定律的情况下，提供了支持此类模型存在类似缩放定律的数值证据，表明在统一标准化协议下，预训练数据集大小和模型大小与性能的关系符合预期趋势。第四，采用严格的统计方法处理小样本量问题，使用 NIST 的 Student's t 分布临界值表确定合适的置信区间，避免了在小样本实验中错误估计误差棒和误读结果。最后，使用高质量、标准化的 Biogen ADME 数据集替代存在问题的 MoleculeNet 数据集进行微调评估，提供了更可靠的性能基准。
实验结果
本文的核心发现可以概括为以下几个方面。第一，模型初始化和数据采样的随机性对预训练性能的影响很小（约 1%），相比于模型大小的影响可以忽略不计。如表 1 所示，Tiny-BERT 的验证损失为 0.4696，验证准确率为 0.8823，而 Base-BERT 的验证损失为 0.1359，验证准确率为 0.9595，模型大小从 Tiny 增加到 Base 使验证损失降低超过 70%，验证准确率提高超过 8%。第二，标准化噪声严重损害预训练性能，如图 1 所示，当训练数据完全替换为 ChEMBL 标准化的 SMILES（tau=5, nu=0）时，Tiny-BERT 的 V-PPPL 从 1.7715 增加到 3.6218，甚至在三次独立运行中都出现发散迹象，触发早期停止机制。第三，分词算法选择对预训练性能的影响较小，WordPiece 的 V-PPPL 从 Tiny-BERT 的 1.5978 降低到 Base-BERT 的 1.1450，改善 28%；BPE 的 V-PPPL 从 1.5435 降低到 1.1233，改善 27%。第四，预训练数据集大小对预训练性能有显著影响，如图 2 所示，V-Loss 随数据集大小增加而单调递减，V-Acc 和 V-wF1 随数据集大小增加而单调递增，在 k=2（约 10% 数据，约 1200 万样本）处出现斜率变化，表明可能存在性能改善开始放缓的临界阈值。第五，微调实验显示，预训练数据集大小对下游任务性能有积极影响，如图 3-5 所示，对于 HLM、hPPB 和溶解度端点，测试 Pearson R 和 R 平方随预训练数据集大小增加而增加，MAE 和 RMSE 随预训练数据集大小增加而减少，这些趋势与自回归模型的缩放定律一致。第六，在预训练数据集大小固定的情况下（k=5，即 80% PubChem 数据），模型大小从 Tiny 增加到 Base 会带来一致的微调性能提升，Base-BERT 在所有六个 ADME 端点上的测试性能都优于或类似于经典机器学习模型（LASSO、RF、SVM、XGB、LGBM）。第七，较大模型对标准化噪声更具韧性，如图 1 从上到下所示，随着模型大小从 Tiny 增加到 Base，V-wF1 和 V-PPPL 随标准化噪声增加的变化幅度减小，表明较大模型更能容忍训练和验证分割中的标准化不一致性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 人肝微粒体稳定性（HLM）预测 | Pearson R | Base-BERT 随预训练数据集大小增加而提升，在 80% PubChem 数据上表现最佳 | LASSO, RF, SVM, XGB, LGBM | Base-BERT 的测试性能优于或类似于经典机器学习模型，具体数值未在正文中报告 |
| 人血浆蛋白结合（hPPB）预测 | R 平方 | Base-BERT 在 80% PubChem 数据上表现具有竞争力 | LASSO, RF, SVM, XGB, LGBM | 性能与经典机器学习模型相当，但由于样本量小（1808 个数据点）和实验值标准差大（大于 0.6），泛化具有挑战性 |
| 溶解度预测 | RMSE | Base-BERT 随预训练数据集大小增加而改善 | LASSO, RF, SVM, XGB, LGBM | 测试性能优于或类似于经典机器学习模型，但受实验数据分布强偏斜和大标准差（约 0.68）影响，评估具有挑战性 |
| 掩码语言建模预训练 | 验证伪困惑度（V-PPPL） | Base-BERT: 1.1455（无标准化噪声） | Tiny-BERT: 1.5993（无标准化噪声） | 模型大小从 Tiny 增加到 Base 使 V-PPPL 降低超过 28% |
| 掩码语言建模预训练（标准化噪声） | 验证伪困惑度（V-PPPL） | Tiny-BERT 在纯 ChEMBL 标准化训练数据上: 3.6218 | Tiny-BERT 在纯 PubChem 数据上: 1.7715 | 标准化噪声使 V-PPPL 增加超过 100%，甚至导致模型发散 |
局限与改进
本文的局限性主要体现在以下几个方面。首先，由于预训练大语言模型非常昂贵，作者在每个实验条件下的样本量较小（N=3 或 N=5），这限制了统计显著性的判断。作者提到由于样本量小，他们避免基于估计的置信区间对分词算法（WordPiece vs. BPE）的差异进行统计显著性判断，仅基于与原始 BERT 的一致性选择 WordPiece。其次，微调实验中使用的 Biogen ADME 数据集在不同端点上的样本量差异较大，从 885 到 3087 个化合物，且实验值的分布存在强偏斜和较大标准差（大于 0.6），特别是 hPPB 和 rPPB 端点，这使得模型的泛化评估具有挑战性。第三，作者的发现主要基于定性趋势的观察，而非精确的定量关系，提取精确的定量关系需要更全面的实验集，这是作者正在进行和未来研究的主题。第四，作者的实验主要集中在回归任务（ADME 端点），未涵盖分类任务，这可能限制发现的普适性。第五，作者仅研究了 BERT 架构的编码器-only 模型，未考虑其他架构（如 RoBERTa、ELECTRA 等）或其他预训练目标（如对比学习）的缩放行为。第六，作者的标准化噪声实验仅比较了 PubChem 和 ChEMBL 的标准化协议，未涵盖其他可能的标准化变体。最后，作者承认在解释误差棒和比较不同实验结果时，需要谨慎对待小样本量的问题，因为临界值可能远大于常规值 1.96，这可能导致误差棒的显著高估和结果的误读。
独立分析的弱点
本文的独立分析弱点主要体现在以下几个方面。第一，样本量不足导致统计功效有限，作者在每个实验条件下的重复次数仅为 3 或 5 次，这限制了检测实际存在差异的能力，特别是在比较分词算法等影响较小的因素时。改进方向是增加重复次数或使用更高效的实验设计方法。第二，实验范围有限，作者仅研究了三种 BERT 变体（Tiny、Small、Base），未探索更大模型（如 Large 或 Huge）的缩放行为，也未研究模型大小与预训练数据集大小的交互效应的最优平衡点。改进方向是扩展模型大小范围，并采用更系统的超参数优化方法。第三，评估指标有限，作者主要关注 MLM 预训练的 V-Loss、V-Acc、V-wF1 和 V-PPPL 指标，以及微调的 Pearson R、R 平方、MAE 和 RMSE 指标，未考虑其他可能重要的指标，如校准误差、不确定性量化等。改进方向是引入更多样化的评估指标，特别是在化学性质预测的实际应用中更相关的指标。第四，计算资源限制导致实验不完整，作者提到某些实验条件（如 Tiny-BERT 在纯 ChEMBL 标准化训练数据上）导致模型发散，触发早期停止机制，这可能限制了对极端情况下模型行为的理解。改进方向是增加计算资源，允许更长时间的训练或调整超参数以避免发散。第五，任务多样性不足，作者仅在 ADME 回归任务上评估微调性能，未涵盖其他类型的分子性质预测任务，如量子化学性质、物理化学性质或生物活性预测。改进方向是扩展到更多样化的任务集，以验证发现的普适性。第六，理论解释不足，作者提供了大量实验证据和定性趋势，但缺乏对观察到的缩放行为的理论解释，未建立类似于自回归模型的缩放定律数学框架。改进方向是结合理论分析和实验验证，建立编码器-only 化学语言模型的缩放定律。
未来方向
未来的研究方向可以从以下几个角度展开。作者明确提出的未来工作是提取精确的定量关系，需要更全面的实验集来支持，这是作者正在进行和未来研究的主题。基于本文的成果，可以延伸的研究方向包括：第一，扩展模型架构范围，研究其他编码器-only 架构（如 RoBERTa、DeBERTa、ELECTRA）的缩放行为，以及与预训练目标（如 MLM、对比学习、序列到序列）的交互效应。第二，探索更多样的标准化协议和噪声类型，研究不同化学数据库的标准化差异，以及如何最小化标准化噪声对预训练性能的影响。第三，研究模型大小与预训练数据集大小的最优平衡点，特别是在资源受限的环境中，如何在计算成本和性能之间找到最佳权衡。第四，扩展到更多样化的下游任务，包括分类任务、多任务学习、零样本和少样本学习场景，以验证发现的普适性。第五，开发针对化学语言模型的专门评估指标和基准，克服 MoleculeNet 等现有数据集的问题（如无效结构、不一致的化学表示、模糊的立体化学、重复条目等）。第六，研究化学语言模型的知识蒸馏、剪枝和量化方法，将预训练的基础模型转换为小语言模型（SLMs），以提高在资源受限环境中的计算效率和减少内存需求。第七，建立编码器-only 化学语言模型的理论缩放定律框架，结合理论分析和实验验证，为模型设计和资源分配提供理论指导。第八，研究化学语言模型的迁移学习性能，探索在多大程度上可以在不同化学领域（如药物发现、材料设计、催化剂设计）之间迁移预训练的知识。
复现评估
本文的复现性评估如下。作者提供了相当完善的开源资源和数据，提高了研究的可复现性。数据方面，机器学习就绪的 PubChem 数据集（2025 年 4 月 18 日版本）可在 Hugging Face 数据集库获取，原始 SDF 文件可从 PubChem FTP 服务器访问。用于微调和评估的 Biogen ADME 数据集在公共仓库或 Polaris Hub 提供。代码方面，复现本文结果所需的所有脚本（包括图表、表格、数据分割索引、数据预处理、标准化、分词、预训练和微调 BERT 模型）在 GitHub 仓库提供。ChEMBL 标准化模块可从 ChEMBL 结构管道仓库访问。所有训练和微调产物（包括预训练的 BERT 模型、六个 ADME 端点的微调模型、训练器、优化器、随机数生成器以及 W&B、Tensorboard 和 MLFlow 的所有监控日志）可从 MolSSI 的 Zenodo 社区页面下载。算力方面，作者感谢 NVIDIA 通过 NVIDIA 学术硬件赠款计划提供两块 NVIDIA A100 GPU，这表明预训练实验需要相当大的计算资源。总体而言，本文的复现性较高，数据和代码的开放性使得其他研究者可以复现和扩展实验结果。然而，由于预训练大语言模型需要大量计算资源，完整的复现可能仍然具有挑战性。
论文图表
