静态恢复并非动态稳定：蛋白质基序脚手架的动态感知基准评测 Static Recovery Is Not Dynamic Stability: Dynamics-Aware Benchmarking of Protein Motif Scaffolding
构建 BILBY 基准：静态折叠成功的设计仅约半数通过分子动力学稳定性检验
前置知识
蛋白质基序脚手架
给定一组功能上重要的残基（活性位点、结合位点、催化残基等）及其三维坐标，生成模型需要在周围“搭建”一个可折叠的蛋白骨架，把基序固定在其天然几何位置上。成功的设计既要撑住基序，又要整体可折叠、结构新颖。这是生成式蛋白设计的核心任务之一。
这是全文评测的对象：论文讨论的不是如何生成，而是“如何判定一个脚手架设计算成功”，理解任务定义才能理解评测协议的问题。
重折叠预言机（ProteinMPNN + ESMFold）
静态评测的标准流水线：先用逆折叠模型 ProteinMPNN 为生成的骨架设计氨基酸序列，再用单序列结构预测器 ESMFold（早期为 AlphaFold2）把序列“重新折叠”预测结构，检查基序是否按阈值恢复、整体是否新颖。MotifBench 把它标准化为固定采样协议、成功阈值与聚合指标，成为社区事实基线。
本文检验的正是这一范式：作者证明它主要度量“单一预测器下的自洽性”，强调局部基序重建而非全局物理稳定性，这是全文的批判靶点。
分子动力学模拟（MD）
基于牛顿力学与经验力场，对蛋白每个原子在显式水与离子溶剂中积分运动方程，模拟纳秒到微秒级的热涨落与构象转换，输出构象系综而非单一结构。本文设计蛋白模拟 200 ns，实验参考结构模拟 1 μs，条件为 300 K、1 bar、150 mM NaCl。
BILBY-MD 用 MD 作为“物理第二意见”：检验静态成功的设计在真实动力学系综中是否维持基序几何，这是本文方法贡献的核心。
RMSD（均方根偏差）
衡量两组原子坐标对齐后的平均偏离，$\mathrm{RMSD}=\sqrt{\frac{1}{N}\sum_{i=1}^{N}\lVert \mathbf{x}_i-\mathbf{x}_i^{\mathrm{ref}}\rVert^2}$，是结构比较最基本的指标。本文区分两个层级：基序 RMSD 漂移（阈值 1 Å，局部正确性）与骨架 RMSD 漂移（阈值 2 Å，全局稳定性），模拟中相对初始帧计算。
MD 支持判据的一半由这两个 RMSD 阈值构成；结果的关键分化（局部通过、全局漂移）就体现在这两项的差异上。
自由能面与 PCA/TICA
把轨迹的基序骨架二面角投影到低维集体变量空间后估计自由能面 $F(\mathbf{z})=-k_B T\,\ln p(\mathbf{z})$。PCA 找方差最大的方向，TICA 找动力学最慢（时间滞后自相关最大）的方向，二者侧重不同。比较设计轨迹与参考轨迹的 FES 可判断二者是否采样一致的构象盆地。
FES 是四项 MD 检查中唯一的系综级指标：一个设计可以在代表帧上 RMSD 很低、接触图完好，却采样着与参考不同的动力学盆地，只有 FES 比较能抓出这类失败。
六种生成模型的三类范式
RFDiffusion 从 RoseTTAFold 检查点出发在刚体帧表示上去噪（扩散模型），Genie2 类似但用 AlphaFold 式骨干；FrameFlow 与 Proteina 在帧表示上做流匹配，后者用层级折叠类标签做条件；DPLM2（离散扩散）与 ESM3（序列/结构/功能的 seq2seq 翻译）是联合生成序列与骨架的蛋白语言模型。
核心结果之一是表示决定动态行为：联合生成序列与骨架的离散 token 模型（DPLM2、ESM3）骨架漂移最小，扩散/流模型骨架漂移普遍超阈值，不懂数这三类模型的区别就读不懂结果表。
PROSITE 数据库
手工策展的蛋白家族、结构域与功能位点数据库，用保守序列模式（pattern）与 profile 描述功能信号。BILBY-PRO 把这些模式匹配到 PDB 实验解析结构的链上，只保留至少 5 个结构实例、且中位成对骨架 RMSD 达到保守性阈值的基序，得到 220 个系统衍生的基准案例。
它是 BILBY-PRO 的数据来源，也决定了该基准的偏置：PROSITE 模式多为线性签名，因此案例以紧凑、连续或近连续的链内基序为主，界面型不连续位点代表性不足。
研究动机
现有多数基序脚手架基准（代表作 MotifBench）把“成功”定义为静态、基于重折叠的判据：生成骨架经 ProteinMPNN 序列设计后，用 ESMFold（早期为 AlphaFold2）从单序列预测结构，检查基序几何是否恢复、结构是否新颖。这类评价只考察单个预测结构，完全不考虑蛋白质功能的真实载体——构象系综与构象间转换。对催化与结合位点而言，功能要求基序在热涨落的整个动力学过程中维持正确几何，而非只在某一帧中正确；静态判据可能放行那些在天然动力学中丢失基序几何、进而丧失功能可能性的设计。同时 MotifBench 仅含 30 个人工挑选案例，方法性能与数据集构成相互纠缠，统计分辨率低。更根本的是，评价协议通过指标选择隐式定义了“成功”，而社区在复用该范式（ProteinBench、GeomMotif 等）时，几乎从不检验这个标签本身是否有效。
本文的目标是本文目标有三层。其一，构建规模更大、系统性衍生的基序脚手架基准 BILBY-PRO：从 PROSITE 序列模式出发，在关联的 PDB 实验解析结构中筛选具有三维结构保守性的功能基序，得到 220 个案例（来自 174 个 PROSITE 模式条目，中位基序长度 19 残基），且与既有评测工作流（contig 规范、motif-only 结构导出）完全兼容。其二，用统一的静态协议评测六种最新生成模型——RFDiffusion、Genie2（扩散）、FrameFlow、Proteina（流匹配）、DPLM2、ESM3（蛋白语言模型），并把“目标覆盖率”与“独特解产率”分离成两个互补指标。其三，提出 BILBY-MD：一个以实验参考结构模拟为基线的全原子显式溶剂分子动力学评价框架，用来检验静态“已解决”标签是否对应真实的动态保真度。
与已有工作不同的是，本文的独特切入是把常被混为一谈的三个层面——基准构成、静态设计成功、动态保真——显式分离。与以往只依赖折叠预言机打分不同，作者引入物理模拟作为正交判据：对每个静态已解决的模型–问题对，选取 TM 分数最高的设计跑 200 ns 显式溶剂 MD，同时用 1 μs 的实验参考结构模拟作为基线系综，从局部（基序/骨架 RMSD 漂移）、局部相互作用（时间平均基序接触图）与系综（PCA/TICA 投影的自由能面）三个层面系统比较。据作者所述，这是首个把系综级构象比较引入基序脚手架评测的工作。配套地，BILBY-PRO 用统一的数据库衍生判据替代人工案例挑选，独立于原 MotifBench 构建，从数据层面消除小样本偏差；两项资源共同回答“静态基准标签到底证明了什么”这一问题。
核心方法
BILBY 由两个互补资源构成。直觉是：静态重折叠成功只能证明某个学习型预测器能把序列折回带正确基序的单结构，并不证明设计蛋白在物理环境中维持该几何。路线分三步。第一步构建 BILBY-PRO：解析 PROSITE 条目并匹配 PDB 链，仅保留至少 5 个结构实例且中位成对骨架 RMSD 达标的基序，用 Foldseek 聚类标注构象状态，导出兼容标准工作流的 220 案例基准（174 个 PROSITE 条目）。第二步静态评测：六模型（RFDiffusion、Genie2、FrameFlow、Proteina、DPLM2、ESM3）各生成 100 个骨架/案例，经 ProteinMPNN+ESMFold 重折叠判据与新颖性过滤，统计 coverage（至少一个成功设计的案例比例）与 MotifBench score（奖励独特成功解、边际递减）。第三步 BILBY-MD：对静态已解决案例做 200 ns 全原子显式溶剂 MD（300 K、1 bar、150 mM NaCl），与 1 μs 实验参考模拟比较四类动力学指标并给出 MD-support 标签。
核心创新是把“成功”的判定从单一预测结构扩展到物理系综。作者提出 MD-support 判据：一个静态已解决的模型–问题对若在四项检查中至少通过三项，即视为动态可信——基序 RMSD 漂移在 1 Å 内、骨架 RMSD 漂移在 2 Å 内、接触保持超过阈值（Pearson 相似度高于 0.8 且加权接触图绝对差低于 1.0）、PCA 与 TICA 投影的自由能面与参考一致。其中 FES 比较 $F(\mathbf{z})=-k_B T\ln p(\mathbf{z})$ 直接检验设计是否采样与参考一致的构象盆地，而非仅匹配某个代表帧。关键洞察是“局部/全局/系综”三层框架：静态标签对局部基序正确性相当可靠，但对全骨架动态稳定性弱得多。这与以往把 coverage、novelty 等静态指标合并为单一排名、默认静态成功即功能可行的做法有本质区别——作者主张三个互补轴并行报告而非折叠成一个分数。
方法步骤详情
第一步，BILBY-PRO 构建：输入 PROSITE 模式与关联 PDB 结构；匹配映射到残基坐标后，在所有实例间计算成对骨架 RMSD，保留至少 5 个实例且中位 RMSD 达标的基序，得 220 案例、174 条目（179 核心/30 核糖体/11 巨型组装，中位基序 19 残基），导出 motif-only 结构、可重设计位置与 contig 规范。第二步，静态评测：六模型各对每案例生成 100 个骨架；ProteinMPNN 设计序列、ESMFold 重折叠，按 MotifBench 阈值判定基序恢复与新颖性，统计 coverage 与 MotifBench score 并计算模型间相关。第三步，BILBY-MD：55 个已解决对中每对选 TM 最高的设计模拟 200 ns，参考实验结构模拟 1 μs；对齐首帧计算基序/骨架 RMSD 漂移，比较时间平均基序接触图（Pearson 与加权绝对差），将基序二面角轨迹投影到 PCA/TICA 空间比较自由能面，按“至少 3/4 通过”给出 MD-support 标签；附录 D.1 另对 79 个静态未解决对做阴性对照。
技术新颖性
技术新颖性体现在四个层面。(1) 数据层面：BILBY-PRO 是首个由数据库（PROSITE×PDB）系统性衍生、以三维结构保守性为筛选标准的基序脚手架基准，规模 220 例远超 MotifBench 的 30 例，并附带 Foldseek 构象状态注释与功能类别分层。(2) 评价层面：首次把以参考基线的显式溶剂全原子 MD 系统引入该领域，定义了可复现的 MD-support 二值判据与“局部/全局/系综”三层观测量（RMSD 漂移、接触图 Pearson 与加权 L1 差、PCA/TICA FES）。(3) 对照设计严谨：包含 79 个静态未解决对的阴性对照（6/79 过 3/4、0/79 全过四项），并用“选最高 TM 候选”的保守偏置论证观察到的失稳是低估而非伪影。(4) 结论层面：提出目标覆盖率、独特解产率、MD 支持的动态保真三个互补轴，主张并行报告；并发现表示类型（联合生成序列与骨架的离散 token 模型）与骨架稳定性的系统性关联，这是纯静态评测无法揭示的发现。
实验结果
静态结果：MotifBench 上 RFDiffusion 与 Proteina 最强，DPLM2 弱，ESM3 覆盖低但产率高；成功解相关 RFDiffusion–Proteina 达 $r=0.96$，ESM3 仅 0.06–0.25；BILBY-PRO 220 例趋势一致但相关下降。动态结果：55 个静态已解决对中 31 个（56.4%）过 3/4 MD 判据，仅 8 个（14.5%）全过；基序/骨架漂移与 FES 检查通过率为 74.5%、63.6%、49.1%；未解决对照仅 6/79 过 3/4、0/79 全过；已解组 FES 相关显著更高（差 0.317/0.279），静态标签偏向局部正确性。骨架漂移 FrameFlow/Proteina/Genie2/RFDiffusion 为 7.46/4.01/3.56/2.54 Å，均超 2 Å，DPLM2/ESM3 为 −0.54/−0.40 Å 反而更稳。问题层面：铁氧还蛋白 [2Fe–2S] 基序 06_6E6R 六模型全解、支持率 1.0，界面/表位类 04_5WN9、14_5IUS 为零，05_5ZE9 仅 0.20。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 静态基序脚手架求解（MotifBench 30 例 + BILBY-PRO 220 例） | coverage（100 次采样中至少一个成功设计的案例比例） | RFDiffusion 与 Proteina 覆盖最广，FrameFlow、Genie2 居中，DPLM2 弱，ESM3 选择性强但覆盖低 | 原 MotifBench 30 例上的既有排名结构 | 规模扩大约 7 倍后排名结构保持、统计分辨率大幅提升，且分离出覆盖率与产率两个此前混在一起的维度 |
| 模型间行为一致性 | 成功解数 Pearson 相关 $r$ | RFDiffusion–Proteina $r=0.96$；ESM3 与其他模型仅 $r\approx0.06{-}0.25$（MotifBench）/ $r\approx0.11{-}0.26$（BILBY-PRO） | 四个扩散/流模型内部 $r\approx0.61{-}0.96$ | 首次量化证明 ESM3 所解决的基序子集与其他模型本质不同，单一排名掩盖模型互补性 |
| MD 动态可信性判定（3/4 检查） | MD-supported 通过率 | 31/55（56.4%）静态已解决对通过 | 静态未解决对照 6/79（7.6%） | 已解决组显著富集（约 7 倍），证明静态标签有信息量；但近半数失败暴露其不充分性 |
| 全四项 MD 检查（严格动态保真） | 通过率 | 8/55（14.5%） | 未解决对照 0/79 | 量化“静态成功 ≠ 完全动态稳定”的错配幅度，说明重折叠成功主要捕捉单一折叠模型下的自洽性 |
| 骨架全局稳定性 | 平均骨架 RMSD 漂移（阈值 2 Å） | FrameFlow 7.46 Å、Proteina 4.01 Å、Genie2 3.56 Å、RFDiffusion 2.54 Å 超阈；DPLM2 −0.54 Å、ESM3 −0.40 Å 反而更稳 | 局部基序 RMSD 漂移（阈值 1 Å）：六模型均值全部达标 | 清晰分离“局部正确”与“全局稳定”，并揭示离散 token 联合生成模型的结构稳定性优势 |
局限与改进
作者承认的局限：MD 阈值（1 Å/2 Å、Pearson 0.8、加权差 1.0）是启发式的而非领域标准，仅给出附录论证；设计轨迹 200 ns 而参考 1 μs，比较不对称，可能漏掉更慢时间尺度的失稳；每对只选 TM 最高候选偏向更稳定的设计，故观察到的失稳是保守信号；静态标签依赖 ProteinMPNN–ESMFold 管线的偏置，且预测器精度提升不必然改善可行/不可行设计的区分（进化信息可把改造过的序列偏向天然样预测）；BILBY-PRO 受 PROSITE 序列模式限制，偏向连续/近连续基序，对不连续多段功能位点代表性不足；各模型预训练数据不公开，无法排除与基准源结构或同源物的重叠，故不能视为严格分布外评测；小样本功能类别的结论受限。我的补充观察：MD 只对 MotifBench 的 55 个已解对做了，BILBY-PRO 的静态解完全没有动态评估，两个资源之间存在断层；3/4 规则允许骨架漂移或 FES 单大项完全失败仍算 MD-supported（17_7DGW 漂移 7.89 Å 仍计入支持型），8/55 全过的数字说明默认判据相当宽松。
独立分析的弱点
(1) 判据偏宽松：“至少 3/4”规则允许全局稳定性整项失败仍获 MD-support，如 09_7CG5 骨架漂移 3.08 Å、17_7DGW 达 7.89 Å 仍计入支持案例；改进方向是按应用场景分层报告标签——局部呈现型应用可接受，要求全局稳定的应用（如治疗蛋白）必须报全过结果。(2) 评测覆盖断层：MD 仅覆盖 MotifBench 设计，BILBY-PRO 220 例的静态解无一做动态验证；改进方向是对 BILBY-PRO 抽样子集做 MD，或引入机器学习势/粗粒化 MD 降低成本。(3) 参考系综代表性问题：判据以实验结构模拟为基线，若晶体只捕捉单一构象态，会比较系统性地偏向与晶体一致的设计；改进方向是用已知多态结构校准阈值或采用多参考。(4) 缺乏功能终点：MD 稳定不等于生化功能，作者亦承认；应补充对接、催化活性或湿实验验证子集，检验“MD-supported”能否预测真实功能。(5) 重折叠管线单一：只用 ProteinMPNN+ESMFold 定义静态标签，未交叉验证其它序列设计/结构预测组合是否会改变“已解决”集合的构成与下游 MD 结论。
未来方向
作者提出的方向：把 BILBY-MD 定位为廉价静态筛选之后的必要下游检查，而非替代静态基准；扩展评估到 BILBY-PRO 全集与更多模型；深入研究为何联合生成序列与骨架的离散 token 模型（DPLM2、ESM3）骨架漂移更小。基于其成果可延伸的方向：(1) 动力学感知的生成——把 MD 或可微物理代理（机器学习势、粗粒化模拟）纳入训练或采样循环，直接优化系综级目标；(2) 构建“可脚手架性”预测器：输入基序特征（紧凑度、是否界面依赖、接触密度）预测 MD 通过概率，为基准设计与模型选择提供先验；(3) 利用 BILBY-PRO 已标注的多构象状态基序，发展集合级目标函数，要求设计复现参考的多个构象盆地而非单一状态；(4) 阈值校准：用已知功能与失效设计的实验数据（如突变扫描、活性测定）回归 MD 阈值，把启发式判据升级为有功能意义的判据；(5) 针对文中失败最严重的界面/表位类基序，探索显式共设计结合伙伴或对称多聚体等脚手架策略，把缺失的结构上下文纳入任务定义。
复现评估
开源情况良好：BILBY-PRO 数据与构建代码发布在 HuggingFace（HFMI-PROFOUND/BILBY-PRO，220 个案例含 motif-only 结构与 contig 规范），BILBY-MD 框架开源在 GitHub（PROFOUND-HFMI/BILBY-MD），论文附录 C 给出完整的系统准备、平衡、产出与分析协议，附录 D 给出阈值依据与敏感性检查。复现门槛分两段：静态评测需运行六个模型各 100 次采样/案例，RFDiffusion、FrameFlow、Genie2、Proteina、DPLM2 均有公开权重，但 ESM3 权重获取有许可限制，整体 GPU 需求中等偏上；MD 部分是主要瓶颈——55 个设计各 200 ns 加上多组 1 μs 参考模拟的显式溶剂全原子模拟，需要 HPC 级资源（该工作出自 Jülich 超算中心与 Helmholtz 平台），单实验室单机全量复现不现实。务实的复现路径是：直接复用其发布的轨迹与结果表格做分析验证，或仅对少数感兴趣案例复现 MD；综合难度中高，数据可得性是亮点。
论文图表
六个生成模型在原 MotifBench 30 个案例上的完整静态评测榜单，包含每模型的 coverage、MotifBench score 与逐案例成功情况，支撑“RFDiffusion/Proteina 最强、ESM3 高产率子集、DPLM2 弱”的小基准结论。
静态结果的主榜单之一：BILBY-MD 的 55 个已解决对正来自这些成绩，读动态结果前必须知道哪些模型–问题对被标记为已解决。
六个模型在 BILBY-PRO 220 个案例上的完整静态评测榜单，展示 coverage 与 MotifBench score 在更大、更多样基准上的表现，及相关性整体下降的现象。
证明 BILBY-PRO 不是简单让任务变难或变易，而是改变了难度分布并暴露模型特有的覆盖–产率权衡，是基准贡献的直接证据。
给出模型两两之间成功解数的 Pearson 相关：MotifBench 上 RFDiffusion–Proteina r=0.96、FrameFlow–Genie2 r=0.87、ESM3 与其他模型 r≈0.06–0.25；BILBY-PRO 上四个扩散/流模型 r≈0.53–0.79、ESM3 r≈0.11–0.26。
量化“各模型在同样的基序上成功与失败”与“ESM3 工作在质的不同的区域”两个结论，是论证单一排名掩盖模型互补性的统计依据。
按模型分解自由能面比较的四项观测量：Genie2、Proteina 与 DPLM2 在 PCA 上接近阈值但在 TICA 上低于阈值，说明它们与参考的慢运动二面角模式一致性较弱。
补充 FES 层的模型级细节：展示接触图无法捕捉的系综级失配，说明为什么系综检查是四项 MD 判据中不可省略的一层。