面向蛋白质复合物结构预测的 MSA 组织自动研究智能体 Auto-Research Agent on MSA Organization to Improve Protein-Protein Complex Structure Prediction
LLM 智能体把冻结 AF3 当黑盒实验仪器,逐目标重组 MSA,仅凭置信度反馈提升复合物结构预测。
前置知识
MSA(多序列比对)
把目标蛋白的同源序列(来自不同物种、源自共同祖先)按列对齐,使对应残基落在同一列,常用 HHblits、MMseqs2 从 UniRef 等数据库检索。MSA 揭示保守位点与协同突变模式,是 AlphaFold 系列推断残基接触的核心证据;深度指比对行数,行多信号更强,但可能混入噪声与冗余。
本文的全部操作对象就是 MSA:智能体决定每条链保留哪些行、行序如何、是否跨链对齐。不理解 MSA 的结构、深度与噪声来源,就无法读懂智能体的提案逻辑和后续消融实验。
跨链配对 MSA(paired MSA)
对多链复合物,除每链独立的非配对 MSA 外,还可把不同链的同源序列按来源物种(UniProt 物种 ID)匹配成行,使每行对应同一生物体,从而把共进化信号从链内扩展到链间——若界面残基协同突变,配对行能直接约束链间几何。AF3 默认采用物种匹配配对,对种内异源复合物最有意义。
配对与否、如何配对是本文的核心决策变量。论文证明配对的价值高度依赖目标:种间异源复合物中物种配对不可靠,智能体甚至会采用故意不配对策略,这是理解其增益来源的关键。
AF3 置信度信号(ipTM/pTM/pLDDT/PAE)
AlphaFold3 输出多种对自身精度的估计:pLDDT(逐原子局域置信度)、PAE(预测对齐误差)、pTM(整体折叠置信度)、ipTM(界面 pTM,专评链间界面)及综合 ranking score。它们是模型自估而非测量值,校准并不完美,但无需真实结构即可获得,是新目标上唯一可用的测试时反馈。
本文智能体完全依靠这些无标签信号做假设检验与最终提名。理解它们的含义与缺陷(校准误差可能被优化过程利用)是读懂方法动机与提名损失分析的前提。
DockQ
蛋白质-蛋白对接质量的综合指标,取值 $[0,1]$,组合三个与参考结构的吻合度:界面接触回收率 $F_{nat}$、界面残基 RMSD(iRMSD)与小链叠合后的 RMSD(LRMSD)。经验上大于 0.23 视为可接受、大于 0.8 接近正确。本文以 25 个预测结构的平均值为指标。
论文所有结论都用 DockQ 量化;但它在测试时对智能体不可见、仅用于离线评估,这一可见/隐藏信号分离是整个实验设计的核心。
评估器引导的 LLM 自动研究
FunSearch、EoH、ReEvo、AlphaEvolve 等范式:LLM 迭代生成程序或启发式,由可执行评估器打分,分数反哺下一代生成,在装箱、路径规划等组合优化问题上超越人工设计。其成功依赖两个前提:实例同质(一个程序服务整类问题)、评分即目标本身(如路径长度)。
本文正是该范式向无真值、强目标特异领域的推广。作者论证 MSA 构建不满足上述任一前提,因此需要生物学推理加置信度权衡的自主智能体,而非纯优化循环——这是论文的立足点与创新声明。
同聚体与异源复合物
蛋白复合物按链组成分三类:同聚体(各链相同,如同源四聚体)、种内异源体(同一物种的不同链,如血红蛋白 α/β 链)、种间异源体(不同物种的链,如病毒蛋白-宿主受体、抗体-抗原)。配对 MSA 的收益机制(同一生物体内的链间共进化)原则上只适用于种内异源体。
三个基准的子集划分与主要结论(种间异源收益最大、配对策略只在种内子集有效)都建立在这一分类之上,不懂它就无法解释论文的核心实验发现。
研究动机
AlphaFold3(AF3)对蛋白质复合物的预测精度强烈依赖输入 MSA 的内容、深度与跨链配对方式,但现行流程(包括 AF3 官方数据管线)对所有目标套用统一配方:尽可能加深检索、按物种配对。而配对的价值本身存在争议——Luo 等人在 HD439 基准(439 个异源二聚体)上的系统评测表明,增加非配对比对深度对 AF3 的帮助不亚于甚至超过物种配对,该趋势还延伸到抗体-抗原体系。更麻烦的是,这些结论都是聚合层面的平均趋势,单目标层面最优策略可能完全相反:蛋白家族大小、同源序列多样性差异巨大,对 A 目标有效的策略迁移到 B 目标常常失效。DeepMSA2、MULTICOM、CAF3 等组合式流水线虽会为每个目标生成多个候选输入并择优,但候选由固定规则枚举、评估分数只用于事后挑选,无法指导系统探索新的候选,本质仍是静态菜单。
本文的目标是本文要把 MSA 设计从一刀切配方改造成逐目标的测试时自适应问题:为每个新复合物目标,自动决定检索多深、过滤什么、哪些序列跨链配对、哪些故意不配对,并利用下游结构预测器的无标签反馈迭代改进这些决定,全程不接触真实结构。具体而言,作者构建一个自主智能体框架,把冻结的 AlphaFold3 当作黑盒实验仪器:智能体提出生物学假设、分析并重组 MSA、提交 AF3 预测、读取置信度信号(ipTM、pTM、ranking score、PAE、pLDDT 等)、反思并修正下一轮提案。衡量标准是在三个 AF3 训练截止后发布、共 1,015 个蛋白-蛋白界面的基准(FoldBench-v1-pp 278、FoldBench-v2-pp-hard 299、HD439 438)上,DockQ 全面超过 AF3 默认管线与固定 MSA 配方,同时大幅降低 MSA 深度。
与已有工作不同的是,独特切入角度在于识别出评估器引导的 LLM 自动研究与 MSA 构建之间的结构性错配并加以解决。FunSearch 一类系统的成功依赖两个前提:实例同质(一个程序服务整类问题)、评分即目标本身(如路径长度),而 MSA 构建两者皆不满足——最优策略随目标剧变,且新目标没有真实结构,唯一反馈是 AF3 自己的置信度估计而非测量值,直接优化可能利用其校准误差。作者因此不去寻找单一更好的启发式,而是构建一个通用实验环境:智能体在双循环中探索、反思、修正,把置信度当作代理证据,与 MSA 直接分析、跨种子一致性、结构生物学合理性交叉验证,而非机械最大化某个标量。这把 MSA 设计重新定义为可由自主智能体在测试时通过生物学推理与自信度引导实验逐目标解决的问题,并实证了故意不配对本身也是一种可用策略。
核心方法
方法整体思路是冻结 AF3,把为当前目标组织 MSA 变成智能体驱动的假设检验循环。框架由三部分组成:1) 智能体(GLM-5.3,温度 0.2,最大推理力度);2) 预测器 $G$(AF3 v3.0.2,冻结);3) 运行时环境(执行工具调用、强制预算、管理反馈可见性)。给定多链复合物目标 $k$,智能体先提交默认 AF3 输入作为第 1 轮强制对照,之后进入迭代:每轮把 MSA 提案 $A_k^{(r)}$ 交给 $G$,只接收由预测输出派生的反馈 $F(A_k^{(r)})$(不涉及真实结构),智能体可编写 Python 程序自行分析后再产出修正提案 $A_k^{(r+1)}$。循环直到提交预算耗尽或智能体主动 finish 提名某个已测试提案 $A_k^*$;最后对 $A_k^*$ 计算 DockQ 做离线评估。主实验采用 Blind 模式:DockQ 由运行时静默计算,绝不出现在智能体上下文或工作区中,从机制上杜绝真值泄漏。
核心创新是预测器在环的目标特异 MSA 推理。与已有方法的本质区别有三:其一,组合式流水线(DeepMSA2、MULTICOM、CAF3)只从固定规则枚举的候选中挑选,分数不反哺生成;本文让评估信号直接指导生成什么新候选,且生成方式是智能体现场编写 Python 构建脚本而非查表。其二,多数在环智能体把置信度代理当真值优化;本文明确禁止——系统提示要求综合界面置信度、跨种子/样本一致性、结构与生物学合理性以及反证来权衡冲突的代理指标,不设固定标量组合,也不要求最大化平均 ipTM。其三,智能体同时控制选哪些序列与哪些跨链配对、哪些故意不配对:通过 manual_row_aligned 布局逐行指定跨链行对应关系(写入 AF3 的 unpairedMsa 字段、清空 pairedMsa、关闭重叠消解),绕过 AF3 内部物种配对,把配对决策本身也变成可检验的假设。
方法步骤详情
具体步骤:回合 $r$ 分两阶段。构建阶段可用动作 analysis/submit/finish:analysis 在沙箱中运行智能体编写的 Python 程序(独立进程、禁网、120 秒上限),读取 /input/source.json(原始 pairedMsa 与 unpairedMsa、模板)及 /artifacts 下的历史预测产物;submit 执行 builder 脚本生成候选 JSON,运行时校验(查询表头、比对长度、跨链行数一致、行对应关系),再跑 AF3(5 种子 × 5 扩散样本 = 25 结构,平均约 8 分钟),返回置信度反馈并消耗 1 个提交配额。反思阶段(至多 10 次 analysis)中,智能体解读反馈后提交不超过 4000 字符的结构化总结存入跨轮记忆 $M_{<r}$,随后上下文重置——工作区文件持久保留但不再自动进入上下文,只靠记忆摘要延续。预算:每目标至多 60 次 AF3 成功提交(含默认对照)、600 次 LLM 调用,验证失败不计预算;finish 提名一个已提交提案并给出书面理由,默认对照始终可被提名。
技术新颖性
技术新颖性体现在:1) 双循环层次架构(外层 episode → 内层提案回合 → LLM turn),配合上下文每轮重置加工作区持久化的分离设计,使智能体在数百次调用的长程实验中记忆紧凑又不丢失证据;2) 反馈边界的形式化:Blind 模式下反馈只含 AF3 原生信号,DockQ 由主机静默计算,沙箱断网、ground_truth 目录不挂载,机制上杜绝泄漏;3) 实证发现挑战直觉——智能体提名的 MSA 平均深度仅为默认的 40%(FBv1 均值 2,248 行对 5,744 行),一半提案保留不到 20% 的行却全面更优,而更浅的 mMSA 反而更差,说明哪些行被保留远比保留多少行重要;4) 消融把收益来源拆开:种间异源的提升主要来自序列构建(打乱行序不变),种内异源约一半来自配对策略本身(HD439 上 +0.014/+0.029),并有 7ZHR 这类极端案例(16,384 行收紧到 330 行,DockQ 0.105 → 0.861);5) 探索-提名分解框架 $N-D=(B-D)-(B-N)$ 定量刻画反馈保真度这一性能瓶颈。
实验结果
主结果(DockQ mean):三个基准全面超过 AF3-Default——FBv1 0.584→0.604、FBv2-hard 0.556→0.583、HD439 0.583→0.624,八个子集中六个显著。收益最大的种间异源复合物:FBv1 0.465→0.612、HD439 0.482→0.562,固定配方 mMSA/pMSA/uMSA 无一接近;而智能体平均只用默认约 40% 深度。行序打乱消融:同聚体与种间异源对行序不敏感(收益来自选序列),种内异源显著下降,HD439 上配对策略贡献约一半收益(+0.014/+0.029)。典型案例:8P9C 默认 84.5% 的行是 DARPin 噪声(DockQ 0.048),重组为 425 行后达 0.866;7ZHR 从 16,384 行收紧到 328 对,0.105→0.861。探索-提名分解:FBv1 最佳已测提案平均 +0.035,提名归还 41.0%,净收益 +0.020;真值引导下探索增益升至 0.059(+71.7%),最终 0.6425 超过盲测 oracle 0.6183。全新种子复测 +0.024,增益稳健。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FoldBench-v1-pp 全体(278 接口) | DockQ mean | 0.604 | AF3-Default 0.584 | +0.020(p<0.001) |
| FoldBench-v2-pp-hard 全体(299 接口) | DockQ mean | 0.583 | AF3-Default 0.556 | +0.027 |
| HD439 全体(438 接口) | DockQ mean | 0.624 | AF3-Default 0.583 | +0.041 |
| FBv1 种间异源异聚体(19 接口) | DockQ mean | 0.612 | AF3-Default 0.465;pMSA 0.441 | +0.147 |
| HD439 种间异源(99 接口) | DockQ mean | 0.562 | AF3-Default 0.482;uMSA 0.507 | +0.080 |
| HD439 种内异源(339 接口) | DockQ mean | 0.642 | AF3-Default 0.613 | +0.029(p<0.01) |
| FBv2-pp-hard 种间异源(31 接口) | DockQ mean | 0.371 | AF3-Default 0.323 | +0.048 |
| 三基准平均 MSA 深度 | 特征化 MSA 行数 | FBv1 2,248 / FBv2 4,098 / HD439 3,418 | AF3-Default 5,745 / 10,928 / 8,941 | 平均减少约 60% |
| FBv1 种子鲁棒性(全新种子集复测) | Agent−Default DockQ 差值 | +0.024(p=0.001) | 原始种子 +0.020(p<0.001) | 增益保持,排除种子运气 |
局限与改进
作者承认的局限:提名环节损失显著——盲测下提名把 41.0% 的探索增益还回去(13/278 个界面损失超 0.05),反馈保真度是关键瓶颈;同聚体与种内异源子集收益小且部分不显著(FBv1 种内 +0.001,p=0.87);GT 引导实验说明更长探索(每目标提交 6.55→10.98 次)能发现更大改进,暗示预算内搜索未收敛;FoldBench 上与固定基线的对比存在 MSA 来源不匹配,只有 Agent 对 Default 严格输入匹配。我的补充观察:案例显示对行序极度敏感——9B4P 中同一组序列、同一重复倍数下仅换行序,DockQ 就在 0.32 到 0.61 间波动,且无新鲜种子验证机制,选中结果可能是置信度与 DockQ 错位下的幸运抽样(选中提案在种子 42、66 上仍全部失败);Table 7d 显示无改进时提名反而回退(如 9BQ2_2 0.168→0.021);方法绑定专有 LLM 与 AF3 特定置信度输出,迁移到其他预测器需重新设计;每目标约 7 次 AF3 提交加 115–141 次 LLM 调用,大规模筛选成本不低。
独立分析的弱点
独立弱点分析:1) 代理信号利用风险——AF3 置信度校准不佳时智能体可能过拟合代理指标:8P9C 提名第 4 号提案(DockQ 0.866)而非更高的第 3 号(0.869),7R86 提名 0.921 而非 0.922,差异尚小,但 7Z73(探索找到 0.581 却提名 0.058)表明错选可灾难性损失约 0.52;改进方向是引入轻量校准模型或跨种子一致性更强的聚合统计作中间评估。2) 成本与收益不对称——单目标约 7 次 AF3 推理加百余次 LLM 调用,整体只换来 +0.02 到 +0.04,对默认已够好的目标是浪费;改进方向是先做廉价置信度与序列统计预筛,只对低置信度目标启动智能体。3) 收益集中于少数困难目标(Table 6 的 25 个浅 MSA 案例),中位数目标改善微小;改进方向是把成功案例蒸馏成可复用的启发式规则库作为先验。4) 覆盖面有限:只针对蛋白-蛋白界面与 DockQ,未涉及核酸、配体界面;配对策略评估依赖行序打乱这种粗粒度消融,无法归因单行贡献。5) 行序敏感性缺乏理论解释,提名前也未做低成本多行序验证。
未来方向
作者提出的方向:提高预测器反馈保真度以同时增强探索与提名(GT 实验显示真值反馈使探索增益提升 71.7%、并消除提名损失);把发现的逐目标策略蒸馏为显式、可复现的自动选择程序。基于成果可延伸的方向:1) 自校准反馈——用多种子一致性、PAE 谱、界面接触密度等构造比单一 ipTM 更可靠的复合信号,或训练小型 DockQ 代理模型充当中间评估器;2) 分层预算——默认管线加触发式智能体(低置信度目标才启动),配合提前停止准则与新鲜种子抽查,控制平均成本;3) 跨目标记忆——当前每个目标独立 episode,可让智能体积累家族级先验(如设计蛋白需要小型过滤补充)形成可迁移知识;4) 扩展动作空间——允许智能体按需发起新的数据库检索(当前禁网、只能用预取 MSA)、修改模板乃至微调预测器组件;5) 理论侧解释为何浅而准的 MSA 优于深而噪的(AF3 的 1024 行采样机制与 summary feature 提供了初步线索);6) 推广到抗体-抗原设计闭环、复合物组装路径预测等下游任务,以及把该自动研究框架移植到其他只有代理反馈的科学推理问题。
复现评估
复现评估:项目页 https://sjtusaicaar.github.io/msa-pairing-agent/;三个基准公开(FoldBench、HD439 官方 MSA 直接可用);AF3 v3.0.2 开放权重,推理配置公开(种子 42/66/101/2024/8888、10 次 recycle、5 种子 × 5 扩散样本、单卡 RTX 5880 Ada 48GB、25 结构约 8 分钟);系统提示、运行时提示、工具 schema、算法伪代码及四个案例的完整提交轨迹表均在附录给出,透明度很高。主要障碍:1) 依赖 GLM-5.3(经智谱 API,2026 年 9 月访问),模型版本更替后智能体行为可能难以逐字复现;2) 算力与费用——三基准合计约 826 GPU 小时 AF3 推理,外加约 40 亿 token 的 LLM 调用;3) FoldBench-v2-hard 尚在开发中,构成可能变动;4) HD439 部分基线 MSA 只有发布文件、无完整命令行。综合难度中偏高:有 AF3 推理环境与 LLM API 预算的团队可在小子集上复现主表量级,但精确复现智能体轨迹较难。
论文图表