PRINCIPIA：面向科学发现的测试时假设到原理构建框架 Principia: Test-Time Hypotheses to Principle Construction for Scientific Discovery
LLM在测试时从累积实验观测归纳因果假设并持续精炼科学原理，指导优化与预测
前置知识
假设到原理（Hypotheses-to-Principle）流水线
科学哲学中的经典工作方式：研究者先对个别观测提出暂定的因果解释（假设，对应溯因推理 abduction），再把多个假设中反复出现的关系泛化为覆盖面更广的科学原理（对应归纳推理 induction），当新观测与旧解释矛盾时回头修订假设。它是药物发现等复杂系统中经验原理的主要构建方式，因为底层机制往往未知。
PRINCIPIA 的整个框架就是把这条人类认知流水线逐阶段映射为 LLM 的三个操作：比较假设生成、归纳原理构建、基于新观测的假设修订，不理解这条流水线就无法理解论文的结构。
LLM 作为进化搜索的变异算子（LLM-as-Optimizer）
一类主流的 LLM 科学优化范式：维护一个候选种群，按适应度选父代，经交叉（crossover）产生中间候选，再让 LLM 对其做语义层面的“变异”生成新候选，交给实验 oracle（打分函数或真实实验）评估，循环迭代。代表工作有 FunSearch、AlphaEvolve、MolLEO 等，优势是能在大规模离散搜索空间（分子、蛋白序列、基因）中利用 LLM 的先验知识。
PRINCIPIA 建立在 MolLEO 式种群进化骨架之上，它的贡献不是新的搜索算法，而是给变异步骤注入测试时构建的假设与原理作为引导，理解这个骨架才能看清对照实验的设计。
Tanimoto 相似度与 Morgan 分子指纹
分子机器学习中最常用的结构相似度度量：先用 Morgan 算法（一种圆形指纹，本文用 2048 位、半径 2）把分子的 SMILES 字符串编码成 0/1 位向量，记录每个原子周围子结构的有无；再用 Tanimoto 系数 $\mathrm{sim}(A,B) = \frac{|A \cap B|}{|A \cup B|}$ 计算两个指纹的重叠程度，取值 0 到 1，越高结构越相似。
论文中参考分子的挑选、聚类距离、预测任务的检索都用它，是理解“比较证据如何构建”和“相似性聚类如何分组”的具体实现细节。
k-medoids 聚类
与 k-means 类似的聚类算法，但簇中心必须是数据集中真实存在的样本点（medoid，中心点），而不是虚拟均值。这使它适用于只有成对距离矩阵、无法计算均值的数据（如分子指纹的 Tanimoto 距离）。本文用 soft-balanced 变体，附加大小平衡惩罚项，把每簇规模约束在 5-15 之间，目标每簇约 10 个输入。
原理归纳的单位是“簇”：每个簇内所有成员相关的假设被 LLM 归纳成一条原理，聚类的粒度直接决定原理的覆盖范围与抽象层级。
Oracle 预算与 AUC@10 指标
科学优化中真实实验昂贵，因此用“oracle 调用次数”衡量预算（本文分子任务 1000 次、蛋白任务 200 次）。AUC@10 是“到目前为止观测过的前 10 最优候选平均分”随 oracle 调用数变化的曲线下面积（每 100 次调用采样一次，梯形积分并按预算归一化），它同时奖励“找得好”和“找得快”，是样本效率导向的标准指标。
论文的核心卖点之一是省预算（比 ExLLM 少 55% 评估达到同性能），所有优化结果都用 AUC@10/Avg@100 或 Hit Ratio 报告，不懂指标就无法比较表格数字。
研究动机
科学发现的核心是识别支配观测现象的科学原理，但在药物发现这类复杂系统中，底层原理通常是未知的，只能依赖“假设到原理”流水线从逐步积累的实验观测中提炼经验规律：先对单个观测形成暂定解释，再把反复出现的因果关系泛化为原理。这个过程高度依赖领域专家的解释工作，消耗大量专业知识、时间与经费，成为制约发现速度的瓶颈。已有 LLM 自动科学发现工作没有填补这个空白：候选优化类方法（MolLEO、AlphaEvolve 等）只把观测用于指导下一步动作，不从观测中沉淀可复用的知识；知识增强类方法要么检索外部文献（WebSearch、DeepEvolve），要么把过往经验压缩成单一文本摘要（ExLLM）；PiFlow 虽号称 principle-aware 却没有显式建模观测引导的因果假设。更根本的困难有两个：其一，单个输入和它的观测结果提供的证据有限——同一结果可以由多种输入特征解释，LLM 难以判断该强调哪些因素；其二，测试时积累的观测只覆盖庞大科学输入空间的极小一角，基于有限覆盖生成的假设对其他输入可能不完整甚至错误，而这些缺陷会传导到由假设归纳出的原理中。
本文的目标是本文要让 LLM 在测试时从逐步积累的实验观测中显式构建并持续精炼经验性科学原理，即自动完成人类专家“比较观测→形成因果假设→归纳原理→依据新证据修订”的全过程，并用这些知识指导两类任务：在受限 oracle 预算下的科学优化（分子、蛋白序列、基因扰动）与分子性质预测。可量化的目标包括：在分子/蛋白/基因优化任务上超过依赖内部知识（MolLEO）、经验摘要（ExLLM）与外部检索（WebSearch、DeepEvolve）的基线；在八个 TDC 分子性质预测任务上超过 few-shot、文本摘要与内外部原理基线；用更少的实验评估达到相同优化性能（论文最终展示比经验摘要基线 ExLLM 节省约 55% 的 oracle 调用）；并且生成的原理要能与科学文献相互印证（如环氧结构致突变性的结论与 1984/1988 年的文献一致）。
与已有工作不同的是，本文的独特切入是把人类科学家的“假设到原理”认知流程操作化为一个可计算的测试时框架，抓住两个被已有工作忽视的点。第一，假设生成需要比较证据：不做单观测解释，而是把相关输入对（参考→目标）及其结果并置，让 LLM 只需解释两者的相同点与不同点如何导致结果异同，从机制上缩小了解释空间——这源于密尔求同求异法的思想。第二，知识需要随测试时间演化：已有方法的知识要么静态（外部文献）、要么只增不减（经验摘要），而 PRINCIPIA 构建图状的两层知识库——假设记忆（节点是输入、有向边存储比较证据与因果假设）与原理记忆（聚类与原理的配对）——并设计修订闭环：只有被检索使用过的假设，才会用它应用后获得的新观测来重新审视和修正，再从更新后的假设重建原理，形成观察→假设→应用→修订→原理重建的连续循环。相比 RAG 式外部知识，这种知识是任务特异、可追溯、可演化的。
核心方法
直觉上，PRINCIPIA 像资深科学家带团队做实验：每完成一次实验，不是孤立记录“这个分子有毒”，而是把两次相关实验放在一起对比——“两个分子哪里相同、哪里不同、结果为何不同”，写下一条有证据锚点的因果猜测；再把一群相似猜测中反复出现的规律总结成一条原理卡片；每次用这些知识去预测或设计新实验后，再用新结果回头修正当初的猜测并重新总结原理，让知识越用越准。技术路线分三步：一是比较因果假设生成，构建参考到目标的比较证据 $e_{i \to j} = \langle x_i, O(x_i), x_j, O(x_j) \rangle$（$x$ 为分子/序列/基因等输入，$O$ 为实验 oracle），由 LLM 生成假设 $H_{i \to j}$ 存入图状假设记忆 $M_h$（节点为输入、有向边存证据与假设）；二是归纳原理构建，用 soft-balanced k-medoids 按领域距离把输入聚簇，对每簇收集相关假设 $E_k$ 归纳出原理 $P_k$，存入原理记忆 $M_p = \{(G_k, P_k)\}$；三是假设修订，用 LLM 检索与查询相关的 $k_h$ 条假设和 $k_p$ 条原理去执行任务，获得新观测后反向修订用过的假设并重建原理，如此循环。
核心创新是把科学知识组织成“证据→假设→原理”的两级结构，并让每级都能被新观测驱动地演化。与已有方法的本质区别有三：其一，假设不是凭空总结而是有锚点的解释——每条假设绑定在一对具体输入的比较证据上，LLM 只需解释相似性与差异性如何导致结果异同：结果不同时聚焦差异特征，结果相同时描述共同特征，从机制上缩小解释空间。消融证明比较式生成显著优于单输入生成：给蛋白优化加假设引导后，GB1 的 AUC@10 从 0.245 升至 0.337，Syn-3bfo 从 $-0.019$ 升至 0.116。其二，原理通过相似性聚类归纳而非全局摘要：ExLLM 把经验压成一段无结构文本，PRINCIPIA 在相似输入的簇内归纳重复关系，保留可追溯性与局部性。其三，修订机制把“知识应用”与“知识验证”绑定：只有本轮被检索使用的假设才被新观测修订，Table 8 中，原本认为苯甲酰胺连接子导致 CYP2C9 抑制的假设，在遇到含酰胺却预测错的分子后，被修订为“酰胺基序本身不足以解释抑制，需结合周围芳香排列判断”——知识变得更严谨而非被推翻。此外检索由 LLM 在长上下文中独立完成，去掉它（Fig 6）性能降到与去掉修订相当，说明三者环环相扣。
方法步骤详情
完整流程：第一步，构建比较证据——优化任务中每代对父代做规则交叉得 $x_c$，LLM 变异出候选 $x'$，形成父代→交叉产物→突变子代的比较链；预测任务改为用 Tanimoto 相似度为每个新目标挑最多 3 个最近参考分子（不按标签过滤）。第二步，假设生成——$H_{i \to j} = \mathrm{LLM}_{\mathrm{hypothesis}}(e_{i \to j}; q)$（$q$ 为任务描述），输出因果解释与支持特征，连同证据存入 $M_h$。第三步，聚类——分子用 2048 位 Morgan 指纹（半径 2）的 Tanimoto 距离，蛋白等长用归一化 Hamming、不等长用 3-mer Jaccard 距离，基因用 text-embedding-3-large 嵌入余弦距离；soft-balanced k-medoids 取簇数 $\max(1, \lfloor n/10 \rfloor)$，簇大小限 5-15，优化只对当前种群聚类。第四步，原理归纳——$P_k = \mathrm{LLM}_{\mathrm{principle}}(E_k; q)$，识别重复关系、区分正负模式并记录矛盾观测。第五步，检索与应用——优化按 fitness 差从最大改进与最大下降交替取至多 100 条假设记录构成候选池，预测按相似度取同/异标签各 50 条，原理候选按与查询的最大成员相似度取至多 100 个簇；LLM 独立选出假设（优化每次 3 条）与原理（1 条）注入变异或预测提示词。第六步，假设修订——对本轮用过的每条假设均匀采样至多 5 条新观测$B_{i \to j}$，执行 $H'_{i \to j} = \mathrm{LLM}_{\mathrm{refine}}(e_{i \to j}, H_{i \to j}, B_{i \to j}; q)$，可保留/修改/删除/新增假设，替换时保留原始证据，同时为新观测生成新假设、重建原理。第七步，循环推进——优化从第二代起每代末更新知识；预测按六轮序列构造，最后一轮后知识固定用于 held-out 测试。
技术新颖性
与已有技术的具体区别：相比经验摘要基线 ExLLM，本文知识是结构化的两级记忆而非单一文本，假设可追溯到具体比较证据，修订只动假设不动证据；相比检索外部文献的 WebSearch/DeepEvolve，本文知识完全在测试时从本任务观测归纳，与任务目标高度对齐（实验中外部检索基线常低于无引导的 MolLEO）；相比 PiFlow，本文显式建模观测引导的因果假设，PiFlow 实验中经常崩坏（Syn-3bfo 平均分 $-32.149$，五任务平均 AUC@10 仅 0.157，低于无引导基线），反衬“有原理但无因果假设”不可靠。技术层面的新颖点还包括：soft-balanced k-medoids 把归纳粒度控制在约 10 个相似输入的适中范围；假设检索刻意混合正负两种学习信号（fitness 大升与大降），Table 6 显示混合策略 AUC@10 达 0.452，远超单一方向（+0.025 至 +0.038）；修订允许保留/修改/删除/新增四种操作，使知识精化是渐进限定而非全盘替换。
实验结果
分子优化（PMO 五任务，GPT-5-mini，1000 次 oracle 预算，3 种子）：PRINCIPIA 平均 AUC@10 0.279、Avg@100 0.340，超过 ExLLM（0.250/0.254）、MolLEO（0.222）、WebSearch（0.230）、DeepEvolve（0.232）及传统方法 REINVENT（0.176）、Graph GA（0.190）；JNK3 的 Avg@100 达 0.448，比最强基线（MolLEO 0.266）高约 68%，GSK3β 达 0.617。蛋白工程（Syn-3bfo/AAV/GB1，200 次预算）：平均 AUC@10 0.605 高于 MolLEO 0.566 与 ExLLM 0.575；GB1 的 Avg@50 达 0.398（ExLLM 0.236）；Syn-3bfo 上是唯一取得正 Avg@50（0.084）的方法，PiFlow 崩至 $-32.149$。基因扰动：Scharenberg22 Hit Ratio 0.308（ExLLM 0.277）、IFNG 0.114，排除必需基因后仍最高（0.320/0.123，Table 7）。分子性质预测（TDC 八任务，scaffold split，GPT-5.4-mini）：平均 Accuracy 69.75、macro-F1 69.03，比最强基线 few-shot k=7（63.95/62.30）高约 5.8 与 6.7 点，比文本摘要高约 6.5 与 8.0 点，DILI 从 62.85 升至 70.49，CYP2C9 达 76.67/76.72。效率（Fig 5）：达到 ExLLM 最终性能只需约 45% 的评估（省 55%），对 WebSearch/MolLEO/DeepEvolve 分别省 84%/86%/86%。消融：去掉 LLM 检索 AUC@10 降至 0.364，与去掉修订（0.374）相当；检索混合正负信号（0.452）显著优于随机或单一方向（0.366-0.379，Table 6）；多目标 Syn-3bfo（Fig 7）中只有 PRINCIPIA 优于无引导算法；跨 DeepSeek-V4、GPT-5.6-Luna、Gemini-3.1-Flash-Lite 等 4 个骨干、16 个任务-模型组合均领先（Fig 8/9）。定性上（Table 5），归纳出“环氧/氧杂环丙烷芳基醚基序是致突变性驱动因素、不含张力亲电体的氨基醇侧链通常可容忍”，与 Seiler (1984)、Rosman et al. (1988) 一致。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 分子优化（PMO 五任务平均：JNK3/GSK3β/Median1/Median2/Valsartan） | AUC@10 | 0.279 | ExLLM 0.250（无引导 MolLEO 0.222） | +0.029（相对 ExLLM 约 +11.6%） |
| 分子优化（PMO 五任务平均） | Avg@100 | 0.340 | ExLLM 0.254 | +0.086（约 +34%） |
| 分子优化 JNK3 | Avg@100 | 0.448 | MolLEO 0.266（最强基线） | +0.182（约 +68%） |
| 蛋白序列工程（Syn-3bfo/AAV/GB1 平均） | AUC@10 | 0.605 | ExLLM 0.575（MolLEO 0.566） | +0.030 |
| GB1 蛋白序列优化 | Avg@50 | 0.398 | ExLLM 0.236 | +0.162（约 +69%） |
| 基因扰动 Scharenberg22 | Hit Ratio | 0.308 | ExLLM 0.277 | +0.031 |
| 分子性质预测（TDC 八任务平均） | Accuracy | 69.75 | Few-shot k=7 63.95（Textual summary 63.26） | +5.80 |
| 分子性质预测（TDC 八任务平均） | macro-F1 | 69.03 | Few-shot k=7 62.30 | +6.73 |
| 优化样本效率（Syn-3bfo 扩展预算） | 达到基线最终性能所需 oracle 评估 | 约为基线预算的 14%–45% | ExLLM/WebSearch/MolLEO/DeepEvolve 全预算 | 比 ExLLM 省 55%、比 WebSearch 省 84%、比 MolLEO 与 DeepEvolve 各省 86% |
局限与改进
作者承认的局限：观测只覆盖科学输入空间的极小部分，基于有限覆盖的假设可能不完整或错误并传导到原理中（这正是设计修订的动机，但修订依赖新观测到来，无法修复从未被检验的假设）；定性分析只展示与文献一致的正面案例，缺少对错误原理的系统误差分析。我自己的观察：第一，所有优化实验都在计算 oracle（Potts 模型、卷积预测器、查找表、CRISPR 记录）上完成，没有湿实验验证；第二，每代要执行假设生成、归纳、检索、修订四类 LLM 调用，token 成本与延迟显著高于 plain 优化，论文未报告 API 开销，“省 oracle”可能被“费 LLM”抵消；第三，聚类超参（每簇约 10 个、5-15 上下限）与检索数量（3 条假设 + 1 条原理）为手工设定，跨域迁移性未验证；第四，预测实验每类仅 200 训练/50 测试分子，规模小且未与微调的GNN 等性质预测模型比较，69.75% 的绝对精度离实用仍有距离；第五，分子以 SMILES 文本输入，LLM 对结构感知有限，假设可能只描述表面子结构而非真正机制。
独立分析的弱点
第一，幻觉风险与错误放大：LLM 生成的假设可能貌似合理实则错误，原理又由假设归纳而来，一条流行但错误的假设可能误导整簇候选的搜索方向；而修订只作用于“被检索使用”的假设，从未被检索的错误假设永远得不到修正。改进方向：引入定量校验器（性质预测模型、合成可达性评分、文献一致性检查）为原理打置信分，限制低置信原理的影响权重。第二，可扩展性：图状假设记忆随观测线性增长，优化候选池已需按 fitness 差交替截断 100 条，任务变大后长上下文检索成本会失控。改进方向：嵌入粗筛 + LLM 精选的两级检索，或对假设做定期合并与遗忘。第三，聚类依赖领域距离：Tanimoto 只保证结构相似不保证机制相似，机制不同的相似分子聚在一起可能归纳出牵强原理。改进方向：让 LLM 参与聚类边界调整，或用结构+性质+假设文本嵌入的多视角聚类。第四，评估偏理想化：oracle 无噪声、任务描述人工撰写良好，真实实验有噪声失败与延迟。改进方向：加入噪声鲁棒性实验，测试 LLM 从模糊目标自动生成任务描述的敏感性。第五，缺少与监督式代理模型的正面对比：小样本预算下与训练 GNN 代理的贝叶斯优化孰优孰劣，论文未回答。
未来方向
作者明确提出的方向是把测试时“假设到原理”构建确立为 LLM 科学发现的重要方向，让累积观测持续指导后续研究。基于本文成果可自然延伸的方向包括：与自动实验室闭环，用真实湿实验观测替代计算 oracle，检验原理在物理世界中的有效性；跨任务知识迁移，把一个任务的原理库作为相关任务的初始先验，形成可积累的领域知识资产；与贝叶斯优化/主动学习结合，用原理的不确定性指导下一个最有信息量的实验，而非仅靠种群进化；把比较证据从文本 SMILES 扩展到多模态输入（结构图、波谱、显微图像），丰富假设的证据基础；将原理与符号回归、形式化验证结合，把自然语言原理逐步沉淀为可计算的定律；在人机协作界面上让领域专家审核、编辑和否决假设，把修订闭环从纯自动扩展为专家在环；以及把假设记忆视为版本化知识图谱，研究知识的合并、分叉与回滚机制。
复现评估
复现条件总体良好。代码开源（github.com/DongkiKim95/Principia）；基准全部公开：分子任务来自 PMO（Gao et al. 2022），蛋白任务来自 Wang et al. (2025b) 基准，基因扰动沿用 BioDiscoveryAgent 的 CRISPR 筛选数据集，预测任务来自 TDC。骨干均为商用 API：优化用 GPT-5-mini-2025-08-07、预测用 gpt-5.4-mini-2026-03-17，温度 1.0、3 个随机种子，附录另验证 DeepSeek-V4-Flash/Pro、GPT-5.6-Luna、Gemini-3.1-Flash-Lite 等替代模型。本地无需训练 GPU，瓶颈在 LLM API 调用——每代每候选都要生成假设、检索、修订，1000 次 oracle 预算对应的 API 调用量不可忽视，需预留预算。附录 D 给出完整伪代码，附录 F 给出全部提示词模板，超参披露完整。复现难度中等：逻辑清晰但工程细节多（JSON 解析容错、参考分子挑选、六轮序列构造、scaffold split 复现），且结果依赖具体 LLM 版本，API 更新后数字可能漂移。
论文图表
展示科学原理构建为何是发现瓶颈：随着实验观测积累（如“有毒/无毒”标注），研究者先对单个观测形成暂定解释（hypothesize），再把跨观测的重复关系泛化为科学原理（generalize），并用新观测重估旧解释（reassess），原理再指导后续研究，形成迭代发现循环；但这一过程依赖大量领域专长、时间与经费。
它是全文问题定义的图示，直观呈现“假设到原理”流水线及其中依赖专家解释的瓶颈环节，理解它才能理解 PRINCIPIA 各模块分别对应流水线的哪一步。
CYP2C9 预测上的修订实例：原假设称“相较于参考的硫脲连接子，目标的苯甲酰胺连接子与取代芳香骨架可能导致抑制”；当该假设用于预测一个含酰胺的新分子却被观测为非抑制剂后，修订为“酰胺基序本身不足以可靠解释抑制，必须结合周围芳香排列考虑”。
具体展示修订机制如何让知识从“过度概括”变得“边界清晰”，是理解假设修订（§3.3）实际效果的最直接样例。