← 返回 2026-06-11

基于大语言模型的多样化科学假设搜索 Towards Diverse Scientific Hypothesis Search with Large Language Models

Haorui Wang, Parshin Shojaee, Kazem Meidani, Kunyang Sun, José Miguel Hernández-Lobato, Teresa Head-Gordon, Jiajun He, Chandan K. Reddy, Chao Zhang, Yuanqi Du 📅 2026-06-09 👍 2 2026-07-13 08:37

LLM 假设搜索多样性并行回火科学发现进化算法

arXiv HuggingFace PDF

通过并行回火进化框架解决科学假设搜索中的多样性崩塌问题

前置知识

进化算法

进化算法是一种受自然进化过程启发的全局优化方法，通过维护候选解种群，迭代执行选择、交叉、变异等操作来逐步改进解的质量。每个迭代称为一代，种群中的个体根据其适应度被选为父代繁殖产生后代，最终收敛到最优解或高质量解集合。进化算法不需要目标函数的梯度信息，特别适合黑盒优化问题，在分子设计、符号回归等领域有广泛应用。理解进化算法的基本原理包括选择压力、种群演化、收敛特性对于理解EvoDiverse如何改进传统搜索过程至关重要，因为本文的核心思想正是在经典进化算法框架基础上引入并行回火机制来平衡探索与开发。

本文将大语言模型作为进化算子嵌入进化算法框架中，理解进化算法的基本原理对于理解EvoDiverse如何改进传统搜索过程至关重要。特别是选择压力如何影响种群多样性和收敛速度，以及种群如何在迭代中演化，这些是理解多温度池架构和交换机制设计的基础。

并行回火

并行回火是一种高效的多模态分布采样算法，最初来自统计物理领域。它在多个不同温度层级运行并行的马尔可夫链，其中高温链条的分布更加平坦便于跨模态跳跃，低温链条则精细探索局部极值。通过周期性交换不同温度的样本，接受概率由Metropolis-Hastings规则决定，并行回火实现了全局与局部探索的平衡，能够有效避免陷入单个局部最优。这种机制在统计物理中用于模拟复杂系统，在机器学习中用于采样多峰分布。理解并行回火的温度控制、交换机制和接受概率计算是理解EvoDiverse框架设计的核心。

EvoDiverse的核心创新正是将并行回火的思想从马尔可夫链蒙特卡洛采样迁移到进化搜索框架，理解并行回火的交换机制和温度控制在理解本文方法原理中起到关键作用。特别是如何通过温度差异实现不同探索策略以及如何设计有原则的跨温度通信，这些直接影响了EvoDiverse的设计思路。

Boltzmann分布

Boltzmann分布是统计力学中描述系统在不同微观状态下概率分布的经典公式，其形式为p(x)与exp(-beta U(x))成正比，其中U(x)是能量函数，beta是逆温度参数。当beta趋于无穷大时，概率会集中到最低能量状态，这对应于纯优化场景；当beta趋于零时，分布趋向于均匀分布，这对应于纯探索场景。这种分布形式天然地提供了一种平衡优化和采样的机制，通过调节温度参数可以在关注最小值和保持多样性之间进行权衡。在科学假设搜索中，可以将目标函数视为能量函数，通过Boltzmann分布来决定候选假设的采样概率，从而实现质量与多样性的平衡。

本文将种群采样视为近似从Boltzmann分布采样，通过调节beta控制选择压力，这是理解多温度池设计的理论基础。理解Boltzmann分布如何随着温度参数变化而改变形状，以及这种变化如何影响采样过程，对于深入理解EvoDiverse的工作原理非常重要。

研究动机

在科学发现场景中，目标往往不是找到单一的最佳假设，而是生成一组高质量且多样化的备选假设来对冲下游验证的不确定性。然而现有的基于大语言模型的科学假设搜索框架大多隐含地将问题视为纯优化任务，采用进化算法迭代提出更好的假设、评分并选择排名靠前的候选。这种做法引入了强烈的选择压力，使概率质量集中在假设空间的一个狭窄区域，导致探索受限、过早收敛和样本多样性崩塌。在分子发现等任务中，标准的基于大语言模型的进化搜索会迅速收敛到局部化学空间，丢失发现新颖候选结构的机会。例如在药物发现中，如果所有候选都聚集在相似的化学骨架上，那么即使它们对当前预测模型得分很高，也可能在实际生物实验中由于结合模式相似而全部失败。

本文的目标是本文的目标是在有限的验证预算下，高效生成既高质量又多样化的科学假设候选。具体而言作者希望设计一种搜索框架，既能保持对高质量解的精细化优化能力，又能通过探索性搜索维持候选集的结构多样性，使得最终输出的假设集合在面对下游实验不确定性时更加鲁棒。这个目标非常重要，因为在现实科学研究中，验证实验往往昂贵且耗时，而且结果存在噪声和不确定性。如果只验证单一的最佳候选，一旦该候选在实际实验中失败，整个搜索过程就可能白费。而如果拥有一组高质量且多样化的候选，科学家可以选择其中多个进行验证，即使部分失败，其他候选仍有可能成功。

与已有工作不同的是，本文的独特切入角度是将科学假设搜索从纯优化视角重新定义为采样问题。传统方法要么追求纯优化导致多样性崩塌，要么要求精确采样但计算上不可行。作者采取折中思路，将进化搜索视为近似从动态演化的Boltzmann分布采样，并通过受并行回火启发的多温度池架构和有原则的跨池信息交换机制来平衡探索与开发，而非依赖启发式的迁移策略。这种视角转换使框架能够在不增加验证预算的情况下同时提升质量和多样性。与传统的岛模型策略使用启发式迁移不同，EvoDiverse基于近似Boltzmann分布的Metropolis-Hastings规则决定是否接受交换，确保交换过程大体保持各温度池的目标分布。

核心方法

EvoDiverse采用并行回火进化框架的核心思路是维护多个在不同温度参数下演化的种群。低温池施加更强的选择压力，专注于精细化改进高质量假设；高温池使用更平缓的分布，鼓励广泛探索假设空间。通过周期性的Metropolis-Hastings交换操作，在不同温度池之间传递候选解，高温池发现的多样化候选可以迁移到低温池进行精细化，而低温池的高质量解也可能流向高温池维持多样性。这种设计使得探索和开发在不同温度层级上同时进行，并通过有原理的交换机制实现信息流动。具体来说，冷池的采样概率与exp(-beta_hot h(x))成正比，其中beta_hot较大，使得只有得分高的候选才容易被选中；热池的采样概率与exp(-beta_cold h(x))成正比，其中beta_cold较小，分布更加平坦，允许得分较低的候选也有机会被选中。

EvoDiverse的核心创新点在于将经典并行回火采样算法的交换机制引入大语言模型驱动的进化搜索框架。与传统的岛模型策略使用启发式迁移不同，EvoDiverse基于近似Boltzmann分布的Metropolis-Hastings规则决定是否接受交换，确保交换过程大体保持各温度池的目标分布。接受概率为A等于min(1, exp(-xi(n)(beta_1-beta_2)(h(x_2)-h(x_1))))，其中xi(n)是动态调节的幂因子，beta_1大于beta_2分别对应冷热池，h(x)是最小化目标。这个规则确保只有当交换对两个温度都合适时才执行，防止不兼容候选的破坏性注入。例如一个在热池中得分较低的候选如果被交换到冷池，可能会立即被淘汰；反之一个在冷池中得分很高的候选如果被交换到热池，可能会主导热池的演化，干扰探索。

方法步骤详情

EvoDiverse的完整算法流程如下，首先初始化冷热两个种群Pool_1和Pool_2，分别设置温度参数beta_1冷和beta_2热。在每个迭代中，第一步是为每个池构造交配池，使用温度加权采样方式选择父代，概率与exp(-beta h(x_i))成正比。第二步是对每个池，使用大语言模型进化算子G_phi对父代对进行变异或交叉操作产生后代。第三步是使用相同温度加权采样从当前池和后代的并集中选择下一代的存活个体。第四步是每隔t_swap个迭代执行交换步骤，从两个池均匀采样k个候选作为交换对，计算接受概率并按Metropolis-Hastings规则决定是否交换。第五步是根据历史交换率动态调节xi参数以维持目标接受率，大约保持在百分之三十到百分之五十之间。迭代终止后返回最终两个池的候选集合作为输出。

技术新颖性

EvoDiverse的技术新颖性体现在多个层面，一是方法论层面，首次将并行回火的交换机制系统性地引入大语言模型进化搜索框架，提出了基于近似Boltzmann分布的Metropolis-Hastings交换规则。二是实现层面，设计了动态调节的幂因子xi来对齐不同温度池的收敛速度，解决了进化算法种群分布未知导致的接受概率计算困难。三是应用层面，将框架成功应用于分子发现、方程发现、算法发现等不同科学领域，验证了方法的通用性。与传统的Ensemble独立池和Island启发式迁移方法相比，EvoDiverse提供了更有原则的多池通信机制。四是理论层面，将科学假设搜索从纯优化重新定义为采样问题，这种视角转换为解决多样性崩塌问题提供了新的思路，也为后续研究奠定了理论基础。

**Figure 1**: Illustration of our parallel tempered evolutionary algorithm.

实验结果

在三个科学发现领域的实验表明EvoDiverse一致地同时提升假设质量和多样性。分子发现任务中JNK3和GSK3β靶点，EvoDiverse在1万次预言机调用预算下比单池MOLLEO基线实现了更高的Top-10曲线下面积，JNK3从0.58提升到0.63，GSK3β从0.70提升到0.76，Top-10平均得分也有显著提升。同时通过多样性感知选择过滤后仍保留大约90个多样候选，几乎是MOLLEO大约50个的两倍。方程发现任务在LLM-SRBENCH跨物理、生物、化学、材料领域的测试中，EvoDiverse在保持最高Best Acc_0.1分数的同时实现了最高的多样性指标。算法发现任务圆打包n等于26中，EvoDiverse达到最优Best Sum半径2.5461，超过EA的2.4986、Island的2.4247和Ensemble的2.4105，且多样性指标0.78与Ensemble相当但远高于Island的0.48。

**Table 1**: Quantitative evaluation for molecular discovery tasks.

**Table 2**: Quantitative evaluation on equation discovery across LLM-SRBench problems.

**Table 3**: Circle packing results (n = 26).

**Figure 2**: Optimization procedure visualization for molecular discovery.

**Figure 3**: Comparison of EvoDiverse and baselines along best-score trajectories in equation discovery.

**Figure 4**: Optimization trajectories for circle packing problem.

查看结构化数据

任务	指标	本文	基线	提升
分子发现JNK3	Top-10 AUC	0.63	MOLLEO 0.58	+8.6%
分子发现GSK3β	Top-10 AUC	0.76	MOLLEO 0.70	+8.6%
方程发现物理	Best Acc_0.1	0.408	LLM-SR 0.252	+61.9%
方程发现材料	Best Acc_0.1	0.803	LLM-SR 0.763	+5.2%
算法发现圆打包	Best Sum半径	2.5461	Ensemble 2.4105	+5.6%

局限与改进

作者承认EvoDiverse存在预算依赖的权衡，多温度池虽然改善了探索并缓解多样性崩塌，但在固定预言机预算下每个池可用的评估次数减少，因此池数量、温度间隔和交换频率是需要任务特定调优的超参数。该方法也是近似的并行回火过程，大语言模型提议产生的进化算法种群并不遵循已知平稳分布，交换规则可能对目标尺度敏感，例如方程发现需要log均方误差能量变换以保证稳定性。此外不同温度池使用不同大语言模型提示的设计虽然有效，但增加了工程复杂度。在实际部署中，算法需要理解搜索空间和目标才能正确设置Boltzmann常数以转换为概率，这可能需要领域专家的知识。消融实验显示虽然使用相同提示仍有显著提升，但不同提示确实能带来额外增益。

独立分析的弱点

首先EvoDiverse在计算效率上存在潜在问题，维护多个并行池虽然可以并行执行，但总token消耗和大语言模型调用次数相比单池基线略有增加。其次xi参数的自适应调节策略较为简单，基于滑动窗口的启发式可能在不同阶段表现不稳定，特别是在目标尺度变化较大的任务中。第三框架目前只使用两个温度池，虽然简化了实现，但在更复杂的假设空间中可能受益于更多温度层级和可逆并行回火策略。第四交换机制虽然基于Metropolis-Hastings规则，但由于进化算法种群分布不完全已知，接受概率的近似可能导致次优的信息流动。第五方法需要预先了解搜索空间特性来设置温度参数，这在新任务上可能需要额外的调试。改进方向包括设计更精细的xi自适应机制、探索多温度梯度和非可逆并行回火、研究不同任务的最佳温度配置策略。

未来方向

作者提出的未来方向包括自动化能量函数和温度梯度的选择，如方程发现的log均方误差变换需要人工指定、将框架应用于更多科学发现场景、探索如何通过微调进一步提升大语言模型在科学假设搜索中的样本多样性。基于本文成果的可延伸方向包括将EvoDiverse与质量多样性方法结合以进一步增强探索、研究树搜索等其他搜索算法中的多样性维持策略、在真实实验室环境中验证所发现假设的效用、探索在多目标科学发现场景中的扩展，如同时优化活性和药物性质。此外研究如何在不同进化算法如差分进化、粒子群等中集成并行回火交换机制也是有价值的方向。另一个有趣的方向是研究如何将并行回火与强化学习结合，动态学习最优的交换策略。

复现评估

本文代码已在GitHub开源，地址是https://github.com/zoom-wang112358/EvoDiverse，提供了完整的实验复现支持。所有实验均使用固定预算进行公平比较，分子发现使用1万次预言机调用，方程发现和算法发现使用1000次评估。分子发现任务从ZINC-250K采样的120个分子初始化，使用DeepSeek-V3.2作为大语言模型进化算子。消融实验验证了Metropolis-Hastings交换机制的有效性，Random Swap方差更大，和不同提示的互补性，相同提示仍保持显著提升。计算成本分析显示EvoDiverse的大语言模型调用次数和token消耗与基线相当，JNK3任务约9813次调用和939万tokens，墙钟时间由于并行执行甚至略短于MOLLEO的3.82小时相比4.06小时。无效提案率很低，在百分之零点四到百分之零点六之间，说明大语言模型生成质量稳定。复现难度中等，需要访问DeepSeek-V3.2或GPT-5等大语言模型应用编程接口以及特定预言机评估器。