Aster：比现有方法快20倍以上的自主科学发现系统 Aster: Autonomous Scientific Discovery over 20x Faster Than Existing Methods
Aster用LLM自主改进程序，比OpenEvolve快20倍以上实现科学发现
前置知识
自主发现系统（Autonomous Discovery System）
自主发现系统是指利用大语言模型（LLM）作为核心推理引擎，在给定初始程序和评估脚本的条件下，自动迭代地改进程序以优化特定目标的系统。这类系统的核心思想是将LLM的代码生成和推理能力与自动化评估流程相结合，形成一个闭环的优化循环。与传统的超参数搜索或神经架构搜索不同，自主发现系统可以在代码层面进行开放式修改，不局限于预定义的搜索空间。系统会记录每次迭代的代码和性能指标，存入数据库中供后续迭代参考，从而逐步积累优化经验。
Aster正是建立在自主发现系统这一范式之上的，理解这一概念是理解Aster改进了什么以及如何改进的前提。
程序进化（Program Evolution）
程序进化是一种受生物进化启发的优化方法，它通过反复地对程序进行变异（mutation）和选择（selection）来逐步提升程序性能。在LLM驱动的程序进化框架中，LLM充当变异算子的角色——它读取现有程序及其性能评估结果，然后生成修改后的新版本。评估脚本对新程序进行打分，表现更好的程序被保留作为下一轮进化的基础。这种方法已经被用于GPU kernel优化、数学构造发现等多个领域。
论文将Aster与OpenEvolve等程序进化框架进行对比，理解程序进化的基本流程有助于理解Aster的20倍加速来自何处。
迭代效率与评估代价的权衡
在自主发现系统中，系统的总发现时间等于迭代次数乘以每次评估所需的时间。对于快速评估任务（如几秒钟即可完成的数学问题），即使需要上千次迭代也能在合理时间内完成。但对于需要数小时评估的任务（如训练大型ML模型），每增加一次迭代就意味着多消耗数小时的计算资源和时间。因此，减少所需迭代次数——而非单纯减少单次迭代的wall-clock时间——是扩展自主发现系统适用范围的关键。
这是Aster论文的核心动机。Aster声称20倍的加速本质上是指迭代次数的大幅减少，理解这一概念才能理解为什么这对长时间评估任务至关重要。
Circle Packing与组合优化
Circle Packing（圆填充）是组合优化中的经典问题：在给定的区域内放置尽可能多的圆，使得它们互不重叠。这个问题已被广泛用作自主发现系统的标准基准，因为它具有明确的评估指标（如面积利用率）且评估时间短。在本文中，packing 26 circles的基准被用于对比Aster和OpenEvolve的迭代效率。虽然这个问题本身相对简单，但它为验证自主发现系统的效率提供了一个公平且可复现的测试平台。
圆填充问题是论文中用于验证Aster 20倍加速的核心基准任务，理解该问题有助于理解效率对比的实验设计。
研究动机
当前最先进的自主发现框架在实现科学突破时需要数百到上千次迭代才能取得发现。例如，开源框架OpenEvolve在标准的圆填充问题（packing 26 circles）上需要115次迭代才能达到2.634的分数，即使其尝试了460次（因4倍并行而算作115次迭代）。这种低效性严重限制了自主发现系统的应用范围——它只能用于评估时间极短的问题。对于需要长时间评估的任务，如训练大型机器学习模型（可能需要数小时甚至数天），运行数千次迭代在时间和计算成本上都是不可接受的。以ZAPBench任务为例，该任务的评估脚本在NVIDIA T4 GPU上需要运行数小时，如果按照现有框架的迭代效率，完成一次有意义的进化实验可能需要超过一个月的时间。
本文的目标是本文的目标是构建一个名为Aster的自主科学发现智能体，将其在标准基准任务上的迭代效率提升一个数量级（20倍以上），从而将自主发现系统的适用范围扩展到评估时间较长的任务领域。具体而言，作者希望Aster能够在数学、GPU kernel工程、生物学、神经科学和语言模型训练等多个领域取得新的state-of-the-art结果，同时证明在长时间评估任务（如ZAPBench的数小时评估）上，Aster也能在合理时间内达到与最佳人类方案相媲美的性能。
与已有工作不同的是，现有自主发现框架的改进方向主要集中在扩大搜索规模和增加并行度上——通过运行更多的候选方案来提高找到好方案的概率。然而，这种方法本质上是以计算量换质量，并未从根本上提高单次迭代的有效性。Aster的独特切入角度是从迭代质量而非迭代数量入手，通过提升LLM在每次迭代中生成高质量代码修改的能力，大幅减少达到同等或更优性能所需的迭代次数。作者的直觉是，现有的进化框架没有充分利用LLM的内在编码能力，而是将其简单地当作随机变异算子使用；如果能更好地引导LLM进行有针对性的代码改进，就可以用更少的迭代达到相同甚至更好的结果。
核心方法
Aster的整体架构是一个迭代式的程序改进循环，包含四个核心组件：LLM生成器、评估器、数据库和提示词模板。给定一个初始程序、一个评估脚本和一个任务描述，Aster首先将这些信息输入LLM，由LLM生成改进后的程序版本。新程序随后被提交给评估器进行性能评估，评估结果（包括性能指标和程序代码）被存入数据库中。在下一轮迭代中，数据库中的历史信息会被提供给LLM作为参考，帮助其做出更明智的改进决策。这个循环不断重复，直到达到满意的性能或耗尽迭代预算。与OpenEvolve等现有框架相比，Aster在模型配置上保持一致（80%使用Gemini 2.0 Flash，20%使用Claude 3.7 Sonnet），以确保公平比较。关键区别在于Aster的迭代效率——在圆填充基准上，OpenEvolve需要115次迭代才能达到2.634的分数，而Aster仅需5次迭代就达到了2.6353，甚至在6次迭代内就达到了该问题的已知SOTA（2.635983）。
Aster的核心创新在于显著提升了每次迭代的有效性，使得系统能在极少的迭代次数内完成高质量的科学发现。与现有框架将LLM简单用作代码变异工具不同，Aster通过更精细的提示工程和上下文管理，让LLM能够充分利用其在大规模代码语料上预训练获得的知识来进行有针对性的代码改进。这意味着LLM不是在做随机搜索，而是在做有方向的、基于理解的代码优化。例如，在Erdos最小重叠问题中，前人SOTA使用600段分段函数，而Aster在40次迭代后生成了8192段的精细分段函数，展现出对问题结构的深层理解。在NanoGPT Speedrun中，Aster仅用8次迭代就通过精细调整Triton kernel的内存加载和避免不必要的重计算，将训练时间从96.8秒缩短到95.2秒。这种效率提升的本质在于Aster能够做出更有信息量的代码修改，而非依赖大量随机尝试。
方法步骤详情
Aster的工作流程可分为以下步骤：(1) 初始化阶段，接收用户提供的初始程序 $P_0$、评估脚本 $E$ 和任务描述提示词。系统将这些信息组织为结构化的提示。(2) 程序生成阶段，LLM根据当前提示（包含任务描述、初始程序和数据库中的历史信息）生成改进后的程序 $P_i$。提示词模板的设计使LLM能够理解任务目标并参考过往成功和失败的经验。(3) 评估阶段，评估脚本 $E$ 对新程序 $P_i$ 进行自动化的性能评估，生成定量的性能指标（如MSE、运行时间、损失值等）。(4) 数据库更新阶段，程序代码 $P_i$ 及其对应的评估结果被存入数据库。数据库同时记录每次迭代的元信息，为后续迭代提供丰富的上下文。(5) 迭代循环，系统返回步骤(2)，利用更新后的数据库信息继续生成下一个改进版本。整个过程持续进行，直到达到预设的迭代次数上限或性能目标。在ZAPBench实验中，作者展示了该系统能处理长时间评估任务——他们进行了两轮运行（第一轮20次迭代、1小时超时；第二轮14次迭代、3小时超时），共约两天半完成34次迭代。
技术新颖性
Aster的技术新颖性体现在多个层面。首先，在系统设计层面，Aster证明了一个重要的假设：通过提升单次迭代的质量而非数量，可以大幅压缩总迭代次数。这与主流思路（增加并行度、扩大搜索规模）形成了鲜明对比。其次，在方法论层面，Aster展示了LLM的内在编码知识在被正确引导时可以产生极高质量的代码修改，甚至超越人类专家数十年的积累——在Erdos问题中，Aster用8192段函数取代了此前人类SOTA的600段函数，发现了更精细的数学构造。第三，在应用范围层面，Aster首次将自主发现系统成功应用于需要长时间评估的任务。ZAPBench实验表明，Aster仅用34次迭代（约2.5天）就达到了此前需要16块A100训练36小时才能达到的人类最佳MAE 0.0182，计算量减少了190倍。此外，Aster是第三个为NanoGPT Speedrun Record做出贡献的AI系统（继Hiverge和Locus之后），且贡献了最大的AI速度提升（1.6%），超过了Locus的0.9%和Hiverge的1.3%。
实验结果
Aster在五个不同领域的科学发现任务上均取得了显著成果。在数学领域（Erdos最小重叠问题），Aster经过40次迭代达到了0.380874的新上界，超越了TTT-Discover的0.380876记录，其构造函数使用了8192段分段函数，远超此前SOTA的600段。在GPU kernel工程（TriMul优化）中，Aster经过70次迭代将NVIDIA H100上的TriMul kernel运行时间优化到1114微秒，优于TTT-Discover的1161微秒，减少了47微秒。在生物学（单细胞去噪）任务中，Aster经过30次迭代将MSE从TTT-Discover的0.154降低到0.150，平均分从0.709提升到0.711，同时Poisson指标保持在0.049（仅略高于TTT-Discover的0.048）。在语言模型训练（NanoGPT Speedrun）中，Aster仅用8次迭代就将训练时间从96.8秒缩短到95.2秒，实现了1.6%的速度提升，是所有AI系统中最大的贡献。在神经科学（ZAPBench）任务中，Aster经过34次迭代达到了与人类最佳方案相同的MAE 0.0182，但计算量仅为人类方案的1/190。值得注意的是，Aster在所有任务上都取得了SOTA或与SOTA持平的结果，展示了其广泛的适用性。在圆填充基准测试中，Aster仅需5-6次迭代即可达到OpenEvolve需要115次迭代才能达到的水平，验证了其超过20倍的迭代效率提升。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 圆填充（Circle Packing, 26 circles） | packing score（越高越好） | 2.6353（5次迭代），2.635983 SOTA（6次迭代） | OpenEvolve: 2.634（115次迭代） | 迭代次数减少约20倍，且达到已知SOTA |
| Erdos最小重叠问题 | overlap上界（越低越好） | 0.380874 | TTT-Discover: 0.380876；人类最佳: 0.380927 | 超越前AI SOTA 0.000002，超越人类最佳 0.000053 |
| 单细胞RNA去噪（PBMC数据集） | Mean Score（越高越好） | 0.711（MSE 0.150, Poisson 0.049） | TTT-Discover: 0.709（MSE 0.154, Poisson 0.048）；人类最佳MAGIC: 0.641 | Mean Score提升0.002，MSE降低0.004 |
| TriMul GPU kernel优化（H100） | 运行时间（微秒，越低越好） | 1114 us | TTT-Discover: 1161 us | 运行时间减少47 us（约4%） |
| NanoGPT Speedrun（8xH100） | 训练时间（秒，越低越好） | 95.2秒 | 前记录: 96.8秒 | 减少1.6秒（1.6%速度提升） |
| ZAPBench神经活动预测 | MAE（越低越好） | 0.0182 | 人类最佳UNet: 0.0182（16xA100训练36小时） | 匹配人类最佳，计算量减少190倍 |
局限与改进
尽管Aster在多个任务上取得了令人瞩目的成果，但论文存在一些明显的局限性。首先，在对比基准方面，论文主要将Aster与OpenEvolve进行效率比较，但OpenEvolve只是众多自主发现框架中的一个。论文未与其他重要框架（如FunSearch、AlphaEvolve等）进行系统性对比，使得20倍加速的宣称缺乏更广泛的上下文。其次，在消融实验方面，论文未提供Aster各组件贡献的详细分析——我们不知道数据库历史信息、提示词模板设计、模型选择策略等因素分别对性能提升贡献了多少。第三，在ZAPBench任务中，Aster虽然匹配了人类最佳性能（MAE 0.0182），但Aygun等人使用树搜索系统在同一任务上达到了更优的0.0176 MAE，论文对此的讨论较为简略。第四，论文对Aster的具体技术细节披露有限——关于提示词模板的具体设计、数据库中存储和检索历史信息的机制、LLM如何利用上下文进行有针对性改进等关键细节，论文缺乏深入描述，这可能影响其他研究者的理解和复现。此外，作者承认Aster在ZAPBench运行时仍在持续改进，被人为截断，暗示其实际潜力可能未被完全展示，但也意味着实验设置不够统一。
独立分析的弱点
论文存在几个值得关注的弱点。第一，对比范围不足：Aster仅与OpenEvolve进行了详细的迭代效率对比，而未与FunSearch、AlphaEvolve、TTT-Discover等其他知名框架进行同等深度的比较。在多个任务中，Aster的实际性能数字与TTT-Discover非常接近（如Erdos问题仅差0.000002），论文过度强调迭代效率而对最终性能差距的讨论不够充分。改进方向：应在统一的实验设置下，与更多框架进行全面的效率和性能对比。第二，技术细节不透明：论文未披露Aster的具体算法实现——提示工程策略、数据库检索机制、LLM的上下文窗口管理方式等关键信息缺失，使得读者难以理解20倍加速究竟来自哪个具体的技术决策。改进方向：提供更详细的方法描述和消融实验。第三，评估任务多样性有限：虽然覆盖了5个领域，但这些任务的评估时间从几秒到几小时不等，论文未系统地分析Aster在不同评估时长任务上的表现如何随任务复杂度变化。改进方向：设计更系统的实验来评估Aster在不同评估时长下的scaling行为。第四，ZAPBench实验的两轮运行（不同的超时设置）表明Aster的迭代预算设置需要大量人工调试，这在一定程度上削弱了自主发现的主张。
未来方向
基于Aster的成果，未来研究可以在以下几个方向展开。作者提到的最直接方向是将Aster应用于更多需要长时间评估的任务——ZAPBench实验已经证明了Aster在这类任务上的可行性，未来可以扩展到更大规模的模型训练、药物分子设计中的长时间模拟、复杂物理系统的数值求解等场景。其次，可以探索Aster与其他自主发现框架的混合策略——例如，用Aster快速找到一个有前景的初始方向，然后用更多迭代的精细搜索来进一步优化。第三，Aster的迭代效率提升提示我们可以重新审视此前因评估时间过长而被认为不可行的科学发现任务，这可能打开全新的应用领域。第四，可以研究Aster的迭代效率是否可以进一步提升——20倍加速是否已经是理论极限，还是通过更好的提示策略和上下文管理可以实现更大的突破。此外，基于Aster在NanoGPT Speedrun上的成功，将其应用于更多ML系统优化任务（如分布式训练策略、模型架构搜索等）也是一个有前景的方向。作者指出Aster是第三个为NanoGPT Speedrun Record做出贡献的AI系统，表明AI在ML优化领域的应用正在加速发展。
复现评估
从复现的角度来看，Aster论文存在一些挑战。论文提到Aster可以通过Web界面和API在asterlab.ai访问，这意味着研究者可以通过商业API来使用Aster，但无法完全复现其内部算法。论文未提供源代码、训练数据或详细的算法伪代码，这严重限制了独立复现的可能性。在算力需求方面，Aster使用了Gemini 2.0 Flash（80%）和Claude 3.7 Sonnet（20%）作为底层模型，需要相应的API访问权限和费用。在评估端，不同的任务需要不同的硬件配置——圆填充和Erdos问题可以在CPU上运行，TriMul优化需要NVIDIA H100，ZAPBench需要NVIDIA T4 GPU，NanoGPT Speedrun需要8块H100。论文使用的评估脚本部分来自TTT-Discover仓库的公开资源，这降低了复现评估环节的难度。然而，由于Aster的核心创新可能在于提示词设计和数据库管理策略的细节，而这些细节在论文中未充分披露，因此即使使用相同的底层模型和评估脚本，独立研究者也难以精确复现Aster的20倍加速效果。总体而言，Aster的可复现性评级为中等偏低——API访问可行，但完整复现困难。
论文图表