EvoScientist：面向端到端科学发现的多智能体进化AI科学家框架 EvoScientist: Towards Multi-Agent Evolving AI Scientists for End-to-End Scientific Discovery
通过持久记忆和自进化机制，让多智能体AI科学家从失败中学习并持续提升研究能力
前置知识
多智能体系统（Multi-Agent System）
多智能体系统是由多个具有不同角色和职责的自主智能体组成的协作系统。在AI科学家场景中，不同智能体分别承担想法生成、实验执行、经验总结等分工，通过协调配合完成复杂的端到端科学发现任务。每个智能体可以访问共享的记忆模块，从其他智能体的经验中获取信息来改进自身决策。这种分工协作的设计使得系统能够同时处理创造性思维（如提出研究假设）和工程性任务（如编写和调试实验代码），比单一智能体更有效地完成跨阶段的科学研究流程。
EvoScientist的核心架构就是三个专门化的智能体（研究员、工程师、进化经理）的协作，理解多智能体系统的基本范式是理解本文方法论的前提。
持久记忆与检索增强（Persistent Memory & Retrieval-Augmented Generation）
持久记忆是指智能体在多次任务交互中持续存储和积累经验的能力，不同于单次对话中的短期上下文。本文中的记忆模块会记录可行的研究方向、失败的实验教训、有效的数据处理策略等，并通过嵌入向量的余弦相似度进行检索。当智能体面对新任务时，会从记忆中检索最相关的历史经验并注入到提示词中，从而指导当前决策。这种机制类似于人类科学家积累经验的过程——过去成功的经验和失败的教训都会影响未来的研究策略选择。
EvoScientist的创新核心就是两个持久记忆模块（想法记忆和实验记忆），它们是实现跨任务自进化机制的基础载体。
树搜索（Tree Search）
树搜索是一种结构化的搜索策略，将问题求解过程建模为一棵搜索树。每个节点代表一个候选方案（如研究想法或代码实现），通过分支展开生成多个子节点，再通过评估函数选择最优路径。在本文中，研究员智能体使用想法树搜索来探索想法空间：每个节点存储一个想法草案及其评审反馈，展开步骤利用反馈生成改进后的子想法。工程师智能体则使用实验树搜索来探索代码实现空间，在四个实验阶段分别搜索可执行代码。
树搜索是EvoScientist探索想法和代码空间的核心机制，理解它的工作方式对于理解系统如何生成和筛选候选方案至关重要。
Elo排名与锦标赛选择（Elo-based Tournament Selection）
Elo排名系统最初用于国际象棋等竞技运动的选手排名，其核心思想是通过成对比较来建立稳定的排名，而不是要求绝对评分。在本文中，研究员智能体生成的候选想法通过成对比较进行评估（从新颖性、可行性、相关性、清晰度四个维度打分），然后通过Elo算法聚合这些成对比较结果得到最终排名。选择Elo而非直接打分的原因是：在LLM评估场景下，成对比较比绝对评分更可靠，能够在噪声判断下产生稳定排序，且不需要评分标定。
Elo锦标赛选择是EvoScientist从众多候选想法中筛选最优方案的关键环节，直接决定了最终提交给工程师智能体执行的想法质量。
自进化智能体（Self-Evolving Agent）
自进化智能体是指能够根据累积的经验和失败自动调整自身决策策略的智能体系统。与传统的固定策略智能体不同，自进化智能体会将交互历史视为一等资源而非丢弃的执行痕迹，通过记忆系统存储和检索过去的经验，从而在面对新任务时做出更好的决策。这种进化可以发生在多个层面：想法生成策略的进化（学习哪些研究方向值得探索）、验证策略的进化（学习哪些方向容易失败）、实验执行策略的进化（学习有效的代码实现模式）。
EvoScientist的核心贡献就是将自进化机制引入端到端科学发现，使其区别于所有静态管线式的现有AI科学家系统。
研究动机
当前最先进的AI科学家系统虽然能够完成从想法生成到论文写作的端到端流程，但它们存在一个根本性的缺陷：几乎所有系统都依赖于静态的、手工设计的管线，无法根据累积的交互历史来调整想法生成或代码生成策略。这导致了三个具体问题：第一，系统会反复探索已知的失败模式，浪费大量计算资源在实验上不可行的想法上；第二，系统可能系统性地忽视有前景的研究方向，因为缺乏对过往成功经验的总结和复用；第三，在实验执行阶段，代码执行成功率较低，因为系统无法从之前的调试经验中学习有效的数据处理和模型训练策略。以AI Scientist-v2为例，虽然它引入了树搜索来探索研究轨迹，但其智能体角色和决策策略在部署后基本保持不变，累积的失败经验被丢弃而非转化为可复用的知识。
本文的目标是本文的具体目标是解决上述限制，提出一个能够从累积的成果和失败中持续学习并改进的多智能体AI科学家框架。具体而言，系统需要在两个核心维度实现持续提升：想法生成质量（包括新颖性、可行性、相关性和清晰度四个维度）和代码执行成功率（从代码搜索到实验执行的可靠性）。在端到端评估中，系统需要能够自主生成完整的、达到发表水平的研究论文，并通过学术同行评审验证其质量。
与已有工作不同的是，本文的独特切入点在于将端到端科学发现重新定义为一个学习问题，而非单纯的执行问题。已有的自进化智能体主要在单阶段或窄范围任务上进行评估，其进化机制很少被设计来支持端到端科学发现的多阶段需求。本文首次提出在统一的框架下同时实现想法生成和实验执行策略的进化，通过两个持久记忆模块（想法记忆和实验记忆）将交互历史视为一等资源，而非丢弃的执行痕迹。这种设计使得系统能够跨任务累积经验——在一个任务中获得的教训可以指导未来完全不同领域的研究任务，这在现有系统中是前所未有的。
核心方法
EvoScientist的方法可以用一个类比来理解：想象一个研究团队，其中有一位善于提出创新想法的研究员、一位擅长编写代码做实验的工程师、还有一位经验丰富的项目经理负责总结经验教训并指导未来工作。核心创新在于这位「项目经理」会将每次项目的成功经验和失败教训系统地记录下来，形成两本「笔记本」——一本记录哪些研究方向值得探索、哪些方向已被证明不可行（想法记忆），另一本记录哪些数据处理和模型训练策略最有效（实验记忆）。当团队接手新项目时，研究员和工程师会先查阅这些笔记本，避免重复过去的错误，复用成功的策略。技术路线上，整个系统由三个智能体协作：研究员智能体（RA）负责从用户目标出发，通过想法树搜索和Elo锦标赛选择生成高质量研究提案；工程师智能体（EA）负责根据提案，通过四阶段实验树搜索（初始实现、超参数调优、方法实现、消融研究）搜索可执行代码并运行实验；进化经理智能体（EMA）负责在任务结束后从交互历史中提炼经验，更新两个记忆模块，实现跨任务的多智能体进化。
EvoScientist的核心创新是三种自进化机制的协同设计，这是与已有方法最本质的区别。已有的AI科学家系统（如AI Scientist-v2）虽然也使用了树搜索来探索研究轨迹，但它们的智能体策略是固定的——每次新任务都从零开始，不利用过往经验。EvoScientist通过三种互补的进化机制打破了这一限制：想法方向进化（IDE）从排名靠前的想法中提炼有前景的研究方向，记录到想法记忆中，使得未来的想法生成不再盲目；想法验证进化（IVE）分析实验执行报告，将验证失败的方向（如提出的方法不如基线）记录为「不要重复」的教训；实验策略进化（ESE）从工程师的代码搜索轨迹和最佳实现中提炼可复用的数据处理和模型训练策略。这三种机制分别作用于想法生成的不同阶段——方向选择、可行性过滤、执行优化——形成了一个完整的经验闭环。关键区别在于：已有系统的改进仅限于单次运行内的探索（within-run exploration），而EvoScientist实现了跨任务的持续进化（cross-task evolution），每次任务的经验都会被持久化存储并指导未来决策。
方法步骤详情
EvoScientist的完整工作流程可以分为五个步骤。第一步，想法记忆检索：给定用户目标 $G$，研究员智能体通过嵌入向量余弦相似度从想法记忆 $M_I$ 中检索相关知识 $K_I = \text{Retrieve}_I(M_I, G)$，选取 top-$k_I$ 条最相关的记忆项。第二步，想法树搜索与锦标赛选择：研究员智能体结合检索到的记忆和文献综述 $L$，执行结构化的提出-评审-改进搜索，生成 $N_I$ 个候选想法 $\{(I_1, \text{rev}_1), \ldots, (I_{N_I}, \text{rev}_{N_I})\}$，每个搜索树节点存储想法草案和评审反馈；然后通过基于Elo的锦标赛从新颖性、可行性、相关性、清晰度四个维度对候选想法进行排名，保留top-3想法 $\text{Top-3}(\{(I_i, r_i)\})$ 用于后续的提案扩展。第三步，实验记忆检索与实验树搜索：工程师智能体从实验记忆 $M_E$ 中检索可复用的执行策略 $K_E = \text{Retrieve}_E(M_E, P)$，然后在四个实验阶段（初始实现、超参数调优、方法实现、消融研究）分别执行实验树搜索，每个阶段迭代生成可执行代码、运行实验、记录执行结果，失败时从日志中诊断问题并修订代码。第四步，进化经理更新记忆：任务完成后，进化经理智能体执行三种进化——（a）想法方向进化 $F_I^{DEI} = \text{IDE}(G, I_{\text{top}})$，从top-3想法中提炼有前景的方向并更新 $M_I$；（b）想法验证进化 $F_I^{VEI} = \text{IVE}(P, W)$，分析执行报告 $W$ 判断提案是否失败，若失败则记录到 $M_I$；（c）实验策略进化 $F_E = \text{ESE}(P, \{H_s^E\}_{s=1}^4)$，从代码搜索轨迹中提炼数据处理和模型训练策略并更新 $M_E$。第五步，跨任务进化：对于新用户目标，研究员和工程师智能体在执行前先检索更新后的记忆，从而实现跨任务的持续改进。
技术新颖性
EvoScientist的技术新颖性体现在三个层面。首先，在系统架构层面，它是第一个将自进化机制正式引入端到端科学发现的多智能体框架。已有的系统如AI Scientist-v2使用树搜索进行轨迹探索，但这是单次运行内的搜索，不跨任务累积经验；而EvoScientist通过持久记忆模块实现了跨任务的知识迁移。其次，在进化机制层面，三种自进化机制（IDE、IVE、ESE）分别对应想法生成的不同阶段——方向选择、可行性过滤、执行优化——形成了互补的进化链路。特别是想法验证进化（IVE），它通过规则判断（找不到可执行代码）和结果判断（方法不如基线）的双重机制来识别失败方向，这在已有工作中是首次提出。第三，在评估方法层面，本文采用了多层评估体系——自动化LLM评估、专家人工评估、以及端到端学术同行评审（提交到ICAIS 2025会议），其中6篇论文全部被接收、2篇获得重要奖项，这为AI科学家系统的能力提供了迄今为止最强的实证证据。
实验结果
EvoScientist在三个核心任务上进行了全面评估，结果令人印象深刻。在想法生成任务上，通过Gemini-3-flash的自动化评估（表1），EvoScientist在所有七个基线系统的四个维度上都取得了显著优势。与开源系统相比，平均差距（Avg. gap）从+29.17（vs AI Scientist-v2）到+93.34（vs Virtual Scientist）不等；与商业系统相比，平均差距从+46.00（vs Novix）到+80.83（vs Hypogenic）不等。特别值得注意的是，EvoScientist在新颖性和可行性两个维度上的胜率最高——这正是记忆驱动的多智能体进化设计的核心目标。在人工评估中（表2），三位博士级别的AI领域专家对EvoScientist与四个强基线（InternAgent、AI Scientist-v2、Novix、K-Dense）进行了成对比较。结果显示EvoScientist的新颖性平均胜率达到82.50%，可行性平均胜率达到64.17%。LLM评估与人工评估的总体一致率达到87.3%（524/600），其中清晰度维度最高（90.8%），可行性维度最低（83.3%），验证了自动评估框架的可靠性。在代码生成任务上（图2），实验策略进化将四个实验阶段的平均代码执行成功率从34.39%提升至44.56%，提升了约10个百分点。其中初始实现阶段（Stage 1）从29.23%提升至42.93%，提升最为显著；超参数调优阶段（Stage 2）从39.06%提升至48.94%；方法实现阶段（Stage 3）从20.33%提升至21.57%，虽然幅度较小但仍然表明进化机制在最困难的阶段也能带来改进；消融研究阶段（Stage 4）从55.12%提升至58.62%。在端到端科学发现任务中，EvoScientist自主生成的6篇完整论文全部被ICAIS 2025（AI Scientist Track）接收，会议整体接收率仅为31.71%（82篇投稿中接收26篇），其中一篇获得最佳论文奖，另一篇获得AI评审赞赏奖。消融实验（表3）进一步验证了各进化组件的贡献：移除想法方向进化（-IDE）导致新颖性Lose率达66.67%；移除想法验证进化（-IVE）导致可行性Lose率达63.33%；移除所有想法进化（-all）导致新颖性Lose率80.00%、可行性Lose率83.33%，而相关性和清晰度的变化较小（均以Tie为主，46.67%），表明进化机制主要提升的是原创性和可行性，而非表面的语言清晰度或话题相关性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 想法生成（自动评估 vs Virtual Scientist） | Avg. gap（四个维度平均差距） | +93.34 | Virtual Scientist | 新颖性Win率96.67%、可行性Win率93.33%、相关性Win率90.00%、清晰度Win率96.67% |
| 想法生成（自动评估 vs AI Scientist-v2） | Avg. gap | +29.17 | AI Scientist-v2 | 新颖性Win率63.33%、可行性Win率53.33%、相关性Win率36.67%、清晰度Win率56.67% |
| 想法生成（人工评估 vs InternAgent） | Avg. gap | +84.17 | InternAgent | 新颖性Win率66.67%、可行性Win率96.67%、相关性Win率90.00%、清晰度Win率93.33% |
| 想法生成（人工评估 vs K-Dense） | Avg. gap | +50.84 | K-Dense | 新颖性Win率96.67%、可行性Win率53.33%、相关性Win率40.00%、清晰度Win率53.34% |
| 代码生成（平均执行成功率） | Mean Execution Success Rate | 44.56%（进化后） | 34.39%（进化前） | +10.17个百分点，提升约29.6% |
| 代码生成（Stage 1: 初始实现） | Execution Success Rate | 42.93% | 29.23%（进化前） | +13.70个百分点 |
| 端到端科学发现（ICAIS 2025） | Acceptance Rate | 100%（6/6篇接收） | 31.71%（会议整体接收率） | 6篇全部接收，2篇获重要奖项 |
局限与改进
EvoScientist存在几个重要的局限性，部分由作者明确承认，部分来自我的独立观察。首先，作者明确指出评估仅聚焦于计算研究任务（即通过模拟和代码执行可以测试假设的领域），对于需要物理实验的领域（如材料科学、药物发现）的泛化能力尚未验证，这些领域需要与实验室工作流和真实世界反馈的集成。其次，系统存在理论分析能力的不足——多个案例的同行评审反馈指出缺乏更深层的理论形式化，EvoScientist优先生成可测试的提案和实验证据，但不一致地将经验发现抽象为正式理论框架。第三，在代码生成的Stage 3（方法实现阶段），执行成功率仍然很低（21.57%），表明对于复杂的新方法实现，当前的记忆和进化机制提供的帮助有限。第四，LLM评估与人工评估之间存在差异——在相关性维度上，人工评估出现了更高的Tie率（特别是对商业基线），表明主题对齐的判断具有主观性，LLM评判者可能不够可靠。第五，系统的进化能力受限于任务数量——目前仅在30个研究查询上进行了评估，随着任务量的增加，记忆模块的信息过载和检索精度问题可能成为瓶颈。第六，论文写作模块直接复用了AI Scientist-v2的设计，EvoScientist的创新集中在想法生成和实验执行阶段，未能对论文写作环节进行改进。
独立分析的弱点
我对EvoScientist的独立分析揭示了几个值得改进的弱点。第一，记忆检索的粒度问题：当前系统使用嵌入向量余弦相似度进行检索，只选取top-$k_I$和top-$k_E$条记忆项，这种粗粒度的检索可能遗漏重要但不直接相关的历史经验。改进方向是引入分层检索机制，先按领域分类再进行细粒度匹配，或使用图结构存储记忆项之间的关系。第二，Elo锦标赛的评判标准问题：当前使用LLM作为评判者进行成对比较，但LLM评判本身存在噪声和偏差（如位置偏差需要通过交换顺序来缓解）。改进方向是引入多评判者集成或人类专家的校准反馈，特别是在可行性维度上。第三，实验策略进化对复杂阶段的帮助有限：Stage 3（方法实现）的执行成功率仅从20.33%提升至21.57%，说明当前的策略提炼对于真正新颖的方法实现帮助不大。改进方向是为复杂实现引入更细粒度的调试经验记录，如记录具体的错误模式和对应的修复策略。第四，缺乏主动学习机制：当前系统是被动地从任务执行中学习，没有主动设计实验来验证记忆中的假设或填补知识空白。改进方向是引入主动探索策略，让系统识别记忆中的薄弱环节并有针对性地生成测试任务。第五，代码执行的环境隔离问题：系统在沙箱环境中执行代码，但不同任务可能需要不同的计算环境和依赖，当前缺乏环境管理的自适应机制。
未来方向
EvoScientist的作者和基于本文成果可以延伸出多个有前景的未来研究方向。首先，作者明确指出需要将系统推广到需要物理实验的领域（如材料科学和药物发现），这需要集成实验室工作流和真实世界反馈机制。其次，可以探索更丰富的进化信号来源——当前的进化仅基于成功/失败的二元信号，未来可以引入更细粒度的反馈如执行时间、资源消耗、中间结果质量等。第三，可以将进化机制从想法和代码层面扩展到智能体协作模式本身——例如，让系统自动学习在什么情况下应该增加评审轮次、在什么情况下应该扩大搜索宽度。第四，可以引入理论形式化模块，将经验发现自动抽象为形式化的定理或定律，弥补当前系统在理论分析方面的不足。第五，可以探索跨领域迁移学习——当系统在一个领域积累了丰富的经验后，能否将这些经验迁移到相关但不同的领域？例如，从NLP领域的研究经验迁移到计算机视觉领域。第六，可以引入人机协作的进化机制，让人类研究者对记忆项进行标注和修正，形成更可靠的共享知识库。
复现评估
EvoScientist的复现评估需要从多个维度考虑。在代码开源方面，论文明确提到代码已在GitHub上开源（链接在论文中），这为复现提供了基础。在数据集方面，论文构建了三个层次的评估集：30个AI领域的研究查询用于想法生成评估、对应的代码生成任务、以及6个端到端论文生成任务，论文附录中提供了完整的30个查询列表和详细的选择过程。在算力需求方面，系统使用了多个商业LLM（Gemini-2.5-Pro用于想法生成、Claude-4.5-Haiku用于代码生成、Gemini-2.5-Pro用于论文写作），加上mxbai-embed-large嵌入模型（通过Ollama本地运行），成本较高。具体配置为：想法树搜索使用21个候选想法和3个并行工作者，实验树搜索在四个阶段分别设置最大尝试次数为20、12、12、18次，使用4个并行工作者，想法检索top-$k_I$=2、实验检索top-$k_E$=1。在复现难度方面，中等偏高——虽然代码开源且使用标准的LangGraph框架，但系统的成功依赖于多个LLM的协调配合、嵌入模型的检索质量、以及精心设计的提示词工程，这些隐性知识可能在复现中造成差异。建议复现者首先从想法生成子任务开始，逐步扩展到端到端流程。
论文图表
表格报告了三位博士级AI专家对EvoScientist与4个强基线（InternAgent、AI Scientist-v2、Novix、K-Dense）的成对比较结果。人工评估进一步验证了自动评估的结论：EvoScientist的新颖性平均胜率达82.50%，可行性平均胜率达64.17%。在相关性维度上出现了更高的Tie率，表明主题对齐的判断更具主观性。
人工评估是对自动评估可靠性的重要验证，特别是作者还报告了LLM评估与人工评估的一致性（总体87.3%），增强了实验结论的可信度。
表格列出了EvoScientist自主生成并提交到ICAIS 2025（AI Scientist Track）的6篇论文的标题和评审结果。6篇全部被接收（会议整体接收率31.71%），其中一篇获得最佳论文奖（Adaptive Evidential Meta-Learning），另一篇获得AI评审赞赏奖（Hierarchical Change Signature Analysis），其余4篇为普通接收。
这是端到端科学发现能力的最强实证——6篇全部被接收且2篇获得重要奖项，为AI科学家系统的能力树立了新的标杆。