EvoMaster：面向大规模智能体科学的基础演化式智能体框架 EvoMaster: A Foundational Agent Framework for Building Evolving Autonomous Scientific Agents at Scale
面向科学发现的基础演化式智能体框架，四基准全面领先基线。
前置知识
LLM智能体（LLM Agent）
以大语言模型为决策核心、通过工具调用与环境交互完成复杂任务的自主系统。Agent接收目标后由LLM推理、规划、调用工具、观察结果、迭代推进，与纯对话LLM的关键区别在于可调用外部API、维护执行轨迹、读写文件或执行代码。
EvoMaster正是构建在GPT-5.4之上的多领域LLM Agent框架，理解Agent的reason→act→observe循环才能看懂后文提出的'演化'与'多智能体协作'机制如何落到位。
Model Context Protocol（MCP，模型上下文协议）
Anthropic 2025年提出的开放标准协议，把外部工具和数据源以统一接口暴露给LLM。工具侧实现标准server，Agent侧通过client发现、调用、组合工具，类似'Agent领域的USB协议'，是模块化Agent生态走向互通的底层基础设施。
EvoMaster能力层原生支持MCP，使任何MCP兼容的科学工具都能秒接为EvoMaster的'标准工具'，这是其'模块化组合性'能在大规模生态中生效的核心抓手。
多智能体协作（Multi-Agent Collaboration）
将复杂任务分解给多个具备不同角色（如solver求解、critic批评、rewriter重写、planner规划）的LLM Agent，通过串行、并行、迭代peer-review等拓扑共同求解。HLE上Solve→Critique→Rewrite→Select四阶段流水线是这一范式的典型实现。
EvoMaster的'多智能体协作演化'原则正是这一思想的形式化，solver与critic的配合机制是看懂HLE +202%相对提升的关键。
上下文管理与压缩（Context Management）
LLM的上下文窗口有限，长时间运行的Agent必须主动管理历史：包括滑动窗口截断、关键信息摘要、工具结果压缩、跨轮次记忆提取。ContextManager决定Agent能否在数百轮对话中保持稳定推理。
EvoMaster宣称能在MLE-Bench上跑24小时、迭代最多20轮改进方案，没有智能的上下文管理（动态LLM摘要+滑动窗口）是不可能做到的；这是其'持续演化'能力的技术前提。
工具调用（Function Calling / Tool Use）
LLM按预定义的JSON Schema输出结构化参数，宿主程序解析后调用外部函数（搜索、代码执行、PDF解析、API等）并把结果回填给模型。工具调用的设计质量直接决定Agent的实际能力上限。
EvoMaster的Browse-Master能在BrowseComp上拿到73.3%，核心依赖就是工具调用链——Planner发出搜索query、Executor调用web search/URL fetcher/PDF extractor，每一步都是标准的tool use循环。
研究动机
当前面向科学发现的LLM Agent普遍存在两类根本缺陷。其一是'碎片化、孤岛式'开发：ChemCrow（化学）、MLAgentBench（机器学习）、PaperQA2（文献综述）等都是端到端、领域定制的单体系统，工具编排、轨迹管理、错误恢复等底盘能力在每个领域被重复实现，跨域工程经验无法迁移，支持新学科的边际成本极高。其二是'缺乏演化'机制：LangChain、LangGraph、OpenHands、OpenClaw等主流框架都采用'单次执行'范式——Agent跑一次任务就终止，既不能从失败中学习，也不在多次尝试间积累经验，与科学方法'假设-实验-修正'的本质相悖。这两点共同导致科学Agent在HLE、MLE-Bench等高难度基准上成绩远落后于专家期望（OpenClaw在MLE-Bench Lite仅得18.2%奖牌率），'AI科学家'愿景迟迟不能落地。
本文的目标是本文提出EvoMaster，目标明确：在'基础框架+持续演化'两大支柱下，为科学发现提供一个可大规模复用、可自我改进的Agent基座。具体目标三方面：（1）建立统一的科学Agent底座，让新学科的Agent只需约100行代码即可构建，避免重复造轮子；（2）内建多轮自我演化循环，让Agent像人类研究者一样在'假设-实验-反思-修订'中持续精炼策略；（3）孵化和验证完整的SciMaster生态——覆盖自主机器学习（ML-Master 2.0）、通用科学推理（X-Master）、网页检索（Browse-Master）、物理学（PhysMaster）、具身智能（EmboMaster）等多领域，证明底座的跨学科可扩展性。终极目标是让科学发现的瓶颈从'人类带宽'转移到'AI Agent架构质量'上。
与已有工作不同的是，与现有工作相比，EvoMaster的切入角度具有差异化。其一，它不是某个领域Agent的'特化'（如ChemCrow），也不是某个通用框架的'优化'（如OpenHands针对软件工程），而是定位为'科学发现的底层基础架构'，扮演类似PyTorch之于深度学习、Linux之于操作系统的角色。其二，区别于OpenClaw等通用Agent的'单次执行+人工调优'，EvoMaster把'持续演化'作为一等公民原则——通过多轮reactive loop、ContextManager、AgentSlot协作机制，把'从失败中学习'从'事后分析'提升为'框架内建能力'。其三，SciMaster生态的6+个领域Agent共享同一底层harness，使跨域算法升级（如更智能的ContextManager）能立刻惠及全部学科，这是任何单体Agent都做不到的规模化优势。
核心方法
EvoMaster的整体设计思路可以概括为'解耦+演化'两条主线。解耦方面，框架按职责拆为三层：Playground（编排层，负责多Agent协作模式与科学工作流）、Experiment（实验执行层，负责单次任务实例化与轨迹记录）、Agent（智能层，负责推理与工具调用循环），每层通过统一注册表（registry）实现可替换。演化方面，框架把多轮'reactive loop'（reason→invoke tools→observe→self-critique）作为Agent Engine的内建行为，并通过ContextManager（动态LLM摘要+滑动窗口）维持长程对话质量。在能力层，EvoMaster原生支持MCP协议（任意外部工具秒接）、Skill规范（领域知识按需加载）、统一LLM抽象（100+模型可热插拔），并通过YAML配置清单和轨迹日志系统实现科学实验的'实验可重跑、参数可追溯'。直观上，EvoMaster就像一个'科学发现的操作系统'——开发者只关心'我要做什么实验'，底座自动接管'怎么跑、怎么记、怎么演化'。
EvoMaster的核心创新在于将'基础模块化（Foundational Modularity）'与'持续自我演化（Continuous Self-Evolution）'两大原则同时内置到一个Agent框架中，并在演化机制中显式区分了'单Agent迭代'与'多Agent协作演化'两种粒度。本质区别于既有框架：（1）相对LangChain/LangGraph等通用编排框架，EvoMaster把'科学实验的轨迹记录+YAML配置+ContextManager+多Agent协作'做成开箱即用的一等公民，省去研究者从头搭建；（2）相对OpenHands/OpenClaw等'软件工程导向'的Agent，EvoMaster的所有原语都对'长程、迭代、可重跑'的科学发现场景做了深度优化；（3）相对ChemCrow/MLAgentBench等'单学科端到端'Agent，EvoMaster通过统一注册表与SciMaster生态共享底层harness，实现'一次升级、跨域收益'的飞轮效应；（4）'~100行代码'即可构建一个新学科Agent，是这套架构可扩展性的最直观证据。
方法步骤详情
EvoMaster方法步骤分七步。第一，注册与解耦：开发者通过注册表声明Playground（多Agent编排）、Experiment（实验执行）、Agent（推理）三类对象，各层独立可替换。第二，能力接入：外部工具通过MCP秒接为标准工具；领域知识通过Skill规范打包；后端LLM通过统一抽象（兼容100+模型）可热切换。第三，配置与启动：YAML manifest描述参数、prompt、工具集，框架解析后实例化Agent。第四，推理-工具-演化循环：Agent在多轮reactive loop中执行'reason→invoke tools→observe→self-critique→refine'，每步写入trajectory。第五，Context管理：接近上下文上限时动态调用LLM摘要+滑动窗口截断。第六，多Agent协作：通过AgentSlot声明solver/critic/rewriter等角色，按sequential/parallel/peer-review等拓扑协作。第七，轨迹记录：每轮对话、工具调用、token消耗记录为结构化JSON日志，保证实验可复现。
技术新颖性
技术新颖性分四层。第一，'模块化组合性'工程实现彻底——三个正交层（Playground/Experiment/Agent）+统一注册表+MCP兼容，让'100行代码新增学科Agent'从口号变为事实，SciMaster生态6+领域Agent的快速孵化为证据。第二，'演化即架构'——把'单轮reactive loop'与'多轮自批评机制'作为Agent Engine内建属性，区别于把'反思'作为外部插件的框架。第三，'分层认知缓存'是ML-Master 2.0在MLE-Bench上拿到75.8%奖牌率的关键工程优化——prefetch预取历史、round级知识提升、run级智慧提升，让Agent在多轮迭代中复用策略 $\pi^* = \arg\max_\pi \mathbb{E}_{\tau} \sum_t R(s_t, a_t)$。第四，把'科学严谨性'（YAML manifest+轨迹日志）做成框架一等公民，体现'experiment as a first-class primitive'。
实验结果
EvoMaster在四个权威基准上对OpenClaw进行头对头比较，相对提升159%~316%。HLE（跨学科专家知识闭卷测试，2500题）41.1% vs 13.6%，+202%相对提升，数学子项48.16%（+33.10%）提升最大；MLE-Bench Lite（Kaggle 22场竞赛复现）75.8%奖牌率 vs 18.2%，+316%相对提升，EvoMaster拿下17块奖牌而OpenClaw仅4块（且只提交18场），差异来自多阶段迭代pipeline（知识预取→草稿→最多20轮研究驱动并行改进）+分层认知缓存；BrowseComp（1266个复杂检索任务）73.3% vs 28.3%，+159%，Map+Search从25.0%飞跃到75.0%；FrontierScience（物理/化学/生物前沿研究）53.3% vs 18.3%，+191%，三学科子项均超50%。所有实验用GPT-5.4后端，单台RTX 4090，MLE-Bench设24小时上限。在'闭卷知识/ML工程/网页检索/科学推理'四类本质不同任务上同时大幅领先，证明'基础框架+持续演化'范式具有跨域系统性优势。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HLE（人类终极考试，跨学科专家知识闭卷测试，2500题） | Overall Accuracy (%) | 41.1% | OpenClaw 13.6% | +202%相对提升（+27.48绝对百分点） |
| MLE-Bench Lite（长程ML工程，Kaggle 22场竞赛复现） | Any Medal Rate (%)（获任意奖牌的比赛比例） | 75.8% | OpenClaw 18.2% | +316%相对提升（+57.58绝对百分点） |
| BrowseComp（深度网页信息检索，1266个复杂任务） | Accuracy (%) | 73.3% | OpenClaw 28.3% | +159%相对提升（+45.00绝对百分点） |
| FrontierScience Research（前沿科学推理，物理/化学/生物） | Average Normalized Score (%)（10分制rubric归一化） | 53.3% | OpenClaw 18.3% | +191%相对提升（+35.00绝对百分点） |
局限与改进
作者在论文Limitations小节坦诚指出一项核心局限：EvoMaster目前主要针对'in silico'（在计算机内部）的科学工作流进行优化，缺乏对'物理环境'的原生支持——例如无法直接操控自动化云实验室（cloud lab）、机器人合成硬件等真实实验设备。这一限制使框架在材料合成、湿实验、机器人化学等'需在物理世界执行'的学科中暂时无法闭环，论文提出未来要扩展'Session抽象'以桥接标准实验室自动化协议。除此之外，本人观察到的其他局限包括：（1）评测基线单一——仅与OpenClaw一个开源通用Agent对比，未与GPT-5.4原生Tool Use、Claude Code、Aider、AutoGen等更强的通用Agent或科学Agent直接对比，'+159%到+316%'的提升幅度可能存在'基线偏弱'的成分；（2）依赖专有闭源后端——所有实验均使用GPT-5.4，未开源后端权重，社区难以低成本复现极致性能；（3）单卡4090的算力限制可能让某些长程任务（如24小时MLE-Bench迭代）未能充分展示其多阶段pipeline的潜力，与工业级算力下的表现可能存在差距。
独立分析的弱点
独立分析EvoMaster的弱点，可从三个维度展开。其一，'100行代码新Agent'的可访问性优势可能存在'隐藏成本'——论文未明确披露接入新工具所需的MCP server实现成本、领域Skill的编写工时、YAML配置模板的初始搭建工作量，社区开发者实际使用中可能发现真实开发量远超100行。其二，演化机制的有效性高度依赖后端LLM的推理能力——所有Agent都用GPT-5.4驱动，未在开源模型（如Qwen3-72B、DeepSeek-V3）上验证，若切换到弱模型，self-critique与多轮迭代的失败率可能急剧上升，框架的'演化优势'可能被削弱。其三，SciMaster生态虽然领域覆盖面广，但'PhysMaster、EmboMaster、X-Master 2.0'等仍处于'Coming soon'状态，开源可用性不完整，外部研究者难以完整评估其跨域一致性。改进方向包括：（1）发布'真实开发量'统计与开发者体验调研；（2）在3-5个不同规模的开源/闭源模型上做消融，验证框架的模型无关性；（3）加快剩余Agent的开源化并提供统一评测脚本。
未来方向
作者明确指出的未来方向是'Session抽象扩展到物理实验室自动化协议'，让EvoMaster能桥接云实验室、机器人合成硬件等真实实验设备，从而支持材料合成、湿实验、机器人化学等'需在物理世界执行'的科学场景。基于论文成果还可延伸多个方向：（1）'多模态科学发现'——把论文当前以文本+工具为主的范式扩展到蛋白质结构预测（参考AlphaFold）、晶体结构发现（参考GNoME已发现2.2M新晶体）、基因序列设计等多模态场景；（2）'联邦科学Agent网络'——多个EvoMaster实例可联合学习，跨实验室共享'演化经验'，形成类似AlphaFold的社区飞轮；（3）'安全与可信演化'——为多Agent协作引入形式化验证机制，避免self-critique陷入reward hacking或错误策略固化；（4）'小模型适配'——通过蒸馏、MoE技术把GPT-5.4级别的演化能力压缩到7B-30B级别，降低科研团队的部署成本。
复现评估
可复现性方面，EvoMaster处于'中等偏好'水平。正向：（1）核心框架已在GitHub开源（github.com/sjtu-sai-agents/EvoMaster），4/7个Agent已开源，其余3个标记'Coming soon'；（2）评测用4个公开基准（HLE、MLE-Bench Lite、BrowseComp、FrontierScience），数据可下载；（3）算力明确（单卡RTX 4090+24小时MLE-Bench上限），社区友好。负向：（1）所有实验强制使用GPT-5.4作为后端LLM，未开源权重且GPT-5.4为闭源API，无API额度者无法完整复现极致性能；（2）SciMaster生态涉及大量自定义工具（学术检索API、PDF解析器），部分实现细节未充分披露；（3）FrontierScience评测作者承认'we report results from a single run'，存在方差风险。综合看，对拥有GPT-5.4 API额度、熟悉Python Agent开发的团队来说，复现4个基准的主要结果预期可行。
论文图表