面向自主长期机器学习研究工程

AiScientist通过文件总线协议和分层团队实现长期ML研究自动化

前置知识

长期工程

长期工程是指需要在多轮迭代中保持项目状态连续性的任务。在ML研究中，这包括理解论文、实现代码、运行实验、诊断失败、迭代改进等阶段，每个阶段都会产生决策相关的证据，后续阶段必须能够访问和理解这些证据。关键挑战在于agent调用是短暂的，而研究进度必须是累积和持久的。

本文核心解决的问题就是如何让智能体系统在长期工程任务中保持连贯的进度，理解这个概念是理解论文创新点的基础。

文件总线协议

File-as-Bus是一种基于工件介质的协调协议，与传统基于对话的状态传递不同，它要求agent通过发布和消费持久化工件来协调。工作空间作为项目进度的系统记录，包含不同更新模式的工件：追加式日志（保存时间序列证据如实现日志和实验诊断）、版本化工件（维护规范当前状态并保留历史版本如计划和分析报告）、可变状态（存储短期控制信息）。

这是论文的核心创新，理解这个协议如何实现角色连续性和项目连续性对把握AiScientist的设计思想至关重要。

Agent-as-Tool抽象

这是Orchestrator的控制抽象，将专家调用视为与普通工具使用相同的操作空间。Orchestrator通过at = π0(ct, mt)选择操作，其中at属于T0并集A1，T0是原生工具集，A1是Tier-1专家集合。这使得委托具有选择性：Orchestrator可以直接执行轻量级操作，并在下一步需要专门专业知识或更长局部视野时调用专家。

这个抽象解释了AiScientist如何实现细控制，即通过紧凑的摘要和工作空间映射而非完整项目历史来进行阶段级决策。

研究动机

现有的agentic系统在AI研究的某些环节取得了进展，如想法生成、文献综合、代码生成等，但将未充分说明的研究目标转化为可运行、经过实验验证的ML系统仍然是核心瓶颈。实际困难在于这些环节之间的工程循环：解释研究规范、构建可工作实现、设置数据和环境、运行实验、诊断失败、改进系统直到经验证据支持预期声明。在严格的评估中，在PaperBench上，最好的agent仅达到复制评分的21%，而顶级的ML博士在48小时预算下能达到41%。核心系统问题是agent调用是短暂的，而研究进度必须是累积和持久的，这产生了角色连续性（专家必须能够恢复先前的角色级工作）和项目连续性（不同角色必须围绕跨整个项目产生的共享证据进行协调）两个连续性要求。

本文的目标是本文的目标是设计一个能够满足角色连续性和项目连续性要求的系统，使agent能够将未充分说明的研究目标转化为可运行的ML系统，并在延迟的、混杂的实验反馈下维持累积的项目进度。具体而言，系统需要解决如何将短暂的agent活动转换为持久的、可检查的项目进度这一核心问题。

与已有工作不同的是，与现有工作的区别在于本文聚焦于长期ML研究工程这一特定操作设置，并识别出两个关键连续性要求作为中心瓶颈。现有单智能体系统必须在有限的活跃上下文中承载扩展的分析历史、代码更改、日志和诊断推理；多智能体系统可以分发工作，但经常通过可能省略后续调试和改进所需详细证据的压缩交接来传递状态。AiScientist通过细控制厚状态的设计来同时解决这两个问题，这是本文的独特切入角度。

核心方法

AiScientist通过两个耦合机制实现细控制厚状态：用于持久状态连续性的File-as-Bus协议和用于轻量级阶段级控制的分层研究团队。File-as-Bus是工件介质的协调协议，agent通过发布和消费持久化工件来协调，工作空间作为项目进度的系统记录。分层研究团队包含Orchestrator和多个专家，Orchestrator通过紧凑摘要、高级指令和紧凑的工作空间映射来维护阶段级进度，而不需要在活跃上下文中承载完整的项目历史。专家包括论文理解专家、优先级专家、实现专家、实验专家和通用助手接口。这种设计使得详细的本地推理和紧凑的全局控制得以共存。

核心创新点是细控制厚状态的系统设计。细控制通过分层研究团队和Agent-as-Tool抽象实现，Orchestrator通过紧凑摘要和工作空间映射而非完整历史来做出决策。厚状态通过File-as-Bus协议实现，决策相关的状态被外部化为持久的项目工件而非留在短暂的对话中。这种工件支持支持角色连续性，因为新调用的专家可以检查其角色拥有的工件（如实现理由或实验笔记）来恢复先前工作；也支持项目连续性，因为专家基于相同的记录系统做出决策，包括论文分析、计划、实验记录、失败诊断和结果摘要。与通过压缩对话交接状态的方法的本质区别在于，File-as-Bus保留了详细证据的完整可检查性。

方法步骤详情

AiScientist运行自适应的研究工程循环而非刚性的单通道流水线。早期阶段将未充分说明的研究目标转化为执行计划和可运行的脚手架：代码、配置、设置路径、资源获取过程和可以重复扩展和评估的入口点。一旦这个脚手架存在，进度由交替的实现和实验驱动，每次运行产生可执行的证据如失败、部分成功、指标差距、瓶颈和结果差异。Orchestrator使用工作空间映射和记录的证据选择下一个干预，如修补实现、修订数据处理或配置、重新运行实验，或在假设失效时返回早期分析。具体步骤包括：1）论文理解专家从研究规范中提取实现相关细节、目标指标、提议方法、基线、模糊性和假设；2）优先级专家将论文理解转换为有序的执行计划，按依赖性、影响和可行性对任务进行排名；3）实现专家构建或修补系统，处理设置和资源集成，并记录主要的代码端决策；4）实验专家执行管道，将结果与目标目标比较，并记录结果、失败和诊断。

技术新颖性

技术新颖性体现在三个方面：首先，File-as-Bus协议不仅是一个共享存储，而是一个工件介质的协调协议，通过区分追加式日志、版本化工件和可变状态三种更新模式来匹配不同的生命周期；其次，Agent-as-Tool控制抽象将专家调用与工具使用统一在相同的操作空间中，实现了选择性委托；第三，证据驱动的研究工程循环将延迟反馈转换为累积进度，失败被记录为持久工件后成为可检查的项目证据而非孤立的本地错误。与现有工作相比，AiScientist不是简单地增加交互轮次，而是通过持久工件基础和路由异构工作到专门角色的控制结构来组织长期工程工作。

**Figure 2**: Overview of AiScientist. A top-level Orchestrator maintains thin control through stage-level directives, concise summaries, and a compact workspace map. Specialized agents perform paper comprehension, task prioritization, implementation, experimentation, and auxiliary exploration, while coordinating through a File-as-Bus workspace that serves as the system of record.

实验结果

在PaperBench完整评估中，AiScientist在两个backbone上都持续超越最强匹配基线：使用Gemini-3-Flash提升9.92分，使用GLM-5提升11.15分。这些提升在比IterativeAgent低得多的成本下获得：在Gemini-3-Flash下每个任务15.67美元对比27.44美元，在GLM-5下12.20美元对比54.90美元。在MLE-Bench Lite上，AiScientist在两个backbone下都达到81.82 Any Medal百分比，使用Gemini-3-Flash比最强匹配基线提升4.55分，使用GLM-5提升16.67分。消融实验支持连续性主张：移除File-as-Bus使PaperBench分数降低6.41分，使MLE-Bench Lite Any Medal百分比降低31.82分。长期改进动态分析显示AiScientist开始较慢（早期花在任务理解、规划和脚手架构建上），但在两个参考基线基本趋于平缓后继续改进。成对领先率曲线显示AiScientist在平均得分超过参考基线之前已经在大多数成对比较中领先，因为早期获胜可能较窄而一些剩余损失仍然较大。收敛时间分布显示许多运行不会在早期达到最终最佳得分。机制分析表明移除File-as-Bus后，Valid Submission和Bronze基本保持，而Above Median、Silver、Gold和Any Medal显著降低，这表明File-as-Bus对产生最小可运行起点不如对保留后几轮诊断和改进的证据重要。

**Table 1**: Main results on PaperBench full evaluation. Codex with GPT-5.5 xhigh is shown as a frontier harness reference; red values indicate AiScientist's gains over the strongest matched baseline. Bold and underlined denote the best and second-best results within each backbone block.

**Table 2**: Main results on MLE-Bench Lite. Values are percentages reported as mean ± SEM over three runs/seeds following the MLE-Bench convention. Official leaderboard rows are contextual references, the Codex/GPT-5.5 xhigh row is a frontier harness reference evaluated under our setup, and controlled evaluation rows are matched comparisons.

**Figure 1**: AiScientist autonomously improving performance on a competition-style ML task over 23 hours. On MLE-Bench Lite's Detecting Insults task, it conducted 74 experiment cycles without human intervention, raising validation AUC from 0.903 to 0.982 through 18 best-so-far updates.

**Figure 3**: Long-horizon improvement dynamics on MLE-Bench Lite under GLM-5. (a) Mean validation best-so-far normalized score with ±1 SEM across task–seed trajectories. (b) Pairwise lead rate of AiScientist against AIDE and Codex, with binomial standard error. (c) Cumulative distribution of when runs first reach their final best score.

**Figure 4**: Mechanism analysis of AiScientist under GLM-5. Left: PaperBench ablations show that both hierarchical organization and File-as-Bus contribute to replication performance; removing File-as-Bus alone lowers score by 6.41 points. Right: on MLE-Bench Lite, File-as-Bus removal preserves first-pass validity but substantially reduces medal-level outcomes, indicating that durable state continuity primarily supports later-round refinement.

**Figure 5**: Stage-level workflow-step allocation on PaperBench under GLM-5. Grouping steps by workflow stage enables comparison across different methods.

**Figure 6**: Workflow-step allocation for higher- and lower-scoring PaperBench trajectories under GLM-5. Tasks are split by final PaperBench score, separately for AiScientist and its variant without File-as-Bus.

查看结构化数据

任务	指标	本文	基线	提升
PaperBench完整评估（20个任务）	平均分数	30.52 (Gemini-3-Flash) / 33.73 (GLM-5)	20.60 (IterativeAgent Gemini-3-Flash) / 22.37 (IterativeAgent GLM-5)	+9.92分 / +11.15分
PaperBench完整评估	平均成本/任务	15.67美元 (Gemini-3-Flash) / 12.20美元 (GLM-5)	27.44美元 (IterativeAgent Gemini-3-Flash) / 54.90美元 (IterativeAgent GLM-5)	成本降低43% / 78%
MLE-Bench Lite	Any Medal%	81.82% (Gemini-3-Flash, GLM-5)	77.27% (LoongFlow Gemini-3-Flash) / 65.15% (ML-Master 2.0 GLM-5)	+4.55% / +16.67%
MLE-Bench Lite	Above Median%	86.36% (Gemini-3-Flash) / 89.39% (GLM-5)	77.27% (LoongFlow Gemini-3-Flash) / 80.30% (ML-Master 2.0 GLM-5)	+9.09% / +9.09%
PaperBench消融实验	平均分数	33.73	AiScientist w/o File-as-Bus: 27.32	-6.41分
MLE-Bench Lite消融实验	Any Medal%	81.82%	AiScientist w/o File-as-Bus: 50.00%	-31.82%

局限与改进

作者在论文中提到了一些局限性。首先，PaperBench评估成本高昂，一次完整的20任务评估大约花费832美元，这限制了大规模重复评估。其次，虽然AiScientist在两个backbone上都显示出一致的改进，但性能在不同任务间存在显著变化，例如在PaperBench上，任务分数从8.34分到64.94分不等。第三，系统依赖特定的backbone LLM，虽然论文在Gemini-3-Flash和GLM-5上都进行了评估，但其他模型的性能尚未探索。此外，作者没有讨论系统在新领域的泛化能力，目前的评估集中在ML研究的特定场景。我也观察到一些额外的局限性：系统需要在每个任务上分配H20 GPU和24小时预算，这在实际应用中可能是不可接受的资源开销；多智能体协调的复杂性可能在大规模部署时成为瓶颈；File-as-Bus协议的schema设计需要针对不同领域进行调整，这可能限制了即插即用的适用性。

独立分析的弱点

AiScientist的几个弱点值得改进。首先，系统在早期阶段较慢，因为它需要花在任务理解、规划和脚手架构建上，这对于需要快速原型的场景可能是不可接受的。改进方向是引入增量式脚手架构建，允许在部分理解后就开始执行，并随着更多理解而逐步完善。其次，性能在不同任务间变化显著，一些任务如ftrl和rice得分很低（低于11分），这表明系统在某些类型的研究规范上可能特别困难。改进方向是分析这些失败任务的共同特征，开发专门处理这些场景的专家或工具。第三，系统依赖每个任务24小时预算和H20 GPU，这在实际应用中可能过于昂贵。改进方向是引入资源感知的规划，根据任务复杂度和可用资源动态调整预算分配，并探索在更小资源设置下的有效策略。第四，File-as-Bus协议的schema是固定的，这可能不适用于所有研究领域。改进方向是开发自动schema推理或领域特定的schema模板。

未来方向

作者提出的未来研究方向包括探索File-as-Bus协议的扩展，如支持更丰富的工件类型和更新模式，以及研究如何让专家自适应地调整其行为基于持久工件中记录的证据。基于论文成果可以延伸的方向包括：1）将AiScientist应用于更广泛的研究领域，如生物学、化学或社会科学，验证细控制厚状态设计的通用性；2）研究如何让系统学习从过去项目中迁移经验，例如跨项目的工件检索和复用；3）探索动态专家形成，即根据项目需求自动生成或分解专家角色；4）研究在资源受限设置下的有效策略，例如多任务资源共享和调度；5）开发更细粒度的进度跟踪和诊断工具，帮助理解系统在哪些阶段遇到困难以及如何改进。这些方向都有助于将长期AI研究自动化从实验室原型推向实际应用。

复现评估

论文提供了相对详细的复现信息。系统使用两个backbone LLM：Gemini-3-Flash和GLM-5，每个运行分配一个H20 GPU和每个任务24小时预算，匹配标准设置。对于PaperBench完整评估，论文遵循官方评估协议并使用GPT-5.4作为评分模型。然而，论文没有提供开源代码或实现细节，这使得完全复现具有挑战性。数据集方面，PaperBench和MLE-Bench Lite是公开的基准，但访问可能需要特定权限。算力需求非常高：一次完整的20任务PaperBench评估大约花费832美元，这实质上限制了大规模重复评估。MLE-Bench Lite评估也遵循MLE-Bench约定，报告3次运行/种子的平均值加减SEM。虽然论文报告了详细的消融实验和行为分析，但没有提供这些分析的代码或数据。总体而言，复现难度较高，主要受限于高昂的计算成本和缺乏开源实现。

面向自主长期机器学习研究工程 Toward Autonomous Long-Horizon Engineering for ML Research