AutoScientists：面向长期科学实验的自组织智能体团队 AutoScientists: Self-Organizing Agent Teams for Long-Running Scientific Experimentation
自组织AI智能体团队，通过动态协作进行长期科学实验探索
前置知识
强化学习与探索-利用困境
在未知环境中决策时，智能体需要在探索新策略和利用已知的优策略之间权衡。通过累积奖励信号逐步优化策略，但在长期任务中容易陷入局部最优。
本文的核心是多个智能体如何在搜索空间中协作探索不同的研究方向，避免重复探索失败方向并持续发现新的改进。
分布式协作与去中心化协调
多个自主实体通过共享状态、局部决策和相互通信来达成集体目标，无需中央控制器。每个实体基于观察到的全局状态自主决策，通过交互涌现出有效行为。
AUTOSCIENTISTS的关键创新在于智能体通过共享论坛和实验状态实现自组织，形成团队、批评提议、重定向探索，而不是依赖中央规划器分配任务。
科学实验流程与假设检验
科学研究的标准流程包括生成假设、设计实验、执行实验、分析结果、修订假设。实验结果用于支持或否定假设，失败的实验同样有价值，能排除错误的研究方向。
论文将科学实验形式化为程序优化问题 $\max_{p \in \mathcal{P}} \ell_{\text{eval}}(p; D)$，智能体不断提出新程序$p$在数据集$D$上评估，目标是最小化验证损失。
研究动机
现有的AI科学代理系统通常遵循单一研究轨迹或通过中央规划器进行协调，这导致在长期科学实验中面临三个关键问题：无法维持多个竞争假设的并行探索、当实验证据变化时难以自适应调整研究方向、长期实验中无法保留失败方向的知识从而重复探索。例如，在药物发现任务中，可能需要同时探索化合物设计、特征工程、模型架构等多个维度，单一智能体只能顺序尝试，效率低下且容易陷入局部最优。在BioML-Bench的24个生物医学任务中，Autoresearch等单智能体方法的平均排行榜百分位仅为66.07%，在药物发现领域更是只有46.16%，显示出明显的性能瓶颈。
本文的目标是本文的目标是设计一个去中心化的自组织AI智能体团队系统，能够在长期科学实验中：动态形成团队围绕有前景的假设进行并行探索；在实验执行前通过共享论坛批评和筛选提议，避免浪费计算资源；记录并分享成功和失败的实验结果，减少冗余探索；当性能停滞时重新组织团队，转向新的研究方向。目标是证明在相同的实验计算预算下，通过自组织团队的协作，能够在生物医学机器学习、语言模型训练优化、蛋白质适应性预测等多个科学领域超越现有的单智能体和中央协调式多智能体方法。
与已有工作不同的是，本文的独特切入角度在于：不预设固定的搜索空间分解，而是让智能体通过讨论自然形成研究方向；不使用中央规划器分配任务，而是通过共享状态实现去中心化协调；不在实验后评估，而是在执行前通过论坛批评过滤弱提议；不只是优化单一指标，而是长期维持多个竞争假设并动态重组团队。与现有方法的关键区别在于，AUTOSCIENTISTS将长期科学实验建模为一个集体搜索过程，智能体通过共同解释共享实验状态来决定研究策略，而不是被动接受外部指令。这种设计使得系统能够在研究方向随时间变化的长期实验中持续改进，而现有方法在某个方向停滞后就难以突破。
核心方法
AUTOSCIENTISTS的整体思路是部署一个由$n$个长期运行的LLM智能体组成的团队，每个智能体在搜索过程中保持内部状态并根据累积证据更新搜索策略。系统交替进行讨论阶段和执行阶段：在讨论阶段，所有智能体分析任务、提议实验方向并通过多轮讨论自组织成$K$个团队$\{T_1, \ldots, T_K\}$，每个团队专注于一个研究方向；在执行阶段，各团队并行运行实验并将结果写入共享状态$S$。当性能在评估指标$\ell_{\text{eval}}$上停滞时，智能体触发新的讨论阶段，根据累积的实验证据重新组织团队。整个过程通过共享状态$S$协调而非中央规划器，每个智能体使用LLM进行决策，使方法与具体LLM无关。输出包括最终冠军程序$p^*$、模型卡和研究发现报告，其中模型卡记录模型架构、超参数和训练过程，研究记录包含失败方向、成功机制和假设演化过程。
核心创新点在于将科学实验的协调机制从中央化转向去中心化，让智能体通过共享状态和论坛讨论实现自组织。与现有方法的本质区别在于：固定分解vs动态自组织——现有方法在运行开始时就设定搜索空间的分解，而AUTOSCIENTISTS的团队通过智能体交互动态形成并随证据累积而重组；执行后评估vs执行前批评——现有方法先执行实验再评估，而AUTOSCIENTISTS在执行前通过论坛批评过滤弱提议，避免浪费计算资源；被动接受vs主动决策——现有方法的智能体接受规划器的任务分配，而AUTOSCIENTISTS的智能体自主解释共享状态并决定追求哪个假设；单线程vs并行探索——现有方法遵循单一推理轨迹，而AUTOSCIENTISTS的多团队并行探索不同方向。这种设计使得系统能够维护竞争假设、基于失败重定向搜索、在长期实验中持续改进。
方法步骤详情
方法步骤完整描述如下。初始化：系统启动时没有预设团队和方向，只有任务描述、可选的初始程序$p_0$、数据集$D$和评估指标$\ell$。共享状态$S$包含冠军程序$p^*$、实验日志$L$、共享论坛$F$和团队本地状态（实验队列$Q_k$、死端注册表$D_k$、假设文档）。讨论阶段：所有智能体读取任务规范、当前冠军$p^*$和论坛帖子$F$，早期轮次聚焦提议和评估候选方向，智能体分析$p^*$、提议修改、批评竞争提议并识别搜索空间中的空白。后期轮次将智能体组织成$K$个团队$\{T_1, \ldots, T_K\}$，每个团队分配一个研究方向。最终智能体将提议整合成花名册$R = \{(T_k, \text{axis}_k, \text{members}_k)\}_{k=1}^K$并写入$S$。执行阶段：每个团队$T_k$运行连续的提议-执行循环。分析智能体维护团队的搜索知识，每个心跳周期读取实验日志$L$，审计从未测试的研究方向，将提议发布到团队队列$Q_k$。提议根据$L$中观察到的效应大小排序，优先探索未充分利用的研究方向。实验智能体从团队队列$Q_k$认领实验，对$p^*$应用代码更改、训练并将结果记录到$L$和$F$。由于评估指标$\ell$可能随机，在经验测量的噪声带内的改进在升级到$p^*$前在第二个随机种子上确认。当团队最近实验持续失败（如连续10次实验无改进）时，智能体返回讨论并可能重新组织成新团队。当$\ell_{\text{eval}}$停滞时，触发新的讨论阶段并重新组织。输出：最终冠军程序$p^*$、模型卡和研究发现报告。
技术新颖性
技术新颖性体现在四个关键设计。去中心化自组织：智能体通过共享论坛讨论形成团队，而不是接受外部分配。这允许研究方向随着证据累积而出现和演变，避免了预定义分解的刚性。执行前批评过滤：提议在实验前经过同行批评，弱想法在计算资源投入前被过滤。这显著提高了实验选择效率，特别是在固定的实验计算预算下。跨团队知识共享：所有实验结果（包括失败）对所有智能体可见，团队通过死端注册表$D_k$避免重复探索失败方向，通过共享论坛$F$分享成功和失败机制。这使得系统能够利用累积证据优化搜索。动态团队重组：当团队停止产生改进时，智能体触发新讨论并重新组织团队，可以创建、合并、分割或重新平衡团队。这允许系统在搜索方向变化时重定向努力。消融实验显示这四个组件处理互补的失败模式而非冗余贡献同一种增益。
实验结果
核心发现包括：在BioML-Bench的24个生物医学任务上，AUTOSCIENTISTS达到平均排行榜百分位74.40%（SE 6.20%），相比Autoresearch的66.07%（SE 7.38%）提升+8.33个百分点。在药物发现领域提升最显著，从Biomni的47.91%（SE 10.77%）提升到64.52%（SE 8.37%）。在GPT nanochat训练优化中，从Autoresearch基线（val_bpb = 0.998）开始，AUTOSCIENTISTS在34个实验内达到val_bpb ≈0.978，而Autoresearch需要65个实验，实现1.9×加速。从AUTOSCIENTISTS冠军（50次实验后val_bpb = 0.9777）继续运行，AUTOSCIENTISTS在93个实验中接受7个改进达到val_bpb = 0.9730，而单智能体Autoresearch在100个实验中接受0个改进，最佳尝试仅达val_bpb = 0.9783。7个改进跨越异质研究方向（query-key规范化顺序、矩阵初始化、值嵌入门宽度等），而非集中于单一方向。在ProteinGym监督替换适应性预测的ACE2-Spike开发assay上，AUTOSCIENTISTS-Kermut将平均Spearman's $\rho$从Kermut的0.747提升到0.840，相对提升12.5%。发现的预测器是三GP集成，结合Kermut的结构核、扩展零样本特征、贪婪多样性特征选择和分位数扭曲目标。将冻结的AUTOSCIENTISTS-Kermut配方应用到全部217个ProteinGym监督替换assay，官方平均Spearman's $\rho$从0.657提升到0.700，绝对增益0.043，相对提升6.5%。消融实验显示完整AUTOSCIENTISTS在每个任务的主要指标上都获胜，最损害的消融因任务而异：移除分析师在TDC-hERG上最损害（AUROC 0.867 → 0.738），移除跨智能体反馈在Human Plasma-Protein Binding上最损害（Pearson相关0.8729 → 0.7144），移除自组织在GPT训练优化上最损害（val_bpb 0.9777 → 0.9833），独立智能体在Cell-Cell Communication上最损害（Odds Ratio 0.924 → 0.435）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| BioML-Bench (24个生物医学任务) | 排行榜百分位 | 74.40% (SE 6.20%) | Autoresearch 66.07% (SE 7.38%) | +8.33个百分点 |
| 药物发现 (9个任务) | 排行榜百分位 | 64.52% (SE 8.37%) | Biomni 47.91% (SE 10.77%) | +16.61个百分点 |
| GPT训练优化 (从基线) | 达到val_bpb≈0.978所需实验数 | 34个实验 | Autoresearch 65个实验 | 1.9×加速 |
| GPT训练优化 (从冠军) | 接受的改进数 (93 vs 100实验) | 7个改进 (达val_bpb=0.9730) | 0个改进 (最佳val_bpb=0.9783) | 7个改进 vs 0个 |
| ProteinGym ACE2-Spike (开发) | Spearman's $\rho$ | 0.840 | Kermut 0.747 | +12.5% |
| ProteinGym (全部217个assay) | 平均Spearman's $\rho$ | 0.700 | Kermut 0.657 | +6.5% |
局限与改进
作者承认的局限性包括：AUTOSCIENTISTS并非设计为比单智能体基线更LLM调用高效，它使用更多LLM令牌（尽管在同一数量级），反映其使用多个智能体进行并行推理、讨论和团队重组。在匹配的实验计算预算下，AUTOSCIENTISTS限制每任务一个H100 GPU，因此GPU绑定实验顺序执行，未充分锻炼并行实验能力。当多个GPU可用时，AUTOSCIENTISTS可以并发调度实验，但大规模扩展仍有待评估。智能体数量在运行前设置，未来需要根据任务难度动态调整。发现的分位数扭曲和排名导向模型选择改进了变体排序，但不一定改进校准回归（MSE略微增加0.006）。我观察到的局限性包括：方法的成功依赖于LLM的推理能力和代码生成质量，如果LLM不能有效批评提议或生成有意义的实验，性能会下降。团队重组逻辑基于启发式（如连续10次实验无改进触发重组），这些阈值可能需要根据任务调整。共享论坛的讨论质量取决于智能体的批评能力，如果智能体过于保守或激进，可能错过有前景的方向或浪费计算资源。系统专注于单目标优化，科学实验常涉及多个竞争目标（如准确率vs效率、召回率vs精确率），多目标优化是未解决的问题。
独立分析的弱点
独立分析的弱点包括：计算开销高——多个智能体的并行推理、讨论和团队重组需要更多LLM调用，虽然论文在相同实验计算预算下比较，但在实际应用中LLM成本可能成为瓶颈，特别是对于小型实验室或预算受限项目。改进方向包括设计更高效的讨论协议、减少智能体数量或使用蒸馏后的专用模型。团队重组的启发式阈值（如10次实验无改进触发重组）可能不适用于所有任务，快速收敛任务可能需要更敏感的阈值，而缓慢探索任务可能需要更宽容的阈值。改进方向包括根据任务特性自动调整阈值或基于统计显著性检测停滞。批评质量的不确定性——智能体的批评能力取决于LLM的领域知识，对于高度专业化的科学领域，LLM可能缺乏足够知识进行有效批评，导致错误过滤有前景的提议。改进方向包括领域知识检索、专家反馈或混合人机协作模式。单目标优化局限——系统专注于优化单一指标$\ell_{\text{eval}}$，但科学实验常涉及多目标权衡，如药物发现中需要平衡活性、毒性、合成成本。改进方向包括扩展为多目标优化、引入Pareto前沿或人类偏好建模。缺乏显式的不确定性量化——系统不显式建模实验结果的不确定性，当指标随机时仅通过第二种子确认，这在统计上可能不充分。改进方向包括贝叶斯优化集成、不确定性感知的提案排序或主动学习。
未来方向
作者提出的未来方向包括：动态团队规模——根据任务难度动态调整智能体数量，简单任务使用少量智能体节省成本，复杂任务使用大量智能体充分探索。GPU预算下的扩展性评估——研究AUTOSCIENTISTS如何随GPU预算扩展，特别是在大规模并行实验设置下的性能和效率。多目标优化扩展——将系统优化到多目标排行榜，包括MSE等指标，使其适用于科学实验中常见的权衡场景。我基于成果可延伸的方向包括：领域知识集成——将领域数据库、文献和工具集成到智能体的推理过程中，增强其在专业科学领域的批评和提议能力。人机协作模式——设计人类可以参与论坛讨论、提供专家反馈或调整探索策略的接口，结合AI的探索能力和人类的领域洞察。科学知识图谱构建——利用系统累积的实验记录、失败方向和成功机制，自动构建特定领域的知识图谱，指导未来的研究探索。跨任务迁移学习——研究在一个任务上学到的团队组织模式、批评策略和探索启发式如何迁移到新任务，减少冷启动时间。可解释性增强——开发工具解释智能体的决策过程、团队重组原因和提议批评逻辑，提高系统的透明度和可信度。增量学习——设计系统在新数据到来时增量更新知识，而无需从头开始搜索，适用于持续演变的科学领域。
复现评估
复现评估如下。开源情况：论文提供了AUTOSCIENTISTS网站和代码，包括完整的系统实现、实验配置和复现指令。数据：BioML-Bench是一个公开基准，包含24个生物医学任务，每个任务提供自然语言任务描述、训练数据、测试输入和示例提交格式。GPT nanochat训练优化使用公开的nanochat代码仓库。ProteinGym是一个公开的蛋白质适应性预测基准，包含217个深度突变扫描assay。算力：所有实验使用H100 GPU，AUTOSCIENTISTS团队由3个分析智能体和6个实验智能体组成。BioML-Bench实验限制每任务一个H100 GPU以确保公平比较，GPT训练优化和ProteinGym使用单个H100。难度：中等。系统是LLM无关的，使用Claude Code编码代理和Claude Sonnet 4.6作为基础LLM。替换为其他LLM可能需要调整提示词。实验脚本和评估协议详细记录在附录中，包括消融实验设置和不同团队规模的初步探索。主要挑战在于需要H100 GPU访问和足够的LLM API额度，但核心算法不依赖专有硬件。
论文图表
