FIRE-Bench：评估智能体重新发现科学洞见的能力 FIRE-Bench: Evaluating Agents on the Rediscovery of Scientific Insights
通过让AI智能体重新发现已发表ML论文的核心发现，评估其全周期科学研究能力
前置知识
自主研究智能体 (Autonomous Research Agent)
由大语言模型驱动的智能体系统，能够自动完成科学研究的完整流程，从文献综述、假设生成、实验设计、代码实现到数据分析和结论形成。典型代表包括OpenHands（基于CodeAct架构的开源多智能体系统）、OpenAI Codex和Anthropic Claude Code。这些系统通过CLI接口运行，可以执行shell命令、操作文件、调用API，模拟人类研究者的工作方式。
FIRE-Bench的核心评估对象就是这类智能体，理解其架构和能力边界是解读实验结果的基础
受限重新发现 (Constrained Rediscovery)
FIRE-Bench提出的核心评估范式。与直接复制实验（提供完整论文和方法）或生成新论文不同，该范式只向智能体提供高层研究问题，同时隐藏原始实验设计、实现细节和结论。智能体必须独立规划实验、执行代码、分析证据，最终重新发现论文中已确立的经验性发现。这种设计在开放探索和可验证评估之间取得平衡：足够开放以允许探索性推理，又足够约束以支持基于证据的客观评估。
这是本文的核心创新点，区别于现有的复制基准和论文生成基准
研究问题树 (Research-Problem Tree T(P))
将经验分析论文的形式化结构表示为层次化树结构。树包含三类节点：根节点r表示论文的总体研究问题；中间节点vi表示逐步细化的子问题，反映作者的逻辑推理路径；叶节点lj表示完全指定的实验任务，每个任务包含数据集Dj、方法Mj和评估标准Cj，并与论文中的具体图表结果对应。自动提取过程使用gpt-5 Pro以temperature=0进行贪婪解码。
这是将论文转化为可评估任务的技术基础，理解树结构有助于理解任务设计逻辑
声明级评估 (Claim-Level Evaluation)
基于RAGChecker范式的细粒度评估方法。将智能体生成的结论和论文中的真实发现都分解为原子级、可验证的声明集合（Cagent和Cgt）。每个原子声明对应一个单一的定量、方向性或比较性经验断言。使用LLM语义蕴含分类器（gpt-5.2）将生成声明与真实声明进行匹配，计算声明级别的精确率（Precision）、召回率（Recall）和F1分数。人工验证显示该自动化评估协议的精确率为0.95、召回率为0.86、F1为0.89。
这是评估的核心指标，理解声明级评估比论文级评估更细粒度、更客观
研究动机
现有的AI科学研究智能体评估基准面临两难困境。第一类基准采用指标驱动范式，如MLAgentBench、MLE-Bench、MLRC-Bench，要求智能体在竞争性任务上提升单一性能指标（如模型准确率）。虽然客观可扩展，但单一指标无法全面反映智能体的科学推理过程，只能测量优化和工程实现能力。第二类基准采用全自动论文生成范式，如The AI Scientist和Agent Laboratory，让智能体从高层问题出发生成完整研究论文。虽然更具表达性，但大规模人工评审成本高昂，许多方法依赖LLM作为评判者，这在严谨科学评估中存在风险——LLM评判可能无法准确判断论文的科学有效性和新颖性。此外，可复现性基准如PaperBench虽然利用已有论文作为真实标签，但要求智能体直接复制原始实验，提供完整方法和预期结果，这更接近工程复制而非科学发现。
本文的目标是FIRE-Bench旨在创建一个评估框架，能够客观、可复现、端到端地测量智能体进行全周期科学研究的能力，特别是其'重新发现'已有科学洞见的能力。具体目标包括：（1）设计足够开放以允许探索但又足够约束以支持客观评估的任务；（2）避免依赖主观的论文级评判或单一性能指标；（3）提供过程级诊断以识别智能体的具体失败模式；（4）构建30个来自顶级ML会议（ICLR、ICML、NeurIPS 2024-2025）的经验分析论文任务，确保真实发现的可靠性和可验证性。
与已有工作不同的是，FIRE-Bench的独特切入角度在于'受限重新发现'范式。与现有基准不同，它不要求智能体生成新颖且未经验证的声明，而是评估其是否能重新发现已确立、非平凡的经验性发现。每个任务源自一篇高影响力的经验分析论文，智能体仅获得高层研究问题，而原始实验设计、实现细节和分析路径被隐藏。这种设计创造了约束下的开放发现问题：方法论规格被放宽以允许探索，但评估锚定在明确定义且可验证的经验结果上。这使得FIRE-Bench既不是直接复制任务（因为隐藏了方法细节），也不是自由生成任务（因为有明确的真实发现作为评估基准），而是首次系统性地将科学研究能力评估从'结果导向'转向'过程导向'。
核心方法
FIRE-Bench的整体技术路线是：首先从顶级ML会议论文中筛选适合的经验分析论文，然后通过自动化流水线将每篇论文转化为'受限重新发现'任务，最后使用声明级评估框架测量智能体的重新发现能力。直觉上，如果一个AI研究智能体真正具备科学推理能力，它应该能够从高层问题出发，独立设计实验、实现代码、运行分析，并得出与原论文一致的经验性发现。这种方法的核心优势在于：真实发现已经过同行评审和验证，无需额外的人工验证成本；声明级评估比论文级评判更细粒度、更客观；错误诊断框架可以精确定位智能体在研究流水线中的具体失败点。
核心创新点是将科学研究能力评估从'生成新颖性'转向'重新发现验证'。与已有方法的本质区别在于：（1）相比指标驱动基准（MLAgentBench等），FIRE-Bench评估的是完整的科学研究推理过程而非单一优化目标；（2）相比论文生成基准（The AI Scientist等），FIRE-Bench使用已确立的真实发现作为评估基准，避免了LLM评判的主观性；（3）相比复制基准（PaperBench等），FIRE-Bench隐藏方法细节，要求智能体独立设计实验，评估的是'发现能力'而非'复制能力'。另一个关键创新是结构化的错误诊断框架，将失败归因到研究规划、实现、实验执行和结论形成四个阶段，共16个错误类别，实现可扩展的错误分析。
方法步骤详情
方法分为四个主要步骤。第一步，论文筛选：从ICLR、ICML、NeurIPS 2024-2025中搜索包含'LLM'和'language model'关键词的论文，使用gpt-4o-mini分类器筛选出主要贡献为LLM行为经验分析的论文（约50篇），然后由两位作者人工审核，最终保留30篇满足'开放输入'（使用公开数据集和模型）、'轻量计算'（可在24小时内于80GB A100上运行）、'非平凡可验证'（有明确图表支持的可测试结论）三个标准的论文。第二步，研究问题树提取：使用gpt-5 Pro（temperature=0）的固定提示提取器Eϕ将每篇论文P转化为层次化树结构T(P)，包含根节点（总体研究问题）、中间节点（子问题）和叶节点（具体实验任务），以JSON格式输出。第三步，任务实例化：从树中选择对应论文主要图表的目标叶节点l*，取其父节点v*作为基准任务提示，提供研究问题和实验范围但隐藏实现细节和结论。第四步，评估：将智能体结论与真实发现都分解为原子声明，使用gpt-5.2进行语义蕴含匹配，计算声明级精确率、召回率和F1分数。
技术新颖性
FIRE-Bench的技术新颖性体现在多个层面。首先，'受限重新发现'范式是全新的评估理念，它巧妙地利用已验证的科学发现作为评估基准，同时通过隐藏方法细节来评估真正的发现能力而非复制能力。其次，研究问题树的自动提取方法将非结构化的论文转化为可评估的结构化任务，使用固定提示的LLM提取器实现可扩展的自动化流水线，人工验证显示提取质量高。第三，声明级评估框架比传统的论文级评估或单一指标评估更细粒度，能够精确测量智能体是否正确识别了论文的核心发现。第四，四阶段错误诊断框架（研究规划、实现、实验执行、结论形成）和16个错误类别的分类体系是首次系统性地对AI研究智能体进行过程级诊断，为改进智能体提供了具体方向。最后，难度分层机制基于概念分解、混淆控制和分析复杂性三个维度，每个维度1-3分，总分映射到Easy(3-4)、Medium(5-6)、Hard(7-9)，为公平比较提供了基础。
实验结果
实验结果揭示了当前AI研究智能体在全周期科学研究中的严重局限性。整体性能低下且高度不稳定：最强的Claude Code（Sonnet-4）平均F1仅为46.7±23.4，Codex（gpt-5-medium）为41.9±25.4，OpenHands（gpt-5）为37.9±23.0，OpenHands（o4-mini）为31.9±17.6。标准差普遍很高，表明智能体在相同任务上的表现存在巨大波动，例如在'Lost in the Middle'任务上，OpenHands（o4-mini）的F1达到57.0±40.5。任务结构显著影响性能：在程序化直接的任务上（如Lost in the Middle最佳F1达91.7，Persona with Catch达88.6），智能体表现较好；但在需要控制推理的任务上（如LLM Racial Bias in Medicine），所有智能体都失败，因为无法构建适当的对照组来隔离因果效应。错误分布分析显示，研究规划和结论形成阶段的失败占主导地位，具体错误类型包括方法偏离（Method Deviation）、目标偏离（Goal Deviation）和过早终止（Premature Termination）。虚假正例分析表明，大多数错误是矛盾性（Contradictory，42.0%-70.9%）或无关性（Unrelated，10.9%-47.7%）声明，而'替代结论'（Alternative，4.5%-10.9%）很少见，表明智能体缺乏创造性。数据污染分析未发现系统性污染证据：在控制任务难度后，智能体在知识截止日期前后的任务上没有表现出一致的性能优势。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FIRE-Bench 30个任务整体 | Claim-level F1 | Claude Code (Sonnet-4): 46.7±23.4 | OpenHands (gpt-5): 37.9±23.0; OpenHands (o4-mini): 31.9±17.6 | Claude Code比OpenHands (o4-mini)提升14.8个F1点 |
| Lost in the Middle | F1 Score | 最佳观测值 91.7 | 整体平均 46.7 | 程序化直接任务表现显著优于平均 |
| Persona with Catch | F1 Score | 最佳观测值 88.6 | 整体平均 46.7 | 程序化直接任务表现显著优于平均 |
| LLM Racial Bias in Medicine | F1 Score | 所有智能体均失败 | 整体平均 46.7 | 控制推理任务导致全面失败 |
局限与改进
FIRE-Bench存在多个层面的局限性。首先，基准规模有限，仅包含30个任务，每个智能体-任务对仅运行3次，统计显著性受限，这使得难度分层分析（如按知识截止日期分层）的样本量很小，结论需要谨慎解读。其次，评估完全依赖自动化声明级匹配，虽然人工验证显示F1达0.89，但仍存在约11%的评估误差，特别是在语义等价判断上可能存在偏差。第三，'重新发现'范式本身存在局限：智能体可能通过探索发现新颖且有效的洞见，但因与原论文结论不一致而被扣分，虚假正例分析显示'替代结论'占比4.5%-10.9%，虽然比例不高但表明存在误判风险。第四，论文筛选偏向经验分析类论文，排除了新架构、新评估基准、新训练算法等工作，可能无法全面反映智能体的科学研究能力。第五，评估环境简化了真实研究场景：不强制运行时间限制、不考虑计算资源约束、不评估论文写作和可视化能力，与实际科学研究有差距。第六，成本分析存在假设性，特别是对Codex的成本估算基于公开定价和3:1的输入输出token比例假设。第七，所有实验在单一GPU环境（8×80GB A100）上进行，未考虑不同硬件配置的影响。
独立分析的弱点
FIRE-Bench的弱点分析揭示了多个可改进的具体场景。首先，错误诊断框架虽然系统但仍依赖LLM辅助标注，所有注释需人工复核，可扩展性受限——改进方向是开发更可靠的自动化错误归因方法，可能结合代码执行轨迹的静态分析和动态验证。其次，难度分层基于三个维度的主观评分，缺乏客观验证——改进方向是引入基于任务结构特征的自动化难度评估，如实验步骤数、控制变量数、分析维度数等。第三，声明级评估的语义蕴含判断存在模糊边界，人工验证的0.89 F1表明仍有改进空间——改进方向是开发更细粒度的声明分解策略和更精确的蕴含判断模型。第四，任务仅涵盖ML领域的LLM行为分析，领域多样性不足——改进方向是扩展到其他科学领域如化学、生物学、材料科学，但这需要领域专家参与任务设计和验证。第五，成本-性能分析缺乏标准化的成本计算方法——改进方向是建立统一的token使用和成本报告标准。
未来方向
作者提出了多个明确的未来研究方向。首先，过程级评估：当前FIRE-Bench主要评估最终结论的正确性，未来应更深入地评估智能体的推理过程，包括实验设计的合理性、代码实现的质量、分析方法的适当性。其次，执行基础的结论：当前评估基于声明级匹配，未来应开发能够直接验证智能体代码执行结果的评估方法，确保结论基于实际实验而非推理。第三，更广泛的科学领域：将FIRE-Bench范式扩展到需要湿实验或大规模模拟的领域，如化学、生物学，这将测试智能体在资源密集型研究中的能力。第四，更强的防捷径措施：当前智能体可能尝试通过网络搜索获取原论文（虽然实验中未观察到），未来应开发更鲁棒的防捷径机制，如动态生成任务变体或使用论文发布后的验证数据。基于当前成果，还可延伸到：开发针对研究规划和结论形成阶段的专门训练方法；构建错误模式数据库用于智能体的持续改进；设计自适应难度的任务生成系统。
复现评估
FIRE-Bench的复现评估显示较好的可复现性。数据方面，30个任务的论文均来自顶级会议且有明确的arXiv ID，数据集和模型均为公开资源，满足'开放输入'标准。代码方面，OpenHands开源（GitHub: All-Hands-AI/OpenHands），但Claude Code和Codex为闭源订阅服务，实现细节不可复现。算力方面，所有任务设计为可在24小时内于单个80GB A100 GPU上运行，满足'轻量计算'标准，但实验环境为8×80GB A100节点，完整评估（3智能体×30任务×3次运行=270次运行）需要显著算力。评估方面，声明提取和匹配使用gpt-5.2，人工验证F1达0.89，但完整评估提示和错误分类提示在附录G和H中提供，理论上可复现。难度在于：（1）Claude Code和Codex的版本可能随时间变化，作者采用默认设置以反映优化状态；（2）论文筛选过程包含人工审核环节，完全自动化复现有挑战；（3）错误诊断框架的LLM辅助标注需要人工复核，完全自动化难以保证质量。总体而言，FIRE-Bench的任务定义和评估框架可复现，但端到端的智能体评估受闭源系统限制。
论文图表
维恩图展示FIRE-Bench与三类现有基准的特征比较：方法复制/工程基准（如PaperBench）、孤立阶段自动化基准（如SciCode、IdeaBench）、全论文生成基准（如The AI Scientist）。四个维度：完整周期（Full Cycle）、洞见驱动（Insight Driven）、接地评估（Grounded Eval.）、方法探索（Method Explor.）。FIRE-Bench是唯一同时满足所有四个维度的基准。
这张图直观展示了FIRE-Bench在基准设计空间中的独特定位，是理解本文创新点的关键