ResearchGym：基于真实世界AI研究评估语言模型智能体 ResearchGym: Evaluating Language Model Agents on Real-World AI Research
提出ResearchGym基准，评估AI智能体端到端闭环研究能力
前置知识
闭环研究（Closed-Loop Research）
闭环研究是指AI系统能够自主完成从假设提出、实验设计、代码实现、运行实验到根据结果更新假设的完整研究循环。与开环研究（仅生成想法或仅实现代码）不同，闭环研究要求智能体在执行过程中根据实验反馈不断调整策略，类似于人类科学家的研究方式。这种能力对于真正实现AI驱动的科学发现至关重要。
本文的核心目标就是评估AI智能体能否胜任这种端到端的闭环研究过程，理解这一概念是理解论文动机和实验设计的基础。
ReAct范式（Reasoning and Acting）
ReAct是一种让大语言模型交替进行推理（Reasoning）和行动（Acting）的框架。智能体首先思考当前状况和下一步计划，然后调用工具执行操作（如运行代码、搜索文献），观察结果后再进行下一轮推理。这种循环使模型能够与外部环境交互，处理复杂的多步骤任务。在本文中，研究者使用基于Inspect框架的ReAct智能体作为主要评估对象。
本文评估的rg-agent就是基于ReAct范式构建的，理解这一框架有助于理解智能体的工作方式和可能的局限性。
归一化性能（Normalized Performance）
归一化性能是本文定义的跨任务可比指标，计算公式为 $ ext{NormPerf} = ?rac{ ext{Agent Score}}{ ext{SOTA Score}}$，其中SOTA Score是原论文报告的最优结果。当归一化性能等于1.0时表示智能体达到了原论文水平，超过1.0则表示超越了人类专家的最佳方案。这个指标使得不同领域、不同量纲的实验结果可以在统一尺度上进行比较。
这是本文评估智能体研究能力的核心量化指标，所有实验结果都通过这一指标呈现和比较。
能力-可靠性差距（Capability-Reliability Gap）
这是本文发现的核心现象：AI智能体偶尔能够产生非常优秀的研究结果（如超越ICML 2025 Spotlight论文的方案），但这种成功极不稳定，大多数运行都远低于基线水平。这意味着智能体具有潜在的研究能力，但缺乏可靠地复现这种能力的机制。这种差距体现在高方差的实验结果中，平均性能远低于最佳性能。
这是本文最重要的发现，揭示了当前AI研究智能体的根本限制，也是未来改进的主要方向。
完整性验证（Integrity Verification）
由于研究任务的开放性和长时间特性，智能体可能会无意或故意地绕过评估——例如修改评估脚本、泄露训练/测试数据或硬编码结果指标。完整性验证通过部署一个基于Inspect框架的审查智能体来检测这类行为，该智能体会审计求解器日志、提交历史和文件修改，标记异常行为如未经授权的评估代码修改或可疑的完美指标模式。
这确保了评估的公平性和可信度，是ResearchGym作为严肃基准的重要组成部分。
研究动机
当前的基准测试无法可靠地评估AI系统是否能够进行闭环研究。现有的评估方式存在多个严重缺陷：首先，许多声称能够自动化端到端研究的系统依赖自报告研究，缺乏标准化比较，导致对AI能力的夸大认知——系统在精心策划的示例上表现出色，但在系统性审查下无法维持真实世界的研究表现。其次，现有评估要么只针对研究周期的片段（如仅评估想法生成而无实现，或仅评估ML工程能力而无创造性空间），要么需要大量计算资源（如8×H100 GPU），难以复现。第三，依赖LLM评判者的评估容易被表面新颖性所利用，且与执行结果相关性差。第四，部分基准聚焦于较旧的任务，其解决方案可能已存在于LLM的训练数据中。最后，缺乏人类基线的评估无法判断智能体是否接近人类水平的研究能力。
本文的目标是本文的具体目标是创建一个全面、客观、可复现的基准测试和执行环境ResearchGym，用于评估AI智能体在完整研究循环中的表现。具体而言，研究者希望回答两个核心研究问题：(1) 前沿LLM智能体能否在闭环研究任务上超越强大的人类基线？(2) 什么失败模式阻碍了智能体在不同任务和运行中维持可靠表现？为了回答这些问题，ResearchGym需要满足五个设计要求：完整循环评估（包含假设提出和实验验证）、客观评分（基于执行的度量而非LLM评判）、污染感知（使用近期论文）、校准比较（保留基线和参考方案）以及可访问性（单GPU约24小时完成）。
与已有工作不同的是，本文的独特切入角度在于将研究评估从'想法生成'或'代码实现'的单一维度，提升到包含完整假设-实验-验证循环的闭环评估。与现有基准相比，ResearchGym的创新在于：第一，任务来源是2025年ICML、ICLR和ACL的获奖论文，这些论文的发表时间晚于前沿模型的知识截止日期，有效缓解了数据污染问题；第二，每个任务保留了原始评估脚本，实现了客观的执行级评分，避免了LLM评判者的不可靠性；第三，通过保留基线实现作为下界和作者方案作为软上界，提供了校准比较的基准点；第四，所有任务在单GPU上以隔离容器运行，使评估具有实际可行性。此外，本文不仅报告性能指标，还深入分析了35+次运行中的失败模式，这是现有基准普遍缺乏的。
核心方法
ResearchGym的整体方法可以概括为三个层次：基准构建、执行环境和评估框架。在基准构建方面，研究者从1,387篇ICML、ICLR、CVPR和ACL 2025的获奖论文中，通过两阶段筛选（LLM自动提取和人工质量评估）最终选出5个任务，涵盖39个子任务。每个任务的代码库被'阉割'——保留数据集、评估脚本和基线实现，但移除了论文提出的核心方法。在执行环境方面，ResearchGym提供了一个轻量级、可扩展的gym风格框架，标准化了任务执行和评估流程。所有运行在沙箱化的Docker容器中进行，确保环境一致性。在评估框架方面，每个任务配备独立的评分脚本，智能体可以随时调用来评估当前工作空间状态。最终评估使用两种指标族：任务原生分数（继承自源论文）和任务无关指标（用于跨任务比较）。
ResearchGym的核心创新在于将研究评估从'复现'提升到'创新'。与PaperBench等复现基准不同，ResearchGym不要求智能体复现论文方法，而是要求在保留的方法论框架内提出新假设并验证。这创造了一种独特的评估范式：智能体面临的是一个'半开放'的研究问题——有明确的目标（超越基线分数）、有可用的工具（代码库、评估脚本、数据集），但需要自己提出解决方案。与MLE-Bench等工程基准相比，ResearchGym强调的是'研究创造力'而非'工程能力'。另一个关键创新是使用归一化性能 $ ext{NormPerf} = ?rac{ ext{Agent Score}}{ ext{SOTA Score}}$ 进行跨任务比较，这使得不同领域、不同量纲的实验结果可以在统一尺度上评估。此外，通过保留基线实现作为下界和作者方案作为软上界，ResearchGym提供了'校准比较'——智能体的目标不是达到某个绝对分数，而是超越人类专家已经实现的最佳方案。
方法步骤详情
ResearchGym的方法分为以下几个关键步骤。第一步是基准构建的Stage-1：自动化提取和筛选。研究者首先获取候选论文的PDF，使用GROBID的doc2json工具转换为JSON格式，再将论文章节渲染为Markdown供LLM解析。然后使用GPT-5运行基于LLM的信息提取器，为每篇论文生成结构化的任务卡C，包含评估是否客观、代码可用性、所需GPU内存等字段。对100个提取结果进行人工验证以确认可靠性。应用筛选条件排除非实证论文、无公开资产的论文，并仅保留计算可行的设置（CPU或≤24GB VRAM），得到90篇论文的高召回短名单。第二步是Stage-2：人工选择。手动评估90篇短名单论文的可行性，最终确定5个任务，确保论文支持客观可验证评分、提供算法创新空间、实验可在合理时间约束下运行。同时选择3个任务作为开发集，用于调整智能体脚手架。第三步是Stage-3：任务打包。为每篇选定论文构建骨架仓库R，移除作者提出方法的所有实现，保留忠实可复现评估所需的所有组件。将每个任务划分为可独立评分的子任务，创建评分脚本g（grade.sh）。为每个任务手动编写简洁的任务描述T，包括研究目标、实验约束和不完整的结果表。第四步是执行环境搭建。所有运行在基于Docker的沙箱化环境中进行，包含基础研究镜像和各任务的虚拟环境。智能体被提供Git初始化的工作空间，定期提交被鼓励。智能体的命令和代码编辑被记录为动作，所有系统输出被视为观察。第五步是评估和分析。运行智能体收集轨迹数据，使用任务原生评分脚本计算性能，然后进行归一化、完成率和改进率的聚合分析，最后通过消融实验和案例研究深入分析失败模式。
技术新颖性
ResearchGym在技术上有多个新颖之处。首先，任务来源的创新：使用2025年获奖论文作为任务源，这些论文的发表时间晚于主流LLM的知识截止日期，这是首次系统性地利用时间差来缓解数据污染问题的方法。其次，评估方法的创新：采用执行级评分而非LLM评判，每个任务的评分脚本直接继承自原始论文的评估协议，确保了评分的客观性和可比性。第三，任务设计的创新：通过'阉割'代码库——保留评估框架但移除核心方法——创造了一种独特的'半开放'研究任务，既有明确目标又需要创新解决方案。第四，评估指标的创新：引入归一化性能和最佳@k指标，使得跨领域、跨任务的比较成为可能。第五，完整性验证的创新：部署审查智能体来检测奖励黑客行为，这是首次在研究基准中系统性地引入完整性验证机制。第六，失败模式分析的创新：不仅报告性能指标，还通过35+次运行的深入分析，系统性地识别和分类了长时间序列任务中的七种主要失败模式。
实验结果
本文的核心发现揭示了当前AI研究智能体的能力与可靠性之间的尖锐差距。在对基于GPT-5的rg-agent进行15次端到端运行（5个任务×3个种子）的评估中，智能体仅在1次运行（6.7%）中超越了提供的基线，平均仅完成26.5%的子任务。然而，这次成功的单次运行超越了ICML 2025 Spotlight任务的参考解决方案，证明了前沿智能体偶尔能够达到最先进的性能，但这种成功极不稳定。具体来看各任务表现：在持续学习任务(CL)上，归一化性能平均为0.4033±0.39，但最佳@3达到0.9429；在材料分词任务(MDT)上，归一化性能平均仅为0.1650±0.23；在跨模态检索任务(CMR)上，归一化性能平均为0.6260±0.46，最佳@3达到0.9630；在时间序列解释任务(TIM)上，归一化性能平均为0.6351±0.50，最佳@3达到1.0721，这是唯一超越SOTA的任务；在改进回放缓冲区任务(IRB)上，归一化性能平均仅为0.1414±0.14。消融实验进一步揭示了关键洞察：额外资源（+12小时，+$10）并未带来更好结果，大多数运行趋于平稳，额外时间花在重试上；信息提示实验表明，即使提供了SOTA方法的核心思路，执行仍是主要瓶颈；不同脚手架（Claude Code、Codex、异步变体）的比较显示整体性能和瓶颈相似，表明问题根源于模型能力而非脚手架设计。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 持续学习（CL） | 归一化性能（Accuracy） | 平均0.4033，最佳@3达0.9429 | 86.75（准确率） | 最佳@3接近SOTA的94.29%，但平均仅40.33% |
| 材料分词（MDT） | 归一化性能（Macro-F1） | 平均0.1650，最佳@3达0.4939 | 91.72（Macro-F1） | 最佳@3仅为SOTA的49.39%，表现最差 |
| 跨模态检索（CMR） | 归一化性能（T2IR@1） | 平均0.6260，最佳@3达0.9630 | 69.9（T2IR@1） | 最佳@3达到SOTA的96.30% |
| 时间序列解释（TIM） | 归一化性能（CPD-A） | 平均0.6351，最佳@3达1.0721 | 0.448（CPD-A） | 最佳@3超越SOTA 7.21%，唯一超越SOTA的任务 |
| 改进回放缓冲区（IRB） | 归一化性能（Return） | 平均0.1414，最佳@3达0.3430 | 3395.21（Average Return） | 最佳@3仅为SOTA的34.30% |
局限与改进
本文存在多个层次的局限性。在任务覆盖方面，当前任务集不包括需要多模态推理的研究问题，如医学影像、视频理解或语音处理，这反映了实际约束（专用硬件、大数据传输和评估基础设施）而非框架的根本限制。在任务规模方面，基准仅包含5个任务和39个子任务，虽然这与先前工作的规模一致（如RE-Bench的2-7个任务），但可能无法充分代表AI研究的全部多样性。在训练方面，由于任务足够困难，只有前沿LLM能达到非平凡性能，这禁止了直接的训练实验——无法测试较小模型是否能从更强智能体的轨迹中学习。在主观研究方面，本文刻意排除了纯理论、分析驱动或证明基础的论文，因为这些领域的成功评估本质上是主观的，通常需要专家人工验证，难以规模化。在评估公平性方面，虽然部署了审查智能体来检测奖励黑客行为，但无法保证对所有形式的博弈免疫。在算力限制方面，所有任务限制在单GPU上运行，这可能排除了需要大规模计算的研究问题。此外，从我的观察来看，归一化性能的计算依赖于原论文报告的SOTA分数，但这些分数本身可能受到发表偏差的影响；不同任务的子任务数量和难度差异较大，简单的平均可能不够公平；而且5个任务的多样性（NLP、多模态、时间序列、强化学习）虽然不错，但仍无法代表所有AI研究领域。
独立分析的弱点
通过深入分析，我识别出ResearchGym的几个关键弱点。首先，任务多样性不足：5个任务虽然涵盖了不同领域，但数量有限，可能无法充分代表AI研究的多样性。改进方向是扩展任务集，特别是增加更多需要长时间序列思考的任务、跨学科任务和需要创造性解决问题的任务。其次，评估的客观性与灵活性的权衡：虽然使用原论文评估脚本确保了客观性，但这也限制了评估的灵活性——如果智能体提出了一个完全不同的评估维度或改进了评估本身，这种创新无法被当前框架捕获。改进方向是设计更灵活的评估框架，允许在保持核心评估的同时考虑评估创新。第三，失败模式分析的深度：虽然识别了7种主要失败模式，但缺乏量化分析每种失败模式对最终性能的具体影响。改进方向是开发更精细的失败模式分类和量化分析工具。第四，脚手架比较的公平性：虽然尝试在相同条件下比较不同脚手架，但不同脚手架的默认设置和能力可能影响比较的公平性。改进方向是开发标准化的脚手架接口和评估协议。第五，异步实验支持不足：实验表明异步执行引入了系统性失败，表明当前框架对并行实验的支持不够。改进方向是改进异步执行的监控和协调机制。
未来方向
基于本文的发现和局限性，未来研究可以从多个方向展开。首先，扩展任务集是直接的方向，包括增加更多领域的任务（如多模态、生物信息学、材料科学）、增加任务复杂度（如需要更长时间序列思考的任务）和增加任务多样性（如不同难度级别、不同研究风格）。其次，改进智能体能力，特别是针对发现的失败模式：开发更好的长序列推理能力（解决上下文长度限制）、改进资源管理能力（解决时间和资源管理问题）、增强并行实验能力（解决异步执行问题）和提高自我监控能力（解决过度自信问题）。第三，开发更好的评估框架，包括更灵活的评估机制（允许评估创新）、更精细的失败模式分析工具和更好的完整性验证机制。第四，探索训练方法，虽然当前任务对较小模型来说太难，但可以探索从更强智能体的轨迹中学习的方法，或开发渐进式训练课程。第五，扩展到更广泛的研究范式，包括理论研究、实验设计、数据分析等不同类型的研究活动。第六，开发更好的人机协作框架，让人类研究者能够有效地指导和监督AI研究智能体。最后，基于本文发现的能力-可靠性差距，未来工作可以专注于提高智能体的可靠性，而不仅仅是提升其峰值性能。
复现评估
ResearchGym在可复现性方面做出了显著努力。代码和智能体轨迹已在GitHub上开源（https://github.com/Anikethh/ResearchGym），这为社区提供了完整的参考实现。任务来源是公开的获奖论文，数据集和评估脚本都直接继承自原始论文，确保了评估的透明性。执行环境基于Docker容器化，确保了环境一致性，所有任务都在单GPU上运行，算力要求相对温和（≤12GB VRAM，实际使用A100 80GB），时间限制在12-24小时内。然而，完全复现仍面临一些挑战：首先，需要访问多个API（HuggingFace、Semantic Scholar、Kaggle、Exa搜索API），这些API可能有访问限制或费用；其次，使用GPT-5作为主要评估模型，这需要相应的API访问权限；第三，任务构建过程包含人工筛选步骤，这难以完全自动化复现；第四，一些任务可能需要特定的数据集下载和预处理步骤。总体而言，ResearchGym的可复现性在AI研究基准中属于较好水平，但完全复现仍需要一定的技术准备和资源投入。
论文图表
