AIRS-Bench：面向前沿AI科学研究智能体的任务套件 AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents
20个ML任务组成的基准，评估LLM智能体的端到端科研能力，16个任务仍未超越人类SOTA
前置知识
LLM Agent（大语言模型智能体）
LLM Agent 是由大语言模型（LLM）和脚手架（scaffold）组合而成的系统。LLM 作为核心推理引擎，负责生成代码、设计方案；脚手架则是一套算法机制，定义了智能体如何在解空间中搜索——比如是一次性生成（one-shot）、贪心搜索（greedy）还是 ReAct 式的顺序推理。脚手架由框架（harness）实例化和管理，比如 AIRA-dojo 和 MLGym。可以把它想象成：LLM 是大脑，脚手架是行动策略，框架是执行环境。
本文的核心评估对象就是不同 LLM+scaffold 组合的智能体，理解这个分层架构是理解实验设计和结果分析的前提。
Scaffold（脚手架）与 Harness（框架）
Scaffold 是一套控制 LLM 如何探索解空间的算法，包括操作符（operators）和搜索策略（search policies）。操作符例如 Draft（生成初始方案）、Debug（修复错误）、Improve（优化方案）；搜索策略如贪心搜索、蒙特卡洛树搜索（MCTS）、进化算法等。Harness 是封装和管理智能体执行的系统，负责实例化 scaffold 并管理整个研究流程。例如 AIRA-dojo 是一个支持树状搜索的框架，而 MLGym 支持 ReAct 式的顺序推理。
本文的核心实验就是比较不同 scaffold（One-Shot、Greedy、ReAct）在不同 harness 上的表现差异，理解这个架构才能看懂实验设计。
Normalized Score（归一化得分）与 March of 9s 变换
由于 AIRS-Bench 包含 20 个不同任务，每个任务使用不同的指标和量纲，直接比较原始分数没有意义。归一化得分（NS）通过两步解决这个问题：首先，对原始分数施加非线性变换 $\phi_t$（即 March of 9s 变换 $\phi_t(s) = -\log_{10}(|s - s_{opt}^t|)$），然后将其映射到 [0, 1] 区间，其中 0 对应所有智能体中最差的得分，1 对应人类 SOTA。March of 9s 变换的核心思想是：从 0.99 提升到 0.999 和从 0.9 提升到 0.99 同样重要，因为两者都是缩小了与最优解之间 10 倍的差距。
这是本文评估框架的核心创新，使得跨任务、跨指标的智能体比较成为可能，也是理解所有实验结果的基础。
Elo Rating（Elo 评分）与 Bradley-Terry 模型
Elo 评分系统最初用于国际象棋，通过棋手之间的胜负关系推断技能水平。本文将每个智能体视为一个「棋手」，每个任务上两个智能体的得分比较视为一局「比赛」——得分高的智能体获胜。通过拟合 Bradley-Terry 模型 $P(a > b) = \frac{1}{1 + \exp(\theta_b - \theta_a)}$ 推断隐含的技能参数 $\theta_a$，再转换为 Elo 评分。BT 模型具有顺序无关性，非常适合批量评估。本文还将人类 SOTA 作为额外的「对手」纳入评分系统。
Elo 评分提供了另一个维度的智能体能力评估，特别是能直观展示智能体与人类 SOTA 之间的差距。
数据污染（Data Contamination）
LLM 在海量互联网数据上预训练，很可能已经「记住」了常见 benchmark 的答案或解决方案。这意味着当智能体在某个任务上表现好时，我们很难判断它是真的在推理，还是仅仅在复述训练时见过的内容。数据污染是当前 AI 评估面临的重大挑战之一。
本文之所以强调任务「未被污染」（uncontaminated），是因为这些任务来源于最新的 SOTA 论文，LLM 训练数据中不太可能包含这些任务的解答，从而保证评估的有效性。
研究动机
随着 LLM 技术的进步，AI Research Agent（能够自主完成科学研究的智能体）展现出巨大潜力，但我们缺乏一个标准化框架来衡量这些智能体在实际科研工作中的表现。现有的评估面临三大核心挑战：第一，数据污染问题——LLM 在海量互联网数据上训练，经常记住 benchmark 的解法，导致难以判断智能体是否真正在「推理」；第二，环境标准化问题——不同研究中的智能体环境难以统一，成功往往既可能来自智能体能力，也可能来自环境构建方式；第三，计算成本问题——每次自主运行的高计算开销使得难以进行足够多的试验来获得统计显著的结果。这些因素加剧了 AI Research Agent 的评估危机，现有 benchmark 的性能表现越来越被预训练泄漏、不一致的环境设置和嘈杂的实验评估所掩盖。
本文的目标是本文旨在创建 AIRS-Bench（AI Research Science Benchmark），一个包含 20 个任务的标准化评估套件，用于严格评估 LLM 智能体在机器学习研究中的自主研究能力。这些任务覆盖语言建模、数学推理、生物信息学、时间序列预测等多个领域，要求智能体完成从想法生成、方法设计到实验分析和迭代优化的完整研究流程——且不提供基线代码。具体目标是：（1）提供未被污染的评估基准；（2）建立统一的任务配置标准和评估指标；（3）通过实证分析揭示当前智能体的能力边界；（4）定义一套评估协议（包括有效提交率、归一化得分和 Elo 评分）以支持统计稳健的比较。
与已有工作不同的是，与现有 benchmark 相比，AIRS-Bench 抓住了几个被忽视的关键点：第一，不提供基线解法——大多数现有 benchmark（如 PaperBench、CORE-Bench）要么直接提供起始代码，要么任务复杂度较低，而 AIRS-Bench 要求智能体从零开始导航更长的推理路径；第二，评估完整研究周期——IDEA-Bench、ResearchBench 等只关注某个环节（如想法生成），而 AIRS-Bench 覆盖假设生成、实现、实验、分析四个阶段；第三，任务时效性——任务来源于 2020-2025 年的最新 SOTA 论文，确保了挑战性和相关性；第四，标准化的任务配置格式——通过 metadata.yaml 等文件实现了跨框架的可移植性，支持在不同 harness（AIRA-dojo、MLGym）间公平比较。
核心方法
AIRS-Bench 的设计哲学是：AI Research Agent 的进步应该像 ML 本身一样，是一个基准驱动的过程。整个系统的核心是一个三元组规范：每个任务由 {问题, 数据集, 指标} 定义。类比来说，就像一个竞赛题目：问题描述了要解决什么（如文本分类），数据集指定了用什么数据（如 SICK 数据集），指标决定了如何评分（如准确率）。智能体接收完整任务规范，需要自主开发解决方案——生成训练代码、训练模型、在测试集上生成预测，最终提交 submission.csv 文件。评估系统执行智能体生成的代码，测量模型性能，并与人类 SOTA 进行比较。技术路线上，本文从约 100 个候选任务中精选 20 个，覆盖 7 个 ML 领域类别，使用 3 种 scaffold（One-Shot、Greedy、ReAct）× 6 种 LLM（CWM、GPT-4o、gpt-oss-20b、gpt-oss-120b、o3-mini、Devstral）组合出 14 个智能体进行评估。
AIRS-Bench 的核心创新在于其「无基线、全流程、可迁移」的评估范式。与现有 benchmark 最本质的区别是：不向智能体提供任何起始代码或解决方案。这意味着智能体必须独立完成从理解问题、设计方法、编写代码到调试优化的完整研究流程，这比「复现一篇论文」的难度大得多。另一个关键创新是归一化得分体系——通过 March of 9s 变换 $\phi_t(s) = -\log_{10}(|s - s_{opt}^t|)$ 将异构指标映射到统一尺度，使得跨任务聚合成为可能。这种方法比简单的线性归一化更能反映「有意义的进展」：在高精度区域的微小提升（如从 0.99 到 0.999）被视为与在低精度区域的同等倍数提升同等重要。此外，任务配置标准的设计使得任务可以轻松迁移到不同的智能体框架，实现了真正的跨框架可比性。
方法步骤详情
AIRS-Bench 的完整工作流程包括以下步骤：（1）任务创建——从 PapersWithCode 的排行榜和 2020-2025 年的 SOTA 论文中筛选任务，手动创建约 100 个候选任务，通过验证数据集可用性、训练/测试划分、评估指标等条件后精选 20 个；（2）任务标准化——每个任务包含 metadata.yaml（任务元数据）、project_description.md（任务描述和提交说明）、prepare.py（数据准备脚本）、evaluate.py（评估脚本）和 train/test 数据集；（3）智能体运行——每个任务使用 14 个智能体配置各运行至少 10 个种子，每次运行限时 24 小时、配备 1 张 H200 GPU；（4）评估——通过执行智能体生成的代码并比较 submission.csv 与测试标签来计算得分；（5）聚合——使用有效提交率（VSR）、归一化得分（NS）和 Elo 评分三个指标进行跨任务、跨智能体的综合评估。特别地，归一化得分的计算公式为 $NS_a^t = \frac{\phi_t(s_a^t) - \phi_t(s_{min}^t)}{\phi_t(s_{sota}^t) - \phi_t(s_{min}^t)}$，其中 $s_{min}^t$ 是所有种子和智能体中的最差得分，$s_{sota}^t$ 是文献中的 SOTA 得分。
技术新颖性
AIRS-Bench 在技术新颖性上体现在三个方面。首先，任务选择方法论——不是简单地从 GitHub 或 Kaggle 收集任务，而是从 SOTA 论文中提取，经过半人工的 sourcing、creation、reviewing 和 verification 流程，确保任务既具挑战性又与 ML 社区相关。最终使用遗传算法从约 100 个任务中选出 20 个子集，最小化智能体在子集与全集上的平均绝对误差（MAE 为 $4.0 \times 10^{-3}$），确保子集能忠实代表完整基准。其次，评估框架——引入 March of 9s 变换处理异构指标的聚合问题，用 Elo 评分系统（基于 Bradley-Terry 模型）量化智能体间的相对技能水平，这两种方法的组合在 AI Agent 评估领域是首次应用。第三，跨框架兼容性——任务配置文件设计为可程序化转换的格式，已实现从 AIRA-dojo 到 MLGym 的格式转换脚本，未来可扩展到其他框架（如 AIDE、Claude Code 等）。
实验结果
实验结果揭示了当前 AI Research Agent 的能力边界和关键发现。在 14 个评估的智能体配置中，整体平均有效提交率（VSR）仅为 55.1%，表明即使提交一个有效解对智能体来说也并非易事。在性能表现上，整体平均归一化得分为 24.1%，凸显了 AIRS-Bench 的挑战性。关键发现包括：（1）推理模型（如 gpt-oss-120b、o3-mini）在 one-shot 和 greedy 设置下均表现更优；（2）模型规模的影响被测试时缩放（test-time scaling）所弥补——Greedy gpt-oss-120b 与 Greedy gpt-oss-20b 表现相当；（3）树搜索方法对开源和闭源模型都有显著提升，如 Greedy CWM 相比 One-Shot CWM、Greedy GPT-4o 相比 One-Shot GPT-4o 都有明显差距；（4）线性 scaffold（如 ReAct）的表现因底层 LLM 而异——ReAct CWM 优于 Greedy CWM，但 ReAct GPT-4o 劣于 Greedy GPT-4o。最重要的发现是：在 20 个任务中，智能体仅在 4 个任务上超越人类 SOTA，在其余 16 个任务上仍然落后。即使在超越 SOTA 的任务中，智能体也没有达到理论性能上限。Elo 评分显示，人类 SOTA（1674 分）与最佳智能体（Greedy o3-mini，1146 分）之间存在巨大差距，表明基准远未饱和。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| TextualClassificationSickAccuracy | Accuracy | 0.931 | 0.905 (SOTA) | +2.6% |
| TextualSimilaritySickSpearmanCorrelation | Spearman Correlation | 0.89 | 0.85 (SOTA) | +4.7% |
| CoreferenceResolutionWinograndeAccuracy | Accuracy | 0.88 | 0.85 (SOTA) | +3.5% |
| TimeSeriesForecastingRideshareMAE | MAE | 1.153 | 1.185 (SOTA) | +2.7% (lower is better) |
| Overall (14 agents average) | Normalized Score | 0.241 | 1.0 (SOTA) | 远低于 SOTA |
局限与改进
本文存在多个层面的局限性。作者承认的局限性包括：（1）计算资源限制——每个任务限制为 24 小时和 1 张 H200 GPU，部分任务可能从更多计算或时间中受益，但为了保证跨任务的公平性而保持统一约束；（2）预训练模型缓存——缓存中最新模型仅到 2021 年的 DeBERTa-v3-large，不包含最新的前沿基础模型，这可能限制了智能体的性能上限；（3）人类瓶颈——当前的任务验证流程依赖人工，阻碍了大规模扩展。从独立分析角度，我观察到：（1）20 个任务的规模仍然较小，且分布偏向 NLP（9/20），对其他 ML 领域的覆盖不够充分；（2）评估只考虑了最终得分，没有深入分析智能体的研究过程质量（如代码可读性、方法创新性）；（3）10 个种子的统计显著性可能仍然不足，特别是对于高方差任务；（4）任务难度分布不均——最简单和最难任务之间的性能差异巨大，可能掩盖了中间难度任务上的有意义区分。
独立分析的弱点
基于对论文的深入分析，我识别出以下几个弱点及改进方向：（1）任务多样性不足——20 个任务中 NLP 相关占了近一半（Question Answering 4个、Text Extraction 3个、Text Classification 2个），而强化学习、计算机视觉、多模态等领域完全缺失。改进方向是扩展任务池，特别是引入视觉-语言任务和 RL 任务，以更全面评估智能体的研究能力。（2）缺乏过程评估——当前评估只看最终得分，不评估智能体的研究过程（如假设是否合理、实验设计是否严谨、代码质量如何）。改进方向是引入类似 PaperBench 的 rubric-based 评估，对研究过程的每个阶段进行细粒度打分。（3）评估指标的局限——March of 9s 变换虽然解决了异构指标聚合问题，但在极端值附近（接近 0 或接近最优解）可能过度放大或压缩差异。改进方向是探索自适应的非线性变换，或结合多种变换的结果。（4）智能体配置的覆盖度——仅测试了 6 种 LLM 和 3 种 scaffold，没有涵盖更先进的 agent 架构（如 multi-agent 协作、tool-augmented 推理等）。改进方向是扩展到更多智能体架构。
未来方向
论文作者提出了几个有价值的未来方向：（1）自动任务上线——当前的人工验证流程是扩展的瓶颈，需要开发自动化的任务创建和验证管线；（2）移除计算限制——当前统一的 24 小时/1 GPU 限制可能掩盖了某些智能体在更多资源下的潜力，未来可以探索资源弹性评估；（3）扩展到更多科学领域——当前聚焦于 ML 研究，未来可以扩展到生物信息学、化学、物理等更广泛的科学领域。基于论文成果，还可以延伸以下方向：（4）研究智能体的「元学习」能力——能否从已完成的任务中提取经验并迁移到新任务；（5）探索人机协作模式——当前评估完全自主的智能体，但现实中研究者更可能与智能体协作，评估这种混合模式的价值；（6）建立动态基准——随着 SOTA 不断刷新，定期更新任务的 baseline 和 SOTA 得分，确保基准的时效性。
复现评估
本文在可复现性方面做得相当好。代码和任务定义已在 GitHub 开源（https://github.com/facebookresearch/airs-bench），包括 AIRA-dojo 和 MLGym 两个框架的任务规范、格式转换脚本和实验环境准备脚本。数据方面，所有数据集都来自 HuggingFace 并预先下载，评估脚本（evaluate.py）公开可用。算力需求方面，每个任务需要 1 张 H200 GPU 运行 24 小时，20 个任务 × 14 个配置 × 10 个种子意味着约 2800 次运行（约 67200 GPU 小时），这对大多数研究团队来说是显著的计算投入。复现难度中等——任务格式和评估代码是标准化的，但智能体的行为具有随机性（不同种子可能产生显著不同的结果），且预训练模型缓存的版本差异可能影响结果。值得注意的是，论文提供了详细的 Appendix，包括系统提示词、任务配置示例和完整的任务描述，大大降低了复现门槛。
论文图表
