MLS-Bench：评估 AI 系统构建更好 AI 的整体严格基准 MLS-Bench: A Holistic and Rigorous Assessment of AI Systems on Building Better AI
140任务跨12领域评估AI能否发明可泛化可扩展的ML方法
前置知识
LLM智能体
大语言模型驱动的自主代理系统，通过工具调用与环境交互，能在长视野任务中规划、调用工具并迭代改进方案。本文agent通过 edit、test、submit、undo 四个工具完成任务。
论文整个评估协议都建立在LLM智能体的能力假设上，理解智能体如何用多轮工具调用发现方法是读懂全文的前提。
ML工程 vs ML科学
ML工程指通过调参、数据处理、模型选择等手段在固定任务上提升分数；ML科学指发明可迁移可扩展的新方法、架构、损失或优化器。核心差异在于：是否产出在多个setting下都生效的方法级idea。
论文整个出发点就是区分这两种能力，读者必须先理解为何工程式调优不足以评估AI的ML发现能力。
Baseline-anchored scoring
评分时把worst baseline映射到0、best baseline映射到内部[0,1]区间的0.5；同一metric在setting间用几何均、不同metric间用加权算术均聚合，让跨任务分数可比。
这是统一跨任务可比分数的核心机制，理解它能看懂为什么几何均 $S_{\text{task}}=(\prod_k S_{\text{setting},k})^{1/K}$ 能阻止偏科式hack。
测试时计算扩展
推理阶段给模型更多算力（更多采样、更多迭代、进化搜索、test-time training）以提升表现。论文测试了scaling sampling、scaling exploration、OpenEvolve和TTT-Discover四种策略。
论文Section 5.1直接比较这些扩展策略，发现扩展在容易任务上迅速饱和、复杂任务上无法突破人类SOTA，是结论的关键支撑。
研究动机
现有AI智能体评估基准存在三类局限：第一类以MLE-Bench、MLE-Dojo、MLAgentBench为代表，奖励的是数据预处理、超参调优、模型选择等工程式优化，agent改进的是单一固定实例而非方法本身；第二类以MLR-Bench、PaperBench为代表，评估从构思到成稿的端到端科研工作流，但因成功标准过于宽泛，难以把方法贡献从其它因素中单独归因出来；第三类如PostTrainBench、KernelBench、ALE-Bench、FrontierCS等仅聚焦单一组件或子领域，无法跨域衡量方法的可迁移性。简单说，目前没有一个benchmark能把发明可泛化可扩展ML方法这一核心能力隔离出来单独测量。
本文的目标是本文提出MLS-Bench，目标是为社区提供一个能严格隔离ML方法发明能力的评估基准。具体包含140个可执行任务，覆盖语言模型、视觉生成、强化学习、机器人、时序预测、AI for Science、信任学习等12个ML研究领域，每任务都附带至少3个社区公认的强人类baseline（含SOTA）、至少3个评估setting、固定的种子策略，以及一个把不同任务分数统一到可比尺度的归一化方案。同时配套发布MLS-Bench-Lite（30任务子集，仅需99.2 H100小时），便于快速迭代和模型横向追踪。整体目标是构建一个累积可比较的社区平台，让AI能否构建更好的AI这一问题有可量化的标尺。
与已有工作不同的是，本文的独特切入角度在于把评估什么与如何保证评估归因正确分开处理：在评估目标上，要求agent改进的是一个可识别的ML组件（架构块、目标函数、优化器等），而不是某个leaderboard上的具体分数；在归因控制上，提出baseline-calibrated scaffolding机制——编辑作用域刚好宽到能容纳所有强baseline的实现、且能复现这些baseline的论文级性能，从而把修改harness和加大模型规模等hack路径机械切断；进一步用capacity budget防模型膨胀、用多setting几何均防偏科、用web search禁用防contamina。简单说，本文不是只换一批任务，而是从评测协议层面重新设计，让分数提升只能归因到目标方法本身。
核心方法
MLS-Bench的方法层由三块构成：任务结构、评估基础设施和统一评分。任务结构上，每个任务都包含研究问题、可编辑作用域的代码库、≥3个强人类baseline、≥3个评估setting、种子策略、score normalization和capacity budget七要素；评估基础设施支持Apptainer、Docker、Conda、Harbor四种runtime，给agent开放四个工具（edit改代码、test运行harness并返回指标、submit提交一次测试结果为最终、undo回退编辑）；统一评分用baseline-anchored transform把每个metric的worst/best baseline锚定到内部[0,1]区间的0和0.5，再在setting间用几何均、metric间用加权算术均聚合成一个跨任务可比的task score。整套设计的目标是：分数提升只能归因到目标方法本身的改进。
与已有ML智能体benchmark相比，本文的核心创新是把方法归因做成一个可机械验证的协议问题，而不是依赖审稿人或LLM judge的事后评判。具体三点：第一，baseline-calibrated scaffolding——编辑作用域被设计为刚好足够实现每个SOTA baseline的最小集合，且每个baseline都能在该作用域内复现其论文级性能，作用域过宽则打开hacking通道、过窄则无法表达合法新方法；第二，principled scale selection——评估scale的选择标准是能保留已发表baseline的相对排序，把scale reduction和ranking consistency同时纳入约束；第三，capacity budget——当编辑作用域含模型组件时，禁止agent提交参数规模超基线的方案，从机制上切断靠加大模型来刷分的捷径。
方法步骤详情
方法执行分四步。第一步，任务集构建：基于12个ML研究领域识别atomic research question，为每个问题收集≥3个社区公认强方法（含SOTA），把codebase、可编辑作用域、≥3个eval settings、seeds policy、score norm、capacity budget打包为可执行单元；140任务按GPU/CPU分布116:24。第二步，agent交互循环：主实验限20 actions含3 test、Lite版限8 actions含1 test；agent通过edit/test/submit/undo四工具迭代。第三步，评分归一化：每metric做baseline-anchored transform（worst→0、best→0.5），setting间几何均、metric间 $S_{\text{setting}}=\sum_i w_i s_i/\sum_i w_i$ 加权算术均。第四步，protocol ablations：对比科学vs工程prompt、capacity budget开关、in-dist vs OOD setting迁移。
技术新颖性
技术上，本文的相对新颖性主要在三处。第一处是baseline-calibrated scaffolding的概念化：之前benchmark如MLE-Bench只给Kaggle式任务，作用域要么完全开放、要么完全冻结，没有用baseline复现作为scope正确性的验证这种思路；本文用reproduction check反向约束scope的最小宽度，是一个工程上可操作的协议设计。第二处是principled scale selection：过去在算力约束下做小规模评估时往往只看绝对分数，本文提出必须保留baseline ranking作为缩放的合法性条件，把scale reduction和ranking consistency做联合约束。第三处是geometric-mean聚合：用几何均替代算术均来聚合setting分数，机制性地让agent无法靠刷某一个setting来弥补另一个setting的失败——这是对过去benchmark常见取最好一次测试结果做法的结构性替代。
实验结果
MLS-Bench在15个模型上得到三组主要发现。第一组，方法发现gap显著：140任务上5个前沿模型Agent得分Claude Opus 4.6: 36.0、Gemini 3.1 Pro: 34.9、GPT-5.4: 27.8、DeepSeek-V3.2: 26.3、Qwen 3.6 Plus: 23.2，全部显著低于Human SOTA 43.3；最佳模型仍落后约7.3分，说明即使有完整baseline代码in context，agent也难以发明匹配人类方法的新方法。第二组，工程优化强于方法发现：切换到工程优化prompt后弱模型（GPT-5.4、DeepSeek-V3.2、Qwen 3.6 Plus）分数明显上升，强模型基本不变。第三组，扩展性收益有限：推理时扩展在简单任务涨分后迅速饱和、复杂任务无法突破baseline ceiling；adaptive compute protocol中仅GPT-5.4逆势涨分，Claude Opus 4.6花最多算力反而下滑。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MLS-Bench全量140任务（12领域） | 跨任务归一化平均分（Agent协议，%） | Claude Opus 4.6: 36.0 / Gemini 3.1 Pro: 34.9 / GPT-5.4: 27.8 / DeepSeek-V3.2: 26.3 / Qwen 3.6 Plus: 23.2 | Human SOTA: 43.3 | 最佳模型仍落后Human SOTA约7.3分（相对落后~17%），全模型未达人类SOTA |
| MLS-Bench-Lite 30任务（12领域子集） | 跨任务归一化平均分（Vanilla协议，%） | Claude Opus 4.7: 36.1 / Claude Opus 4.6: 29.8 / GPT-5.5 Pro: 29.0 / Claude Sonnet 4.6: 28.5 / Gemini 3.1 Pro: 27.1 / GPT-5.5: 26.6 / DeepSeek-V4 Pro: 25.8 / Qwen-3.6 Max: 23.7 / Gemini 3.1 Flash Lite: 22.6 / Kimi K2.6: 21.2 / Qwen 3.6 Plus: 21.2 / DeepSeek-V3.2: 19.5 / GLM 5.1: 3.6 | Human SOTA（Lite版归一化） | 最强模型Claude Opus 4.7得分36.1，距人类最佳仍存在显著方法发现gap |
| 全任务分领域（Vanilla→Agent提升） | 12个领域平均分提升（绝对差，百分点） | Claude Opus 4.6 从 28.1 → 36.0（+7.9），Gemini 3.1 Pro 从 26.5 → 34.9（+8.4），GPT-5.4 从 19.5 → 27.8（+8.3） | Vanilla首次测试结果作为对照 | Agent迭代带来约+7.9到+8.4分提升，但不能弥补初始的method-discovery gap |
| 科学创新 vs 工程优化prompt（弱模型增益） | MLS-Bench分差（百分点） | 切换到Eng-mode后GPT-5.4 / DeepSeek-V3.2 / Qwen 3.6 Plus显著提升；Claude Opus 4.6与Gemini 3.1 Pro基本不变 | 原科学创新prompt下的得分 | 弱模型在eng-mode下能向Vanilla基线靠拢，验证其能力偏向工程而非科学判断 |
| Capacity budget ablation（vision与RL任务） | 是否通过规模膨胀非法获得高分 | 无budget check时模型参数可膨胀到baseline的~3倍并trivially超越Human SOTA；开启check后此类hack被拒绝 | 开启budget check下的合法得分 | 设计本身不直接提升分数，但确保分数提升归因于方法本身，贡献为protocol validity而非数值 |
局限与改进
作者承认的局限主要有三点：其一，scale selection是相对的，评估规模的选择受算力约束，未来若把同样的任务推到更大scale，ranking可能改变；其二，140个任务虽然覆盖12领域但仍不足以穷尽ML科学，对更开放的问题（如跨领域迁移）尚未覆盖；其三，agent能力受action budget（主实验20 actions、3 tests）严格限制，提升budget是否会让agent逼近人类SOTA，本文未做充分scaling study。从外部观察还有两点隐含局限：baseline-locked scaffolding可能在某些任务过紧，限制合法新方法的表达空间；score normalization把best baseline锚到0.5的设计意味着agent score的天然上限是0.5，更高分数需对应baseline外的发现，这一上限效应在表3读数时需留意。
独立分析的弱点
独立看本文的弱点有四点。第一，scaffolding的最小宽度是人为定义的——既要能容纳所有SOTA baseline、又要刚好不打开hack通道——这种trade-off在某些任务上可能没有清晰边界，过紧会误拒合法方法、过宽会让擅长代码篡改的agent获益；改进方向是引入运行时scope-violation检测器，对每次edit的语义影响做自动分类。第二，capacity budget目前是单一的参数规模上限，但实际hacking可能更隐蔽（如调整optimizer、batch size等共享训练协议），论文只冻结了训练协议knobs而未覆盖所有协议维度。第三，geometric-mean聚合在极端偏科时惩罚过重，可能让仅在一个setting上略胜baseline的agent分数归零，需考虑与trimmed mean的组合。第四，agent budget（20 actions, 3 tests）只覆盖了20 H100-hours级别，与真实ML scientist可用的探索预算量级差距极大，需要补充长程协议实验。
未来方向
作者在结论中明确提出的方向包括：让benchmark支持更开放的问题而仍保持归因严谨性；探索evaluator design以容纳更自由的agent harness。读者可合理延伸的方向至少有四条。第一，把MLS-Bench的protocol思想迁移到multi-modal科学发现（蛋白质设计、材料、化学反应）领域，验证其在新领域是否仍能保持归因严谨。第二，结合人类协作——让agent负责生成候选、人类专家负责做hypothesis evaluation，看人机协作是否能在可解释性上突破单agent天花板。第三，针对科学判断这一被多次确认的瓶颈，专门构造测试集评估hypothesis quality、experiment allocation等子能力。第四，把baseline-locked scaffolding扩展为动态scaffolding——根据agent的迭代历史自动收窄或放宽编辑作用域，让scaffolding本身成为一个可调的超参。
复现评估
复现性方面本文透明度较高。数据与代码已在mls-bench.com开源，所有任务使用Apptainer/Docker/Conda/Harbor之一作为可移植runtime，依赖固定、seeds固定、package版本锁定；评估使用H100 GPU，完整140任务需704.7 H100-hours、Lite版30任务需99.2 H100-hours，Lite版可在一台4卡H100上约1天完成。基准对比了5个前沿模型（Claude Opus 4.6、GPT-5.4、Gemini 3.1 Pro、DeepSeek-V3.2、Qwen 3.6 Plus）和10个Lite-only模型，全部禁用web search以排除contamina。复现主要门槛是算力与多模型API访问权限；任务定义、baseline实现、评分脚本和人类SOTA结果都打包在mls-bench.com发布。整体复现难度中等偏高，社区可独立运行Lite版做横向比较。
论文图表
左饼图显示140任务中116个是GPU任务、24个是CPU任务；右直方图显示每次实验H100 GPU-hours的分布，从0小时到40.0小时，反映MLS-Bench的算力消耗图谱。
对评估者最关键的复现成本信息——告诉读者完整benchmark需要704.7 H100-hours、Lite需要99.2 H100-hours。