通过合成任务扩展的AI科学家 AI Scientist via Synthetic Task Scaling
通过自动生成大规模合成ML任务和轨迹，训练提升AI研究代理的端到端研究能力
前置知识
SWE-agent框架
SWE-agent是一个任务无关的代理框架，为AI代理提供标准化的命令行环境。代理可以通过浏览文件、编辑代码、运行bash命令等方式与环境交互。每个回合代理产生一个推理和一个动作，最多进行50轮交互。该框架提供了一套统一的工具和记忆机制，使代理能够完成复杂的软件工程任务。MLGym基于此框架构建了机器学习任务的执行环境。
本文的合成任务生成管道完全兼容SWE-agent框架，这使得生成的任务可以直接用于训练和评估各种AI代理，无需额外适配。理解这个框架对于理解本文方法的兼容性和可扩展性至关重要。
MLGym基准
MLGym是一个专门评估机器学习代理能力的基准测试平台，包含13个不同复杂度和主题的机器学习挑战。这些任务涵盖简单游戏代理、计算机视觉、语言建模和强化学习等领域。每个任务包含任务描述、数据集描述（如果使用数据集）和初始代码。代理的目标是改进当前解决方案，获得更好的最终分数。分数是一个标量，通常是训练精度、损失、胜率等。评估指标为AUP（Area Under the Performance Curve）。
本文的主要实验在MLGym上进行，理解这个基准的评估方式、任务类型和指标含义对于理解本文的贡献和实验结果至关重要。
监督微调（SFT）
监督微调是一种训练大语言模型的方法，通过在标记的数据集上进行标准的有监督学习来调整模型参数。本文中，SFT用于训练Qwen3-4B和Qwen3-8B模型，训练数据是GPT-5教师模型在合成任务上生成的代理轨迹。每条轨迹包含代理的推理过程和执行命令，模型学习如何在不同机器学习任务中进行推理和行动。训练时轨迹被截断到32K tokens。
本文的核心贡献之一是使用合成轨迹进行SFT训练，理解这种训练方式对于评估本文的方法有效性和局限性很重要。
HuggingFace数据集API
HuggingFace提供了一个庞大的公共数据集中心，包含超过10万个数据集，涵盖自然语言处理、计算机视觉、音频、表格数据等多个领域。API支持按关键词搜索、加载数据集元信息、获取数据样本等操作。本文使用HuggingFace搜索API来验证模型提议的数据集是否存在，并获取数据集的特征和示例行来丰富任务描述。
本文的合成任务基于真实的HuggingFace数据集，这确保了任务的真实性和可行性。理解这个API的作用对于理解本文如何保证合成任务的质量很重要。
研究动机
现有AI代理系统如AI Scientist、Co-Scientist和AlphaEvolve虽然展示了AI可以执行基本研究和算法改进，但缺乏系统性的训练方法。当前大语言模型虽然拥有广泛的机器学习理论、文献和编码模式知识，但经常生成看起来合理但实际无效的想法。更大的问题是，现有研究代理通常只在最终输出（论文、代码、数据集）上训练，忽略了导致发现的迭代过程，如调试、实验失败、逐步推理等。例如，一个模型可能知道如何实现卷积神经网络，但在实际调试超参数、分析失败原因、迭代改进代码方面缺乏经验。
本文的目标是本文的目标是构建一个可扩展的管道，通过大规模合成ML任务生成丰富的代理轨迹，让代理能够从实践学习，而不仅仅是依赖理论知识。具体来说，作者希望训练能够执行端到端机器学习研究任务的代理，包括假设形成、实验设计、代码实现、调试优化和结果评估的完整循环。最终目标是在MLGym基准上提升代理性能，验证合成任务训练的有效性。
与已有工作不同的是，本文的独特切入角度在于：不依赖人工标注或现成的任务数据，而是完全自动化地合成机器学习任务和训练轨迹。与需要人工标注的MLE-Bench或仅关注特定领域的现有方法不同，本文的管道可以从1000个不同主题自动生成500个任务，覆盖广泛的机器学习领域。关键创新在于提供了一个无需人工干预的自调试循环，可以自动修复任务生成中的错误，使得大规模任务合成成为可能。
核心方法
本文提出一个三阶段的合成任务生成管道。首先进行环境合成，从机器学习主题开始，通过数据集验证和代码生成创建完整的可执行任务。然后进行环境验证，使用GPT-5代理实际运行任务来检测和修复错误。最后进行轨迹生成与筛选，在HPC集群上大规模采样代理轨迹，并进行质量过滤。整个管道完全自动化，无需人工监督，可以扩展到数千个任务。最终，使用生成的轨迹对Qwen3-4B和Qwen3-8B模型进行监督微调。
核心创新点在于提出了一个完全自动化的机器学习任务合成管道，该管道结合了主题多样性、数据集真实性验证、自调试循环和轨迹质量过滤四个关键机制。与需要人工标注或仅使用静态数据集的现有方法不同，本文的管道可以生成数万个高质量训练轨迹，每个轨迹都包含完整的推理-行动循环。另一个重要创新是使用HuggingFace API验证数据集存在性，确保合成任务基于真实数据集，而不是虚构或不存在的数据。
方法步骤详情
Phase 1：环境合成，首先从模型中采样n个不同的机器学习主题。然后对每个主题，教师模型生成任务描述并提出HuggingFace数据集，使用HuggingFace搜索API找到最匹配的数据集。如果有匹配，则用HuggingFace获取的数据集示例丰富数据集描述。如果没有匹配，则丢弃该任务。最后从任务和数据集描述生成兼容MLGym的任务配置、数据集配置、初始代码和评估文件。Phase 2：环境验证，将新任务插入MLGym，使用GPT-5代理运行任务获得基线性能和至少一个代理轨迹。如果执行出错，收集错误并反馈给模型，以概率p_debug重新生成代码，以概率1-p_debug从主题采样重新开始，最多迭代k次。如果任务仍然失败，则丢弃。Phase 3：轨迹生成与筛选，在HPC集群上并行运行合成任务，每个任务占用一个GPU，目标收集256条轨迹。过滤轨迹要求至少一次成功提交，长度不超过48K tokens。训练时截断到32K tokens。
技术新颖性
技术新颖性体现在四个方面：一是完全自动化的任务合成，从主题到可执行任务无需人工干预；二是自调试循环，能够自动修复生成任务中的错误，而不是直接丢弃；三是数据集真实性验证，使用HuggingFace API确保任务基于真实数据集；四是大规模轨迹生成，最终产生约34000条训练轨迹。与现有的MLE-Bench、PaperBench等需要人工标注或使用特定数据集的方法相比，本文的方法具有更好的可扩展性和任务多样性。此外，本文首次系统性地研究了在合成ML任务上训练代理的可行性，为AI科学家的训练提供了新方向。
实验结果
本文从1000个ML主题生成并验证了500个任务，经过聚合和过滤获得约34000条轨迹作为SFT训练集。训练Qwen3-4B和Qwen3-8B模型后，在MLGym基准上的AUP指标分别提升9%和12%。在13个任务中的9个任务上，训练后的模型表现优于基线Qwen3模型。Figure 4显示了64次运行的性能对比，训练后的模型在大多数子任务上都有提升。Figure 5显示的AUP分数表明，SFT-Qwen3-4B从约0.45提升到约0.54，SFT-Qwen3-8B从约0.48提升到约0.60。训练数据统计显示，总轨迹数为56210条，过滤后为23204条，平均token长度22074，中位数为20916，平均每条轨迹24.8轮。81.6%的轨迹在最大长度40K tokens内，无需截断。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MLGym Aggregate (AUP) | Area Under Performance Curve | SFT-Qwen3-8B: ~0.60 | Qwen3-8B: ~0.48 | 12% |
| MLGym Aggregate (AUP) | Area Under Performance Curve | SFT-Qwen3-4B: ~0.54 | Qwen3-4B: ~0.45 | 9% |
| Individual Tasks (9/13) | Performance on MLGym subtasks | SFT-Qwen3 models outperform baseline | Qwen3-4B/Qwen3-8B | Most tasks improved |
| Trajectory Generation | Number of valid trajectories | 23,204 filtered trajectories from 500 tasks | N/A | N/A |
局限与改进
作者承认的局限性包括：评估仅限于单一基准MLGym，限制了在其他任务分布、代码库结构和评估框架上的泛化证据。未对管道各个组件进行独立消融实验，数据集验证、自调试循环、成功轨迹过滤、轨迹长度截断和教师模型质量各自对性能提升的贡献尚不清楚。管道继承了教师模型GPT-5的偏差和失败模式，教师无法解决的任务或轨迹不会出现在训练数据中，可能限制学生处理新颖或特别困难挑战的能力。SFT训练范式没有显式优化探索或新颖性。我观察到，性能提升可能部分反映了与MLGym的SWE-agent/MLGym执行格式的更好对齐，而不是广泛的机器学习研究能力提升。
独立分析的弱点
本文的独立分析弱点包括：对于像MS-COCO这样的复杂任务，性能没有提升，可能是因为合成管道没有很好地覆盖更复杂的初始代码文件分布。改进方向可以是基于现有高质量代码库（如NanoGPT）来调节任务合成，生成更复杂的任务。另一个弱点是仅使用SFT训练，没有探索强化学习，虽然任务定义的最终分数可以直接作为奖励信号。但由于每次rollout可能包含长时间的GPU训练作业，最终奖励的尺度差异很大，这使得应用RL具有挑战性。此外，管道缺乏对任务多样性和难度的显式控制，可能导致某些领域过度代表或某些难度级别缺失。
未来方向
作者提出的未来工作方向包括：将合成任务管道扩展到其他代理编码任务，如MLE-Bench（使用Kaggle挑战），预期由于模型在多种机器学习任务上训练，可以在MLE-Bench上获得零样本性能提升。在轨迹采样期间显式鼓励代理形成新思想，通过在现有机器学习研究上启用文献搜索。将强化学习应用于机器学习任务，其中奖励信号直接由任务定义的最终分数给出。评估扩展到具有不同执行框架的基准，如MLE-Bench、MLRC-Bench和NanoGPT Speedrunning，以部分转移任务内容多样性。基于成果可延伸的方向包括：开发更智能的任务难度调节机制，生成渐进式任务 curriculum；研究多任务学习和迁移学习在合成任务上的应用；探索人类反馈来指导任务生成方向。
复现评估
论文未明确说明代码开源情况，但详细描述了任务生成管道的各个阶段和使用的prompts，附录中包含了核心提示词文本。数据生成使用GPT-5教师模型，涉及大规模HPC集群计算，每个任务占用一个GPU，目标收集256条轨迹。对于500个任务，总计需要约500个GPU小时的计算资源。训练两个模型（Qwen3-4B和Qwen3-8B）需要额外的GPU资源。复现难度较高，主要挑战在于：需要访问GPT-5 API或类似的教师模型；需要大规模HPC集群进行轨迹生成；需要处理集群环境中的文件系统和容器化不稳定性；需要重新实现复杂的环境生成和验证管道。
论文图表