← 返回 2026-04-07

用于训练机器学习工程智能体的合成沙箱 Synthetic Sandbox for Training Machine Learning Engineering Agents

Yuhang Zhou, Lizhu Zhang, Yifan Wu, Jiayi Liu, Xiangjun Fan, Zhuokai Zhao, Hong Yan 📅 2026-04-06 👍 14 2026-07-13 08:36
合成数据 多智能体系统 强化学习 智能体 机器学习工程
arXiv HuggingFace PDF

通过微尺度合成数据集使MLE任务的轨迹级在线强化学习成为现实

前置知识

强化学习从可验证奖励（RLVR）

RLVR是一种利用客观、基于规则的反馈来优化大语言模型的方法。它通过执行代码或程序来验证模型输出的正确性，然后将验证结果作为奖励信号反馈给模型进行优化。这种方法的优点是奖励信号真实可靠，不受主观判断影响，特别适合数学、代码生成等有明确正确答案的任务。

本文使用的GRPO算法就是RLVR的一种高效实现，理解RLVR原理有助于理解论文的奖励机制设计。

轨迹级强化学习

传统RL通常针对单步决策，而轨迹级RL将一个完整的交互序列（包含多个动作-观察对）作为优化单元。在智能体任务中，模型需要通过多轮交互来完成复杂任务，轨迹级RL根据整个序列的最终结果来分配奖励，从而学习到长期规划和试错策略。关键挑战在于如何将最终奖励合理分配给序列中的每个步骤。

本文的核心贡献就是使MLE任务的轨迹级RL成为可行，理解这一概念有助于把握论文解决的问题本质。

GRPO算法

GRPO是PPO的一种高效变体，它消除了对独立价值网络或评论模型的需求。GRPO对一组N个候选输出在组内进行相对质量评估，将奖励归一化后计算优势函数。具体来说，对于组内每个输出yi，其优势通过组内奖励归一化计算，其中包含组奖励的均值和标准差。这种设计避免了训练额外的价值模型，显著降低了计算开销。

本文使用GRPO作为核心RL算法，理解其工作原理有助于理解论文的训练框架和奖励设计。

机器学习工程（MLE）任务

MLE任务不同于简单的问答或单步推理任务，它要求智能体完成完整的机器学习流水线：理解数据、设计特征、选择模型、调参训练、评估性能、迭代改进。这类任务具有长时依赖、多步骤决策、反馈延迟等特点。典型的MLE任务如Kaggle竞赛，涉及数据处理、模型设计、超参数优化等多个环节。

本文专门针对MLE任务的执行效率瓶颈提出解决方案，理解MLE任务的特点是理解论文动机的关键。

研究动机

现有方法在训练机器学习工程智能体时面临严重的计算效率瓶颈。与软件工程任务可以通过秒级执行的单元测试来验证不同，MLE任务需要运行完整的机器学习流水线，包括数据预处理、模型训练和指标评估，每个rollout步骤平均需要近200秒。这使得需要大量rollout的在线轨迹级强化学习变得不可行。例如，在标准的MLE-bench数据集上，每个任务平均包含约409万个样本，训练一个模型需要大量时间和计算资源。现有的解决方案被迫退而求其次：要么使用监督微调简单地模仿专家轨迹，要么使用异步离线代理奖励架构，这些方法本质上都是离策略的，牺牲了在线算法的探索和泛化优势。异步GRPO依赖于滞后策略状态生成的轨迹，会产生分布偏移问题，影响训练稳定性。

本文的目标是本文的目标是使MLE任务的轨迹级在线强化学习（如GRPO）在计算上变得可行。具体来说，作者希望将每个rollout步骤的执行时间从数百秒降低到15秒以下，从而在相同的时间预算内实现数千次的在线rollout更新，而不是只有几次。同时，作者希望保持任务的结构复杂性和数学隐藏规则，确保训练得到的能力可以泛化到真实的MLE任务中。

与已有工作不同的是，本文的独特切入角度在于发现并利用了一个简单但关键的洞察：MLE任务的执行延迟主要由数据集规模驱动，而非模型复杂度或测试逻辑。与SWE任务不同，后者的执行时间主要由编译和测试逻辑决定，数据规模影响较小。基于这个洞察，作者提出从底层构建微尺度的合成MLE环境，将每个任务的数据集规模严格控制在50到200个样本，从而在保持任务结构复杂度的同时，将执行时间降低13倍以上。这种策略与传统的简单下采样方法有本质区别：简单下采样会破坏固定的测试集并使既定的排行榜基准失效，而SandMLE从零开始构建完整的合成环境，确保训练和测试数据的一致性和可验证性。

核心方法

SandMLE是一个新颖的多智能体框架，通过生成多样化、可验证的合成MLE环境来克服真实MLE任务的执行瓶颈。整体思路是：从少量种子任务出发，通过四个专门化的智能体（Data Strategist、ML Developer、MLOps Engineer、Technical Writer）协作，生成完整的合成MLE任务，包括微尺度的训练和测试数据、评估沙箱以及任务描述。这些合成任务保留了原始种子任务的结构DNA和数学复杂性，但数据规模被限制在50到200个样本，使单步执行时间从200秒降至14秒以下。在此基础上，作者设计了密集的里程碑式奖励函数，结合GRPO算法进行轨迹级在线RL训练，使智能体能够学习到长期的试错和推理策略。

核心创新点在于从根本原因入手解决MLE任务的RL训练效率问题。作者并非通过算法优化或异步架构来隐藏延迟，而是通过生成微尺度的合成环境来消除延迟源头。具体而言，SandMLE将每个任务的数据集规模从百万级别压缩到百级别，实现了13倍以上的执行加速，这使得轨迹级GRPO从理论可能性变为实践训练范式。另一个关键创新是设计密集的里程碑式奖励函数，将奖励信号从稀疏的最终指标扩展为包含格式合规性、代码成功执行以及分层性能阈值的综合反馈，有效解决了长时依赖任务中的奖励稀疏问题。

方法步骤详情

SandMLE的数据生成pipeline包含四个明确步骤，每步由专门化的LLM智能体完成：步骤1：Data Strategist（数据策略师）提取种子任务的结构DNA，将其映射到新的应用领域，注入难度增强的噪声配置，最终生成具体的任务规范。具体包括：（1）结构DNA提取，将种子任务抽象为数学模式，如模态、分辨率、标签基数，剥离语义上下文；（2）领域归属，将抽象DNA映射到更广泛的场景，如将动物图像分类转换为道路损伤检测；（3）对抗性变异，通过噪声配置注入真实难度；（4）具体规范编译，合并这些元素，定义复杂的隐藏规则，将个体特征连接到标签，同时将数据集大小限制在50到200个样本。步骤2：ML Developer（机器学习开发人员）编写自包含的Python脚本来执行四个关键操作：（1）合成微尺度数据集并分割为训练集和隐藏测试集；（2）实现定义的隐藏规则，确定性映射生成的特征到真实标签；（3）训练和评估Data Strategist指定的基线方法，经验性地计算并锁定渐进式里程碑阈值集合；（4）输出包含测试数据和随机预测的虚拟样本提交文件，作为严格的模式参考。如果脚本执行失败，系统会自动返回trace进行迭代调试。步骤3：MLOps Engineer（运维工程师）基于任务规范和训练数据编写鲁棒的评估脚本。这个过程涉及三个关键要求：（1）指标标准化，硬编码评估指标、优化方向和渐进式里程碑阈值集合，确保确定性评分；（2）数据对齐和计算，脚本加载智能体的提交，将其与隐藏的真实标签对齐，计算精确指标并输出最终分数；（3）执行验证，系统自动测试评估脚本对虚拟样本提交的执行情况，任何运行时错误都会反馈给MLOps Engineer进行迭代调试。步骤4：Technical Writer（技术文档撰写者）将元数据编译成全面的markdown文档。合成包括四个步骤：（1）上下文整合，将原始种子任务的叙事结构调整以无缝匹配新的合成领域，更新名称和问题上下文；（2）内容生成，起草清晰的问题概述，包括特定的数据格式和所需的评估指标；（3）提交格式化，明确使用生成的样本提交模式定义预期的输出格式；（4）文件透明度，最后，智能体编目所有公开数据文件，同时严格省略隐藏答案以防止泄漏。步骤5：使用生成的合成数据进行轨迹级GRPO训练。在rollout阶段，LLM智能体使用ReAct框架与SandMLE环境交互，从初始任务规范开始，迭代生成动作（代码或推理）并接收观察（执行输出、错误或中间指标）。奖励函数设计为包含格式合规奖励、执行里程碑和分层性能里程碑的综合奖励函数。

技术新颖性

SandMLE的技术新颖性体现在多个层面。在问题层面，这是首次系统性地通过生成微尺度合成环境来解决MLE任务的RL训练效率问题，而非采用算法加速或分布式计算等传统思路。在方法层面，SandMLE引入了四个专门化的智能体角色，每个角色负责生成管道中的一个明确环节，这种多智能体协作的生成范式在合成MLE任务领域是新颖的。在奖励设计层面，里程碑式奖励函数将传统的稀疏奖励信号转化为密集、分层的反馈，为长时依赖的智能体任务提供了新的优化思路。在泛化能力方面，SandMLE证明了在合成微尺度环境上训练的模型能够在真实的、大规模的MLE基准上取得显著性能提升，并且这种性能增益可以跨越不同的智能体框架，这为MLE智能体的训练提供了新的范式。

The Agentic MLE Environment Factory. Illustrated is the procedural multi-agent workflow that transforms a massive, slow-executing seed task into a coherent, high-speed, verifiable synthetic micro-task. The pipeline explicitly optimizes for data efficiency by strictly controlling the task-associated training data size (down from 196,157 to less than 200) to enable rapid iteration during policy optimization.
Figure 2: The Agentic MLE Environment Factory. Illustrated is the procedural multi-agent workflow that transforms a massive, slow-executing seed task into a coherent, high-speed, verifiable synthetic micro-task. The pipeline explicitly optimizes for data efficiency by strictly controlling the task-associated training data size (down from 196,157 to less than 200) to enable rapid iteration during policy optimization.
Distribution of per-task dataset sizes across the synthetic training corpus.
Figure 5: Distribution of per-task dataset sizes across the synthetic training corpus.

实验结果

在MLE-bench-lite基准上的实验结果表明，SandMLE在所有模型规模上都取得了显著性能提升。相比Base模型，SandMLE在8B、14B和30B规模上的Any Medal率相对提升分别为66.9%、24.7%和100.7%。相比Seed-SFT基线，SandMLE取得了20.3%到66.9%的相对提升，这表明行为克隆无法传递通过直接环境交互获得的迭代问题解决行为。令人印象深刻的是，8B规模的SandMLE模型在Any Medal率上达到了22.7%，与DeepSeek-V3.1和Gemini-2.5-flash等更大规模的闭源模型持平，而14B和30B模型的27.3% Any Medal率则逼近性能最佳的Claude-4.5-Sonnet（31.8%）。在框架泛化方面，SandMLE模型在未训练的智能体框架上表现出强大的鲁棒性。在MLE-Dojo基准上，Qwen3-30B-SandMLE配对MLE-Agent框架达到了83.9%的Valid Submission率和38.56的HumanRank分数，远超Base和SFT变体。在MLE-Bench-Lite上，14B和30B SandMLE模型在AIDE和AIRA框架上持续提升了Any Medal和Valid Submission率。测试时间缩放实验显示，Qwen3-30B-SFT-SandMLE在ReAct框架中表现出持续的自我改进能力，Any Medal和Above Median率随着最大交互轮次的增加而稳步上升，在30轮的限制下达到峰值。奖励消融研究表明，密集的里程碑式奖励函数对于稳定策略优化至关重要。在稀疏奖励机制下，30B模型的Any Medal率从27.3%下降到13.6%，Above Median率从36.4%减半到18.2%，Valid Submission率也从完美的100.0%下降到86.4%。合成数据的质量验证显示，在64个合成任务上的对抗性评估中，Claude-4.5-Sonnet以92.9%的胜率主导，DeepSeek-V3、Gemini-2.5-flash和GPT-4o-mini的胜率分别为39.9%、35.6%和25.5%，这证实了合成任务能够捕获有意义的MLE任务难度。执行延迟的降低是显著的：使用Gemini-2.5-flash生成的代码实现，平均执行时间从原始MLE-bench任务的196.17秒下降到SandMLE合成任务的14.31秒，降低了13倍以上。

Main results on the MLE-Bench-Lite dataset using the ReAct framework. Performance is reported as the percentage (%). Best results within each model scale are highlighted in bold. SandMLE refers to model finetuned through our proposed pipeline.
Table 1: Main results on the MLE-Bench-Lite dataset using the ReAct framework. Performance is reported as the percentage (%). Best results within each model scale are highlighted in bold. SandMLE refers to model finetuned through our proposed pipeline.
Generalization results on the MLE-Bench-Lite dataset across alternative agent frameworks (AIDE, AIRA, ML-Master). Only 14B and 30B models are shown. Best results within each grouping are highlighted in bold.
Table 2: Generalization results on the MLE-Bench-Lite dataset across alternative agent frameworks (AIDE, AIRA, ML-Master). Only 14B and 30B models are shown. Best results within each grouping are highlighted in bold.
Generalization results on the MLE-Dojo benchmark. The HumanRank Score measures relative leaderboard performance against human competitors.
Table 3: Generalization results on the MLE-Dojo benchmark. The HumanRank Score measures relative leaderboard performance against human competitors.
Ablation study on reward design using the MLE-bench-lite dataset. Sparse Reward relies only on format and the highest performance tier (sgold), whereas our SandMLE uses the proposed dense, milestone-based reward.
Table 4: Ablation study on reward design using the MLE-bench-lite dataset. Sparse Reward relies only on format and the highest performance tier (sgold), whereas our SandMLE uses the proposed dense, milestone-based reward.
Distribution of the synthetic training data across three axes: application domain (left), data modality (center), and task formulation (right).
Figure 3: Distribution of the synthetic training data across three axes: application domain (left), data modality (center), and task formulation (right).
Pairwise win counts and win rates (%) across 64 synthetic tasks. Each model is evaluated against the other three; ties count as 0.5 wins.
Figure 4: Pairwise win counts and win rates (%) across 64 synthetic tasks. Each model is evaluated against the other three; ties count as 0.5 wins.
Avg. code execution time on original MLE-bench seed tasks versus SandMLE synthetic tasks.
Figure 6: Avg. code execution time on original MLE-bench seed tasks versus SandMLE synthetic tasks.
Test-time scaling results of Qwen3-30B-SFT-SandMLE on MLE-Bench-Lite with ReAct framework.
Figure 7: Test-time scaling results of Qwen3-30B-SFT-SandMLE on MLE-Bench-Lite with ReAct framework.
Training dynamics for the Qwen3-8B (top row), Qwen3-14B (middle row), and Qwen3-30B (bottom row) models optimized via GRPO over 80 steps. The plots display the valid submission rates, training rewards, and validation rewards.
Figure 8: Training dynamics for the Qwen3-8B (top row), Qwen3-14B (middle row), and Qwen3-30B (bottom row) models optimized via GRPO over 80 steps. The plots display the valid submission rates, training rewards, and validation rewards.
查看结构化数据
任务指标本文基线提升
MLE-bench-lite (Any Medal) Any Medal Rate (%) Qwen3-8B-SandMLE: 22.7; Qwen3-14B-SandMLE: 22.7; Qwen3-30B-SandMLE: 27.3 Qwen3-8B-Base: 13.6; Qwen3-14B-Base: 18.2; Qwen3-30B-Base: 13.6 +66.9% relative at 8B; +24.7% relative at 14B; +100.7% relative at 30B
MLE-bench-lite (Any Medal vs Seed-SFT) Any Medal Rate (%) Qwen3-8B-SandMLE: 22.7; Qwen3-14B-SandMLE: 22.7; Qwen3-30B-SandMLE: 27.3 Qwen3-8B-Seed-SFT: 13.6; Qwen3-14B-Seed-SFT: 18.2; Qwen3-30B-Seed-SFT: 22.7 +66.9% relative at 8B; +24.7% relative at 14B; +20.3% relative at 30B
MLE-Dojo (HumanRank Score) HumanRank Score Qwen3-30B-SandMLE: 38.56 (MLE-Agent framework) Qwen3-30B-Base: 29.12; Qwen3-30B-Seed-SFT: 7.34 +32.4% relative over Base (comparison across frameworks)
MLE-Dojo (Valid Submission) Valid Submission Rate (%) Qwen3-30B-SandMLE: 83.9 (MLE-Agent framework) Qwen3-30B-Base: 71.0; Qwen3-30B-Seed-SFT: 17.7 +18.2% absolute over Base; +66.2% absolute over Seed-SFT
Execution Time Average Execution Time (seconds) SandMLE synthetic tasks: 14.31s Original MLE-bench tasks: 196.17s 13.7× faster reduction

局限与改进

作者在论文中承认的局限性包括：虽然SandMLE在多个基准上取得了显著性能提升，但与人类专家仍存在明显差距，例如在MLE-Dojo上，Claude-4.5-Sonnet的HumanRank分数为54.09，而SandMLE训练的Qwen3-30B模型为38.56，差距仍然较大。此外，SandMLE依赖于从种子任务生成合成环境，如果种子任务的多样性有限，可能会限制合成任务的覆盖范围。从论文内容可以观察到的额外局限性包括：合成任务的数据规模被严格限制在50到200个样本，虽然这解决了执行效率问题，但可能导致模型难以学习到大规模数据下的泛化模式和噪声鲁棒性。测试时间缩放实验显示，当最大交互轮次超过30时，性能开始下降，这是因为上下文窗口溢出导致历史上下文丢失，智能体陷入重复循环，这暴露了长时依赖任务中上下文管理的根本挑战。SandMLE的训练是在合成环境中进行的，尽管在真实基准上表现良好，但合成环境与真实任务的差异可能会限制某些场景下的泛化能力。SandMLE的生成pipeline虽然自动化程度高，但仍依赖多个LLM智能体的正确生成，如果某个环节失败，会影响整个训练流程的质量和效率。

独立分析的弱点

SandMLE的一个核心弱点是合成环境与真实MLE任务之间的差距。虽然合成任务保留了结构复杂性和数学隐藏规则，但它们可能在某些方面过于理想化。例如，合成数据的特征工程和噪声注入是确定性的，而真实数据通常包含更多不可预测的噪声、缺失值和异常值。改进方向可以包括：增加数据生成的随机性和真实感，引入更复杂的噪声模型，如类别不平衡、特征相关性、缺失值模式，以及模拟真实数据清洗和预处理过程中的挑战。另一个弱点是上下文窗口限制对长时依赖任务的影响。论文显示当最大交互轮次超过30时，性能下降，这是因为上下文溢出导致历史上下文丢失。改进方向包括：开发更智能的上下文压缩和记忆管理策略，例如选择性保留关键信息、摘要机制、或外部记忆缓冲区。SandMLE的训练完全依赖合成环境，这可能导致模型过度适应合成环境的特定特征。改进方向包括：设计领域适应机制，在合成环境训练后进行微调或自适应；开发混合训练策略，结合合成环境和少量真实任务；引入更广泛的任务变体和数据增强策略以提高泛化能力。SandMLE的奖励设计依赖于预设的里程碑阈值，这些阈值由基线方法在合成数据上的性能确定。如果阈值设置不当，可能导致训练不稳定或收敛到次优策略。改进方向包括：自适应阈值调整机制、动态难度调整、或基于课程学习逐步提高性能要求。

未来方向

作者在结论中提出，SandMLE的基本原则——合成微尺度环境可以作为真实MLE任务的有效代理——为训练通过直接环境交互而非模仿专家行为来改进的MLE智能体开辟了一条可扩展路径。基于这一方向，未来的工作可以包括：扩展合成任务的多样性，覆盖更多的模态、任务类型、应用领域；开发更复杂的合成环境，例如多智能体协作的MLE任务、需要在线学习的任务、涉及模型部署和监控的任务；研究更好的奖励设计，例如结合人类反馈、使用更细粒度的里程碑、引入内在动机奖励；探索更高效的RL算法，例如离策略算法、分布式训练、或结合模型基础的规划；将SandMLE与其他训练范式结合，例如预训练、监督微调、在线学习，形成更完整的MLE智能体训练pipeline；研究SandMLE在其他长时依赖任务中的应用，例如科学发现、系统优化、创意写作等；开发更好的评估方法，例如更全面的基准、更细粒度的分析、或自动化评估工具；研究合成环境与真实环境的最佳比例，以及如何从合成到真实的平滑过渡。

复现评估

论文的复现性评估：作者在附录中提供了详细的实现细节，包括超参数设置、训练配置、以及评估协议。作者还提供了所有四个智能体的详细提示模板，包括Data Strategist、ML Developer、MLOps Engineer和Technical Writer的具体指令和输出格式要求。然而，论文没有明确说明代码和数据是否开源，这是一个复现性的关键因素。从算力需求来看，每个任务分配单个NVIDIA H200 GPU，这表明实验需要相当大的计算资源，但并非不可获得。合成数据生成过程依赖多个LLM调用（包括Claude-4.5-Sonnet用于生成种子轨迹），这可能会增加复现成本和复杂性。论文描述了一个多阶段的生成和验证管道，初始有1200个任务，经过过滤后最终得到912个有效任务，这个过程的稳定性可能影响复现结果。总体而言，论文提供了相当详细的实现信息，但开源状态不明，算力需求中等，复现难度属于中等水平。如果代码和合成环境生成pipeline开源，社区将能够验证和扩展这一方法。

论文图表

Standard on-policy RL for MLE tasks (left) is bottlenecked by execution latency: each rollout step requires running full ML pipeline on large associated datasets (>200s). SandMLE transforms seed tasks into diverse synthetic environments with micro-scale datasets (<15s), making trajectory-wise on-policy RL practically feasible.
Figure 1: Standard on-policy RL for MLE tasks (left) is bottlenecked by execution latency: each rollout step requires running full ML pipeline on large associated datasets (>200s). SandMLE transforms seed tasks into diverse synthetic environments with micro-scale datasets (<15s), making trajectory-wise on-policy RL practically feasible.

这张图对比了标准在线RL与SandMLE在MLE任务上的执行效率。左侧显示了标准方法的问题：每个rollout步骤需要在大型数据集（>200秒）上运行完整的ML流水线，这使得轨迹级在线RL不可行。右侧展示了SandMLE的解决方案：将种子任务转换为具有微尺度数据集（<15秒）的多样化合成环境，使轨迹级在线RL在实践中变得可行。

这张图对理解论文至关重要，因为它直观地展示了SandMLE要解决的核心问题（执行延迟瓶颈）和基本解决方案（微尺度合成环境），为理解后续的方法设计提供了清晰的动机。