MLExpert：面向自主机器学习工程的通用型智能体模型 MLExpert: Towards a Generalist Agentic Model for Autonomous Machine Learning Engineering
用分层SFT与窗口交互强化学习训练35B MoE模型，自主完成长程机器学习实验优化
前置知识
Agentic MLE（智能体式机器学习工程）
把机器学习工程建模为智能体与可执行环境的持续交互：给定任务描述 $e=(d_e, D_e, m_e)$、公开数据和评估指标，模型通过多轮工具调用（写代码、执行实验、分析结果、修订方案）在时间预算 $B_e$ 内迭代优化候选解，最后选一个提交方案按隐藏测试集评分。区别于一次性代码生成，它强调长程规划和基于反馈的持续改进。
本文的任务构建、交互环境和强化学习算法全部围绕这一设定展开，形式化目标是最大化期望解质量 $J(\pi_\theta; e)$，理解它是读懂论文的前提。
MoE（Mixture-of-Experts，混合专家模型）
一种稀疏激活架构：模型总参数量很大，但每个 token 只被路由到少数专家网络计算，激活参数远小于总参数。MLExpert 的基座 Qwen3.6-35B-A3B 总参数 35B、每 token 仅激活约 3B，因此推理成本接近小模型而容量接近大模型。
论文用『35B 总参数、约 3B 激活』界定同规模基线组，核心卖点是这一成本量级达到前沿大模型性能，不看懂 MoE 就无法理解其性价比论证。
GRPO（组相对策略优化）
一种在线强化学习算法：对同一提示采样一组轨迹，用组内奖励的均值和方差归一化得到相对优势（替代价值网络），再做 PPO 式裁剪的策略梯度更新，被 DeepSeek-R1 等推理模型广泛采用。
WIRL 的关键设计是放弃组相对归一化、直接用可验证执行奖励 $\hat{A}_m = R_m$ 作为共享权重；消融中 GRPO 只有 56.1% 而 WIRL 达 72.7%，理解这一对比才能体会设计动机。
策略修正与重要性采样
当训练数据由旧策略生成而参数已经更新时，需要用新旧策略的 token 概率比 $q_t = \exp(\ell_t^{old} - \ell_t^{roll})$ 修正策略梯度以保持无偏。本文进一步把 $q_t$ 按区间 $[q_{min}, q_{max}]$ 截断：区间内的 token 按权重修正，区间外的直接剔除。
WIRL 采用异步采集，长轨迹会跨多次参数更新，rollout 策略与训练策略失配，这一修正机制是其异步训练正确性的核心保障。
MLE-Bench 与奖牌阈值
由历史 Kaggle 竞赛构成的机器学习工程基准：智能体在公开数据上开发方案，提交按隐藏标签独立评估，并按人类参赛者的奖牌阈值分为金/银/铜牌，Lite 子集含 22 个任务，Any Medal（获得任意奖牌的任务比例）是主指标。
它是本文的主评测（37.9% 提升到 72.7%），主表、消融和 RL 对比都基于它；WIRL 的奖励设计也直接借用其奖牌阈值作为跨任务可比的质量参照系。
教师轨迹与蒸馏式 SFT
让能力更强的教师模型在目标环境中执行任务并记录完整交互轨迹，作为监督数据微调学生模型。分层 SFT 则分两阶段：先学通用工具使用与编码轨迹打基础，再学领域专家轨迹完成能力迁移，逐层递进。
MLExpert 后训练的第一阶段完全依赖这种数据，且其『结果引导筛选』——按提交质量以首次最优提交为锚点截断退化尾部——是理解其数据工程的关键。
研究动机
当前机器学习工程自动化系统主要依赖外部编排：AIDE、MLE-STAR、R&D-Agent 等通过预定义工作流或搜索规则控制实验排序与阶段切换，LLM 只在指定步骤生成或调试代码，长程实验的组织能力来自人工设计的控制逻辑而非模型本身。Arbor、Argus 等新系统虽允许模型自主设计、继续和修订实验，却缺乏针对这种模型主导交互的后训练方法。训练长程优化能力面临三重挑战：其一，开放式 MLE 需要一个既保留实验状态、又把动作选择权留给模型本身的交互环境；其二，MLE 任务异构性强，交互轨迹中有效探索、失败恢复与退化决策混杂，难以获得高质量长程监督；其三，每次代价高昂的实验在全流程结束前就会对其前序多个决策返回反馈，在线强化学习既要利用这种中间信号，又要处理异步采集带来的策略失配问题。
本文的目标是本文的目标是训练一个能自主完成机器学习工程的通用智能体模型 MLExpert：给定任务描述、公开数据和评估指标以及 12 小时时间预算，模型通过持续工具交互自主组织实验、根据执行反馈修订方案、随时维护提交候选，并在交互结束时选出最优解，全程不依赖外部工作流控制，形式化目标即最大化期望解质量 $J(\pi_\theta; e) = \mathbb{E}_{\tau \sim p_{\pi_\theta}}[S_e(\hat{y}_\tau)]$。工程目标是以 Qwen3.6-35B-A3B（35B 总参数、约 3B 激活）为基座，在 MLE-Bench Lite 的 22 个任务上把平均奖牌率从基线的 37.9% 提升到与 Kimi-K3、GLM-5.3 等更大规模前沿模型相当的水平，并验证这种优化能力能迁移到科学实验、智能体脚手架和算法组件优化等其他任务，作为通往 AI4AI 与递归自我改进（RSI）的一条务实路径。
与已有工作不同的是，已有工作大多在外部组织流程内训练单步决策或局部组件：ML-Agent 结合多轮示范与单步 RL；Frontis-MA1 用 SFT 和 RL 训练程序进化算子，再嵌入外部进化搜索框架；SandMLE 在微尺度合成环境中做轨迹级 on-policy RL。这些方法的信用分配粒度要么是单步、要么是整条轨迹，都没有直接训练『模型主导的持续交互策略』。本文的独特切入点是把真实 Kaggle 任务上的完整长程交互本身作为训练对象：用可执行任务工厂和交互 harness 构建模型主导的实验环境，让 SFT 学教师轨迹、让 RL 从模型自身探索的执行反馈中学习，并用『执行窗口』这一新粒度把延迟到达的实验结果关联到窗口内的多轮决策，同时以异步采集加 token 级策略修正支撑轨迹尚未结束时的在线策略更新。
核心方法
整体思路分三块：任务构建、交互环境、后训练。第一块是 Kaggle-MLE Factory，用多智能体流水线把历史 Kaggle 竞赛转成可执行任务——每个任务带公开工作区、隐藏测试集和统一评估接口，覆盖表格、图像、文本、音频等多种模态，解决真实异构任务难以规模化获取的问题。第二块是交互 harness：采用 ReAct 式循环，实验状态存在解节点中，父子修订链接构成实验树，模型可回顾比较并自行决定继续、回退或转向；工具包括 execute_code（执行候选方案）、update_answer（更新提交候选）、analyze（委托独立上下文的分析子智能体）和 invalidate_node（以实验证据排除过拟合或数据泄漏的候选），历史接近上下文上限时对早期消息做摘要。第三块是两阶段后训练：分层智能体 SFT 先用通用编码与工具使用轨迹打基础，再用 MLE 教师轨迹与文献衍生科学轨迹做领域适配；WIRL 把相邻两次实验结果之间的多轮决策作为一个执行窗口，赋予共享的结果奖励，并借助异步采集与策略修正，在轨迹结束前就能更新策略。最终得到 35B MoE 的 MLExpert。
核心创新是 WIRL 的『执行窗口』信用分配。MLE 中方案质量只有在训练评估完成后才可知，而一个结果依赖此前多轮分析、改码和工具交互。WIRL 把相邻两次 execute_code 实验结果之间的连续决策分组为窗口 $u_m$，窗口内所有主模型输出 token 共享基于实验结果的奖励 $R_m$：模型动作导致执行错误记 $-1.0$；无错误但无可评分提交记 $-0.6$；有效提交低于奖牌阈值记 $-0.4+T_m$；铜牌或银牌记 $1.0+T_m$；金牌记 $2.0+T_m$。趋势项 $T_m \in \{-0.2, 0, 0.2\}$ 度量与最近一次有效提交相比性能下降、持平或提升，首次有效提交取 0。与 GRPO 的组相对归一化不同，WIRL 直接用可验证执行奖励作为共享优化权重 $\hat{A}_m = R_m$，并配合异步采集与策略修正。这把『一次实验』当作 RL 的反馈单元，与外部工作流系统把单次 LLM 调用当反馈单元、轨迹级 RL 把整条轨迹当反馈单元形成本质区别。
方法步骤详情
第一步，任务构建：发现智能体按状态、规模、提交格式筛选竞赛；分析智能体提取数据结构与模态特征形成任务规格；生成智能体准备任务数据、从原始标注构造带隐藏标签的留出测试集并实现评估器；校验器迭代检查数据完整性、提交格式和评估行为并驱动修复；最后人工复核排除问题任务。第二步，采集教师轨迹：教师模型在 harness 中自主实验，产出覆盖任务理解、算法设计、代码生成、反馈分析、迭代修订与提交选择的完整轨迹；对首个方案成功执行且达质量阈值的任务，额外截取到对应执行反馈的前缀作为初始方案轨迹。第三步，分层 SFT：先用 StepFun 的编码与工具使用轨迹训练通用能力，再用 Kaggle-MLE Factory、MLE-Dojo 及 Nature 论文衍生科学任务的教师轨迹做领域适配，并以首次最优提交为锚点做结果引导筛选，其后退化超阈值则截断保留前缀，损失只作用于新生成的推理、回复和工具调用 token。第四步，WIRL：异步收集带可信执行反馈的窗口组批，计算策略修正 $q_t = \exp(\ell_t^{old} - \ell_t^{roll})$ 并按 $[q_{min}, q_{max}]$ 截断，PPO 式损失按窗口内有效 token 数归一化后跨窗口平均，另加对 SFT 参考模型的 KL 正则 $\lambda_{KL} K$ 和熵奖励 $\lambda_H H$。
技术新颖性
技术新颖性有四点。其一，窗口级信用分配：不同于 GRPO/PPO 的轨迹级终局奖励或 ML-Agent 的单步 RL，WIRL 以实验为边界切分多轮决策，与真实 MLE 中『一次昂贵实验为多个前序决策返回反馈』的结构天然对齐。其二，无组归一化的可验证奖励：直接令 $\hat{A}_m = R_m$ 作为窗口共享权重，避免组相对基线的方差与采样开销，消融显示 GRPO（56.1%）和 PPO 式优化（60.6%）甚至低于 MLE-SFT（62.1%），而 WIRL 达 72.7%。其三，异步训练的策略修正：长轨迹会跨多次参数更新，对窗口内第 $j$ 次模型调用的输出 token $t$ 计算修正因子并区间截断，区间内 token 加权、区间外剔除，使异步在线学习保持稳定，去掉该组件奖牌率降到 65.2%。其四，结果引导的 SFT 数据筛选：以首次最优提交为锚点截断退化尾部，保留有效探索与失败恢复，优于全轨迹监督。环境设计上，实验树交互与 invalidate_node 让模型主动排除不可靠候选，也是对 agent 环境的实质贡献。
实验结果
主实验在 MLE-Bench Lite（22 个 Kaggle 任务）上：统一 MLExpert Harness 下，MLExpert 的 Any Medal 率达 72.7%，将基座 Qwen3.6-35B-A3B 的 37.9% 提升 34.8 个百分点；Med+ 84.8%、金牌 50.0%，高于同规模最强基线 Nex-N2.5-mini 的 47.0%，达到 GLM-5.3 与 Kimi-K3（均 72.7%）等前沿模型水平。换用 Claude Code harness，MLExpert 仍达 69.7% 对基座 42.4%，说明提升不依赖专用 harness。NatureBench Lite 上 Surpass-SOTA 从 0.0% 升至 50.0%、Match-SOTA 从 40.0% 升至 70.0%，追平 GLM-5.3。消融显示：基座 37.9% → 通用 SFT 47.0% → MLE SFT 62.1% → WIRL 72.7%；WIRL 优于 GRPO（56.1%）和 PPO 式（60.6%），去掉趋势奖励降至 66.7%、去掉策略修正降至 65.2%。案例 MLSP 2013 Birds 中 MLExpert 将 ROC-AUC 从 0.58 提到 0.964，SFT 版仅到 0.88。迁移实验：AIME 2025 脚手架优化留出准确率 43.7%（基座 23.3%），MLS-Bench-Lite 组件优化平均奖励从 0.322 提到 0.425（12 任务 10 胜 1 平 1 负）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MLE-Bench Lite（22 个历史 Kaggle 任务，统一 MLExpert Harness） | Any Medal 奖牌率 | 72.7%（Med+ 84.8%，金牌 50.0%） | 基座 Qwen3.6-35B-A3B 37.9%；同规模最强 Nex-N2.5-mini 47.0% | +34.8 个百分点，追平 Kimi-K3 / GLM-5.3（均 72.7%） |
| MLE-Bench Lite（通用 Claude Code harness） | Any Medal 奖牌率 | 69.7% | 基座 42.4%；同规模最强基线 47.0% | 较基座 +27.3 个百分点，超最强同规模基线 +22.7 个百分点 |
| NatureBench Lite（10 个科学任务，Claude Code） | Surpass-SOTA 率 / Match-SOTA 率 | 50.0% / 70.0% | 基座 0.0% / 40.0%；GLM-5.3 50.0% / 90.0% | Surpass-SOTA +50 个百分点，追平 GLM-5.3 |
| AIME 2025 智能体脚手架优化（固定 GPT-4.1-nano 求解器） | 留出集准确率 | 43.7%（开发集 46.7%，调用 8.40 次） | 基座优化脚手架 23.3%；初始脚手架 20.0%；Kimi-K3 40.0% | 较基座 +20.4 个百分点，超过 Kimi-K3 |
| MLS-Bench-Lite（12 个领域算法组件优化任务，5 小时预算） | 平均 verifier 奖励 | 0.425 | 基座 0.322 | +0.103，12 任务中 10 胜 1 平 1 负 |
局限与改进
作者承认的局限包括：评测主要在 22 任务的 MLE-Bench Lite 和 10 任务的 NatureBench Lite 上进行，规模有限；每个任务需 12 小时、20 vCPU、220 GB 内存和单张 H200，评估资源门槛高；Kaggle-MLE Factory 最后仍需人工复核排除标签或评分问题，未完全自动化。我的观察：其一，WIRL 奖励以奖牌阈值为参照系，依赖任务存在公认的可验证分数标尺，难以直接迁移到没有奖牌体系的开放研究任务；其二，窗口内所有 token 共享同一权重 $R_m$，窗口内部更细粒度的信用分配并未解决；其三，教师轨迹来自更强模型，可能限制学生超越教师水平的上限；其四，论文未报告训练总算力与成本，NatureBench Lite 仅 10 任务、样本极小易受方差影响；其五，与前沿模型的对比虽然统一了 harness，但各模型对提示和工具的适配程度不同，横向比较仍有噪音。
独立分析的弱点
独立分析三个弱点。第一，奖励设计依赖任务特定的奖牌阈值和可验证指标：WIRL 的 $R_m$ 以金/银/铜阈值作参照，要求每个任务都有可信分数标尺，在奖励难以验证的开放科研场景（提出新假设、撰写论文）中难以套用，改进方向是引入成对比较或基于 LLM 评审的相对奖励作为替代参照。第二，窗口内 token 共享权重的信用分配仍然粗糙：一次实验失败可能只源于最后一步改码，但窗口内全部分析与推理 token 同罚，长期可能抑制有价值的谨慎分析行为，可结合过程监督或在窗口内做优势分解。第三，上下文压缩依赖文本摘要，早期实验细节丢失后模型可能重复已失败的方向，可引入结构化实验记忆（对实验树做可检索摘要）替代纯文本压缩。此外，analyze 子智能体每轮委托带来额外推理开销，invalidate_node 依赖模型自觉判断，错误的失效判定可能误删好候选，两者都需要更稳健的机制约束。
未来方向
作者展望是把长程优化决策当作可训练的模型能力，为自主机器学习工程、科学实验乃至 AI4AI/递归自我改进（RSI）提供务实路径。基于本文成果可延伸的方向：一是利用 WIRL 的异步特性扩展到多实验并行与跨任务课程式训练，进一步提升样本效率；二是在执行窗口内引入过程奖励或反事实信用分配，解决窗口级共享权重的粒度问题；三是把执行窗口思想推广到其他长程领域，如算法设计、系统调优和湿实验科学（MLS-Bench-Lite 已初步验证组件级迁移可行）；四是结合多教师 on-policy 蒸馏（如 Agents-A1 的做法）融合多个领域教师的能力；五是研究奖牌阈值之外的自监督或相对评估信号，摆脱对人工分数标尺的依赖；六是从 22 任务 Lite 子集扩展到完整 MLE-Bench 和更大多模态任务分布，检验任务工厂的规模化规律与模型的扩展行为。
复现评估
复现评估：论文首页提供 §Code 与 §Model 链接，声称开源代码与模型；基座 Qwen3.6-35B-A3B 为开源模型，通用 SFT 数据来自 StepFun。任务来自公开的历史 Kaggle 竞赛；Factory 各智能体职责在附录 A，harness 完整工具列表在附录 B，训练超参、数据统计在附录 C，均给出了较完整的实现细节。算力门槛较高：每个 MLE 任务评估需要 12 小时、20 vCPU、220 GB 内存和单张 NVIDIA H200，仅 MLE-Bench Lite 完整评测一轮约需 22 个任务日的单卡时；训练阶段总算力正文未披露，教师轨迹采集本身也需大量强模型推理。总体复现难度中高：若代码与模型确实开源，在具备 H200 级 GPU 的条件下做推理评测相对直接；但要完整复现训练（教师轨迹采集 + 两阶段 SFT + 异步 WIRL）需要相当规模的集群、多源数据工程与异步 RL 基础设施，对个人或小团队不太现实。
论文图表
对比两种长程 MLE 决策范式：(a) 外部编排——外部控制器用手工设计的工作流/搜索规则组织实验排序与阶段切换，LLM 只在指定步骤起草、调试代码；(b) 模型主导的自主交互——智能体在交互 harness 中通过思考与工具调用，自行选择/更新候选方案、审查实验历史、决定继续或转向，并维护提交候选。
一图点明论文的核心立场差异：从『工作流驱动』转向『模型策略可训练』，是理解全文动机与 WIRL 设计逻辑的钥匙。