我们能在执行机器学习智能体之前就预测结果吗？ Can We Predict Before Executing Machine Learning Agents?
LLM无需执行即可预测ML方案优劣，实现6倍加速并超越执行基线6%
前置知识
Generate-Execute-Feedback 范式
当前主流自主机器学习智能体（如AIDE、AutoMind）采用的核心工作循环：首先生成候选代码方案，然后在真实数据集上物理执行训练和推理以获得指标反馈，最后根据执行结果改进代码。这个循环会反复迭代直到找到满意的方案。该范式的根本问题在于每一轮迭代都需要完整的模型训练和评估，计算开销巨大，在MLE-Bench基准上单次运行可消耗长达9小时。
本文的核心动机就是打破这一范式中的执行瓶颈，因此理解其运作方式和局限性是理解全文的基础。
隐式世界模型（Implicit World Model）
源自强化学习领域的世界模型概念（Ha & Schmidhuber, 2018），指智能体通过学习环境的动态转移函数来模拟环境行为，从而在内部预测动作结果，而无需在真实环境中进行昂贵的试错。本文将这一概念迁移到代码生成领域，探索LLM能否作为隐式世界模型，在不实际执行代码的情况下，通过推理来预测两个ML方案的相对性能优劣。
这是本文的理论基础和核心假设——LLM可以内化执行先验知识，用推理替代物理执行。
Verified Data Analysis Report
本文提出的一种输入增强机制，将原始数据集的统计特征转化为语义化的自然语言报告。该报告通过严格的三步流程生成：（1）让GPT-5.1生成Python脚本对数据进行统计分析；（2）在沙箱中执行脚本获得原始日志；（3）由人类专家验证无运行错误后，GPT-5.1将日志翻译成语义洞察（如数据严重不平衡，正样本仅8.5%，建议使用F1而非准确率）。这确保了报告的事实准确性，防止LLM产生幻觉。
实验表明Verbal Report是使LLM预测能力从56.7%提升到61.3%的关键因素，它将数值数据投影到语义空间，弥补了LLM在数值推理上的不足。
置信度校准（Confidence Calibration）
模型预测时输出的置信度分数 $c \in [0, 1.0]$ 与其实际准确率之间的对应关系。良好的校准意味着当模型以80%的置信度做出预测时，其真实准确率也应接近80%。本文发现LLM的自报告置信度与准确率严格相关，这一可靠性支撑了FOREAGENT中以 $c = 0.7$ 作为门控阈值的机制，确保智能体只在高确信时才采取行动。
置信度校准的可靠性直接决定了FOREAGENT中门控机制的有效性——如果置信度不可靠，整个Predict-then-Verify循环就会失效。
Beat Ratio 指标
用于评估ML智能体竞争力的指标，量化智能体在Kaggle竞赛中超越的人类参赛者百分比。例如Beat Ratio为0.877意味着智能体的方案优于87.7%的人类参赛者。该指标在MLE-bench平台上标准化使用，能够直观反映智能体达到的专家级水平。
这是评估FOREAGENT在AI4Science任务上实际性能的核心指标，也是衡量用推理替代执行策略是否真正有效的关键证据。
研究动机
当前主流的自主机器学习智能体（如AIDE、AutoMind）依赖Generate-Execute-Feedback范式来迭代改进代码方案。在这个范式中，智能体的每一次假设评估都严格依赖于昂贵的物理执行——在MLE-Bench基准上，单次模型训练和评估的运行时间可长达9小时。这意味着智能体在搜索最优方案的过程中，绝大部分时间都消耗在等待执行结果上，形成了严重的执行瓶颈（Execution Bottleneck）。现有的缓解策略主要是启发式剪枝（如KompeteAI、AutoML-Agent），本质上仍然受限于物理执行的速度上限。对于需要大量探索的科学发现任务（如COVID疫苗mRNA序列优化），这一瓶颈尤为致命——有限的时间预算内智能体只能探索极少的候选方案，严重制约了最终解的质量。此外，执行反馈本身也存在噪声问题：内部验证指标 $M_{val}$ 与真实测试性能 $M_{test}$ 之间存在显著的验证-测试差距（Validation-Test Gap），仅能达到72.2%的一致性，这意味着即使执行了，反馈信号也不完全可靠。
本文的目标是本文的直接目标是验证一个根本性问题：能否将数小时的物理执行压缩为数秒的逻辑推理？具体而言，作者希望证明LLM能够在不执行任何代码的情况下，仅通过分析任务描述、数据特征报告和候选代码，就能准确预测两个ML方案的相对性能优劣。如果验证可行，则将这一预测能力整合为实用的智能体系统FOREAGENT，实现：（1）在相同时间预算内将搜索空间扩展3倍以上；（2）将收敛速度提升6倍；（3）同时保持甚至超越执行基线的最终性能。更长远的目标是为构建可扩展的奖励模型（Reward Model）奠定基础，用于加速强化学习中的rollout过程。
与已有工作不同的是，本文的独特切入点在于将强化学习中世界模型的概念引入到代码生成和ML工程领域。与此前的跳过执行研究不同——那些工作主要关注逻辑一致性推理基准（如CRUXEval、LiveCodeBench）上的代码推理——本文关注的是数据驱动的方案偏好预测。关键区别在于：传统代码推理任务（如预测程序输出）的验证是符号性的、瞬时的；而ML方案的优劣取决于算法逻辑与随机数据分布之间的隐式耦合关系，这种关系无法通过简单的语法检查或复杂度启发式来捕获。作者将问题形式化为以数据为中心的方案偏好（Data-centric Solution Preference）任务，要求模型在给定数据分析报告的条件下，通过推理（而非执行）来判断两个候选方案哪个更优。这一视角将评估的锚点从代码语法转向了数据-模型适配的语义层面，是此前研究未曾系统探索的方向。
核心方法
本文的方法可以类比为一位资深ML工程师的心理模拟过程：当面对两个候选方案时，她不会两个都跑一遍（太慢了），而是先仔细阅读数据特征报告，理解数据的分布特点（如类别不平衡、样本量、特征维度），然后在脑中推演每个方案与数据特性的匹配程度，最终快速判断哪个方案更可能有效。具体技术路线分为三个层面：首先是数据层面，作者从AIDE和AutoMind两个ML智能体的真实执行轨迹中收集1,329个有效方案，覆盖26个任务和3个领域（CV、NLP、数据科学），通过专家在环的筛选和去重，生成18,438个成对比较。每个比较样本包含任务描述、数据分析报告、两个候选代码方案。其次是评估层面，将任务形式化为成对选择任务，模型需要输出预测胜者 $\hat{y} \in \{0, 1\}$ 和置信度 $c \in [0, 1.0]$。最后是应用层面，将预测能力整合为FOREAGENT智能体，采用Predict-then-Verify循环：先并行生成m=10个候选方案，用世界模型快速筛选，仅将置信度最高的Top-k方案送去物理执行验证。
本文最核心的创新在于提出了Verified Data Analysis Report作为LLM预测能力的语义桥梁。这一设计的关键洞察是：LLM在原始数值数据上的推理能力有限（原始数据对模型而言是弱语义符号，缺乏可泛化的拓扑结构），但在自然语言语义空间中的推理能力强大。因此，通过一个严格的Profile-Verify-Verbalize三步流程，将原始数据统计信息转化为语义叙事，可以将LLM的预测能力从56.7%（仅代码）提升到61.3%（完整报告）。这一提升并非来自简单的复杂度启发式——实验证明复杂即更好的基线仅达到50.8%，几乎等于随机猜测。LLM的预测能力源于真正的语义数据理解，而非表面的代码复杂度判断。另一个核心创新是将预测能力设计为带置信度校准的门控机制，使得系统能够在预测不确定时回退到物理执行，保证了实用性。
方法步骤详情
完整方法包含以下关键步骤：（1）轨迹收集：从AIDE和AutoMind两个智能体在MLE-bench平台上的真实执行轨迹中收集候选方案，使用DeepSeek-V3.1和o3-mini作为编码后端，生成1,329个有效方案。（2）数据筛选与实例化：通过专家在环流程进行去重、分类标注和采样，确保算法多样性，限制每个任务最多15个方案以控制评估复杂度，然后穷举生成所有成对比较，过滤模糊对并平衡位置偏差，最终得到18,438个比较。（3）输入增强（Verified Data Analysis Report生成）：GPT-5.1生成Python数据剖析脚本，沙箱执行获得原始统计日志，人工验证无错误，GPT-5.1将日志翻译为结构化语义报告，包含数据概述、关键统计发现、对模型设计的启示和总结四个部分。（4）偏好预测：将任务描述 $I$、数据分析报告 $D_{rep}$、代码对 $\{C_0, C_1\}$ 和系统提示 $P$ 作为输入，LLM输出推理链 $cot$、预测胜者 $\hat{y}$ 和置信度 $c$。（5）FOREAGENT整合：在AIDE的树搜索架构上将改进阶段改造为Predict-then-Verify循环——并行生成10个候选方案，世界模型预测所有成对比较，置信度门控 $c \geq 0.7$ 过滤低质量方案，仅将Top-1候选送去物理执行验证。
技术新颖性
本文的技术新颖性体现在三个层面：第一，问题定义层面，首次形式化了以数据为中心的方案偏好任务，将其与传统的代码推理（如CRUXEval的输入输出预测）和逻辑一致性评估区分开来，强调的是算法逻辑与数据分布之间的隐式耦合关系，而非代码的语法正确性。第二，方法论层面，提出了Verified Data Analysis Report作为语义投影机制，将LLM不擅长的数值推理转化为其擅长的语义推理，实验表明这种语义锚定（semantic grounding）是预测成功的关键——Context Mismatch控制组（使用不相关上下文）仅达到56.8%，与Code Only基线无显著差异，证实了预测成功严格依赖于语义对齐。第三，系统层面，FOREAGENT的Predict-then-Verify循环打破了传统要么执行要么放弃的二元选择，创造性地将推理与执行解耦——推理用于扩大搜索空间和剪枝，执行用于锚定最终方案，两者各司其职。这与此前所有启发式剪枝方法（本质上仍依赖执行反馈）有本质区别。
实验结果
本文的实验结果从多个维度验证了LLM作为隐式世界模型的可行性。在18,438个成对比较的主实验中，DeepSeek-V3.2-Thinking达到61.5%的准确率，GPT-5.1达到58.8%，两者均显著超过随机基线（50.0%）和复杂度启发式基线（50.8%），统计显著性明确。更深入的分析揭示了四个关键发现：第一，预测成功源于语义数据理解而非复杂度启发式——从Code Only（56.7%）到Numerical Stats（59.0%）再到Verbal Reports（61.3%）的性能递进证明了这一点，且Context Mismatch控制组（56.8%）与Code Only无显著差异，确认了语义对齐的必要性。第二，推理能力（Thinking Mode/CoT）是解锁预测能力的关键——CoT模式（61.3%）比直接回答（55.9%）高出5.4个百分点，且在温度 $T \in [0, 1.5]$ 范围内表现稳健。第三，预测精度违反标准参数缩放定律——在Qwen系列从4B到1T的模型中，性能在30B后快速饱和形成统计平台期，暗示能力天花板的存在，意味着预测能力更多来自推理架构而非纯粹的参数规模。第四，在5个AI4Science任务上，FOREAGENT实现了平均6倍加速，在仅1/6的时间预算内探索了3.2倍更多的搜索节点，同时Beat Ratio提升+6%（从69.5%到73.9%）。特别值得注意的是，在未见过的任务（如Aerial Cactus Identification）上，FOREAGENT从69.8%提升到87.7%，展现了出色的任务泛化能力。此外，模型在Google Quest Challenge案例中成功识别出小型数据集上深度神经网络的过拟合风险，正确优先选择了LightGBM方案，证明其能够超越人类直觉中的复杂度偏见。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 成对偏好预测（18,438对，26任务） | Micro-Averaged Accuracy (%) | 61.5%（DeepSeek-V3.2-Thinking） | 50.0%（随机猜测）/ 50.8%（复杂度启发式） | 相对随机基线+11.5pp，相对启发式+10.7pp |
| 成对偏好预测（18,438对，26任务） | Micro-Averaged Accuracy (%) | 58.8%（GPT-5.1） | 50.0%（随机猜测）/ 50.8%（复杂度启发式） | 相对随机基线+8.8pp，相对启发式+8.0pp |
| AI4Science Beat Ratio（5任务平均） | Average Beat Ratio | 0.739（FOREAGENT） | 0.695（AIDE基线） | +6% 相对提升 |
| Aerial Cactus Identification（未见任务） | Beat Ratio | 0.877（FOREAGENT） | 0.698（AIDE基线） | +25.6% 相对提升 |
| 搜索效率（5任务平均） | 收敛时间加速比 | 6x 加速 | AIDE基线（12小时） | 仅用1/6时间达到最优，探索3.2x更多节点 |
| Test Improve Rate（15次运行平均） | Test Improve Rate (%) | 53.49% | 30.39%（AIDE执行基线） | +23.1pp 绝对提升 |
| 验证-测试差距（Validation-Test Gap） | 准确率 (%) | 61.5%（LLM推理，秒级） | 72.2%（物理执行，小时级） | 以10.7pp的精度差距换取数百倍效率提升 |
局限与改进
本文在多个方面存在局限性。首先是语料库不平衡问题：虽然涵盖18,438对、26个任务，但主流范式（如分类、回归）占据主导地位，而小众科学任务（如音频分类、表格评分）的样本量显著较小，模型在极低资源或高度专业化科学领域的可靠性可能不足。其次是领域覆盖问题：Verified Data Analysis Report目前依赖于元数据进行非结构化领域（如CV、NLP）的语义分析，尚未整合多模态数据分析代理来实现更深层的语义剖析。第三是扩展性缺陷：在全局Listwise Ranking中，随着列表规模从2增加到5，Accuracy@1从61.3%暴跌至31.1%，Spearman相关系数仅约0.23，暴露了模型在二元比较之外缺乏全局一致性判别能力。第四是数值推理的固有弱点：原始数值数据对LLM而言是弱语义符号，当前的verbalization策略虽然有效但本质是绕道而行，根本性的解决需要整合符号回归（Symbolic Regression）等技术直接从数据中提炼逻辑。第五，FOREAGENT的实现采用了保守的Predict-then-Verify循环设计，尚未穷尽高级架构变体和超参数配置的探索空间，当前性能可能仅代表框架能力的下界。最后，作者承认72.2%的验证-测试一致性构成了一种间接认知边界，静态预测在理论上不可能超越动态验证（Rice, 1953），超过此饱和点的收益可能代表分布噪声的过拟合。
独立分析的弱点
从独立分析角度看，本文存在几个值得关注的弱点。第一，数值表示的根本问题被绕过而非解决：Verbalization策略本质上是一种语义投影，将数值信息压缩为自然语言描述，这一过程不可避免地会丢失信息。例如，数据严重不平衡的描述无法精确传达91.5:8.5的具体比例及其对不同损失函数的梯度影响。改进方向是整合符号回归或数值嵌入技术（如Davies et al., 2025发现LLM不连续嵌入数字），直接在嵌入空间中操作数值特征。第二，FOREAGENT的k值选择过于保守：消融实验显示k=2的性能（0.642）低于k=1（0.739），但这可能是因为当前的门控阈值和选择策略未针对k>1优化。更精细的多候选选择策略（如基于不确定性加权的集成选择）可能在k>1时获得更好结果。第三，泛化能力的验证仅限于5个AI4Science任务，且其中3个是已见任务，2个未见任务（Aerial Cactus和Cancer Detection）都是相对标准的图像分类任务，尚未验证模型在更复杂的科学发现场景（如分子生成、蛋白质折叠）中的能力。第四，置信度门控的阈值 $c = 0.7$ 是固定的，缺乏自适应机制——在不同任务和领域上，最优门控阈值可能不同。改进方向是根据任务特征动态调整门控策略。
未来方向
作者提出了几个重要的未来方向，基于论文成果还可以延伸出更多研究路径。作者明确指出：（1）将隐式世界模型从推理场景扩展到训练场景，作为可扩展的奖励模型（Reward Model）来加速强化学习中的rollout过程，这是一个极具前景的方向，因为FOREAGENT的验证-测试一致性（75.23%）已经接近物理执行的理论上限（72.2%）。（2）整合符号回归技术直接从数据中提炼复杂逻辑，从根本上解决LLM的数值推理弱点。（3）从静态预测进化到交互式模拟，将智能体锚定在真实的因果反馈循环中，超越当前的世界盲学习者（World-Blind Learner）状态。基于本文成果可延伸的方向包括：将预测能力应用于更多类型的代理框架（如AlphaEvolve式的进化搜索）；开发自适应门控策略替代固定阈值；探索多模态数据分析代理以处理CV和NLP领域中更深层的语义特征；以及将方法扩展到更广泛的科学发现场景，如药物分子设计、材料科学等。
复现评估
本文在可复现性方面做了较好的工作。代码和数据集均已公开在GitHub仓库（https://github.com/zjunlp/predict-before-execute），采用MIT许可证发布。语料库来源为公开的Kaggle竞赛数据集，遵循CC-BY-SA 4.0许可证。实验在标准硬件上进行：Intel Xeon Gold 6138 CPU（80逻辑核）+ 6 x NVIDIA GeForce RTX 3090 GPU（24GB VRAM），采用6个并行工作者的评估流水线。主基准测试消耗约7,850万token（输入+输出），分析与消融阶段约960万token。使用的主要模型（DeepSeek-V3.2、GPT-5.1）均为商业API，需要相应的API访问权限和费用。评估指标使用Scikit-learn标准实现。值得注意的是，智能体基线（如AIDE）的计算成本高度随机——单个困难任务可能触发指数级分支和token消耗，这使得精确复现基线结果存在一定的不确定性。整体而言，核心的预测评估流程可以较为可靠地复现，但FOREAGENT的端到端性能可能因LLM API的版本更新而有所波动。
论文图表
左右对比的示意图：左侧展示传统ML智能体通过昂贵的执行和外部反馈进行改进，消耗数小时的物理执行时间；右侧展示本文方法通过隐式执行先验在执行前识别出数据支撑的优质方案，仅需数秒的LLM推理时间。
这是全文的核心概念图，直观展示了从执行到推理的范式转变，帮助读者在第一时间理解本文的核心主张。