WhatWorkedBench：衡量 AI 智能体实验理解能力的基准

用预算化实验后的完整预测表，衡量 AI 智能体对组件干预效果的定量理解能力

前置知识

条件效应（conditional effect）

在固定其他所有组件设置的背景 $z$ 下，把组件 $i$ 从 0 切到 1 引起的分数变化 $\Delta_i(z) = u_t(z + e_i) - u_t(z)$。与平均效应不同，条件效应逐背景取值，能刻画同一改动在不同背景下方向相反的情形。$d=4$ 时每个任务有 32 个条件效应，$d=6$ 时有 192 个；由路径恒等式，全部条件效应加一个锚点值即可决定整个响应面。

本文的核心评分对象就是条件效应误差 $E_t$ 与恢复率 $R_t$，不理解这个概念就无法理解这个基准到底在测什么、为什么选对配置不等于理解了组件。

交互作用（interaction）

两个组件的联合效果偏离各自效应之和的程度，用二阶差分 $u(z+e_i+e_j) - u(z+e_i) - u(z+e_j) + u(z)$ 在其余背景上取平均来概括。论文开篇的检索例子中，二值词频与子线性 TF 的交互达 $-0.245$；整个目录 35/36 个任务存在效应符号翻转，24/36 在 5% 分数范围下限下仍保持翻转。

交互作用是平均效应不可加、必须预测条件效应的直接证据，也是 pair ridge 与 GP 等估计器分出高下的结构性原因。

响应面重建（response surface reconstruction）

用有限的观测点拟合模型，预测整个配置空间（这里是 $2^d$ 个二值掩码）上的分数，即提交一张完整预测表 $\hat{u}_t(z) \in [0,1]$。这一概念来自实验设计与代理优化领域，常用多项式 ridge 回归或高斯过程实现；评分时已测单元格会被权威观测覆盖。

智能体的最终交付物就是这张响应面，基准通过它与穷举执行的真值对比来打分，恢复率 $R_t = \max(0, 1 - E_t/A_t)$ 是全文主指标。

高斯过程回归（GP）

非参数贝叶斯回归方法：用核函数 $k(z, z') = \exp[-h(z,z')/\ell]$（本文 $h$ 为汉明距离）度量配置相似度，在观测条件下给出后验均值与方差，超参 $\ell$ 与正则项 $\eta$ 通过留一预测误差从网格中选择。预测方差还可导出采集准则（GP-G/GP-E）决定下一个测量点。

GP 是论文共享推断对比的主角：把同一批 Flash 智能体观测的恢复率从 0.632 提升到 0.698、从 0.621 提升到 0.720，是用好证据比多买证据更值钱这一结论的载体。

代码等价类（code-equivalence class）

由工作流代码可见的守卫规则推导出的、原生行为完全相同的配置集合，例如高斯滤波关闭时其 $\sigma$ 参数失效，故两个掩码得分恒等。每个类只需测量一个代表，其余成员共享其预测；论文中每条等价断言都经原生预测哈希与分数校验（96 个等价端点对全部核对），六个任务产生 36 至 64 个类。

它是论文量化利用程序结构收益的对照手段，把 $B=20$ 下 GP 恢复率从 0.248 翻倍到 0.462，并揭示了智能体会报告规则却不应用规则的失败模式。

研究动机

AI 研究智能体已能自主规划、执行和解读计算实验（MLAgentBench、MLE-bench、EXP-Bench 等评测的对象），它们靠试错历史修正训练配方、把廉价实验的结论迁移到昂贵配置。但现有评测几乎只看最终任务是否成功，回答不了一个更根本的问题：实验做完后，智能体到底学到了什么可量化的知识？难点在于组件改动存在条件依赖：论文在 SciFact 检索任务上实测发现，二值词频在子线性 TF 关闭时把 NDCG@10 提升 $+0.160$，在 TF 开启时反而造成 $-0.084$ 的下降，交互达 $-0.245$；整个目录 36 个任务条件中 35 个存在这类符号翻转，其中 24 个在翻转幅度超过 5% 分数范围时依然存在。只报告最优配置或平均组件效应会把这些条件行为全部掩盖，也无法区分碰巧选对了配置与真正理解了每个组件在各背景下做什么这两种截然不同的能力。

本文的目标是把实验理解定义并实现为可执行、可精确打分的评测目标：让智能体在给定测量预算 $B$（外加 2 个免费锚点 $u_t(\mathbf{0})$ 与 $u_t(\mathbf{1})$）下检查工作流代码、自适应或分批地购买配置观测，最终提交一张覆盖全部 $2^d$ 个合法配置（$d \in \{4, 6\}$）的完整预测表。评测方用穷举原生执行得到的 1,248 条真值记录，对每个组件在每个背景下的条件效应（$d=4$ 时 32 个、$d=6$ 时 192 个）、平均两两交互、最优配置选择的 regret 以及交付工件的有效性逐一打分，从而把测量选择、数值推断、程序结构利用三类算法决策放进同一个可控协议中比较。

与已有工作不同的是，相关基准要么评测交互式科学发现（ScienceWorld、DiscoveryWorld、BoxingGym、Gravity-Bench、SciGym），要么评测研究产出与执行（MLAgentBench、EXP-Bench、ResearchGym、FIRE-Bench），要么只做因子归因（CAFE）或受控交互符号判定（petri-bench）；没有一个以穷举原生结果为参照、对每个条件效应都可度量连续误差作为评测对象。本文的独特切入点是刻意选择结果确定性的计算工作流（冻结代码、随机种子与评测集），使穷举参考成为可能：3,392 个条件效应全部有真值。这进一步解锁了两个同类基准做不到的受控比较——固定观测换估计器的共享推断对比，以及基于原生验证等价类的程序结构对照。

核心方法

直觉：判断一个智能体是否理解各组件，就看它实验结束后能否预测任意组合改动的后果。技术上，每个任务定义为确定性效用 $u_t(z) \in [0,1]$，$z \in \{0,1\}^{d_t}$，每个比特是一个二值选项（factor），整向量是掩码（mask），所有掩码合法。智能体获得两个免费锚点，可再购买至多 $B$ 个不同掩码的观测（重复免费、超预算整批拒绝），回合结束时提交覆盖全部配置的预测表。评分先把已测单元格替换为权威观测，再计算：(1) 条件效应 MAE $E_t$；(2) 恢复率 $R_t = \max(0, 1 - E_t/A_t)$，$A_t$ 为平均绝对真效应；(3) 平均两两交互 MAE；(4) 网格 MAE 与最优选择 regret；(5) 严格重建分，要求每条效应误差不超过 $\max(10^{-12}, \tau(\max u_t - \min u_t))$，开发容限 $\tau = 0.1$。目录含 8 个工作流族、30 个源、36 个任务条件：4 因子轨道 22 个实例，配对轨道加 6 个 6 因子变体，另有 4 个节拍检测与 4 个图链路预测实例，共 1,248 条配置记录。

三个核心创新。第一，以完整条件效应场而非任务分数为评测对象：由路径恒等式 $u_t(y) - u_t(x) = \sum_{e \in \text{path}(x,y)} s_e \Delta_e$（$s_e \in \{-1,1\}$），全部条件效应加一个锚点即决定整个响应面；若每条边误差 $\le \epsilon$，则任意 $k$ 组件干预的误差 $\le k\epsilon$。附录 F.2 给出一个保持两个免费锚点且唯一最优选型正确、但恢复率 $R=\delta$ 可任意小的构造，从数学上把选对配置与理解效应分离开——实测中 13 个实例恰好精确选型却效应误差超严格容限。第二，共享估计器协议：固定智能体买到的观测集，分别喂给 D1/D2 ridge 或高斯过程重新拟合再打分，从而把采集了什么证据与如何利用证据两个因素因果地分开，这在 agent 评测中极少见。第三，代码等价类控制：从工作流代码的可见守卫规则（如滤波关闭则滤波宽度失效）构造经原生预测哈希验证的等价配置类，测量每类一个代表，使程序结构的价值变成可测量的恢复率增益。

方法步骤详情

流程分五步。(1) 目录构建：为 8 个族各定义 6 个二值选项（如检索的 unigram/bigram、停用词、子线性 TF、IDF、二值计数、L2 归一化），冻结实现、种子与评测集，用 scikit-learn/SciPy/NetworkX 穷举执行全部 16/64 个掩码得 1,248 条记录，经冷执行哈希校验与独立指标实现验证，单线程 127.87 秒可离线重放。(2) 智能体回合：向 deepseek-v4-flash/pro 提供工作流代码与输入摘要及四个工具（查看证据、批量购买掩码、运行数值 Python、提交预测表），32,768 token 输出上限、1,800 秒会话时限、最多 20 次计算调用（每次 30 CPU 秒）。(3) 购买观测：可信主机从原生执行缓存返回收据（效用值与原生指标值），同一掩码反馈确定。(4) 提交：接受完整 JSON 预测表或具名公共 ridge helper，提交即关闭回合，缺交付记零分。(5) 评分与受控对比：计算 $E_t$、$R_t$、交互 MAE、regret 与严格分；共享估计器把每回合观测喂给 D1/D2/GP 重新拟合；等价类控制把掩码映射到代表（回归 36 类、聚类 48 类、图像修复 36 类、检索 48 类，分类与预测为恒等映射）后重跑数值设计。

技术新颖性

与相关工作的本质区别有三。其一，评测对象是知识工件而非任务成功：ScienceWorld/MLE-bench/EXP-Bench 评最终表现，BoxingGym 评信息增益与解释启用预测，CAFE 只做因子归因，petri-bench 只测交互符号；本文对每个条件效应都有穷举真值，误差可连续精确度量，不依赖模型评判或专家评分。其二，确定性环境带来可无限复用的对照实验：同一批观测可反复喂给不同估计器（Table 3 的采集×估计器矩阵），同一设计可在 20 个随机种子上重复（随机 D2 共 120 条记录），这在物理、生物仿真类基准中不可能实现，且单线程 127.87 秒即可重放全部参考。其三，首次把程序分析引入实验型基准并量化知行分离：等价类由代码守卫推导并经 96 个端点对的预测哈希独立核对；诊断回合显示 4 个 code-only 智能体全部在测量前正确报告了全部 6 条注册规则、却全部用 ridge helper 交付了违反等价类的表（平均等价误差 11.88% 效用范围），事后类投影无需任何新测量即把恢复率从 0.338 提升到 0.507——能说出规则与在预测中应用规则的鸿沟被第一次量化。

**Figure 1**: WhatWorkedBench connects budgeted experiments to quantitative understanding. Agents inspect a workflow, query selected configurations, and submit a complete prediction table. The evaluator uses exhaustive CPU outcomes to score conditional effects, mean pair interactions, configuration choice, and artifact delivery. Shared inference compares estimators on the same observations.

实验结果

四组实验。第一，数值控制（4,206 条记录）：22 个 4 因子源在 $B=8$ 时，pair-effect 设计/ridge（D2）取得 0.612 家族宏平均恢复率、15 次精确选型、3 次严格重建；效应方差 GP（GP-E）取得 0.701、16 次、1 次——GP 在平均恢复和选型上占优，D2 在最大误差准则上占优；13 个实例精确选型但效应误差超严格容限，直接证明优化成功与干预知识是不同目标。容限剖面下 D2 在 2.5%/5%/10%/20%/40% 容限分别通过 1/1/3/8/20 个实例；原生单位换算后结论不变（D2 0.633、GP-E 0.712）。第二，108 回合核心 agent 研究（Table 2）：Flash 原始队列恢复率从 $B=4$ 的 0.178 升到 $B=8$ 的 0.632（SD 0.073），追加队列 0.375→0.621；Pro 为 0.043→0.366 与 0.308→0.503；18 个 Flash $B=8$ 回合中 7 次精确选型、仅 1 次严格重建。第三，共享推断（Table 3）：同一批 Flash 观测喂给 GP 后，原始队列恢复 0.632→0.698，追加队列 0.621→0.720，均高于 D2 设计观测上的 0.669 与 GP 自采观测的 0.640；逐源留一敏感性显示原始队列 GP 增益区间 $[0.021, 0.096]$ 恒正。原始 Flash $B=8$ 回合中 67.4% 的条件效应涉及未测配置：均值填充基线仅 0.287（未测效应归一化误差 $Q_U = 1.054$），交付表 0.632（$Q_U = 0.542$），共享 GP 达 0.698（$Q_U = 0.444$）。第四，程序结构与附加族：$B=20$ 时等价类把 D2 从 0.157→0.389、GP-E 从 0.248→0.462（$B=32$ 时 0.445→0.650、0.537→0.697），4 个有非平凡等价类的源全部提升；但给 agent 完整代码反而不如黑盒视图（交付 0.268 vs 0.257、0.185 vs 0.234，共享 GP 差 $-0.024/-0.064$，8 个双交付对的源宏差达 $-0.120$）；8 个诊断回合中 agent 全部报告 6 条规则却全部违反，提供规则把 0.247→0.429，事后投影把 0.338→0.507。6 个 $B=32$ 完成 artifact 上共享 GP 把家族宏恢复 0.303→0.455（节拍 +0.160、图 +0.145），六个源全部为正，而同源数值控制 D2 仅 0.230、GP-G 0.414、GP-E 0.404。

**Table 1**: Task conditions and source inventory. Paired variants share their original sources. Source metadata retain dataset and library relationships, including the classifier reused for link prediction.

**Table 2**: Four-factor agent evaluation on six matched sources per row. Recovery averages all attempted episodes, assigning zero to missing delivery. Mean SD averages the sample standard deviation across repetitions within each source.

**Table 3**: Acquisition and reconstruction at B = 8 on six matched four-factor sources. Shared columns fit each estimator to the row's observed sets. Delivered recovery assigns zero to missing artifacts; shared fits use all acquired evidence.

**Figure 4**: Family-macro conditional-effect recovery across measurement budgets. The left panel contains 22 four-factor sources; the right panel contains six paired six-factor sources. Vertical guides mark the B = 8 and B = 20 comparison budgets. Code-equivalence methods appear only on the six-factor track and encode visible inactive-parameter rules.

**Figure 5**: Recovery across measurement budgets for beat detection and link prediction. Each family contains four source instances, with complete native references and the same experimental-design and reconstruction interfaces.

查看结构化数据

任务	指标	本文	基线	提升
4 因子条件效应恢复（22 源，B=8）	家族宏平均恢复率 R	效应方差 GP（GP-E）0.701（原生单位 0.712）	主效应 ridge D1 0.571；随机 D2 0.503	较 D1 +0.130，较随机设计 +0.198
4 因子严格重建（τ=10% 响应范围）	通过源数（22 中）	D2 3/22（GP-E 1/22；τ=40% 时 D2 20/22）	D1 1/22	τ=10% 时 +2 源
Agent 4 因子（Flash，原始队列）	交付恢复率（缺交付记零）	B=8 达 0.632；同观测共享 GP 0.698	B=4 时 0.178；同源 D2 设计 0.627	预算翻倍 +0.454；共享 GP 再 +0.066
6 因子代码等价类（B=20，6 配对源）	GP-E 恢复率	0.462（B=32 时 0.697）	无等价类 GP-E 0.248（B=32 时 0.537）	+0.214（约 1.9 倍）
附加族完成提交（节拍+图链路，B=32，6 源）	家族宏恢复率	共享 GP 0.455	agent 交付 0.303；同观测 D2 控制 0.230	较 agent +0.152，较 D2 +0.225
结构诊断事后等价投影（8 回合）	平均恢复率	0.507（8 次运行的原始效应误差全部下降）	原始交付 0.338	+0.169，无需任何新测量

局限与改进

作者承认的局限：(1) 组件均为二值开关（$d=4/6$）、效用确定且冻结种子，没有连续超参、随机方差或跨任务泛化维度；(2) 严格重建通过率很低（数值控制最好 3/22，agent 仅 1 次），说明任务远未解决，绝对分数解释需谨慎；(3) 评测的智能体只有 DeepSeek Flash/Pro 两个模型，原始队列遭遇 75 次 HTTP 429 且 24 回合中 4 个缺失交付，每配置仅 1-3 次重复（SD 0.073-0.130），两个日期队列间差异明显（Flash B=4：0.178 vs 0.375），且 Flash 别名在两次执行之间被提供商路由到 V4.1 Flash，作者只能按日期分队列报告。我自己的观察：(4) 穷举参考之所以可行，正因工作流小而确定（不超过 64 个配置、CPU 秒级），与真实自动研究中开放、昂贵、带噪声的实验相距甚远，实验理解能力向真实科研的迁移未经验证；(5) 8/8 诊断回合的 agent 直接提交公共 ridge helper 而非自行推理，基准实际部分度量的是工具选择能力，恢复率可能高估了模型自身的数值理解；(6) 恢复率把所有条件效应等权平均，大量数值上可忽略的效应会稀释有意义的误差；(7) 信息研究中给代码反而有害的结论基于 12-24 个小样本回合，且未探索任何提示工程，程序结构利用目前只被离线事后投影证明可行。

独立分析的弱点

(1) 组件空间限制在 4-6 个二值开关，穷举参考的可行性以牺牲真实性为代价——真实自动研究中组件是连续超参、多值选择与代码级修改，条件效应空间不可穷举；改进方向是引入带可证明误差界的代理参考或分区穷举（稀疏网格、布尔立方 Fourier 截断）。(2) 恢复率对所有条件效应等权，而 121/172 个组件在 $10^{-12}$ 下限才有翻转、仅 59 个超过 5% 范围；按效应幅度加权的恢复率（例如只用超过 5% 范围的效应）会更贴近有用的知识。(3) Agent 侧统计功效不足：核心研究仅 6 个源、每配置 1-3 次重复，SD 高达 0.073-0.130，完整信息负增益 $-0.120$ 这类关键结论只依赖 8 个有效对；应扩充模型池（GPT、Claude、Gemini 等）与重复次数。(4) 等价类规则是人工注册的 6 条守卫关系，尚未测试智能体从代码自动归纳非等价的定性结构（单调性、饱和、支配关系）的能力，而这更接近真实代码阅读。(5) 每回合最多 20 次计算调用、每次 30 CPU 秒的限制使智能体无法运行真正的拟合管线，可能系统性低估强模型；预算—性能曲线的 agent 数据也只有 $B=4/8$ 两个点。(6) GP 共享拟合的核（汉明距离）与超参网格是人工挑选的，换成结构化核（如 ANOVA 核）可能进一步改变结论。每个弱点都指向明确的改进实验，这也正是该基准作为平台的潜力所在。

未来方向

作者提出的四大支持方向：实验智能体研究、自适应实验设计、数值推断、程序结构利用。基于其成果可延伸的具体方向：(1) 把事后等价投影（+0.169 增益）改造成智能体的在线推理步骤——先做规则检查再生成预测表，直接修复知行分离；(2) 在共享估计器协议上训练或检索自动选择估计器的策略，因为 Table 3 显示不同观测集上的最优估计器不同（Pro 追加队列上 D2 0.670 反而高于 GP 0.667）；(3) 以 GP-G（0.661）/GP-E（0.701）为基线训练学习型采集策略（Deep Adaptive Design 风格），尤其是在 $B=20$ 时两附加族恢复率仅约 0.044 的极端稀疏区间；(4) 借助布尔立方 Fourier 分析扩展到连续/多值组件与三阶及以上交互（论文已报告三阶以上方差占比最高达 0.432）；(5) 跨任务迁移评测：一个源上学到的组件知识（如标准化通常有益）能否加速另一个源的实验，衔接作者团队关于廉价实验到昂贵配置迁移的自动研究工作；(6) 让智能体对自身效应估计做自我一致性检查（用路径恒等式验证预测表内部自洽），这是一个零成本的免费诊断信号。

复现评估

复现条件在同类工作中属于极佳水平。论文附带公开任务文件、仅评测方持有的穷举参考、版本化回合语义、冻结的提示词（prompts/four_system.txt 等四个文件）、精确的原生操作定义与机器可读审计报告；准备好的输入包可在仓库之外以单线程 127.87 秒重放全部 1,248 条原生记录；标准库回合引擎在独立进程中复现 4,206 条存储分数记录；全部 96 个注册等价端点对经预测哈希与分数独立核对；容限剖面、原生单位、符号翻转、逐源敏感性分析都有单独附录。算力方面，数值控制全部是 CPU 任务（scikit-learn/SciPy/NetworkX），无需 GPU；agent 研究需要 DeepSeek API 预算（108 核心回合 + 36 信息回合 + 8 诊断 + 6 附加族），并需处理速率限制与会话调度（作者记录了 75 次 HTTP 429、5 次超时与流式断连问题），且 Flash 别名已变更，复现时须用当前模型重新建立自己的基线队列。难度评估：数值部分低（一两天即可跑通全部 4,206 条控制记录），agent 部分中等（需要稳健的请求调度与记账）。作者还保留了 AI 使用声明、全部生成实现、分析脚本与审计结果，透明度很高。

WhatWorkedBench：衡量 AI 智能体实验理解能力的基准 WhatWorkedBench: Benchmarking Experimental Understanding in AI Agents