重新审视智能体测试框架演化的评估方法 Rethinking the Evaluation of Harness Evolution for Agents

四步流程。**记号**：策略 $\pi_\theta$，轨迹 $y \sim \pi_\theta(\cdot|x;h)$，结果 $R(y,g)\in\{0,1\}$，总结映射 $\Phi$，预算 $K$。**四种方法**：(a) 并行采样抽 $K$ 条 $y_k$，无测试用 self-judge $J$ 选 $\hat{y}=\arg\max_k J(y_k)$，有测试返回 $R(y_k,g)=1$ 的轨迹；(b) 串行精炼 $y_k\sim\pi_\theta(\cdot|x,\Phi(y_{k-1});h)$；(c) Harness 演化抽批次 $\{x^{(i)}\}$，每轮采 $m$ 条 rollout，meta agent 输出 $h_k=M(\Phi(C_{k-1}))$，选 $\hat{h}=\arg\max_k\bar{R}(h_k)$ 后 $\hat{y}\sim\pi_\theta(\cdot|x;\hat{h})$，用 AHE 关 explore agent 实现；(d) Harness Scaling 是实例级 $h_k=M(x,\Phi(h_{k-1},y_{k-1}))$。**设置**：Terminal-Bench 2.1 + 三模型，128k tokens，K=5，m=1，2 次运行取均。**三种评估**：无单元测试、有单元测试（pass@1/pass@5）、disjoint（45/10/34）。

技术新颖性体现在三方面。第一，**统一预算框架**：把 harness 演化纳入与测试时扩展同一形式化，明确了「反馈类型 + 预算分配 + 修改对象」三个比较维度，这在已有 harness 演化文献中从未系统做过。第二，**pass@1 vs pass@5 的诊断价值**：作者敏锐指出，若 harness 演化收益源于 harness 设计改进，pass@1 应提升；若只在 pass@5 上提升，则说明是多次采样而非 harness 改进——这一诊断把「真正改进」从「采样上限」中分离出来，是方法论上的关键贡献。第三，**Harness Scaling 作为对照**：作者引入 dataset-guided（演化）与 instance-guided（缩放）的二元对照，把「跨任务学习可复用 harness」与「单任务自适应 harness」分离开。第四，**泛化性测试协议**：首次用 disjoint 划分检验演化 harness 的迁移能力，把过拟合问题摆上台面。这些诊断工具使本文成为后续 harness 演化工作的评估范式。

**弱点 1：基准覆盖太窄。** 仅 Terminal-Bench 2.1，作者自认对 harness 不敏感。改进：在 SWE-bench、WebArena、GAIA 等需复杂工具/工作流的基准上复测，挑「任务足够难 + 性能依赖 harness」的基准。**弱点 2：算法代表性不足。** 只测 AHE（且禁用 explore agent），对演化家族不公。改进：纳入 Meta-Harness（搜 harness 代码）、AEVO（编辑过程/上下文），并启用 AHE 完整版作对比。**弱点 3：预算单一。** K=5 未做 scaling。改进：在 K=1,2,4,8,16 上画 scaling 图，看演化是否在大预算反超。**弱点 4：统计功效弱。** 仅 2 次种子无显著性检验。改进：bootstrap 或 paired test 报 $p$ 值，至少 5 次种子。**弱点 5：Harness Scaling 诊断不足。** 未分析它何时优于/劣于并行采样。改进：按任务难度/类型分层分析。

作者明确建议：在「任务足够难 + 性能高度依赖 harness」的基准上研究 harness 演化，例如需要专门工具、技能或复杂工作流的场景。可延伸方向：(1) **预算 scaling 律**——把 K 当变量，研究演化是否在大预算下反超；(2) **混合方法**——结合并行采样（宽探索）与 harness 演化（结构性改进）；(3) **可迁移 harness 子件**——把 harness 拆为 prompt/tool/middleware/memory，分别评估哪些子件能迁移，设计「可迁移子件 + 任务特定子件」混合架构；(4) **更可靠的外部信号**——无单元测试时用 LLM judge、形式化验证器等替代自生成反馈，缓解噪声问题；(5) **避免上下文膨胀**——分层 memory、检索式 harness 元件，避免 prompt 无限膨胀；(6) **失败可修复性分类器**——预测某失败是 harness 可修复还是模型推理限制，决定是否值得演化。

复现性中等偏上。**开源**：代码仓库 https://github.com/rethinking-harness-evolution 已公开。**基准与模型**：Terminal-Bench 2.1 为公开基准（89 任务），三模型（Claude Opus 4.6、GPT-5.4、GPT-5.4 mini）均为公开 API，128k tokens、高 reasoning effort 已明示。**超参数**：K=5、m=1、初始 harness 用 AHE 的 $h_1$（四方法共用）、AHE 关 explore agent 等关键设置已披露，Appendix A 给出 AHE 实现细节。**算力**：3 模型 × 89 任务 × 4 方法 × K=5 × 2 次 + 泛化划分，属业界常规规模。**主要障碍**：(1) self-judge $J$ 与总结映射 $\Phi$ 的 prompt 正文未披露；(2) 仅 2 次种子方差大，难精确复现小数；(3) 前沿模型版本随时间更新，长期复现需固定 snapshot。核心结论（演化不优于测试时扩展、泛化差）应在合理投入下被独立验证。