面向智能体编码的测试时计算扩展 Scaling Test-Time Compute for Agentic Coding

完整的方法流程分为四步。步骤 1 (Iteration 0):在 $N$ 个独立容器中并行执行 $N$ 条 rollout $P^0 = \{R_1,\dots,R_N\}$,每条 rollout 由一系列 $(A_i, O_i) = (T_i, B_i, O_i)$ 组成,其中 $A_i = \Pi_{LM}[P_{action}(P_{in}; C_{i-1})]$。步骤 2 (Summarization):对每条 rollout 用一个独立的摘要 prompt $P_{sum}$ 生成结构化摘要 $S_i = \Pi_{LM}[P_{sum}(R_i)]$,摘要包含诊断、修改、失败模式、剩余未尝试的方向等。步骤 3 (Select-K via RTV):把 $N$ 份摘要分成 G=2 一组,用比较 prompt $P_{comp}$ 让 LLM 在组内做 V=8 次投票 $g_j^{(r)} = \arg\max_{g\in\{1,2\}} \sum_{v=1}^{V} \mathbb{1}\{\Pi_{LM}[P_{comp}(P_{in}; S_{(j,1)}^{(r)}, S_{(j,2)}^{(r)})] = g\}$,胜出者进入下一轮,直到只剩 K=4 份摘要。步骤 4 (Iteration 1 + Final RTV):用这 K=4 份摘要拼接成精化上下文 $C_i^{(1)} = \{S_j^{(0)} | j \in J_i^{(1)}\}$,然后在 $N$ 个全新容器中执行迭代 1 的 N 条 rollout,首步动作由 $\Pi_{LM}[P_{action}(P_{in}; C_i^{(1)})]$ 产生;最后再跑一次 RTV 直到只剩 1 条,作为最终答案返回。默认超参 $N=16, T=2, K=4, G=2, V=8$。

技术新颖性体现在三个层面。第一,把'摘要'从一种可读性辅助工具提升为整个测试时扩展框架的统一接口,并通过 Figure 4 提供了'摘要优于原始轨迹'的实证。第二,RTV 自身是新颖的并行选择算子:它放弃了已被广泛使用的单次 N-路 LLM 排序,转而采用锦标赛式的递归投票,在 G=2 设定下达到最稳健的选择信号(Figure 5: V=8 后才出现明显的收益递减),这与 LLM-judge 在长上下文下判断力下降的已知现象一致。第三,本文对 PDR 做了面向 agentic 场景的关键改造:把'用上一次最好的一条作为精化上下文'换成'用 RTV 选出的 K 条高质量摘要作为精化上下文',并把 PDR 原版最后只跑 1 条 rollout 的做法替换为再跑一次 RTV,在 Claude-4.5-Opus/Terminal-Bench 上单这一步就贡献了 52.49% → 59.09% 的额外提升。此外,Table 4 显示精化后平均步数减少约一半(如 Opus 41.23→14.31),这是把'经验'显式注入 prompt 后带来的二次收益——执行更短且更准。

第一个可改进的弱点是 self-judge 的可靠性。从 Table 6 看,Gemini-3.1-Pro 在 SWE-Bench Verified 上的 groupwise accuracy 不足 50%,这是当前管线最大的天花板,具体场景是 judge 必须在没有 ground-truth 的情况下仅凭摘要判断哪份代码 diff 更接近正确解,这对长上下文细节推理能力要求极高。改进方向包括:用更强的外部 judge(如 Claude-Opus 给 Gemini 评分)、用 SFT/RL 直接训练一个专门的'锦标赛裁判',或者给 judge 提供可执行验证步骤(sandboxed test run)而非纯文本摘要。第二个弱点是 RTV 对 group size G=2 的强依赖——Figure 5 显示 G=2 比 G=4/8/16 稳健,但 pairwise 在 N=1024 这种规模下需要 10 轮,延迟和 token 成本都会爆炸,改进方向是用 coarse-to-fine 的混合 G(前几轮用 G=8 砍掉明显劣的,后几轮再 G=2 精挑)。第三个弱点是摘要可能丢信息,Figure 4 中 Sonnet 在 Terminal-Bench 上 Round 4 用 rollout 还略胜 summary 0.5pp 就是证据,改进方向是引入'摘要 + 关键证据片段'的双层表示,只在 judge 请求时按需展开。

作者在第 5 节明确提出的方向是:把'复用'的对象从文本摘要升级为持久化的工作区状态(notes、partial patches、derived tests、debugging scripts、可复用 tools)。具体而言,下一代 agent 不再是在全新容器里读 4 段摘要,而是直接继承前次留下的代码片段和测试,这把问题从'复用对经验的描述'转向'复用经验产生的工件',并随之引出'如何表示、选择、精化、维护这些持久化工件,避免被陈旧或低价值信息淹没'这一新的开放问题。基于成果可延伸的方向还包括:(i) 把 N、T 推到 32/64/3,做出'测试时 compute vs. pass@1'的 scaling law;(ii) 把 PDR+RTV 推广到多轮软件工程(PR review、code migration)等比 SWE-Bench 更长的 horizon;(iii) 把 RTV 的 tournament 结构与 BoN/self-consistency 在数学/code 上做统一基准对比;(iv) 用 RL 对 judge 做端到端训练,把 groupwise accuracy 作为 reward;(v) 把摘要生成、RTV、PDR 三段全换成可微模块,联合优化以减少手工 prompt 的脆弱性。

复现难度中等偏上。论文披露的核心超参完全公开:N=16, T=2, K=4, G=2, V=8,SWE-Bench Verified 用 mini-SWE-agent scaffold、Terminal-Bench v2.0 用 Terminus 1 scaffold,使用 5 个闭源前沿模型(Claude-4.5-Opus/3.1-Pro/3-Flash/Gemini-3.1-Pro/3-Flash/GPT-5-0825)。每个模型评估的样本量也基本公开(SWE-Bench Verified 全量 500 题,Terminal-Bench v2.0 88/89 题)。算力方面,每条 SWE-Bench 任务在 Claude-4.5-Opus 上平均 41 步,16 条并行 + 16 条精化 = 32 条/题,500 题大约 16k 次智能体执行,折算到 Claude-Opus 级别 API 调用的成本属于 Meta 系研究项目量级,个人研究者难以承担;闭源 judge 的能力方差(如 Gemini-3.1-Pro judge 准确率 48%)也会对结果产生显著干扰,意味着即便脚本完全复现,数字也可能在 ±1-2pp 内浮动。代码与 prompt 是否开源未在正文明示,作者仅提供了'参评论文中的 Appendix G'等线索,落地复现需要等 Meta 官方 release。