PACEvolve++：改进进化搜索代理的测试时学习 PACEvolve++: Improving Test-time Learning for Evolutionary Search Agents

完整的工作流程如下：首先，在每个迭代中，advisor模型条件化于父程序和搜索历史，生成和选择假设。其次，frontier实现模型将这个假设转化为具体的代码编辑。然后，任务特定的评分器评估结果，将结果整合到进化种群中。接着，对该rollout批次进行优化，更新advisor参数，并将更新后的advisor参数同步到rollout工作器，用于下一次迭代。在训练过程中，采用相位自适应advantage计算：给定rollout迭代$t$中的rollout组$G_t$，首先在当前rollout组内标准化每个标量估计器：$\tilde{A}_{(\cdot)_i} = \frac{\hat{A}_{(\cdot)_i} - \mu_{G_t}(\hat{A}_{(\cdot)})}{\sigma_{G_t}(\hat{A}_{(\cdot)}) + \epsilon_{num}}$。然后形成混合标量分数$A_{mix_i}(t) = (1 - \alpha_t)\tilde{A}_{G_i} + \alpha_t\tilde{A}_{top-k_i}$，其中相位调度将$\alpha_t$从0线性缩放到1贯穿整个训练过程。最后，使用掩码裁剪代理目标优化：$\mathcal{L}(\theta) = -\mathbb{E}_{(i,\tau) \sim T_t} [\min(r_{i,\tau}(\theta) A_{tok_i,\tau}, \text{clip}(r_{i,\tau}(\theta), 1-\epsilon_{lo}, 1+\epsilon_{hi}) A_{tok_i,\tau})]$，其中$T_t$表示rollout组$G_t$中的有效响应token。

技术新颖性主要体现在三个方面。首先，advisor模型范式将战略搜索决策与实现解耦，这是首次在进化搜索代理中明确分离决定尝试什么和如何实现的架构设计。这种分离使强化学习专注于战略推理层面的学习，而不会受到实现正确性的噪声信号干扰。其次，相位自适应强化学习算法根据搜索动力学动态调整信用分配来源，这是对GRPO、熵目标和PKPO等单一固定信号方法的重要改进。算法在早期探索时维持高熵以维持探索（不像Max@k过早收敛），后期使用frontier贡献分支改进精炼而不继承GRPO的梯度尖峰。第三，理论上的尺度条件化信用分配（定理1）形式化了奖励压缩下的条件化观点：当对应的分支标准差主导$\epsilon_{num}$时，标准化移除了全局仿射奖励尺度并保留了分支特定的信用排序，这为算法的稳定性提供了理论保证。

独立分析的第一个弱点是advisor模型训练需要大量的rollout数据，在评估成本极其昂贵的场景中可能无法收集足够的数据进行有效训练。改进方向是研究更数据高效的advisor训练方法，如离线强化学习或元学习，从少量rollout中快速适应新任务。第二个弱点是相位调度是线性的，没有根据实际搜索进度自适应调整。改进方向是开发自适应相位检测机制，通过监控奖励方差、熵、梯度范数等指标动态调整$\alpha_t$，而不是依赖固定的线性调度。第三个弱点是当前实现需要强大的frontier模型（如Gemini-3.1-pro-preview），在资源受限场景中可能不可用。改进方向是研究如何使用更小或本地部署的模型作为frontier实现，或者探索advisor模型自身也能够完成实现任务的能力提升。第四个弱点是方法的复杂性较高，需要协调多个组件（advisor、frontier、相位调度、标准化等），增加了工程实现的难度。改进方向是简化框架设计，提供更易于实现的API和配置选项，降低使用门槛。

作者提出了一些未来研究方向，包括将advisor模型范式扩展到其他类型的进化搜索任务，如数学定理证明、科学发现和自动化系统设计。基于本文成果可以延伸的研究方向包括：探索更复杂的相位调度策略，如基于强化学习的自适应相位选择，或多阶段的相位转换而非简单的线性过渡；研究advisor模型的迁移学习和元学习能力，使得在源任务上训练的advisor可以快速适应新任务，减少在新任务上的训练成本；将相位自适应方法与其他测试时训练技术结合，如上下文学习、提示优化和模型编辑，以进一步提升搜索代理的性能；探索advisor模型在多目标进化搜索中的应用，处理多个可能冲突的优化目标；研究如何将框架扩展到分布式进化搜索场景，多个advisor模型协作或竞争，进一步提升搜索效率和多样性；开发更全面的评估基准，涵盖更多真实世界的工程和研究任务，以验证方法的泛化能力。

论文没有明确提及代码开源情况，但提供了详细的实验设置和评估协议，包括任务特定评估器超时、进化表面定义、评估指标等。算力需求方面，实验使用了Qwen3.5-4B和DeepSeek-R1-0528-Qwen3-8B两个模型尺寸，并使用Gemini-3.1-pro-preview进行候选实现，这表明需要相当规模的GPU资源。评估过程包括训练16个epoch（Sequential Recommendation）或更长时间的计算，每个候选有1200秒的wall-clock预算约束，这意味着完整复现可能需要数天甚至数周的计算时间。复现难度评估为中等到困难，主要挑战在于：需要访问强大的frontier模型（如Gemini-3.1-pro-preview）；评估成本高昂，可能需要优化评估管道以提高效率；框架涉及多个组件的协调，需要仔细实现以确保正确性。为提高可复现性，建议作者开源代码、提供预训练的advisor模型、公开评估数据集或提供详细的数据生成协议、提供Docker容器或环境配置文件以简化设置过程。