TodoEvolve：学习构建智能体规划系统 TodoEvolve: Learning to Architect Agent Planning Systems

TodoEvolve的方法分为数据构建和模型训练两个阶段。数据构建采用Bootstrap-and-Filter流水线：Phase 1是标准化，将7种规划方法的功能原语封装为统一工具接口，创建共享Plan Space；Phase 2是进化采样，对每个查询 $Q_i$ 构造包含系统提示、工具文档和3个随机采样的静态规划样本 $\{P_{ref}^1, P_{ref}^2, P_{ref}^3\}$ 的上下文 $C_i$，要求模型生成任务特定的规划 $P_{gen}$；Phase 3是执行验证，将 $P_{gen}$ 在PlanFactory中执行生成轨迹 $\tau$，只有最终答案 $A_{final}$ 与ground truth匹配的规划才被保留；Phase 4是偏好构建，SFT数据为所有成功执行的 $\{(C_i, P_{gen})\}$ 对，IGPO数据为偏好对 $\{(C_i, P_{win}, P_{lose})\}$，当两者都正确时用认知阻抗 $I(\tau)$ 作为判据。模型训练也分两阶段：Stage 1用3360个样本进行SFT，学习基本的代码生成和架构推理能力；Stage 2用2000个样本进行IGPO，通过隐式对比拒绝采样对齐效率目标。

TodoEvolve的技术新颖性体现在多个维度。首先，这是首个将元规划（meta-planning）形式化为可学习问题的工作，不同于搜索-RL方法（如Search-R1、LATS）优化搜索轨迹或RAGEN优化多轮交互，本文优化的是规划结构本身。其次，认知阻抗指标是一个全新的复合成本函数，它不仅考虑token消耗和延迟，还引入了规划/执行成本比 $\frac{C_{plan}}{C_{exec}}$ 作为'官僚惩罚'，这在RL for Agent领域是前所未有的。第三，PlanFactory不仅是数据合成引擎，还是一个标准化的规划方法研究基础设施，支持高度并行化推理。第四，隐式奖励对齐方法避免了训练显式奖励模型的复杂性，同时保持了DPO的简洁性。最后，生成的规划系统是可执行的Python代码和YAML配置，而非简单的文本指令，这使得规划具有更高的精确性和可执行性。

TodoEvolve有几个值得深入分析的弱点。首先，元规划器生成的是Python代码和YAML配置，这意味着生成的规划系统的质量高度依赖于代码生成的正确性，而代码生成的错误（如API调用错误、逻辑bug）可能导致整个规划系统失效，论文未讨论这类失败的鲁棒性处理。其次，PlanFactory目前仅实现了7种规划方法，设计空间的覆盖度有限，一些重要的规划范式（如基于MCTS的规划、基于学习的规划）未被纳入。第三，进化采样阶段仅使用3个参考样本，对于缺乏相关先验的全新任务类型，这种有限的参考可能不足以引导生成高质量规划。第四，评估使用LLM-as-Judge机制（Gemini-3-Flash），存在评估偏差的风险，论文未提供人工评估的对照。改进方向包括：（1）引入代码执行的容错机制和规划系统的自修复能力；（2）扩展PlanFactory的规划方法覆盖面；（3）增加参考样本的多样性或引入检索增强机制；（4）增加人工评估和跨评估器的一致性分析。

基于本文的成果，有几个有前景的未来研究方向。首先，将元规划能力扩展到多模态任务领域，当前工作主要聚焦于文本任务，将视觉、音频等模态的规划需求纳入PlanFactory设计空间将显著扩大应用范围。其次，探索元规划器的持续学习能力，使其能够在新任务类型出现时自动扩展规划库而无需完全重训练。第三，将TodoEvolve与现有的RL for Agent方法（如Search-R1、RAGEN）结合，形成'元规划+策略优化'的双层优化框架。第四，研究更轻量级的元规划实现，如将14B模型的知识蒸馏到更小模型中，或使用LoRA等参数高效方法降低部署成本。第五，探索规划系统的可解释性和可控性，允许用户通过自然语言指令调整规划偏好（如'优先考虑速度而非准确性'）。最后，将认知阻抗指标推广到更广泛的Agent评估标准中，作为规划系统质量的通用度量。

论文在复现性方面做了较好的工作。代码已在GitHub开源（https://github.com/EcthelionLiu/TodoEvolve），PlanFactory框架提供了统一的实现和基准支持。训练数据来自公开数据集（TaskCraft、MoNaCo、WebWalkerQA、DeepSearchQA），数据构建流水线有详细描述。模型基座Qwen3-14B是开源模型。然而，复现面临一些挑战：（1）训练数据的构建依赖Gemini-3-Flash和DeepSeek V3.2作为教师模型，需要相应的API访问和成本；（2）14B模型的训练需要显著的GPU资源，论文未提供具体的硬件配置和训练时间；（3）评估使用的GPT-5-Mini是闭源模型，完全复现评估结果可能困难；（4）认知阻抗公式中的 $\lambda_1, \lambda_2, \lambda_3$ 超参数值未明确给出。总体而言，代码开源和数据可获取性使得方法层面的复现可行，但完全复现训练和评估结果需要大量计算资源和API访问。