DeepPlanning：基于可验证约束的长期代理规划基准测试 DeepPlanning: Benchmarking Long-Horizon Agentic Planning with Verifiable Constraints
提出DeepPlanning基准评估LLM在多日旅行和购物规划中的长期约束优化能力
前置知识
Agentic Tool Use（代理工具使用）
指大型语言模型（LLM）作为智能代理，通过调用外部API和工具来执行复杂任务的能力。与简单的问答不同，代理需要主动与环境交互，获取实时信息，并基于这些信息做出决策。在本文中，代理需要调用查询航班、酒店、商品等API来获取规划所需的信息。这种能力使得LLM能够超越参数化知识的限制，处理需要实时信息的复杂任务。
DeepPlanning的核心评估对象就是代理的工具使用能力，特别是如何通过多轮工具调用获取信息并构建可行的规划方案
Constrained Optimization（约束优化）
指在满足一系列约束条件的前提下，寻找最优解的数学和计算问题。约束分为显性约束（用户明确提出的，如预算限制、时间要求）和隐性约束（环境本身的限制，如航班座位数量、商店营业时间）。在长期规划中，约束之间可能存在复杂的相互依赖关系，一个约束的变化可能影响整个解决方案的可行性。
DeepPlanning强调全局约束优化，要求代理在多个相互关联的约束条件下找到可行解，这是现有基准普遍忽视的关键能力
Long-horizon Planning（长期规划）
指跨越多个时间步和决策点的规划任务，与单步决策或短期任务相对。在本文中，长期规划表现为多日旅行规划（2-7天）和多产品购物规划（需要组合多个商品）。长期规划的挑战在于，早期的决策会限制后续的选择空间，局部最优可能导致全局不可行，代理需要在整个规划过程中保持全局视角。
这是本文的核心研究对象，DeepPlanning专门设计了需要长期规划能力的任务来评估LLM代理
Offline Sandbox（离线沙箱）
指一个封闭的、可重现的测试环境，其中包含预先构建的数据库和工具API。与真实在线环境不同，沙箱中的数据和工具行为是确定性的，确保评估结果的可重现性。在DeepPlanning中，每个任务都有独立的沙箱环境，包含任务特定的数据库，代理只能通过提供的Python工具包访问这些数据。
沙箱设计确保了基准评估的可重现性和一致性，这是科学研究的重要基础
研究动机
现有的代理评估基准存在三个关键局限：第一，大多数基准侧重于评估局部、步骤级的推理能力，例如在单个工具调用中筛选酒店或修改特定航班段，而忽略了真实场景中常见的全局约束优化需求。第二，现有LLM规划基准要么约束无效（如WebShop缺乏有效的全局约束），要么约束过于简单（如ChinaTravel缺乏复杂约束），要么约束过于粗糙（如TravelPlanner仅在天级别而非分钟级别规划）。第三，这些基准未能充分评估代理主动获取信息的能力，代理往往是被动地执行命令而非主动发现环境中的隐含约束。例如，在旅行规划中，代理需要发现景点的营业时间、航班的剩余座位等隐含信息，但现有基准很少测试这类能力。
本文的目标是本文的目标是构建一个全面、实用、可验证的长期代理规划基准（DeepPlanning），用于评估LLM代理在复杂真实世界场景中的规划能力。具体目标包括：（1）设计能够测试三种核心能力的任务——主动信息获取、局部约束推理和全局约束优化；（2）覆盖两个具有代表性的复杂真实领域——多日旅行规划和多产品购物规划；（3）提供基于代码的自动评估机制，确保评估的准确性和一致性；（4）通过大规模评估揭示前沿LLM代理在长期规划中的根本局限。
与已有工作不同的是，本文的独特切入角度在于三个方面：第一，将评估重心从局部步骤级推理转向全局约束优化，强调代理需要在整个解决方案空间中进行系统性权衡。第二，设计了需要主动信息获取的任务，代理必须通过工具调用发现环境中的隐含信息，而非仅仅处理用户明确提供的信息。第三，采用分层任务生成方法，通过逐步注入约束来构建具有唯一最优解的复杂任务，确保评估的可控性和可验证性。这种设计使得DeepPlanning能够更真实地反映实际规划场景的复杂性，同时保持科学评估所需的严谨性。
核心方法
DeepPlanning的方法可以类比为建造一个精密的测试迷宫：首先建造迷宫的墙壁和通道（数据库和工具箱），然后设计迷宫的路线并逐步添加障碍（分层任务生成），最后邀请专家检查迷宫是否合理（手动质量控制）。技术路线包括三个阶段：第一阶段是数据库和工具箱设计，为旅行和购物两个领域构建离线沙箱环境；第二阶段是分层任务生成，采用以解决方案为中心的逆向生成过程，通过基础骨架生成、个性化约束注入和环境约束注入三个步骤构建复杂任务；第三阶段是手动质量控制，确保任务的语言自然性、逻辑清晰性和解决方案的唯一性。
本文的核心创新点在于提出了以解决方案为中心、逆向生成的分层任务构建方法。与现有基准直接从用户查询出发不同，DeepPlanning先从数据库中确定一个可行的基础解决方案（骨架），然后逐步注入约束来增加任务复杂性，最后确保始终存在唯一最优解。这种方法的本质区别在于：第一，它保证了任务的可解性和解决方案的唯一性，避免了无解或多解的评估困境；第二，它能够精确控制任务复杂性，便于研究复杂性对性能的影响；第三，它同时测试代理的局部推理和全局优化能力，因为约束既有针对特定子任务的（个性化约束），也有跨越整个规划的（环境约束）。
方法步骤详情
方法分为三个主要阶段：第一阶段，数据库和工具箱设计，为旅行规划构建7个任务特定的子数据库和9个专用API，为购物规划构建3个子数据库和15个专用API，所有数据来自真实世界或精心合成。第二阶段，分层任务生成，采用三步过程：（1）基础骨架生成，从数据库中提取出发城市、目的地、日期等基本信息或商品主题；（2）个性化约束注入，从领域特定的约束池中采样多个约束（如推荐附近评分最高的餐厅、找到名为ShockWave的商品）；（3）环境约束注入，添加只能通过工具调用发现的隐含约束（如景点当天关闭、航班仅剩2张票、优惠券叠加规则），并自动调整数据库确保唯一最优解。第三阶段，手动质量控制，人类专家审查任务的语言自然性、逻辑清晰性和解决方案的唯一性。
技术新颖性
DeepPlanning的技术新颖性体现在四个层面：第一，在基准设计理念上，首次明确提出代理需要具备三种核心能力（主动信息获取、局部约束推理、全局约束优化），并设计相应任务进行系统评估。第二，在任务构建方法上，采用以解决方案为中心的逆向生成，这与传统的从查询出发的正向方法形成鲜明对比，能够精确控制任务复杂性和解决方案的唯一性。第三，在评估机制上，完全依赖基于代码的自动评估而非LLM评分，包括8个维度21个子检查点的常识分数和针对所有注入约束的个性化分数，确保评估的准确性和一致性。第四，在复杂性控制上，支持分钟级时间粒度的旅行规划和多商品组合的购物规划，比现有基准更具挑战性。
实验结果
实验结果揭示了几个关键发现：第一，规划脆弱性是LLM代理的根本局限。即使是表现最好的模型GPT-5.2-high在旅行规划中的案例准确率仅为35.0%，Claude-4.5-Opus（w/ thinking）为22.7%。高约束分数与低案例准确率之间存在明显差距，表明代理虽然能满足大多数单独约束，但无法将这些正确行动整合成全局一致且可执行的方案。第二，内部推理带来显著性能提升。推理模型一致优于非推理模型，例如Claude-4.5-Opus启用思考模式后，案例准确率从6.7%提升至22.7%，且交互轮次从16.9降至12.5，工具调用从79.5降至72.9。第三，工具使用与性能正相关。GPT-5.2-high平均每个任务调用约224次工具，表明长期规划需要大量主动信息获取。第四，任务复杂性增加导致性能明显下降，随着旅行天数从2天增加到7天或购物约束级别从1级增加到3级，模型性能持续下降。第五，错误分析揭示三类主要失败模式：信息获取失败（A类）、局部推理失败（B类）和全局优化失败（C类），其中全局优化失败最为普遍（101例旅行，52例购物）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Travel Planning | Case Accuracy | GPT-5.2-high: 35.0% | GPT-5-high: 18.9% | 提升85.2% |
| Travel Planning | Composite Score | GPT-5.2-high: 85.8 | Claude-4.5-Opus (w/ thinking): 75.1 | 提升14.2% |
| Shopping Planning | Case Accuracy | Gemini-3-Flash-Preview: 60.0% | GPT-5.2-high: 35.0% | Gemini在购物领域表现突出 |
| Shopping Planning | Match Score | Claude-4.5-Opus (w/ thinking): 80.0% | Claude-4.5-Opus (w/o thinking): 82.2% | 推理模式在购物任务中优势不明显 |
局限与改进
作者承认了三个主要局限：第一，基准仅覆盖旅行和购物两个领域，引入更多真实世界场景会使评估更全面。第二，虽然数据库使用真实数据构建，但用户查询是通过多级约束注入合成的，可能导致与真实用户查询的分布偏移。第三，任务聚焦于单轮多步代理规划，建模多轮用户-代理交互仍是重要研究方向。此外，我观察到以下局限：评估指标虽然全面但较为复杂，可能增加理解和使用门槛；错误分析仅基于Claude-4.5-Opus的失败案例，可能无法完全代表其他模型的失败模式；基准的难度梯度设计（如购物的三级复杂性）可能不够精细，无法捕捉更细微的能力差异。
独立分析的弱点
本文存在几个值得改进的弱点：第一，信息获取能力的评估可以更深入。当前基准虽然设计了需要主动获取信息的任务，但代理的搜索策略本身未被评估，例如代理是否会系统性地检查所有相关约束，还是随机尝试。改进方向是引入搜索效率指标，评估代理在有限工具调用预算下的信息获取效果。第二，错误分析的覆盖范围有限。当前仅分析了Claude-4.5-Opus的140个失败案例，建议扩展到更多模型和更大样本，以获得更具代表性的错误模式分布。第三，任务复杂性的控制维度可以更丰富。当前主要通过旅行天数和约束级别控制复杂性，建议引入更多维度如约束冲突程度、信息分散度等，以更精细地刻画任务难度。第四，评估指标的解释性可以增强。当前的案例准确率是二值指标（全对或全错），建议引入部分分数或距离度量，更细致地衡量代理的改进空间。
未来方向
基于本文成果，未来研究可以从以下几个方向展开：第一，扩展基准覆盖范围，将DeepPlanning扩展到更多真实世界领域，如医疗预约、会议安排、资源调度等，测试代理的通用规划能力。第二，探索多轮交互规划，当前基准聚焦单轮任务，但实际用户交互通常是迭代式的，代理需要根据用户反馈调整计划。第三，研究规划失败的自动修复机制，基于错误分析的结果，开发能够检测和纠正规划错误的代理架构。第四，优化成本-性能权衡，研究如何在保持规划质量的同时减少工具调用次数和交互轮次，例如通过更好的内部推理或并行工具调用。第五，探索人机协作规划，研究代理如何与用户协作完成规划，而非完全自主决策。
复现评估
本文在可重现性方面做得很好。代码和数据已完全开源，主页链接为 https://qwenlm.github.io/Qwen-Agent/en/benchmarks/deepplanning/。基准采用离线沙箱设计，每个任务都有独立的、确定性的测试环境，确保评估结果的可重现性。评估完全基于代码自动化执行，不依赖LLM评分，减少了评估的随机性。每个任务运行四次并取平均，进一步提高了结果的可靠性。复现所需的主要资源是：（1）访问各个LLM的API，包括OpenAI、Anthropic、Google、DeepSeek等；（2）运行代理框架和评估脚本的计算资源。论文提供了详细的工具模式、数据库模式和系统提示，便于研究者理解和复现实验设置。
论文图表
