← 返回 2026-06-05

AdaPlanBench：在世界和用户约束下评估大语言模型智能体的自适应规划 AdaPlanBench: Evaluating Adaptive Planning in Large Language Model Agents under World and User Constraints

Jiayu Liu, Cheng Qian, Zhenhailong Wang, Bingxuan Li, Jiateng Liu, Heng Wang, Jeonghwan Kim, Yumeng Wang, Xiusi Chen, Yi R. Fung, Heng Ji 📅 2026-06-04 👍 44 2026-07-13 08:36

基准测试多轮交互智能体规划约束满足自适应规划

arXiv HuggingFace PDF

首个评估LLM智能体在渐进式双约束下自适应规划能力的动态基准

前置知识

大语言模型智能体

大语言模型智能体是指使用大语言模型作为核心决策引擎，能够通过工具调用、多轮交互等方式自主完成复杂任务的系统。这类智能体通常具备推理、规划、记忆和执行等核心能力，能够理解用户指令、分解任务、制定行动计划，并根据执行过程中的反馈动态调整策略。智能体的关键特征是自主性和适应性，能够在不确定的环境中持续交互并优化行为。

本文的核心研究对象是LLM智能体的规划能力，理解智能体的基本架构和工作原理对于理解评估基准的设计目标至关重要。

约束满足问题

约束满足问题是指在给定的一组约束条件下，找到满足所有约束的变量赋值或行动序列的问题。在规划领域，约束通常包括世界约束（如工具可用性、环境限制）和用户约束（如偏好、优先级）。传统约束满足问题中，所有约束通常在开始时就完全已知，但在真实场景中，约束往往是隐式的、不完整的，需要通过探索逐步发现。

本文研究的核心问题就是双约束下的规划能力，理解约束满足的基本概念对于理解AdaPlanBench的设计思路至关重要。

渐进式约束披露

渐进式约束披露是一种动态约束设置，其中约束并非在一开始就完全明确，而是在智能体执行过程中逐步揭示的。具体来说，当智能体提出违反隐藏约束的计划时，系统才披露相应约束并要求重新规划。这种机制模拟了真实世界中约束往往通过交互反馈才被发现的现象。

这是本文最核心的创新机制之一，理解这一机制对于理解为何现有模型在AdaPlanBench上表现不佳至关重要。

自适应重规划

自适应重规划是指智能体在执行过程中根据新获得的信息、反馈或约束变化，动态调整原有计划的能力。这要求智能体不仅能够跟踪已披露的约束，还能有效整合新信息到现有计划中，避免违反之前已满足的约束条件。

本文评估的核心就是自适应重规划能力，理解这一概念有助于理解论文的关键发现和改进方向。

研究动机

现有智能体规划基准存在重大缺陷，它们通常只考虑单一类型的约束，要么专注于用户约束，要么专注于世界约束，而没有研究两者的联合处理。例如，UserBench只考虑用户约束，CostBench只考虑世界约束。更严重的是，现有基准通常假设所有约束在开始时就完全已知，这不符合真实场景。真实世界的约束往往是隐式的、不完整的，需要通过探索和交互逐步发现。这些问题导致我们无法准确评估LLM智能体在真实双约束环境下的自适应规划能力。

本文的目标是本文的目标是创建一个动态、交互式的基准测试AdaPlanBench，用于评估大语言模型智能体在渐进式披露的双重约束下的自适应规划能力。具体而言，作者希望构建一个包含307个家庭领域任务的测试集，每个任务都配备经过验证的世界约束和用户约束，并通过多轮交互协议评估智能体在约束逐步披露时的重规划能力。

与已有工作不同的是，本文的独特切入点在于同时关注三个关键维度：双约束联合处理、渐进式约束披露和开放性规划空间。与现有工作相比，AdaPlanBench是首个同时满足这七个特性的基准。通过模拟真实世界中的约束发现过程，本文创造了一个更真实、更具挑战性的测试环境。

核心方法

AdaPlanBench的整体思路分为两个紧密耦合的部分：数据构建和运行时交互协议。首先，基于MacGyver数据集中的家庭任务，通过多智能体框架自动构建每个查询的世界约束和用户约束。然后在运行时采用多轮交互协议，约束在开始时是隐藏的，只有当智能体提出违反约束的计划时才披露相应约束，智能体必须根据反馈自适应地修订计划。

核心创新点在于将约束披露与智能体的计划提案动态绑定，创建了一个反馈循环。当智能体在轮次t提出计划p_t后，评估器检查该计划违反了哪些隐藏的世界约束和用户约束，这些违反的约束通过用户模拟器生成反馈直接披露给智能体。智能体必须在下一轮中考虑新披露的约束。这种机制的成功取决于智能体的自适应重规划能力。

方法步骤详情

数据构建阶段分为三个步骤。第一步是查询重写和过滤：对原始MacGyver查询移除显式资源约束，生成方法无关的家庭查询，然后保留需要多步规划的具体家庭任务。第二步是约束构建的迭代三步循环：首先使用J个规划器采样器采样候选计划；然后提取计划中的工具，并将工具转换为世界约束候选和用户约束候选；最后合并新约束和已有约束，并规范化去重。第三步是最终配置形成：聚合所有规划器的约束池，验证并移除模糊或无效约束。运行时交互阶段采用多轮协议：智能体提出计划，评估器检查违反的约束，用户模拟器生成反馈，智能体更新计划。

技术新颖性

AdaPlanBench的技术新颖性体现在三个方面：一是双约束联合建模，首次在基准中同时考虑世界约束和用户约束的交互影响；二是渐进式约束披露机制，通过将约束披露与智能体提案绑定，创建了真正动态的评估环境；三是开放性评估框架，通过基于rubric的多维度评估，在不限制具体实现方式的情况下评估规划质量。

实验结果

实验结果表明当前LLM智能体在动态双约束下远未达到有效水平。即使是表现最好的GPT-5，在中等难度配置下也仅达到67.75%准确率，另一个强模型Gemini-3.1-Pro得分约35%，大多数模型低于45%。开源权重模型表现尤其差，通常在30%或更低。虽然大多数模型保持70%以上的有效计划率，但仍然频繁违反已披露的约束。平均而言，10个评估模型每个查询包含0.295次重复违反已披露的世界约束和0.503次重复违反已披露的用户约束。分析发现高有效计划率不一定转化为最终任务成功。更好的最终性能与更强的主动约束探索相关联。模型在约束复杂性增加时高度敏感。

**Table 1**: Comparison of AdaPlanBench with prior related benchmarks across seven key properties

**Table 2**: Statistics summary across three levels of dual-constraint profiles

**Table 3**: AdaPlanBench evaluation results under Emid

**Table 4**: Models' performance under Emid on four major rubric dimensions

**Figure 2**: Model performance under increasing constraint burden

**Figure 3**: Selected model rubric scores across interaction turns under Emid

**Figure 4**: Model performance under Emid with additional constraint tracking module

**Figure 5**: Model performance under Emid with rubric-based refinement

**Figure 6**: Model performance under Emid across constraint sources

查看结构化数据

任务	指标	本文	基线	提升
自适应规划任务	准确率 (%)	67.75% (GPT-5)	无直接基线，现有基准不评估双约束自适应规划	首个提供双约束自适应规划定量评估的基准
约束跟踪能力	有效计划率 (%)	91.21% (Gemini-3.1-Pro)	无直接可比基线	显示强约束跟踪不一定保证任务成功
开源模型表现	准确率 (%)	17.92% (Qwen3-32B)	Llama-3.3-70B-Instruct: 29.32%	开源模型在自适应规划上显著落后于专有模型

局限与改进

作者明确承认了四个主要局限性。首先是领域覆盖有限，AdaPlanBench目前仅实例化在家庭领域。其次是潜在的LLM评估偏差，评估依赖于LLM评估器进行约束检查和rubric打分。第三是纯文本评估设置，没有视觉感知、具身执行或与真实环境的直接接触。最后是简化的约束建模，采用基于对象的世界约束和基于属性的用户约束。我观察到另一个潜在局限性是基准依赖于人工构建的约束生成管道，可能无法覆盖所有类型的约束模式。

独立分析的弱点

独立分析发现几个具体弱点。一是缺乏多模态感知，当前纯文本设置无法评估视觉信息对规划的影响。改进方向是集成多模态感知模块。二是用户约束建模过于简化，当前使用基于属性的硬约束。改进方向是引入软约束建模。三是缺乏显式记忆机制。改进方向是设计专门的双约束记忆模块。四是评估指标偏向计划有效性，对规划效率关注不足。改进方向是引入计算成本、交互轮次等效率指标。

未来方向

作者提出的未来方向包括将AdaPlanBench框架实例化到其他领域，结合具身或多模态环境研究更真实场景下的规划，开发更精细的约束建模方法。基于论文成果，可延伸的研究方向包括：设计专门的双约束规划算法，开发自适应约束学习机制，研究约束可解释性和协商，探索长期约束跟踪和优先级管理。

复现评估

复现难度中等偏高。作者声明代码将在MIT许可下发布，AdaPlanBench将在Creative Commons许可下分发。所有开源模型使用vLLM库本地托管和执行，所有闭源模型通过各自官方API访问。实验设置在附录中详细提供。主要挑战是计算成本，每个模型需要在307个查询上评估，每个查询可能需要多达6轮交互。关键优势是作者提供了详细的提示词和评估指标实现，这有助于提高复现的可靠性。