TAPE：语言模型智能体的工具引导自适应规划与约束执行 TAPE: Tool-Guided Adaptive Planning and Constrained Execution in Language Model Agents
通过规划图+约束解码双管齐下，消除LM智能体的不可恢复失败
前置知识
ReAct框架
ReAct（Reasoning and Acting）是一种语言模型智能体的决策框架，在每个步骤中交替进行"思考"（Think）和"行动"（Act）。智能体首先通过内部推理生成计划动作，然后采样执行动作并观察环境反馈。这种迭代过程使智能体能够在与环境的交互中解决复杂任务。ReAct框架的核心思想是将推理和行动解耦，让语言模型像人类一样边思考边行动。
TAPE是对ReAct框架的改进，理解ReAct的基本机制（Think-Act循环、内部规划与外部执行的关系）是理解TAPE如何识别并解决其缺陷的前提。
Goal-Conditioned MDP (G-MDP)
目标条件马尔可夫决策过程是论文用来形式化智能体任务的数学框架。它由目标空间 $G$、动作空间 $A$、状态空间 $S$、转移动力学 $P$ 和奖励函数 $R: G \times S \to \{0,1\}$ 组成。在每个episode开始时给定目标 $g \in G$，智能体在每个时间步 $t$ 选择动作 $a_t$，环境返回观测 $o_t$。当考虑预算约束时，还定义代价函数 $C: S \times A \to \mathbb{R}^k$ 和预算向量 $B \in \mathbb{R}^k$。
论文使用G-MDP框架形式化问题定义和误差分析，理解这个框架是理解论文理论贡献的基础。
受限解码（Constrained Decoding）
受限解码是一种在语言模型生成token时施加约束的技术，通过在解码过程中固定工具选择和强制执行特定的工具调用格式，确保模型只能生成指定的动作。与传统的提示级别约束不同，受限解码在token生成层面直接限制输出空间，从而更可靠地抑制采样噪声。
这是TAPE框架的核心技术组件之一，用于消除采样误差。理解受限解码的机制有助于理解TAPE如何在执行阶段确保动作的确定性。
整数线性规划（ILP）
整数线性规划是一种优化方法，用于在整数约束下求解线性目标函数的最大化或最小化问题。在TAPE中，ILP被用于规划图上的路径选择：给定图 $G=(V,E)$、当前节点 $v_0$、终端节点集合 $V_{ter}$ 和时间范围 $L_{max}$，ILP选择一条最大化累积奖励的可行路径，同时满足预算约束。决策变量 $x_{e,\ell} \in \{0,1\}$ 表示是否在步骤 $\ell$ 选择边 $e$。
ILP是TAPE进行"外部求解"的核心工具，用于从规划图中选择最优可行路径，从而将规划误差从 $\epsilon_p$ 降低到 $\epsilon_p^{d(v_t)}$。
研究动机
语言模型智能体在多步交互任务中面临一个严重问题：单个错误往往导致不可恢复的失败。论文将这种失败归因于两个根本原因。首先是规划误差（planning error），即智能体的内部推理不完美，导致建议了不可行的动作。例如在Sokoban游戏中，将箱子推到墙角就会造成死局。其次是采样误差（sampling error），即使内部规划正确，语言模型的随机token生成也可能产生偏离计划的动作。论文通过理论分析表明，这两种误差随着任务步骤 $T$ 的增加而复合累积，急剧降低整体成功率。在Sokoban实验中，ReAct框架的规划误差率高达 $50.7\% \pm 1.8\%$，采样误差率为 $8.3\% \pm 1.0\%$，最终成功率仅为 $5.0\% \pm 2.2\%$。这种问题在存在可行性约束（如时间预算、成本预算、工具使用限制）的环境中尤为严重，因为违反约束会直接导致任务失败。
本文的目标是本文的核心目标是回答一个研究问题：语言模型智能体如何在存在不可恢复失败的情况下最大化任务成功率？具体而言，作者希望设计一个框架，能够同时减少规划误差和采样误差，从而在具有严格可行性约束的环境中显著提高智能体的成功率。这个目标不仅关注提高成功率的绝对值，更关注在困难设置和较弱基础模型上的改进幅度，因为这些场景下现有框架的失败最为严重。
与已有工作不同的是，本文的独特切入角度在于将智能体失败系统性地分解为规划误差和采样误差两个独立来源，并针对每种误差设计专门的解决方案。与现有方法不同，TAPE不是简单地改进提示或增加采样次数，而是引入外部工具（规划图和求解器）来增强规划能力，同时在token生成层面（而非提示层面）约束执行。这种"外部增强"的思路使得TAPE能够突破语言模型自身规划能力的限制，理论上证明了其成功率上界 $U_{ours}$ 严格优于ReAct和Plan-and-Act框架。
核心方法
TAPE框架的整体思路是通过外部工具增强语言模型智能体的规划和执行能力。核心直觉是：与其依赖单一的内部规划（容易出错），不如生成多个候选计划并将其聚合为规划图，然后使用形式化求解器选择最优可行路径；与其在提示级别约束动作（容易被采样噪声破坏），不如在token生成层面强制执行约束。技术路线分为四个阶段：（1）规划图构建——生成多个抽象计划并合并为图结构；（2）规划路径选择——使用ILP求解器在图中选择最优可行路径；（3）约束执行——通过受限解码确保执行动作与计划一致；（4）失配检测与重规划——当预测状态与实际状态不一致时，重新构建规划图并选择新路径。
TAPE的核心创新在于将规划和执行分别提升到"外部工具辅助"的层次。与已有方法的本质区别体现在三个方面：第一，规划层面的创新是从"单点规划"到"图搜索"的转变。ReAct依赖单一内部规划，PA使用预生成的单一计划，而TAPE通过聚合多个计划构建规划图 $G=(V,E)$，节点代表抽象状态，边代表动作，然后使用ILP求解器选择可行路径。这将规划误差从 $\epsilon_p$ 指数级降低到 $\epsilon_p^{d(v_t)}$，其中 $d(v_t)$ 是节点 $v_t$ 的候选动作数。第二，执行层面的创新是从"提示约束"到"解码约束"的转变。不同于PA仅在提示中提供计划作为指导（仍可能被采样噪声破坏），TAPE使用受限解码在token生成层面强制执行计划动作，将采样误差 $\epsilon_s$ 降低到接近零。第三，引入自适应重规划机制处理环境不确定性，这是ReAct和PA都缺乏的能力。
方法步骤详情
TAPE框架的执行包含四个具体步骤。步骤一：规划图构建。给定目标 $g$，智能体生成 $M$ 个抽象计划 $\hat{\tau}^{(m)} = (\hat{s}_0^{(m)}, \bar{a}_0^{(m)}, \hat{s}_1^{(m)}, \bar{a}_1^{(m)}, \ldots, \hat{s}_{L_m}^{(m)})$，其中 $m=1,\ldots,M$。然后通过合并函数 $f_\theta: \hat{S} \to V$ 将共享相同核心信息的抽象状态合并为单一节点，构建规划图 $G=(V,E)$。同时，使用内部世界模型预测每个节点的奖励 $\hat{r}_\theta(u)$ 和每条边的代价 $\hat{c}_\theta(e)$。步骤二：规划路径选择。给定规划图、当前节点 $v_0$ 和终端节点集合 $V_{ter}$，使用ILP求解器在时间范围 $L_{max}$ 内选择最优路径。ILP的目标函数为 $\max_x \sum_{\ell=0}^{L_{max}-1} \sum_{e \in E} \hat{r}_\theta(\text{tgt}(e)) \cdot x_{e,\ell}$，约束包括每步恰好选择一条边、路径从 $v_0$ 开始、在 $V_{ter}$ 中结束、以及路径连续性。步骤三：约束执行。当当前节点 $v_t$ 与计划节点 $v_{\pi^*_t}$ 匹配时，使用受限解码强制生成计划动作 $\bar{a}^*_t$。步骤四：失配检测与重规划。在每个执行步骤后，比较实际状态节点 $\hat{s}_{t+1}$ 与预测状态节点 $v_{\pi^*_{t+1}}$。如果匹配，继续执行下一计划动作；如果失配，重新执行步骤一和步骤二，构建新的规划图并选择新路径。
技术新颖性
TAPE的技术新颖性体现在多个层面。首先，将规划图聚合与形式化求解相结合的方法是新颖的。虽然多计划采样（如Best-of-N）已经存在，但TAPE不仅采样多个计划，还将它们聚合为图结构并使用ILP进行最优选择。实验表明，即使Best-of-N使用相同数量的计划，TAPE仍然显著优于它。其次，将受限解码技术应用于智能体执行是创新的。受限解码原本用于确保语言模型输出符合语法或格式约束，TAPE将其创造性地应用于约束智能体的动作选择，实现了从"软约束"（提示）到"硬约束"（解码）的转变。第三，理论分析框架的贡献。论文严格形式化了规划误差和采样误差的定义，并推导了ReAct、Plan-and-Act和TAPE的成功率上界，证明了 $U_{ours} \geq U_{PA} \geq U_{ReAct}$，其中等式成立的条件也被严格刻画。这种理论分析为方法设计提供了坚实的数学基础。
实验结果
论文在四个基准测试上进行了全面实验，使用gpt-4.1-mini作为主要语言模型骨干。在Sokoban上，TAPE在困难设置中相比ReAct和Plan-and-Act取得了显著改进。在ALFWorld上，TAPE同样表现出色，特别是在困难任务中。在MuSiQue（多跳事实推理）和GSM8K-Hard（数学推理）上，TAPE也一致优于基线方法。核心发现包括：（1）困难设置下的大幅改进——TAPE在困难设置上平均提高成功率21.0个百分点，这表明TAPE特别擅长处理容易导致不可恢复失败的困难场景。（2）较弱模型的显著收益——对于较弱的基础模型，TAPE平均提高成功率20.0个百分点。在gpt-4.1-mini上，TAPE相比ReAct的相对改进高达820%。（3）误差分析验证——在Sokoban上的误差分析显示，TAPE将规划误差从ReAct的50.7%降低到36.7%，将采样误差从8.3%降低到接近零（0.0% ± 0.0%），而成功率从5.0%提升到46.0%。（4）跨模型一致性——在从gpt-4.1-nano到gpt-5的多个模型上，TAPE一致优于基线。对于最强的gpt-5-nano模型，TAPE仍实现+48%的相对改进。（5）最优计划数——M=4个生成计划时性能最优，从M=2到M=4的改进归因于节点合并增加了候选动作数，而M=8时性能下降可能源于LLM难以维持全局一致性。（6）消融研究——移除外部求解器使成功率从46.0%降至42.0%，禁用约束执行降至36.0%，禁用重规划降至38.0%，证明三个组件都是必要的。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Sokoban（困难设置） | 成功率 | 46.0% | ReAct 5.0%, Plan-and-Act 17.0% | 相对ReAct提升820%, 相对PA提升171% |
| ALFWorld（困难设置） | 成功率 | 显著优于基线 | ReAct和PA成功率接近零 | 困难设置下平均提升21.0个百分点 |
| MuSiQue | 成功率 | 优于基线 | ReAct和Plan-and-Act | 在多跳推理任务上一致改进 |
| GSM8K-Hard | 成功率 | 优于基线 | ReAct和Plan-and-Act | 在数学推理任务上一致改进 |
局限与改进
论文承认了几个重要局限性。首先，规划图的准确性依赖于语言模型正确构建和合并状态的能力。不准确的图构建可能导致规划空间不能忠实地表示真实环境，这在复杂任务中可能成为瓶颈。其次，TAPE当前依赖于预先指定的求解器（如ILP），这可能限制其在不同优化公式任务上的通用性。第三，增加的推理时计算成本是一个实际挑战。规划图构建需要生成M个计划（最优M=4），每个计划涉及多步推理，这会增加延迟和API成本。此外，实验主要在相对结构化的环境中进行（Sokoban是网格世界，ALFWorld是模拟家庭环境），在更开放、动态的真实世界环境中的表现尚未验证。从个人观察来看，论文的理论分析假设了常数误差率（时间不变），这在实际中可能过于简化，因为误差率可能随任务阶段和状态复杂度变化。此外，合并函数 $f_\theta$ 的设计对最终性能有重要影响，但论文没有深入讨论如何优化这个函数。
独立分析的弱点
TAPE的几个潜在弱点值得深入分析。第一，规划图构建的语言模型依赖性。当前方法使用同一个语言模型生成多个计划并构建规划图，这意味着规划图的质量上限受限于模型能力。当模型本身规划能力较弱时，即使生成多个计划，这些计划也可能都是次优的。改进方向是引入外部知识源或更强的规划模型来辅助图构建，或者使用验证器过滤低质量计划。第二，固定计划数M=4可能不是最优的。不同任务的最优计划数可能不同，简单的任务可能只需要2个计划，而复杂任务可能需要更多。改进方向是设计自适应机制，根据任务复杂度动态调整M。第三，重规划的触发机制相对简单。当前方法仅在预测状态与实际状态不匹配时触发重规划，但没有考虑部分匹配的情况。改进方向是设计更精细的失配度量，在轻微偏差时微调计划而非完全重建。第四，受限解码的粒度问题。在复杂任务中，单个动作可能包含多个子操作，当前的受限解码在整体动作层面施加约束，可能过于粗糙。改进方向是支持层次化的约束解码，在不同粒度上施加不同约束。
未来方向
论文提出了几个有前景的未来研究方向。首先是自动求解器选择。当前TAPE依赖预指定的ILP求解器，未来可以根据任务目标自动选择最合适的求解器，提高方法的通用性。其次是改进规划图构建的结构完整性。需要开发更先进的方法确保规划图的结构准确性，例如引入图神经网络进行状态表示学习，或使用对比学习优化合并函数。第三是探索TAPE在更广泛领域的应用，包括真实机器人控制、复杂软件工程任务、多智能体协作等。基于当前成果，还可以延伸研究方向：将TAPE与强化学习结合，利用环境交互数据优化规划图构建；设计分层TAPE框架，在不同抽象层次上进行规划和执行；将TAPE扩展到连续动作空间，支持机器人控制等需要连续决策的任务；研究TAPE的在线学习版本，随着任务执行不断改进规划模型。此外，探索TAPE与思维链（Chain-of-Thought）和思维树（Tree-of-Thought）等推理增强方法的结合也是有价值的方向。
复现评估
论文提供了代码和数据，声称在"here"链接处可用，这有利于复现。然而，复现面临几个挑战。首先，实验依赖于多个商业语言模型API（gpt-4.1-mini、gpt-4.1-nano、gpt-5-nano、claude-4.5-haiku等），这些API的成本可能较高，特别是需要生成M=4个计划并进行多次重规划。论文没有报告每个任务的平均API调用次数和总成本。其次，四个基准测试的约束版本是论文自己构建的（通过添加可行性约束），需要确认约束设置的合理性。第三，ILP求解器的实现细节（如时间范围 $L_{max}$ 的选择、求解器的具体配置）可能影响结果。第四，合并函数 $f_\theta$ 的实现涉及状态抽象的具体规则，这些规则可能因任务而异。总体而言，代码开源有助于复现核心结果，但完全复现需要显著的计算资源（多个LLM API调用）和对任务特定规则的理解。建议作者提供更详细的实验配置和成本估算。
论文图表
图1展示了论文的整体概览，分为三个部分。(a)部分展示了ReAct框架中不可恢复失败的两个来源：规划误差（Imperfect Planning）和采样误差（Stochastic Execution）。规划误差导致计划动作不可行（Planned = Executed → Dead-end），采样误差导致执行动作偏离计划（Planned ≠ Executed → Dead-end）。(b)部分展示了概念性玩具分析，通过向Sokoban的可行策略注入规划和采样误差，观察成功率随任务步骤T增加而下降的趋势，现有框架下降迅速。(c)部分展示了TAPE框架的四个步骤：1)计划图构建——从多个路径构建计划图；2)规划求解器——选择可行路径；3)约束执行——减少采样误差；4)失配检测——自适应重规划。
这张图是理解论文核心贡献的关键，它直观地展示了问题来源（a）、理论分析（b）和解决方案（c）的完整逻辑链条，是论文方法论的全景视图。