← 返回 2026-02-13

预算受限的智能体大语言模型:基于意图规划的高成本工具使用 Budget-Constrained Agentic Large Language Models: Intention-Based Planning for Costly Tool Use

Hanbing Liu, Chunhao Tian, Nan An, Ziyuan Wang, Pinyan Lu, Changyuan Yu, Qi Qi 📅 2026-02-12 👍 2 2026-07-13 08:35
世界模型 工具使用 推理时规划 智能体 预算约束

提出INTENT框架,通过意图感知世界模型在推理时实现预算受限的工具使用规划

前置知识

ReAct 范式

ReAct(Reasoning + Acting)是一种让大语言模型交替进行内部推理和外部工具调用的交互范式。在每个时间步,模型先生成推理轨迹(思考当前状况和下一步计划),再基于推理选择具体行动(调用工具或终止),工具返回的观测结果会被追加到历史上下文中供后续推理使用。这种交替模式让模型能够在推理中规划、在行动中获取信息,形成闭环的决策过程。

本文的预算受限智能体模型正是建立在 ReAct 范式之上,理解这一交互框架是理解整个问题形式化和方法设计的基础。

语言世界模型(Language World Model)

语言世界模型是一个经过训练的语言模型,用于模拟外部工具的执行结果。给定工具调用的规格和参数,它能预测工具会返回什么样的输出。虽然它无法完美模拟工具的事实准确性(比如具体股价),但能很好地预测输出的格式和结构,这足以激活智能体的隐式规划逻辑。世界模型避免了在真实环境中反复试错的高昂成本,允许在推理时进行低成本的前瞻模拟。

INTENT 框架的核心依赖就是语言世界模型——用它来模拟未来工具调用的结果和成本,从而在不实际执行工具的情况下评估一个计划是否在预算内可行。

蒙特卡洛树搜索(MCTS)

MCTS 是一种经典的在线规划算法,通过反复从当前状态展开模拟、评估回报、回溯更新来搜索最优决策序列。它在棋类博弈(如 AlphaGo)和确定性环境中表现出色。然而 MCTS 依赖于自由的环境交互和大量分支探索,在工具调用成本高昂、动作空间无限(自由格式参数)的智能体场景中,其延迟和成本是不可接受的。

论文详细分析了为什么 MCTS 在预算受限的工具使用场景中不适用,这直接构成了 INTENT 方法设计的动机——需要一种更轻量级的推理时规划方案。

几何分布与风险校准

几何分布描述的是在一系列独立伯努利试验中,首次成功所需的试验次数。在本文中,作者观察到智能体如果坚持某个计划,会不断重试直到意图被满足(成功概率为 $\tilde{\rho}$),因此单步工具调用的期望重试次数服从几何分布。通过这一建模,单步的期望成本上界为 $c / \tilde{\rho}$(其中 $c$ 是单次调用成本),再乘以风险偏好参数 $\gamma$ 进行整体校准。

几何成本校准是 INTENT 区别于简单 MCO 的关键创新——它用意图满足概率而非单次模拟结果来估计成本,大幅降低了方差,使预算控制更加稳定可靠。

研究动机

随着大语言模型演化为能够自主分解任务、调用外部工具的智能体系统,一个被严重忽视的维度浮现出来:经济成本。不同于 token 生成的边际成本持续大幅下降,许多工具暴露的是稀缺且有定价的资源——实时金融数据、高分辨率卫星图像、不可逆的区块链状态变更等。在实际场景中,比如金融分析师需要监控数百只股票,对每只股票设置严格支出限制,智能体面对的是一个从几乎免费但低质量的网页搜索到昂贵但精确的数据 API 的光谱。在这种场景下,短视的选择(如过早花光预算在昂贵工具上,或在不可靠的廉价工具上反复重试)会让剩余子任务变得不可行,即使每一步看起来都合理。实验表明,即使是 GPT 4.1 mini 这样的强模型,在被明确告知预算和工具成本后(PROMPT 基线),仍有 32.8% 的任务违反预算约束,因为重复重试和无成效探索导致预算溢出。更先进的推理模型虽然合规性更好,但变得过度保守,与可达到的性能上界存在巨大差距。

本文的目标是本文的具体目标是:在不修改智能体参数的前提下,设计一个轻量级的推理时规划框架,使智能体能在硬预算约束下可靠地完成多步工具使用任务。具体而言,框架需要满足三个条件:(1)纯推理时运行,不需要重新训练或在线环境交互;(2)能推理未来成本,适应工具执行结果的随机性;(3)足够轻量,能引导强预训练智能体而不引入不可接受的延迟开销。在成本增强的 StableToolBench 上,目标是在 765 个测试实例中实现接近预算可行上界的任务通过率,同时严格保证 100% 的预算可行性。

与已有工作不同的是,已有工作主要关注智能体的能力扩展——学习调用更多工具、生成长程轨迹、多智能体协作——这些方法优化任务成功率但不考虑约束。另一些工作研究效率优化(token 压缩、推测解码、减少工具调用),但主要优化计算成本或延迟,不建模显式工具价格,也不推理硬预算可行性。少数考虑预算的工作(如 BTP 将工具选择建模为背包问题)假设独立的、可加的效用,无法捕获工具调用之间强烈的顺序依赖性。本文抓住了一个被忽视的关键视角:智能体的决策价值主要由它为后续决策所启用的信息决定,而非工具调用本身的独立效用。因此需要一种能够推理未来顺序依赖关系的规划方法,而不是静态的资源分配策略。

核心方法

INTENT 的核心直觉可以用一个类比理解:想象你在一家昂贵的餐厅点菜,预算有限。你不会每道菜都试一口看合不合口味(那是蒙特卡洛采样的思路),也不会把菜单背下来然后用数学规划分配预算(那是背包问题的思路)。你会先在心里规划一个理想的用餐流程(前菜→主菜→甜点),然后估算这个流程的总花费,如果太贵就调整计划——比如把龙虾换成牛排。INTENT 做的就是这件事:用一个语言世界模型模拟「如果一切顺利」的理想轨迹,然后基于意图满足概率(而非单次模拟结果)来估算这条轨迹的真实成本,最后决定是否批准当前的工具调用。技术路线分为三步:首先训练一个语言世界模型来模拟工具输出;然后引入意图感知的概率分解,将工具调用是否满足意图与具体输出内容解耦;最后通过几何成本校准和理想轨迹模拟进行风险调整的预算控制。

INTENT 最本质的创新在于「意图层级的抽象」。现有的 MCO(蒙特卡洛预言机)通过单次随机模拟来估计未来成本,但由于工具的高度随机性(比如搜索引擎可能返回无关结果触发昂贵的重试循环),单次样本的方差极大——一次「幸运」的模拟可能低估真实成本导致部署时预算溢出。INTENT 的关键洞察是:智能体改变其高层计划的驱动力,主要不是来自工具调用的具体输出内容,而是来自输出是否满足其推理中编码的意图。基于此,论文引入二元隐变量 $z_t \in \{0, 1\}$ 表示意图是否满足,将工具输出的生成过程分解为 $P_W(o_t | r_t, a_t) = \sum_{z_t \in \{0,1\}} P(o_t | a_t, z_t) \cdot P(z_t | r_t, a_t)$。这使得 INTENT 不再需要反复采样随机结果,而是执行确定性的「理想轨迹模拟」——强制每步都满足意图($z_k = 1$),提取智能体的隐式计划,再用几何分布对期望成本进行悲观估计。这种从「预测具体输出」到「预测意图是否满足」的抽象跳跃,是全文最重要的设计决策。

方法步骤详情

INTENT 的完整流程如下。第一步,当智能体在时间步 $t$ 提出工具调用 $a_t = (\text{CALL}, T_t, u_t)$ 时,意图预测器 $W_\rho$ 基于推理轨迹 $r_t$ 和工具调用估计意图满足概率 $\tilde{\rho}_t = P(z_t = 1 | r_t, T_t, u_t)$。第二步,如果 $\tilde{\rho}_t$ 低于阈值 $\delta$,将该工具加入黑名单永久排除。第三步,执行理想轨迹模拟:从当前状态出发,强制条件生成器 $W_\psi$ 在每步都生成满足意图的输出($z_k = 1$),得到一条确定性的「理想轨迹」 $\tilde{\tau}^*$。第四步,对理想轨迹中的每步工具调用进行几何成本校准:$\tilde{c}_k = \text{COST}(a_k) / \tilde{\rho}_k$,这是因为智能体如果坚持某个计划会不断重试直到成功,期望重试次数服从几何分布。第五步,计算风险调整总成本 $\gamma \sum \tilde{c}_k$($\gamma$ 是风险偏好参数,实验中固定为 0.5),如果不超过剩余预算 $B_t$ 则批准执行,否则拒绝并返回包含预测成功概率的失败轨迹作为反馈。此外还有三个工程优化:滚动缓存(批准后缓存未来动作序列,后续步骤如果与缓存一致则跳过模拟)、最后调用缓存(如果被拒绝的动作再次被提出则直接批准)、黑名单机制(低概率工具永久排除)。

技术新颖性

INTENT 的技术新颖性体现在三个层面。首先,与 MCO 的单次随机模拟不同,INTENT 执行确定性的理想轨迹模拟——强制每步都满足意图——这消除了工具随机性带来的高方差,同时提取了智能体当前持有的隐式计划。其次,与 MCTS 等经典规划算法不同,INTENT 不做树搜索和状态复用,而是限制在单轨迹前瞻,这在无限动作空间(自由格式工具参数)和高推理延迟的智能体场景中是唯一可行的方案。第三,与 BTP(背包问题建模)和 BATS(预算追踪器)等方法不同,INTENT 不假设工具效用独立可加,而是通过意图感知的概率分解来捕获工具调用之间的顺序依赖性。几何成本校准公式 $\tilde{c} = c / \tilde{\rho}$ 是一个优雅的设计:它把意图预测器的输出直接转化为成本估计的修正因子,概率越低意味着预期重试次数越多、成本越高,从而自然地将不确定性编码进预算控制中。

预算感知智能体工具使用的推理时规划范式对比
Figure 2: 预算感知智能体工具使用的推理时规划范式对比
意图预测器的校准效果
Figure 6: 意图预测器的校准效果

实验结果

实验在成本增强的 StableToolBench 上进行,包含 765 个测试实例,每个实例有 20 个工具、默认预算 50 单位、工具单价从均匀分布 $U(5, 50)$ 采样。核心发现如下:第一,独立智能体无法可靠遵守预算。RAW 基线(不提供成本信息)在 GPT 4.1 mini 上仅 19.1% 通过率、34.5% 可行率;PROMPT 基线(显式告知成本)虽然将通过率提升到 30.9%,但仍有 32.8% 的任务违反预算。第二,强制执行基线引入了性能-效率权衡。DFSDT(深度优先搜索剪枝)和 BTP(背包分配)实现了 100% 可行率但通过率有限(44.9% 和 46.4%);BATS 可以提升性能但推理开销惊人——在推理模型上端到端时间是 RAW 的 7.67 倍,延迟是 10.1 倍。第三,INTENT 取得了最佳的总体权衡。在非推理模型上,INTENT 达到 63.8% 通过率(比 BATS 的 53.0% 高 10.8 个百分点),预算最优通过率 77.8%,同时推理开销仅为 1.23 倍(远低于 BATS 的 1.96 倍)。在推理模型上,INTENT 达到 76.0% 通过率(比 BATS 的 52.8% 高 23.2 个百分点),预算最优通过率高达 92.6%,推理开销 1.79 倍(远低于 BATS 的 7.67 倍)。第四,消融实验证实了各组件的互补作用:移除意图预测器(乐观假设 $\tilde{\rho}=1$)通过率从 63.8% 降至 59.3%;用随机采样替代条件生成器通过率降至 62.0%;禁用滚动缓存通过率略升至 65.3%(因为更多模拟可能偶尔发现更好路径)但时间开销从 1.23 倍增至 1.50 倍。第五,鲁棒性实验显示 INTENT 在动态市场条件下表现稳定:在工具价格变化 ±50% 的扰动下,PROMPT 的通过率剧烈波动而 INTENT 保持稳定;在新工具场景中(仅用少量交互日志训练),INTENT 呈现对数线性增长趋势,仅需几千条日志即可达到强性能;在预算缩放实验中,INTENT 在紧预算下的表现可媲美 PROMPT 在大预算下的表现。

成本增强 StableToolBench 上的主要实验结果
Table 1: 成本增强 StableToolBench 上的主要实验结果
不同预言机训练数据量下的性能表现
Figure 3: 不同预言机训练数据量下的性能表现
风险偏好参数 $\gamma$ 的敏感性分析
Figure 7: 风险偏好参数 $\gamma$ 的敏感性分析
查看结构化数据
任务指标本文基线提升
预算受限工具使用(非推理模型 GPT 4.1 mini) Pass Rate INTENT 63.8% BATS 53.0% / BTP 46.4% / DFSDT 44.9% 比最强基线 BATS 高 10.8 个百分点
预算受限工具使用(推理模型 GPT 5 nano) Pass Rate INTENT 76.0% BATS 52.8% / BTP 57.7% / DFSDT 57.2% 比最强基线 BTP 高 18.3 个百分点
预算最优通过率(推理模型 GPT 5 nano) Budget-Optimal Pass Rate INTENT 92.6% BTP 70.3% / DFSDT 69.7% 比最强基线高 22.3 个百分点
平均成本(非推理模型 GPT 4.1 mini) Average Cost INTENT 24.9 BTP 32.5 / BATS 35.6 / DFSDT 35.2 比最低基线 BTP 低 23.4%
推理效率(非推理模型 GPT 4.1 mini) End-to-End Time INTENT 1.23× BATS 1.96× 比 BATS 快 37%

局限与改进

论文存在几个值得注意的局限性。首先,所有实验在 StableToolBench 上进行,这是一个基于缓存的 API 回退机制确保稳定可复现的基准——但真实世界的工具市场远比这复杂,工具的可用性、响应时间、错误模式都可能动态变化,而 StableToolBench 的缓存机制可能掩盖了这些真实挑战。其次,工具价格是从均匀分布 $U(5, 50)$ 合成生成的,真实场景中价格分布可能更不均匀(少数昂贵工具+大量免费工具),这可能影响方法的表现。第三,语言世界模型无法完美模拟工具的事实准确性,论文承认其主要预测输出的格式和结构——这意味着在需要精确事实验证的场景(如金融数据的数值准确性),前瞻模拟可能提供误导性的规划信号。第四,风险偏好参数 $\gamma$ 需要根据场景调整,虽然论文展示了 $\gamma \in [0.5, 0.7]$ 的甜点区间,但在实际部署中如何自动选择最优 $\gamma$ 仍是一个开放问题。第五,论文只评估了单智能体场景,未涉及多智能体协作下的预算分配问题。最后,INTENT 引入的推理开销(1.23-1.79 倍)虽然远低于 BATS,但仍显著高于 RAW 和 PROMPT 基线,在对延迟极度敏感的实时应用中可能构成障碍。

独立分析的弱点

从独立分析的角度,INTENT 有几个值得关注的弱点。第一,意图预测器的校准依赖于后处理温度缩放(post-hoc temperature scaling),这需要一个留出验证集,且在工具市场发生剧烈变化时可能需要重新校准。改进方向:可以探索在线校准方法,利用实际执行结果持续更新预测器的置信度。第二,几何成本校准假设每次重试的成功概率恒定(忽略信息增益),在实践中智能体可能从失败中学习调整参数,实际重试次数可能低于几何分布的预测。改进方向:可以引入贝叶斯更新机制,根据历史重试结果动态调整成功概率估计。第三,黑名单机制一旦将工具永久排除就无法恢复,这在长时间运行的任务中可能导致工具集不断缩小。改进方向:可以设计时间衰减的黑名单,或允许在特定条件下重新评估被排除工具。第四,当前框架只考虑货币成本,未建模时间成本和机会成本,在需要权衡多种资源约束的场景中适用性有限。改进方向:可以将框架扩展为多目标优化,同时考虑货币、时间和信息增益的权衡。第五,INTENT 的理想轨迹模拟是确定性的(强制 $z_k = 1$),这可能过于乐观——某些工具可能在最好的情况下也无法满足意图。改进方向:可以引入分层模拟,对高不确定性步骤进行少量随机采样以获得更现实的成本估计。

未来方向

论文和其成果可延伸出多个研究方向。首先,作者提出将预算感知作为智能体 AI 的一等目标,未来可以探索将预算约束直接融入智能体的训练目标中(而非仅在推理时控制),例如通过带约束的强化学习让模型内化成本意识。其次,当前的意图预测器和条件生成器是独立训练的,未来可以探索端到端联合训练以提高组件间的协同效果。第三,论文展示了 INTENT 在新工具场景中的对数线性扩展趋势,这启发了一个自然方向:设计自适应的在线学习机制,让预言机能够随着与新工具的交互不断更新,而无需周期性重训练。第四,当前框架假设所有工具成本对用户透明,未来可以探索在不完全信息下的预算规划(例如工具价格未知或需要查询才能获得)。第五,将 INTENT 扩展到多智能体协作场景,研究多个智能体如何在共享预算下协调工具使用策略。第六,探索自适应风险偏好参数 $\gamma$,让框架能够根据任务紧急程度、预算充裕度和工具可靠性自动调整保守程度。

复现评估

论文的复现条件相对友好。数据方面,实验基于 StableToolBench 的公开数据集,包含约 10 万条真实工具交互轨迹(MirrorAPI-Cache 训练集)和 765 个测试实例,数据来源透明。算力方面,所有实验在单张 NVIDIA RTX Pro 6000 GPU 上完成,语言世界模型和条件生成器基于 Qwen2.5-3B-Instruct(30 亿参数),意图预测器基于 Qwen3-0.6B-Embedding(6 亿参数),这些规模在学术实验室范围内完全可负担。训练采用标准 AdamW 优化器、BF16 全参数微调 2 个 epoch,使用 LLaMA-Factory 和 Transformers 框架,推理使用 vLLM 和 FastAPI。论文提供了详细的算法伪代码(Algorithm 1-3)和超参数设置(学习率 $7 \times 10^{-5}$、批大小 64、$\gamma=0.5$、$\delta=0.1$)。工具价格虽然是合成的,但论文提供了明确的采样方式($U(5, 50)$),便于复现。总体而言,复现难度中等偏低——主要挑战在于需要收集或生成意图标注数据(使用 LLM-as-a-Judge 标注工具调用是否满足意图),以及调通整个预言机-智能体交互管道。