少花钱，多推理：面向LLM智能体的预算感知值树搜索 Spend Less, Reason Better: Budget-Aware Value Tree Search for LLM Agents
预算感知树搜索框架BAVT，用更少资源实现更强推理
前置知识
测试时计算扩展（Test-Time Scaling）
测试时计算扩展是一种在推理阶段投入更多计算资源来提升LLM性能的范式。与传统训练时扩展不同，它通过在推理时执行多次采样、搜索或反思来提高答案质量。典型方法包括自一致性（Self-Consistency）通过对多个采样轨迹进行多数投票、思维树（Tree of Thoughts）将推理过程建模为搜索问题、以及语言智能体树搜索（LATS）等。这些方法的共同假设是计算资源充足，可以通过暴力扩展来提升性能。本文正是要打破这一假设，在严格预算约束下实现更优的推理效果。
本文的核心贡献就是重新定义了测试时计算扩展的范式，从无限制暴力扩展转向智能预算分配，因此理解测试时计算扩展的基本概念是理解本文动机和贡献的前提。
工具增强LLM智能体（Tool-Augmented LLM Agents）
工具增强LLM智能体是指能够调用外部工具（如搜索引擎、代码解释器、数据库查询等）来完成复杂任务的大语言模型系统。代表性框架包括ReAct（交替进行推理和行动）、Toolformer（学习调用API）、WebGPT（网页搜索增强）等。这类智能体将LLM从被动的文本生成器转变为主动的环境交互者，能够执行多步推理、信息收集和任务执行。然而，当前的智能体框架通常假设无限资源，缺乏精细的预算控制机制，容易陷入死胡同或冗余循环。
本文针对的正是工具增强智能体在资源受限场景下的推理效率问题，理解这类智能体的工作方式是理解BAVT框架设计动机的基础。
残差值预测（Residual Value Prediction）
残差值预测是一种评估策略，它不直接评估推理状态的绝对质量，而是评估最近一步动作带来的边际信息增益（即残差值）。具体来说，给定父节点值 V(n)，新子节点的值通过 V(n′) = Φ(V(n) + Δ_t) 计算，其中 Φ 是边界函数。这种方法源于对LLM自我评估过度自信问题的观察：直接让LLM评估状态质量时，模型倾向于给低质量推理步骤分配过高的分数。通过评估相对进展而非绝对质量，可以更可靠地识别冗余或无信息的工具调用。
残差值预测是BAVT框架中步骤级价值估计的核心技术，直接决定了搜索树的剪枝质量和推理方向的引导效果，是本文方法区别于已有方法的关键创新之一。
预算感知节点选择（Budget-Aware Node Selection）
预算感知节点选择是BAVT框架的核心机制，它通过动态调整节点选择概率分布来实现从探索到利用的平滑过渡。具体地，定义剩余预算比率 r_t = min(b_tool,t/B_tool, b_token,t/B_token)，然后计算动态缩放指数 alpha_t = 1/r_t，最终通过幂函数 w_{n_i} = V(n_i)^{alpha_t} 计算节点选择权重。当预算充足时 alpha_t 近似1，分布接近均匀分布促进探索；当预算耗尽时 alpha_t 增大，概率质量集中在高价值节点上实现贪婪利用。这种机制是无参数的，不需要额外调参。
这一机制是BAVT能够在严格预算约束下超越暴力扩展基线的根本原因，它将资源约束直接融入搜索策略，实现了少花钱多办事的目标。
资源约束确定性决策过程（Resource-Constrained Deterministic Decision Process）
本文将预算感知智能体推理形式化为一个资源约束确定性决策过程，由元组 (S, A, T, B, C) 定义。其中 S 是状态空间（包含用户查询、动作历史、推理痕迹和环境观察），A 是动作空间（包括内部推理生成和外部工具调用），T 是确定性转移函数，B 是预算状态空间（跟踪工具调用预算和token预算），C(a_t) 是成本函数。剩余预算通过 b_{t+1} = b_t - C(a_t) 迭代更新。
这一形式化框架为BAVT的理论分析提供了基础，使得作者能够证明在有限预算下收敛到终止答案的概率保证，这是已有方法所缺乏的理论保障。
研究动机
当前LLM智能体在处理复杂多跳推理任务时，普遍采用测试时计算扩展策略来提升可靠性，但这些方法存在一个根本性问题：它们将计算资源视为无限供应，允许智能体在冗余步骤或死胡同轨迹上耗尽token和工具调用预算。在实践中，现有智能体经常在低收益步骤上浪费大量资源，而盲目增加资源分配往往只能带来边际性能提升，呈现明显的收益递减现象。例如，现有预算感知方法如BATS框架仅在轨迹级别管理资源，依赖粗粒度启发式方法，无法在中间推理步骤进行干预。这导致智能体经常陷入死胡同或无限循环，在任何纠正措施发生之前就悄悄耗尽了大量预算。具体而言，对于指令微调模型如Qwen3-30B，简单增加并行采样预算会导致模式坍塌——模型不断重复相同的失败轨迹而非探索替代假设，基线方法的平均精确匹配（EM）从低预算的0.289仅提升到高预算的0.293，几乎完全停滞。
本文的目标是本文的具体目标是解决资源受限条件下自主智能体推理的效率问题。作者希望在严格的token和工具调用预算约束下，最大化答案正确性。更具体地说，本文旨在实现一个训练无关的推理时框架，能够在给定相同计算预算的情况下，显著优于传统的并行采样基线方法。核心目标是证明智能的预算管理从根本上优于暴力计算扩展——即在低预算约束下的BAVT能够超越基线方法在4倍资源分配下的性能。这一目标的实现需要在步骤级别进行精细的资源分配，而非依赖轨迹级别的粗粒度控制。
与已有工作不同的是，本文的独特切入角度在于将预算约束从外部约束转变为搜索策略的内在组成部分。与已有方法的本质区别体现在三个方面：第一，已有预算感知方法（如Han et al., 2025; Li et al., 2025）需要昂贵的微调且无法迁移到智能体工作流，而BAVT是训练无关的；第二，已有智能体框架（如BATS）仅在轨迹级别管理资源，依赖LLM隐式自我调节，无法在中间推理步骤进行干预，而BAVT实现了步骤级别的价值评估和预算感知节点选择；第三，已有方法缺乏可证明的收敛保证，而BAVT提供了理论证明，确保在有限预算下以至少 1-epsilon 的概率到达终止答案。这种将树结构搜索、步骤级价值估计和自适应预算控制统一在单一LLM骨干网络中的方法，在现有文献中是独一无二的。
核心方法
BAVT（Budget-Aware Value Tree）是一个训练无关的推理时框架，它将多跳推理建模为动态搜索树，并通过步骤级价值估计和预算感知节点选择来智能地分配计算资源。整体思路可以这样理解：传统方法像是在黑暗中盲目探索多条路径，而BAVT则像一个有经验的探险家，手握地图（价值评估）和指南针（预算控制），能够判断哪些路径值得深入探索，哪些应该及时放弃。框架基于单一LLM骨干网络实现，通过动态提示让模型交替扮演生成器（Generator）和评估器（Critic）两个角色。生成器观察当前状态节点并提出多样化的候选动作，评估器则评估新生成节点的价值，计算反映相对进展的残差值。最关键的是，框架持续监控剩余的token和工具调用预算，通过数学公式调整节点选择的概率分布：当资源充足时促进广泛探索，当资源耗尽时强制贪婪利用。这种设计使得智能体能够在预算耗尽前找到高质量的答案轨迹。
BAVT的核心创新在于两个关键设计：残差值预测和预算感知节点选择。残差值预测解决了LLM自我评估过度自信的顽疾——传统方法让LLM直接评估推理状态的绝对质量，模型倾向于给低质量步骤分配过高分数。BAVT的评估器预测残差值 Delta_t（边际信息增益），通过 V(n) = Phi(V(n) + Delta_t) 更新节点值，其中 Phi 是边界函数。这种相对评估方式能够更可靠地捕获推理进展的真实轨迹，对冗余或无信息的工具执行进行激进剪枝。预算感知节点选择则是另一个核心创新：它通过动态缩放指数 alpha_t = 1/r_t（其中 r_t 是剩余预算比率）将节点值转换为采样分布。与标准UCB公式假设无限时间范围不同，BAVT的机制天然适应严格、递减的资源约束。当 r_t 近似1时 alpha_t 近似1，采样分布大致与原始节点值成正比，促进探索；当 r_t 趋近0时 alpha_t 增大，放大价值差异，概率质量集中在高价值节点上。这种无参数的机制实现了从广泛探索到贪婪利用的原则性过渡。
方法步骤详情
BAVT框架的执行步骤如下：首先，搜索树以原始问题作为根节点，分配最小起始值。在每个步骤 t，框架从候选节点池（严格排除终端答案节点）中采样一个节点进行扩展。节点选择通过幂函数 w_{n_i} = V(n_i)^{alpha_t} 计算非归一化权重，然后通过 P(n_i) = w_{n_i} / sum_{j=1}^{N} w_{n_j} 归一化得到选择概率。选定节点后，生成器合成一个与环境交互的动作，产生新的观察并创建对应的子节点 n。评估器立即评估这个新状态，分配初始值 V(n)。基于价值评估，框架执行价值引导的步骤指令：如果 V(n) 大于等于 tau（置信阈值），则生成最终答案；如果 V(n) 小于等于 V(父节点)，则执行搜索拓宽（提出发散的思考或工具调用）；如果 V(父节点) < V(n) < tau，则执行搜索深化。在第一个终端答案节点生成后，框架触发全局价值更新：V(n) = (V(n) + sum_{子节点} V(子节点)) / (1 + 子节点数量)，将下游分支的成功经验反向传播。当工具预算耗尽或token预算比率低于临界阈值 eta 时，框架执行预算后备机制：选择累积价值最高的不完整叶节点，强制生成最终答案。
技术新颖性
BAVT的技术新颖性体现在多个层面。首先，它是第一个将树结构搜索、步骤级价值估计和自适应预算控制统一在单一LLM骨干网络中的训练无关框架，无需任何微调或额外训练。其次，残差值预测机制通过评估相对进展而非绝对状态质量，从根本上解决了LLM自我评估过度自信的问题，这与传统方法依赖LLM隐式自我调节形成鲜明对比。第三，预算感知节点选择机制通过幂函数缩放实现了从探索到利用的无参数平滑过渡，这比标准UCB公式更适合严格、递减的资源约束场景。第四，BAVT提供了严格的理论收敛保证——在三个结构假设下，证明了对于任意小的失败概率 epsilon，存在有限预算界限 B 使得框架以至少 1-epsilon 的概率生成满足 V(s_t) 大于等于 tau 的节点。这一证明使用Chernoff界限，通过构造辅助Bernoulli序列和随机耦合论证，给出了具体的预算下界公式。这种理论保证在已有预算感知推理方法中是独一无二的。
实验结果
本文在四个多跳问答基准测试上进行了广泛评估，使用两个模型家族（GPT-OSS-20B推理模型和Qwen3-30B-A3B-Instruct-2507指令模型）和三个预算层级（低/中/高），核心发现如下：第一，少花钱多推理效应显著——BAVT在严格低预算约束下（5次工具调用）超越了基线方法在4倍资源分配（20次工具调用）下的性能。具体而言，使用OSS-20B模型，BAVT在低预算层级实现0.338的平均精确匹配（EM），超过了基线在高预算层级的0.334 EM。第二，推理模型放大效应：对于OSS-20B，基线性能随预算增加有效提升（平均EM从0.194升至0.334），但BAVT在所有三个预算层级均以显著优势超越基线，在低预算层级将平均EM从0.194提升到0.338。第三，指令模型突破瓶颈：对于Qwen3-30B，基线方法几乎无法将增加的计算预算转化为性能提升（平均EM从0.289仅升至0.293），而BAVT通过价值引导的结构化指令成功打破基线性能天花板，在低预算层级即实现0.386的平均EM。第四，消融实验（Table 1）表明，树结构本身（无引导）会降低性能（0.215 vs 0.268），步骤级价值估计带来显著提升（0.309），完整的BAVT框架达到最佳性能（0.388）。第五，数据集特定观察显示，在需要严格跨文档推理的MuSiQue上，BAVT将Qwen3-30B的EM从0.12提升到0.21；在2Wiki上，BAVT在低预算下（0.37 EM）几乎匹配基线的高预算峰值（0.38 EM）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HotpotQA（多跳问答） | Exact Match / F1 | BAVT: OSS-20B低预算0.23/中0.40/高0.47 EM；Qwen3-30B低0.42/中0.43/高0.43 EM | 基线: OSS-20B低0.17/中0.34/高0.37 EM；Qwen3-30B低0.42/中0.42/高0.42 EM | OSS-20B低预算相对提升35.3%，Qwen3-30B突破性能天花板 |
| 2WikiMultihopQA（多跳问答） | Exact Match / F1 | BAVT: OSS-20B低0.37/中0.41/高0.47 EM；Qwen3-30B低0.35/中0.37/高0.38 EM | 基线: OSS-20B低0.27/中0.21/高0.38 EM；Qwen3-30B低0.31/中0.33/高0.34 EM | OSS-20B低预算匹配基线高预算峰值，资源效率极高 |
| MuSiQue（多跳问答） | Exact Match / F1 | BAVT: OSS-20B低0.13/中0.19/高0.27 EM；Qwen3-30B低0.21/中0.22/高0.23 EM | 基线: OSS-20B低0.10/中0.14/高0.20 EM；Qwen3-30B低0.11/中0.12/高0.12 EM | Qwen3-30B的EM从基线0.12提升到0.21，提升75% |
| Bamboogle（多跳问答） | Exact Match / F1 | BAVT: OSS-20B低0.49/中0.55/高0.58 EM；Qwen3-30B低0.56/中0.57/高0.57 EM | 基线: OSS-20B低0.31/中0.38/高0.43 EM；Qwen3-30B低0.50/中0.52/高0.52 EM | OSS-20B低预算绝对提升0.18（从0.31到0.49） |
局限与改进
本文的局限性主要体现在以下几个方面。首先，评估器推理开销问题：虽然BAVT显著减少了冗余工具执行和失控生成轨迹，但双角色提示机制引入了固有的推理开销——使用主LLM骨干网络评估每个中间步骤会消耗整体token预算的一部分。虽然这种权衡在复杂多跳任务中总体上是正向的，但在简单任务上可能得不偿失。其次，工具异质性和不对称成本问题：当前的问题形式化和实验评估主要关注单一外部工具（网络搜索），且赋予统一的离散成本。在实际部署中，智能体需要协调多样化的工具（代码解释器、数据库查询、专用API等），这些工具具有高度不对称的财务成本、执行延迟和速率限制。第三，长时程任务适用性：评估范围目前集中在知识密集型多跳问答，尚未验证在开放式、长时程交互环境（如浏览器操控、计算机控制）中的有效性，这些环境具有不可逆动作、部分可观察性和高度延迟的奖励。此外，从个人观察来看，理论收敛保证依赖于三个较强的结构假设（严格正进展、阈值前线性、有界候选池），这些假设在实际复杂场景中可能不总是成立。
独立分析的弱点
尽管BAVT取得了显著成果，但仍存在几个值得关注的弱点。第一，评估器依赖主LLM骨干网络：当前框架使用同一LLM交替扮演生成器和评估器角色，这不仅消耗额外的token预算，还可能因为模型自身的偏差导致评估不准确。改进方向是训练轻量级的专用过程奖励模型（PRM）或价值头，以大幅减少步骤级验证的token占用和延迟。第二，单一工具假设限制了实际应用：当前仅考虑具有统一成本的网络搜索工具，而真实场景需要协调成本、延迟、精度各异的多种工具。改进方向是扩展预算感知节点选择机制，引入动态多维定价矩阵，让智能体学习在廉价低精度启发式工具和昂贵高精度确定性API之间进行复杂权衡。第三，静态置信阈值 tau：当前的终止阈值是预设的固定值，无法根据任务难度或预算状态自适应调整。改进方向是设计动态阈值机制，在预算充足时提高阈值要求更高质量的答案，在预算紧张时适当降低阈值确保能够生成答案。第四，全局反向传播的延迟性：当前框架仅在第一个终端答案节点生成后才触发全局价值更新，这意味着早期搜索阶段缺乏全局信号指导。
未来方向
基于本文成果，未来研究可以从多个方向展开。首先，轻量级评估器开发：作者明确提到训练专用过程奖励模型（PRM）或价值头来替代提示式评估器，这将显著降低推理开销并提高评估质量。其次，异构工具协调：扩展框架以支持具有不对称成本、延迟和精度的多样化工具集，引入动态多维定价矩阵，让智能体学习复杂的工具选择策略。第三，长时程任务扩展：将BAVT适配到浏览器操控（如Browsecomp）、计算机控制（如OSWorld、WebArena）等开放式长时程交互环境，这些环境具有不可逆动作、部分可观察性和高度延迟的奖励，需要扩展步骤级价值函数以处理更精细的时间信用分配。第四，理论深化：放松当前的三个结构假设，探索在更一般条件下（如随机转移、无界候选池）的收敛性保证。第五，与其他方法的结合：探索将BAVT与模型级联（model cascading）、路由系统等成本优化方法结合，实现多层次的资源分配优化。第六，多智能体场景：将预算感知搜索扩展到多智能体协作场景，研究智能体之间的预算分配和协调策略。
复现评估
从复现角度来看，本文具有较好的可复现性。框架在Inspect AI（UK AI Safety Institute, 2024）中实现，这是一个标准化的智能体评估框架，代码结构清晰。检索增强工具执行遵循Search-R1的方法，使用2018年Wikipedia dump作为知识库，E5模型作为稠密检索器，检索段落数固定为5个。实验设置明确：三个预算层级（低/中/高）的具体参数已给出，两个模型（GPT-OSS-20B和Qwen3-30B）的超参数已按官方指南设置。评估指标（Exact Match和F1）是标准的问答评估指标。然而，复现也面临一些挑战：第一，GPT-OSS-20B是较新的推理模型，可能不易获取；第二，Inspect AI框架的具体版本和配置细节需要确认；第三，大规模实验需要相当的计算资源（涉及多个基准测试、多个模型、多个预算层级的组合）。总体而言，论文提供了足够的技术细节来支持复现，但完整的复现可能需要中等规模的计算资源投入。
论文图表
该图左侧展示了并行采样的工作方式：同时探索多条轨迹，但可能在冗余或死胡同路径上浪费预算。右侧展示了BAVT的工作方式：执行树结构搜索，通过步骤级价值估计和预算感知扩展来适应性地从广泛探索（高剩余预算）转向深度利用（低剩余预算）。图中用不同颜色区分了高价值路径（绿色）和低价值路径（红色），直观展示了BAVT如何避免资源浪费。
这张图是理解BAVT核心思想的入口，直观对比了传统并行采样与BAVT的根本区别，帮助读者快速建立智能预算管理优于暴力计算扩展的直觉。