先校准再行动：LLM 智能体中的成本感知探索 Calibrate-Then-Act: Cost-Aware Exploration in LLM Agents
通过显式提供环境先验信息，让 LLM 智能体学会最优的成本-不确定性权衡
前置知识
部分可观测马尔可夫决策过程 (POMDP)
POMDP 是强化学习中处理不确定性的标准框架，形式化为七元组 $W = (S, A, O, \mathcal{O}, T, R, D_\theta)$，其中 $S$ 是状态空间，$A$ 是动作空间，$O$ 是观测空间，$\mathcal{O}$ 是观测函数，$T$ 是转移函数，$R$ 是奖励函数，$D_\theta$ 是参数化折扣函数。在本文中，$A$ 和 $O$ 都是字符串空间——LLM 产生字符串动作（如代码、API 调用），环境返回字符串观测（如执行结果）。关键在于环境中存在未观测的潜在变量 $Z$，这些变量决定智能体的最终表现。
本文将三个不同任务统一形式化为 POMDP，理解这个框架是把握论文统一视角的基础。
先验分布 (Prior Distribution)
在贝叶斯推理中，先验分布 $p(Z|x)$ 表示在观测到任何数据之前，对潜在变量 $Z$ 的信念。在本文中，先验是对环境关键未观测特征的估计，例如 QA 任务中模型对自身回答正确概率的估计 $\hat{k}_{da}(x)$，或文件读取任务中从文件名推断格式参数的概率 $p(z|n)$。先验的质量直接影响决策的最优性——本文的核心发现是，向 LLM 显式提供估计的先验 $\hat{p}(Z|x)$，可以诱导模型进行最优的成本-收益推理。
CTA 方法的核心就是估计并利用先验，理解先验的概念和作用是理解本文方法论创新的关键。
口头置信度 (Verbalized Confidence)
口头置信度是一种让 LLM 用自然语言表达对自己答案信心程度的方法。在 QA 任务中，模型被要求输出一个离散的置信度值 $p_v(x)$，表示其对答案正确性的信心。然而，原始的口头置信度通常校准很差——本文在 PopQA 数据集上的实验显示，原始估计的期望校准误差 (ECE) 高达 0.618。通过等序回归 (Isotonic Regression) 校准后，ECE 降至 0.029，大幅提升了置信度估计的可靠性。
本文使用校准后的口头置信度作为 QA 任务的先验估计，这是 CTA 方法在实际任务中的具体实现方式之一。
GRPO (Group Relative Policy Optimization)
GRPO 是一种强化学习算法，是 PPO 的变体，通过组内相对比较来优化策略。在本文中，CTA-RL 变体使用 GRPO 进行端到端训练，以折扣奖励 $R = \gamma^T \cdot I[\text{task completed}]$ 作为优化目标。与标准 RL 训练相比，CTA-RL 在训练时额外向模型提供估计的先验信息，使得模型能够学习如何利用这些先验做出更好的决策。
GRPO 是 CTA-RL 的训练算法，理解它的基本机制有助于理解为什么 CTA-RL 能超越普通 RL 训练。
Pandora's Box 问题
Pandora's Box 是一个经典的最优停止问题：有 $K$ 个盒子，恰好一个含有价值为 1 的奖品，奖品位置服从先验分布 $p(z_k = z^*) = p_k$。每步可以选择验证一个盒子（付出折扣代价 $\gamma$）或承诺选择一个盒子获得奖励。最优策略是：当某个盒子的后验概率大于 $\gamma$ 时承诺，否则验证概率最高的剩余盒子。本文将此问题作为证明 LLM 有能力推理成本-不确定性权衡的概念验证。
这是论文三个实验任务之一，证明了即使是小模型（Qwen3-8B）在获得先验信息后也能接近最优决策。
研究动机
LLM 智能体在实际部署中面临一个核心矛盾：探索环境获取信息是有益的，但每次探索都有非零成本。例如，在编程任务中，智能体可以直接运行生成的代码（成本高，可能因 bug 导致失败），也可以先编写单元测试验证（成本低，但需要额外步骤）；在 QA 任务中，模型可以直接用参数知识回答（速度快但可能不准确），也可以检索外部文档（更准确但增加延迟和 API 成本）。然而，现有的 LLM 智能体策略通常是静态的——ChatGPT Deep Research 总是先问一轮澄清问题再搜索，SWE-agent 总是先读代码库。本文的实验显示，普通 Prompted 模型在 QA 任务中对所有折扣因子都几乎总是检索（97.7%），完全无法根据成本调整策略；经过 RL 训练的模型在文件读取任务中总是采用'先测试'策略（0% 的'直接编码'比例），无法适应不同的成本比例。这说明 LLM 智能体缺乏对成本-不确定性权衡的显式推理能力。
本文的目标是本文的目标是开发一种方法，使 LLM 智能体能在不同成本和不确定性条件下进行最优探索。具体而言，作者希望：(1) 将环境探索统一形式化为序贯决策问题，建立跨任务的理论框架；(2) 提出 Calibrate-Then-Act (CTA) 方法，通过向模型显式提供环境先验信息，诱导其进行抽象的成本-收益推理；(3) 在合成任务（Pandora's Box）、知识问答（PopQA）和编程任务（文件读取）三个场景中验证方法的有效性，展示 CTA 能够实现比基线更好的成本-性能帕累托前沿。
与已有工作不同的是，本文的独特切入角度在于'解耦不确定性校准与动作选择'。现有的 LLM 智能体研究要么关注如何提升推理能力（如 CoT、ToT），要么关注如何训练更好的策略（如 RLHF），但都没有显式处理'模型应该在什么时候停止探索'这个元决策问题。本文的关键洞察是：现代 LLM 本身就有能力进行最优决策推理，问题在于它们缺乏做出正确决策所需的信息——即关于环境状态的先验估计。通过将先验估计与动作选择解耦，CTA 避免了让 RL 从头学习置信度校准这个困难任务（因为 RL 更可能记忆特定事实而非系统性地重新校准信念），而是直接提供校准后的信息，让模型利用其强大的推理能力做出最优选择。
核心方法
CTA 方法的核心直觉可以类比为：一个经验丰富的医生在诊断时，不仅依赖当前症状，还会结合流行病学统计数据（先验）来决定是否需要做更多检查。CTA 将这种决策模式形式化为两阶段过程：第一阶段 'Calibrate'，估计环境潜在状态的先验分布 $\hat{p}(Z|x)$；第二阶段 'Act'，将估计的先验信息传递给 LLM 智能体，诱导其进行显式的成本-收益推理并选择最优动作。技术路线上，CTA 有两个变体：CTA-PROMPTED 仅通过修改提示词提供先验信息，不改变模型参数；CTA-RL 在此基础上进一步用 GRPO 进行端到端强化学习训练，使模型学会更好地利用先验信息。
CTA 与现有方法的本质区别在于'显式推理先验'而非'隐式学习策略'。标准 LLM 智能体（无论是 Prompted 还是 RL）依赖内部置信度或训练统计量隐式地做决策，这导致两个问题：(1) 模型难以准确校准自己的不确定性（ECE 高达 0.618）；(2) 端到端 RL 难以学习系统性的校准规则，更倾向于记忆具体事实。CTA 的创新在于将先验估计作为一个独立的、可训练的组件分离出来（如 QA 用校准后的口头置信度，文件读取用 BERT-tiny 格式预测器），然后显式地将估计结果注入决策过程。这使得模型能够进行类似于经济学中期望效用最大化的推理：$p_{ret} \cdot \gamma \geq p_{da}$ 时检索，否则直接回答。这种显式推理是标准 RL 训练无法有效学习的。
方法步骤详情
CTA 方法包含以下步骤：(1) 先验估计——根据任务类型选择合适的估计方法。对于 QA 任务，先用 LLM 产生口头置信度 $p_v(x)$，再用等序回归校准得到 $\hat{k}_{da}(x) = \text{ISO}(p_v(x))$，ECE 从 0.618 降至 0.029；对于文件读取任务，训练一个 4.4M 参数的 BERT-tiny 编码器 $M_{BERT}$，输入文件名 $n$，输出三个分类分布（分隔符、引号字符、跳过行数），在验证集上平均分类准确率 67%。(2) 提示构建——将估计的先验 $\hat{p}(Z|x)$ 注入到智能体的提示中，使模型能够看到这些信息。(3) 决策执行——智能体在提示中接收先验信息后，进行序贯决策循环：在每个时间步 $t$，选择探索动作或承诺动作，直到终止。(4) 可选的 RL 训练——对于 CTA-RL，使用 GRPO 算法和折扣奖励目标 $R = D_\theta(a_{1:T}) \cdot I[\text{task completed}]$ 进行端到端训练，训练时使用与测试时相同的提示格式。
技术新颖性
CTA 的技术新颖性体现在三个层面：第一，理论层面，本文首次将 QA、文件读取、Pandora's Box 三个看似不同的任务统一形式化为序贯决策问题，用潜在变量 $Z$、先验 $p$、动作空间 $A$、观测 $O$、成本 $\theta$、奖励 $R$ 六个要素刻画（Table 1），这种统一视角揭示了跨任务的共同结构。第二，方法层面，CTA 的'解耦校准与决策'思想是全新的——不同于端到端方法试图让模型同时学习不确定性估计和动作选择，CTA 将前者作为独立模块，后者由 LLM 的推理能力完成。第三，实验层面，本文展示了即使是 8B 参数的小模型（Qwen3-8B），在 Pandora's Box 上获得先验后可以达到 94% 的最优策略匹配率（而无先验时仅 23%），证明了 LLM 的推理瓶颈不在推理能力本身，而在信息不足。
实验结果
本文在三个任务上的实验结果系统性地验证了 CTA 方法的有效性。在 Pandora's Box 概念验证任务中，CTA-PROMPTED 达到 94.0% 的最优策略匹配率和 0.625 的平均奖励，远超 PROMPTED 的 23.0% 和 0.476，接近 Oracle 策略的 100% 和 0.649（Table 2）。在 QA 任务（PopQA 数据集）中，CTA-PROMPTED 达到 0.293 的折扣奖励，优于 PROMPTED 的 0.283 和 PROMPTED-NONTHINK 的 0.244（Table 3）。更重要的是，CTA-PROMPTED 在不同折扣因子下展现出高度自适应的检索行为（Figure 3），检索率从低折扣因子的 56% 到高折扣因子的 97%，而 PROMPTED-NONTHINK 在所有条件下都几乎总是检索（97.7%）。在文件读取任务中，CTA-RL 在所有相对成本设置下都位于帕累托前沿（Figure 5），总体奖励 0.268，比 RL 基线的 0.259 提升 3.5%（Table 4）。关键发现是：标准 RL 训练虽然能提升奖励，但会导致策略坍缩为静态策略（0% 的'直接编码'比例），而 CTA-RL 在高成本设置下仍保持适应性（ρ=2.0 时 5.7% 直接编码，ρ=4.0 时 8.0%），证明显式先验信息能防止策略退化。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Pandora's Box（合成任务） | 最优策略匹配率 (%) | CTA-PROMPTED: 94.0% | PROMPTED: 23.0%, PROMPTED-NONTHINK: 11.0% | 提升 71 个百分点（相对提升 309%） |
| Pandora's Box（合成任务） | 平均奖励 | CTA-PROMPTED: 0.625 | PROMPTED: 0.476, PROMPTED-NONTHINK: 0.441 | 提升 0.149（相对提升 31.3%） |
| QA（PopQA 数据集） | 折扣奖励 | CTA-PROMPTED: 0.293 | PROMPTED: 0.283, PROMPTED-NONTHINK: 0.244 | 比 PROMPTED 提升 3.5%，比 NONTHINK 提升 20.1% |
| QA（PopQA 数据集） | 准确率 | CTA-PROMPTED: 51.2% | PROMPTED: 50.1%, NEVER RETRIEVE: 22.6% | 比 PROMPTED 提升 1.1 个百分点 |
| 文件读取（FILEREADING） | 折扣奖励（平均） | CTA-RL: 0.268 | RL: 0.259, PROMPTED: 0.229 | 比 RL 提升 3.5%，比 PROMPTED 提升 17.0% |
| 文件读取（FILEREADING） | 准确率 | CTA-RL: 99.1% | RL: 99.7%, PROMPTED: 95.8% | 与 RL 基本持平，但策略更适应成本变化 |
局限与改进
本文存在若干局限性：首先，先验估计的质量直接限制 CTA 的性能——QA 任务中口头置信度需要额外的校准步骤（等序回归），文件读取任务中 BERT-tiny 预测器仅 67% 准确率，这意味着先验本身存在较大噪声。虽然 Appendix C 显示 CTA 在先验质量下降时仍优于基线，但性能提升是平滑递减的。其次，实验设置相对简化——QA 任务仅允许一轮检索，文件读取任务仅涉及三个格式参数（分隔符、引号、跳过行数），与真实世界中多轮工具调用、复杂文件结构的场景存在差距。第三，本文仅使用 Qwen3-8B 一个基础模型，未验证方法在更大模型或不同架构上的泛化性。第四，CTA-RL 的训练需要同时构建先验预测器和进行 RL 训练，增加了系统复杂度和计算成本。作者也承认，对于先验估计本身就很好的任务（如文件格式高度可预测），CTA 的额外收益可能有限。
独立分析的弱点
本文的一个重要弱点是先验估计的独立性假设——CTA 假设先验估计与动作选择可以干净地解耦，但在复杂任务中，先验本身可能依赖于探索过程中获得的信息。例如，在代码调试任务中，对 bug 类型的先验可能在看到第一个测试结果后大幅更新，但当前框架未考虑这种动态更新。改进方向是设计在线更新先验的机制，使 $\hat{p}(Z|x, o_{0:t})$ 随观测动态调整。另一个弱点是 CTA-PROMPTED 的性能提升在 QA 任务中相对温和（奖励仅从 0.283 提升到 0.293），这可能是因为 PopQA 的检索收益本身就很显著（直接回答 22.6% vs 检索后 57.8%），导致最优策略在大部分情况下都是检索。改进方向是在检索成本更高、不确定性更大的场景中测试，如多跳推理或多工具调用任务。此外，本文未探索先验信息的最优粒度——提供过多先验可能淹没模型注意力，过少则信息不足，如何自动确定'恰到好处'的先验粒度是一个开放问题。
未来方向
作者提出了几个有前景的研究方向：(1) 将 CTA 扩展到更复杂的多步决策场景，如软件工程中的调试（需要多轮测试-修复循环）和科学研究中的实验设计（需要多轮假设-验证循环）；(2) 探索元级信息（meta-level information）在塑造智能体策略中的更广泛作用——本文的先验信息本质上是一种'关于能力的能力'，类似的信息类型还有很多，如任务难度估计、工具可靠性评估等。基于本文成果可延伸的方向包括：(3) 将 CTA 与工具选择结合，不仅决定'是否探索'，还决定'用哪个工具探索'；(4) 在多智能体协作中应用 CTA，让智能体根据对其他智能体能力的先验估计决定何时委托任务；(5) 设计自适应的先验学习框架，使先验预测器能随部署环境的变化自动更新。
复现评估
本文的复现条件良好：作者提供了完整的代码仓库（https://github.com/NSF-Simons-CosmicAI-Institute/CalibrateThenAct），包含三个任务的实现、训练脚本和评估代码。数据方面，PopQA 是公开数据集，FILEREADING 的构建细节在 Appendix G 中描述，Pandora's Box 是合成任务可自行生成。模型使用开源的 Qwen3-8B，算力需求对 8B 模型的 RL 训练来说属于中等。复现的主要挑战在于：(1) FILEREADING 数据集需要按论文描述的方式构造，包括文件格式的随机采样和折扣因子的设置；(2) CTA-RL 的 GRPO 训练需要正确实现折扣奖励目标；(3) QA 任务中的校准步骤（等序回归）需要在验证集上训练。总体而言，复现难度中等，开源代码大幅降低了技术门槛。
论文图表
该图展示了同一个文件读取任务（查找 sales.csv 中最高价格对应的 item id）的两种策略：左侧'Guess-and-Go'策略直接假设列名为 'price' 并执行代码，置信度约 50%；右侧'Deliberate Testing'策略先用 head 命令检查前 50 行确认列名，再执行代码，置信度约 99%。图下方总结：最优策略取决于模型的成功概率和不同动作的环境成本。
这张图直观地展示了本文的核心问题——智能体在不确定环境下需要在探索和直接行动之间做出权衡，是理解论文动机的最佳入口。
该图展示各方法相对于'3次测试→编码'基线的奖励差值 ΔReward 随相对成本 ρ 的变化。静态策略（总是测试或总是编码）仅在特定成本范围内表现良好，而 CTA-RL 在所有 ρ 值下都位于帕累托前沿，展示了其跨成本设置的稳健性。
这张图是评估 CTA 方法实用性的关键，证明了 CTA 不是仅在某个特定成本设置下有效，而是在广泛的成本范围内都能保持最优或接近最优的性能。