置信度二分法：分析与缓解工具使用智能体中的校准偏差 The Confidence Dichotomy: Analyzing and Mitigating Miscalibration in Tool-Use Agents
揭示工具使用智能体的置信度二分法，提出CAR框架缓解校准偏差
前置知识
校准（Calibration）
校准是指模型表达的置信度与其实际准确率之间的一致性。一个完美校准的模型，当它对预测给出80%的置信度时，其预测应该在80%的情况下是正确的。在LLM智能体场景中，校准意味着智能体在执行工具调用后，能够可靠地评估自己答案的正确概率。校准通常通过Expected Calibration Error（ECE）来衡量，ECE越低表示置信度与准确率的对齐程度越好。本文引入了Mean Confidence on Incorrect Predictions（MCIP）指标来衡量错误预测上的平均置信度，MCIP越高表示过置信问题越严重。
校准是本文研究的核心对象，理解校准的概念和度量方式是读懂全文的基础。本文的核心发现就是不同类型的工具对校准产生截然不同的影响。
强化学习微调（RL Fine-tuning）
强化学习微调是指使用强化学习算法对预训练的LLM进行进一步训练，使其在特定任务上表现更好。本文采用Group Relative Policy Optimization（GRPO）算法，这是一种基于策略梯度的RL方法，通过组内相对比较来更新策略。在工具使用场景中，RL微调可以让智能体学会何时调用工具、如何解读工具输出、以及如何整合工具信息来生成最终答案。
CAR框架的核心技术手段就是RL微调，理解GRPO的工作原理和训练流程是理解本文方法的关键。
证据工具与验证工具（Evidence Tools vs. Verification Tools）
本文将工具分为两大类：证据工具（如网络搜索）和验证工具（如代码解释器）。证据工具的特点是输出具有随机性、包含噪声和不确定性，它们检索外部信息来扩充智能体的知识。验证工具则提供确定性的结构化反馈，通过执行结果来验证推理步骤的正确性。代码解释器执行Python代码后返回确定性结果，计算器给出精确计算值，这些都属于验证工具。本文发现这两类工具对校准产生相反的影响。
这是本文最核心的分类框架，'置信度二分法'正是指这两类工具对校准产生的相反效应，理解这一分类是理解全文发现的前提。
Brier Score
Brier Score是一种用于评估概率预测质量的指标，定义为预测概率与实际结果之差的平方：$BS = (q - 1_{y=y^*})^2$，其中 $q$ 是预测置信度，$1_{y=y^*}$ 是正确性的指示函数。Brier Score越低表示预测越准确，它同时捕获了校准性和区分性。本文基于Brier Score设计了加权Brier Score奖励和MSCR奖励，将其作为训练信号的一部分。
Brier Score是本文奖励函数设计的基础，理解其数学形式才能理解加权Brier Score和MSCR奖励的创新之处。
Expected Calibration Error（ECE）
ECE是衡量模型校准程度的标准指标，通过将预测按置信度分成若干个bin，计算每个bin内平均置信度与实际准确率之差，再按样本数加权平均。本文采用10-bin方案计算ECE。ECE越接近0表示模型越校准，即置信度越能反映真实准确率。在本文的实验中，CAR框架实现了高达68%的ECE相对降低。
ECE是本文最核心的评估指标，所有实验结果都以ECE为主要校准度量，理解ECE才能理解实验结果的含义。
研究动机
基于LLM的自主智能体正在快速发展，能够处理多轮复杂任务，但其可信度仍然是一个关键挑战。现有研究表明，工具使用智能体往往表现出比独立LLM更高的校准误差——即工具的引入加剧了过置信问题。具体而言，BrowseComp（Wei et al., 2025a）和BrowseComp-ZH（Zhou et al., 2025）等搜索智能体基准测试一致报告工具使用智能体存在更高的校准误差。然而，这些研究都局限于搜索场景，留下了一个关键问题未被解答：校准偏差是工具使用的普遍后果，还是取决于工具本身的性质？此外，现有的校准研究主要集中在静态LLM的单轮问答场景，对于多轮智能体工作流中校准的动态变化缺乏系统性研究。虽然已有工作提出训练外部预测器来估计轨迹成功率，但这种方法既没有分析不同工具类型如何系统性影响置信度动态，也没有改善智能体内在的语言化校准能力。
本文的目标是本文的具体目标有两个层次：首先，通过系统的试点研究，回答工具使用是否必然导致校准偏差这一问题，即探究不同类型工具对智能体校准的差异化影响；其次，基于试点研究的发现，设计一种基于强化学习的训练框架，能够在保持任务性能的同时显著改善智能体的校准质量，使智能体能够在高风险的真实部署场景中可靠地表达不确定性。
与已有工作不同的是，本文的独特切入角度在于将工具使用从单一现象拆分为两个具有相反校准效应的类别——证据工具和验证工具。这一分类揭示了一个关键的'置信度二分法'：证据工具（如网络搜索）由于检索信息固有的噪声和不确定性，系统性地诱导严重的过置信；而验证工具（如代码解释器）通过确定性反馈能够锚定推理过程并缓解校准偏差。这一发现挑战了工具使用对校准具有均匀影响的隐含假设，将校准研究从'是否使用工具'转向'使用什么类型的工具'。基于这一洞察，本文进一步提出了专门针对证据工具场景的校准感知强化学习框架，填补了智能体校准训练领域的空白。
核心方法
本文的方法分为两个阶段：首先是一个系统的试点研究，用于揭示工具类型对校准的差异化影响；然后是Calibration Agentic RL（CAR）框架的设计与实现。整体思路是，先通过对比实验证明问题的存在和性质，再针对最需要改善的场景（证据工具使用）设计解决方案。在试点研究中，作者在三种配置下（直接提示、基于提示的工具使用、基于RL的工具使用）评估了证据工具和验证工具对校准的影响，发现了置信度二分法。在CAR框架中，作者采用GRPO算法作为基础RL方法，通过设计新的奖励函数来同时优化任务准确率和校准质量，使智能体在使用证据工具时能够产生可靠的信心表达。
CAR框架的核心创新在于奖励函数设计，特别是提出的Margin-Separated Calibration Reward（MSCR）。已有方法如RLCR（Damani et al., 2025）使用Brier Score作为校准奖励，但存在奖励重叠问题：当 $\lambda = 1$ 时，正确预测的最低奖励等于错误预测的最高奖励，这使得学习对数据分布敏感，可能导致置信度崩溃。MSCR通过将正确和错误预测的校准项解耦来解决这一问题，严格保证正确答案至少获得奖励1，而错误答案最多获得奖励0并对虚假置信施加惩罚。这种严格分离消除了'安全失败'漏洞，确保最不自信的正确答案严格优于最诚实的错误答案，从而实现稳健的校准训练。
方法步骤详情
CAR框架的具体步骤如下：第一步，在系统提示中要求智能体在 XML标签内输出0到100的数值置信度分数。第二步，设计扩展格式奖励，验证输出是否满足推理-动作-观察链的结构要求，同时确保置信度标签的存在。第三步，定义校准感知的结果奖励，采用MSCR公式：$R_{MSCR}(y, q, y^*) = 1_{y=y^*} [1 + \beta_1(1 - (1-q)^2)] - 1_{y \neq y^*} \beta_2 q^2$，其中 $\beta_1, \beta_2 > 0$ 控制校准幅度。第四步，将格式约束与校准奖励合并为统一奖励函数：$r_\phi(x, \tau) = R_{cal}(y, q, y^*)$（格式正确时）或 $R_{cal}(y, q, y^*) - \lambda_f$（格式错误时）。第五步，使用GRPO算法在NQ和HotpotQA混合数据上训练Qwen2.5-3B-Instruct、Qwen2.5-7B-Instruct和Qwen3-4B-Instruct-2507模型。第六步，在ID数据集（NQ和HotpotQA验证集）和OOD数据集（SimpleQA-verified）上评估训练后的智能体。
技术新颖性
本文的技术新颖性体现在多个层面。首先，'置信度二分法'的发现本身就是重要贡献，它首次系统性地揭示了工具类型对校准的差异化影响，将校准研究从工具使用的单一视角拓展到工具分类的多元视角。其次，MSCR奖励的设计在技术上解决了RLCR中奖励重叠导致的优化不稳定问题，通过严格分离正确和错误预测的奖励空间，消除了策略被操纵的可能性。第三，本文将校准优化从静态模型扩展到多轮智能体工作流，这是一个全新的应用场景，需要处理工具调用引入的外部噪声和扩展的动作空间。第四，本文建立了一个包含多种奖励设计的基准测试，为未来校准感知RL的奖励设计提供了系统性的比较框架和关键洞察。
实验结果
本文的实验结果分为三个部分。在试点研究中，使用Qwen2.5-3B-Instruct作为骨干模型，发现证据工具（网络搜索）和验证工具（代码解释器）对校准产生截然相反的影响：在NQ数据集上，直接提示的MCIP为0.879，而基于RL的工具使用MCIP上升至0.948，表明证据工具加剧了过置信；而在MATH-500上，直接提示的MCIP为0.971，基于RL的工具使用MCIP下降至0.890，表明验证工具缓解了过置信。在CAR框架的主实验中，MSCR配置在三个骨干模型上均实现了显著的ECE降低：Qwen2.5-3B在NQ上的ECE从0.528降至0.303，在SimpleQA-verified上从0.610降至0.192；Qwen2.5-7B在SimpleQA-verified上从0.441降至0.150；Qwen3-4B在SimpleQA-verified上从0.287降至0.106。ECE相对降低最高达68%，AUROC相对提升最高达17%。在工具泛化实验中，使用Serper API作为检索后端，CAR（MSCR）在Qwen3-4B上将ECE从0.140降至0.034，证明了在模拟环境中习得的校准能力能够稳健地迁移到嘈杂的真实API环境。在工具集成推理（TIR）实验中，CAR在AIME和MATH-500上也实现了校准改善，但ECE绝对值仍然较高，表明验证工具场景的校准效果受模型内在推理能力的限制。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| NQ 开放域问答（ID） | ECE（Expected Calibration Error） | CAR (MSCR) ECE=0.303（Qwen2.5-3B） | Vanilla Search-R1 ECE=0.528 | ECE相对降低42.6% |
| HotpotQA 多跳问答（ID） | ECE | CAR (MSCR) ECE=0.286（Qwen2.5-3B） | Vanilla Search-R1 ECE=0.699 | ECE相对降低59.1% |
| SimpleQA-verified 事实问答（OOD） | ECE | CAR (MSCR) ECE=0.192（Qwen2.5-3B） | Vanilla Search-R1 ECE=0.610 | ECE相对降低68.5% |
| SimpleQA-verified（Qwen2.5-7B） | ECE | CAR (MSCR) ECE=0.150 | Vanilla Search-R1 ECE=0.441 | ECE相对降低66.0% |
| SimpleQA-verified Serper API（Qwen3-4B） | ECE | CAR (MSCR) ECE=0.034 | Vanilla Search-R1 ECE=0.140 | ECE相对降低75.7% |
| AIME2024 数学推理（TIR） | ECE | CAR (MSCR) ECE=0.573（Qwen2.5-3B） | Vanilla SimpleTIR ECE=0.692 | ECE相对降低17.2% |
| MATH-500 数学推理（TIR） | ECE | CAR (MSCR) ECE=0.057（Qwen2.5-3B） | Vanilla SimpleTIR ECE=0.151 | ECE相对降低62.3% |
局限与改进
本文存在几个重要的局限性。首先，受计算资源限制，实验仅在3B到7B参数规模的模型上进行，虽然在三个骨干架构上观察到一致的模式，但尚不清楚这一现象如何随模型规模演变——更大的模型是否具有内在的校准能力差异，是否需要更大规模的RL训练才能有效改善校准，这些问题仍有待探索。其次，评估主要集中在短答案问答和数学推理场景，这些场景的正确性定义明确。在更开放的生成场景中，如长篇报告撰写或多步自主规划，正确性信号可能更加模糊，反馈循环也可能更加延迟，当前框架无法直接处理这些情况。第三，MSCR奖励虽然解决了奖励重叠问题，但引入了 $\beta_1$ 和 $\beta_2$ 两个超参数，其最优值可能因任务和模型而异，增加了调参的复杂性。第四，本文的TIR实验显示，尽管CAR能够改善校准，但验证工具场景的ECE绝对值仍然较高，表明校准改善的上限受模型内在推理能力的制约。
独立分析的弱点
本文存在几个值得关注的弱点。第一，MSCR奖励中的 $\beta_1$ 和 $\beta_2$ 超参数需要仔细调节，论文没有提供系统性的消融研究来分析这些参数对最终性能的影响，也没有给出通用的调节指导，这可能影响方法在新场景中的可迁移性。第二，试点研究中的t检验虽然显示了统计显著性，但样本量和效应大小的报告不够充分，置信区间的缺失使得结果的稳健性评估不够完整。第三，CAR框架仅在证据工具（网络搜索）场景上进行了训练和评估，虽然在TIR场景上进行了测试，但没有探索将CAR同时应用于多种工具类型的联合训练策略。第四，论文承认在简单数据集（如MATH-500）上校准效果更好，但在更具挑战性的AIME上改善有限，说明方法对任务难度存在敏感性，缺乏自适应调整机制。改进方向可以包括：设计自适应的 $\beta$ 参数调节策略，基于任务难度动态调整校准奖励的强度；探索多工具联合训练范式；引入课程学习策略，从简单任务逐步过渡到复杂任务以稳定训练过程。
未来方向
本文开启了多个值得深入探索的研究方向。作者明确指出需要在更大规模的模型（如13B、70B甚至更大）上验证CAR框架的有效性，以理解校准与模型规模的关系。此外，将研究扩展到更开放的生成场景，如长篇报告撰写、多步自主规划和复杂决策任务，是自然的下一步。基于本文的发现，可以探索几个延伸方向：第一，设计自适应的校准策略，使智能体能够根据工具类型和任务特征动态调整置信度表达方式；第二，将CAR框架与外部校准方法（如温度缩放、Platt scaling）结合，探索内在校准与外在校准的协同效应；第三，研究校准在多智能体协作场景中的作用，探索一个校准良好的智能体如何影响团队的整体决策质量；第四，将置信度二分法的发现扩展到更多工具类型，如RAG系统、数据库查询、API调用等，建立更完整的工具校准分类体系；第五，探索校准感知的推理时策略，如基于置信度的自适应检索和工具选择。
复现评估
本文的复现条件相对良好。训练数据方面，NQ和HotpotQA是广泛使用的公开数据集，SimpleQA-verified也可以获取。检索环境方面，论文使用了2018年Wikipedia dump和E5稠密检索器，这些资源都是公开可获取的。RL训练框架方面，作者使用了VeRL框架，这也是开源的。骨干模型方面，Qwen2.5-3B-Instruct、Qwen2.5-7B-Instruct和Qwen3-4B-Instruct-2507都是公开发布的模型。在TIR实验中，使用了E2B作为代码执行沙箱，SimpleTIR框架也是公开的。然而，完整的RL训练需要显著的计算资源，这可能是复现的主要障碍。此外，Serper API的泛化实验需要API密钥和网络访问，可能受地区限制。总体而言，本文的实验设置相对标准，使用的工具和数据集都是社区广泛采用的，具备较好的可复现性。
论文图表