从被动度量到主动信号：大语言模型中不确定性量化角色的演进 From Passive Metric to Active Signal: The Evolving Role of Uncertainty Quantification in Large Language Models
综述LLM不确定性从被动诊断指标演变为推理、Agent、RL中的主动控制信号
前置知识
不确定性量化(Uncertainty Quantification, UQ)
不确定性量化是指对模型输出的可信程度进行度量和评估的技术。在传统深度学习中，UQ区分两类不确定性：偶然不确定性(aleatoric uncertainty)，源于数据本身的固有噪声，无法通过更多数据消除；认知不确定性(epistemic uncertainty)，源于模型对知识的缺乏，可通过增加训练数据来降低。传统UQ的核心方法包括贝叶斯推断、蒙特卡洛Dropout、集成方法以及信息论指标(如熵)，它们的共同目标是为模型的每个输出附加一个置信度分数，用于事后评估输出的可靠性。
本文的核心论点是传统UQ的被动度量范式已经不敷使用，理解传统UQ的定义和局限性是理解本文从被动到主动这一范式转变的基础。
链式思维推理(Chain-of-Thought Reasoning, CoT)
链式思维推理是一种让大语言模型在给出最终答案之前，先生成中间推理步骤的提示或训练策略。模型通过逐步分解复杂问题，模拟人类的思维过程，从而显著提升在数学推理、逻辑推理、代码生成等复杂任务上的表现。推理时扩展(inference-time scaling)是当前的主流策略，即在推理时生成多条推理路径并进行聚合。然而，CoT推理中早期的错误可能沿着推理链传播并导致整个推理过程失败，这对不确定性信号的实时性提出了需求。
论文将高级推理作为不确定性从被动信号演化为主动信号的三大前沿领域之一。理解CoT推理的工作机制和其固有的错误传播问题是理解不确定性如何在推理路径内部和路径之间发挥主动控制作用的前提。
RLHF与奖励模型(Reinforcement Learning from Human Feedback)
RLHF是当前大语言模型对齐的主流范式。其核心流程是：首先收集人类对模型输出的偏好数据(如A比B好)，然后训练一个奖励模型(Reward Model, RM)来学习这些偏好，最后使用强化学习算法(如PPO)优化语言模型策略使其输出获得更高的奖励分数。传统奖励模型输出一个确定性的标量分数，但人类偏好本质上是随机和模糊的，这导致奖励模型可能被策略利用(即奖励黑客问题)，产生高分但低质量的输出。
论文将RL与奖励建模作为第三个前沿领域，论证不确定性如何从被确定性分数忽略的因素转变为实现鲁棒对齐的核心机制。理解RLHF流程是理解不确定性感知奖励模型如何缓解奖励黑客问题的基础。
保形预测(Conformal Prediction, CP)
保形预测是一种非贝叶斯的不确定性量化框架，其核心优势在于提供严格的、与分布无关的覆盖保证。对于任意输入，CP构造一个预测集合，保证以用户指定的概率包含真实输出，且该保证不依赖于模型架构或数据分布。然而，将CP应用于自由形式文本生成面临挑战：如何定义预测集合和非保形分数。现有方法通过语义相似度(黑盒方法)或token级概率(白盒方法)来适配CP。
论文将贝叶斯方法和保形预测作为支撑不确定性从被动度量向主动控制信号演化的两大新兴理论框架。理解CP的覆盖保证特性有助于理解为什么它能为主动控制信号提供理论基础。
语义熵(Semantic Entropy)
语义熵是Farquhar等人(2024)提出的一种针对LLM的不确定性度量方法。传统的token级熵只关注逐词概率分布，而语义熵在语义层面操作：它将语义等价的输出聚为同一等价类，然后在这些语义聚类上计算熵，从而更准确地反映模型在意义层面的不确定性。例如，今天天气很好和今天的天气非常不错在token层面完全不同但在语义层面等价，语义熵会将它们归为同一语义簇。
语义熵是论文中讨论的多个主动控制信号方法(如UoT、UALA、UALIGN等)的核心不确定性度量，理解它有助于把握论文中多种方法的技术基础。
研究动机
传统不确定性量化(UQ)的核心范式是生成-评估(generate-then-evaluate)：模型先完整生成输出，再通过贝叶斯推断、集成方法或信息论指标为其附加一个置信度分数，本质上衡量的是模型对自身输出了解多少。这种被动的、诊断性的度量方式在简单生成任务中尚可胜任，但在当前LLM的前沿应用场景中暴露出三个根本性缺陷。第一，在多步链式思维推理中，早期的推理错误可能沿推理链传播并导致整个推理过程失败，而事后给出的最终置信度分数完全无法反映中间步骤的可靠性，模型需要的是在推理过程中的每个中间节点获得实时的不确定性信号来决定是否回溯、分支或修正。第二，在自主Agent场景中，Agent需要基于不确定性做出多种元认知决策——是依赖参数化知识还是调用外部工具、是否需要向人类寻求帮助、是否需要进一步查询信息——一个单一的事后分数无法支持这种主动的、前瞻性的决策。第三，传统UQ假设输出是静态的、整体的，但现代LLM系统涉及分支推理路径、环境交互和迭代对齐循环，不确定性需要随着系统行为动态演化，而非作为一个外部附加的静态快照。
本文的目标是本文的核心目标是系统性地梳理和分析LLM不确定性研究中一个正在涌现的技术趋势：不确定性从被动的事后诊断度量向主动的、实时的控制信号的功能性演化。作者旨在构建一个统一的概念框架，通过追踪这一演化趋势在三个前沿领域——高级推理、自主Agent和强化学习对齐——中的具体体现，阐明不确定性如何不再仅仅是评估输出是否可靠的工具，而是动态塑造模型行为的机制。同时，论文还试图将这些经验性进展与贝叶斯方法和保形预测等新兴理论框架建立联系，为这一领域提供理论基础，并系统性地识别关键挑战和未来研究方向。
与已有工作不同的是，现有的综述文献主要围绕如何度量不确定性这一问题展开组织，涵盖token级分析、一致性检查、语义聚类、熵等技术方法，或者从置信度校准、不确定性来源分类等角度进行综述。本文的独特切入角度在于关注一个此前被忽视的维度：不确定性在LLM系统中发挥的功能性角色的演变。作者的核心论点是，现有综述在如何度量不确定性方面已经提供了充分的资源，但关于如何使用不确定性——即将其作为控制机制来主动引导模型行为——的系统性分析尚属空白。这一功能性的视角使得论文能够跨越推理、Agent和RL三个通常被独立讨论的子领域，揭示不确定性作为控制信号的统一范式，从而构建一个更加完整和实用的技术图景。
核心方法
本文作为一篇综述论文，不提出新的技术方法，而是构建了一个统一的概念框架来组织和分析LLM不确定性研究的演进趋势。论文的核心组织结构可以用一个类比来理解：传统UQ如同汽车仪表盘上的速度表——它告诉你当前速度(事后诊断)，但不能帮你决定是否加速或刹车；而新兴的主动信号范式则将不确定性变成了自动驾驶系统中的实时传感器——它不仅感知状态，还直接驱动决策。论文沿着三个功能性前沿来追踪这一演化：在高级推理中，不确定性从评分工具变为推理路径选择和认知资源分配的导航仪；在自主Agent中，不确定性从被动属性变为驱动工具调用、信息寻求和风险管理的元认知信号；在RL与奖励建模中，不确定性从被忽略的因素变为构建鲁棒奖励模型和实现自我改进的核心机制。论文最后将这些经验性进展锚定在贝叶斯方法和保形预测两个新兴理论框架上。
本文最核心的洞察在于提出了一个二元分类框架来刻画LLM不确定性的功能演进：被动度量(Passive Metric)与主动信号(Active Signal)。被动度量在生成完成后运作，扮演诊断角色(输出可靠吗？)，其本质是静态的、外在于生成过程的；而主动信号在生成过程中实时干预，通过反馈回路扮演控制机制的角色(是否触发行动？)，其本质是动态的、内嵌于模型操作循环的。这一分类框架不仅是一个概念上的区分，更揭示了一个根本性的范式转变：不确定性不再是模型行为的附属产物，而正在成为模型行为的驱动因素。论文在每个前沿领域中都用具体的不确定性信号是什么(the what)和控制机制是什么(the how)两个维度来解构每种方法，形成了一套一致的分析语言。这种分析框架使得跨领域的比较成为可能，例如将推理路径选择中的置信度加权投票与Agent工具调用决策中的阈值触发统一在不确定性作为控制信号的共同范式下。
方法步骤详情
论文的方法论按以下步骤组织展开：首先，在第二章系统性地剖析传统UQ范式的局限性，从不适用于多步推理、不满足自主Agent需求、不适应动态交互系统三个维度论证范式转变的必要性。然后，论文在第三、四、五章分别深入三个前沿领域：(1)高级推理部分(第3章)从推理路径间选择、推理路径内引导和认知努力优化三个层次分析不确定性如何指导推理策略——包括CISC、CER等路径选择方法，UAG、SPOC等路径内自纠正方法，以及UnCert-CoT、MUR等按需分配计算资源的方法；(2)自主Agent部分(第4章)从应对内部不确定性(从被动拒答到主动问询的演化)、工具使用决策边界(何时依赖内部知识vs何时调用工具)和多步工作流中的不确定性传播三个角度展开；(3)RL与奖励建模部分(第5章)从鲁棒奖励模型(URM、贝叶斯RM)、自我改进RL(置信度作为内在奖励、熵最小化)和可扩展的过程监督(不确定性驱动的推理链自动分割)三个层次讨论。最后，论文在第六章引入贝叶斯方法和保形预测两个新兴理论框架作为统一的理论基础，在第七章系统性地梳理关键挑战和未来方向。
技术新颖性
本文的技术新颖性不在于提出单一的新方法，而在于提供了一个全新的概念框架和分析视角。与此前围绕如何度量不确定性组织的综述不同，本文首次系统性地围绕如何使用不确定性——即不确定性的功能性角色——来组织整个领域。这种功能性的组织方式产生了几个重要的新颖贡献：第一，论文在每个技术方法的分析中都明确区分了不确定性信号(what)和控制机制(how)两个维度，并用统一的比较表格(Table 1-3)呈现，这种分析范式使得跨领域的技术比较首次成为可能；第二，论文识别并命名了一个正在涌现的技术趋势——从被动度量到主动信号的演进——并用大量的经验性证据支撑这一论断；第三，论文将分散在推理、Agent和RL三个子领域的经验性进展与贝叶斯方法和保形预测这两个理论框架建立联系，揭示了看似不同的实用方法背后的统一理论基础。此外，论文还提供了附录中的实践指南(Design Patterns)，为从业者在不同场景下选择适当的不确定性感知方法提供了具体建议，这在综述论文中是少见的。
实验结果
作为一篇综述论文，本文不报告新的实验结果，但通过对大量已有工作的系统性分析，揭示了几个重要的发现和趋势。在高级推理领域，论文发现置信度加权选择方法(如CISC)和细粒度步骤评估方法(如CER)之间存在一个根本性的权衡：CISC具有强全局校准但无法区分单个问题内的正确与错误推理路径，而CER强调关键推理步骤的局部判别能力，在长链推理中更具鲁棒性但实现复杂度更高。论文特别指出，Within-Question Discrimination(WQD)——即置信度在同一问题上区分正确和错误答案的能力——比全局校准更为关键。在认知努力优化方面，MUR方法通过轨迹级动量不确定性聚合将计算量减少超过50%的同时提升了准确率，证明了不确定性作为经济信号的有效性。在Agent领域，论文揭示了从推理时控制到训练时自我意识的演化轨迹：UALA等阈值方法简单但脆弱，而SMARTAgent等训练方法成本高但产生更强的领域适应能力。在不确定性传播方面，SAUP框架引入情境权重放大关键步骤的不确定性分数，而UProp框架从信息论角度将总不确定性分解为内在不确定性(当前步骤)和外在不确定性(从前序步骤继承)，提供了更系统的理论基础。在RL领域，URM框架通过让奖励模型输出完整的概率分布(如高斯分布)而非单个标量分数，直接量化人类偏好数据中的偶然不确定性；贝叶斯RM通过学习权重的后验分布来捕获认知不确定性，其后验不确定性可直接作为RL优化中的正则化项。熵最小化(EM)作为一种无奖励的、无监督的目标，为提升LLM推理能力提供了全新的范式。EDU-PRM框架利用高预测熵的token作为不确定性锚点自动分割推理链，使过程级训练数据的生成成本降至人工标注的一小部分。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多路径推理选择 | 推理准确率(通过置信度加权投票) | CER：通过关注关键步骤置信度实现更鲁棒的长链推理 | CISC：长度归一化概率的全局置信度评分 | CER在长链推理中鲁棒性更高，但实现复杂度也更高(Very High vs High) |
| 认知资源分配 | 计算效率提升 | MUR(动量不确定性推理)：计算量减少>50%，准确率提升 | 标准推理(固定计算资源) | 计算量降低50%以上，同时准确率提高 |
| Agent工具调用决策 | 工具调用效率 | UALA：基于不确定性阈值的条件调用 | 总是调用工具(naive策略) | 显著提升效率，避免工具过度使用问题 |
| 过程监督自动化 | 推理链分割成本 | EDU-PRM：基于高预测熵token的自动分割 | 人工手动标注推理步骤 | 以人工标注成本的一小部分实现可扩展的过程级训练数据生成 |
局限与改进
作者在论文末尾明确承认了两个主要局限性。首先，本文的重点是不确定性在高级LLM系统中的功能性角色，而非不确定性估计方法或置信度校准的全面综述——这些内容已被其他综述充分覆盖。其次，论文不包含大规模的比较实验，其主要贡献是概念性框架和对已有工作的综合分析，而非实证验证。从我的独立观察来看，本文还存在以下局限：(1)论文构建的被动度量vs主动信号二元框架虽然清晰有力，但可能过度简化了现实情况——许多实际方法可能同时具有被动和主动的混合特征，这种非此即彼的分类可能丢失了中间地带的细微差别；(2)论文引用的大量方法大多处于研究早期阶段，许多方法仅在有限的基准上进行了验证，缺乏在真实生产环境中的大规模部署经验，因此论文所描绘的演进趋势在实际落地中的可行性仍有待检验；(3)论文虽然提供了附录中的实践指南，但缺乏对不同方法之间组合使用的讨论——例如，在一个实际的LLM系统中，推理路径选择、Agent工具调用决策和RL对齐中的不确定性信号如何协调运作、是否存在冲突，这些系统集成层面的分析尚不充分。
独立分析的弱点
从独立分析的角度来看，本文存在以下弱点和改进方向。第一，理论与实践的鸿沟：论文在第六章介绍了贝叶斯方法和保形预测作为理论基础，但论文大部分讨论的方法(如CISC、MUR、UALA等)并未建立在这些理论框架之上，理论与实践之间的连接仍显薄弱。未来工作可以探索如何将这些实用方法形式化为贝叶斯或保形预测框架的特例，从而为其提供更强的理论保证。第二，信号可靠性假设：论文的核心论点——不确定性从被动度量变为主动控制信号——建立在一个隐含假设之上，即不确定性信号本身是可信和有意义的。然而，当不确定性估计本身存在校准误差时，下游的控制机制(如加权投票、阈值触发、资源分配)可能被误导并放大错误。论文对这一信号可靠性问题的讨论不够深入。改进方向包括发展更鲁棒的不确定性估计方法，以及设计对不确定性信号噪声具有鲁棒性的控制机制。第三，评估标准缺失：论文指出当前的基准测试(如UBench、LM-Polygraph)主要评估估计保真度而非控制效用，这意味着我们无法系统性地比较不同主动信号方法的实际效果。未来需要开发专门针对不确定性在环(uncertainty-in-the-loop)场景的评估基准。第四，跨领域协调缺失：论文分别讨论了推理、Agent和RL三个领域中不确定性的使用，但未讨论当这三个层面的不确定性信号需要在同一系统中协同工作时可能出现的冲突和协调问题。
未来方向
论文在第七章系统性地梳理了未来研究方向，主要包括以下几个方面。首先是信号可靠性与鲁棒性：不确定性作为控制信号的功能建立在信号本身可信的假设之上，未来工作必须严格验证这一基础层的完整性，研究非对抗性的估计误差如何被下游控制机制放大。其次是UQ基准测试的演进：当前基准主要评估估计保真度而非控制效用，未来需要发展能够模拟动态决策权衡的评估框架，直接量化不确定性在环机制带来的下游性能增益。第三是可组合的、不确定性传播的系统：将不确定性管理从单一模型扩展到复杂的多Agent互联系统是一个重大开放问题，需要系统级而非单Agent级的新框架。第四是可扩展性与效率：最具理论深度的方法(如贝叶斯推断、大规模多Agent模拟)在实时部署中往往计算成本过高，开发这些形式化方法的高效近似是一个关键方向。从更宏观的角度，论文指出最终的轨迹指向由异构组件组成的模块化AI系统，其中不确定性信号作为模块间的结缔组织运作。此外，论文强调评估必须更加以人为中心——不确定性感知系统的最终成功衡量标准不仅是其统计校准度，更是其作为人机协作者伙伴的有效性。
复现评估
作为一篇综述论文，本文的复现评估与具体方法论文不同。论文本身不提出新的模型或算法，因此不存在传统意义上的复现问题。但论文的可复用性体现在其概念框架和分析方法上：论文提出的被动度量vs主动信号二元分类、不确定性信号(what)vs控制机制(how)的二维分析框架，以及附录中的设计模式和实践指南，都为研究者和从业者提供了可直接使用的分析工具。论文引用的大量方法来自不同的开源项目，但综述本身不提供统一的代码库或实验复现脚本。对于希望复现论文中讨论的个别方法的研究者，需要分别访问各原始论文的代码仓库——论文引用的约100多篇参考文献中，许多已有开源实现(如CISC、UAG、UnCert-CoT等)，但也有部分方法尚未公开代码。论文的算力需求为零(作为综述不需要训练模型)，但理解论文所需的背景知识门槛较高，特别是贝叶斯推断、信息论和强化学习方面的知识。总体而言，论文的概念框架和分类体系对社区具有较高的参考价值，但缺乏统一的实证验证和可复现的基准测试。
论文图表
这个表格从实践角度评估了论文第5章讨论的主要方法。例如URM的优势是简单地通过架构修改捕获数据模糊性，劣势是可能无法捕获模型自身的无知(认知不确定性)，推理成本低但实现复杂度中等；贝叶斯RM的优势是理论上有据可查地捕获认知不确定性，劣势是实现和训练更为复杂，计算成本中到高且实现复杂度高。
RL领域中不同方法需要修改训练流程的深度差异很大，这个表格帮助研究者评估从简单的推理时修改到深度的训练范式变革之间的投入产出比。