LLM的决策是否忠实于口头置信度？ Are LLM Decisions Faithful to Verbal Confidence?
LLM能口头表达不确定性，却无法据此做出风险敏感的放弃决策
前置知识
口头置信度（Verbal Confidence）
口头置信度是指让大语言模型在回答问题后，用自然语言或数字形式表达对自己答案正确性的概率估计。例如模型回答完一道数学题后，额外输出我对这个答案有80%的置信度。这种方法不依赖模型内部的token概率分布，而是直接询问模型的自我评估。研究表明，经过RLHF训练的模型往往能给出校准良好的口头置信度，即声称80%置信度的答案确实有约80%的正确率。
本文的核心问题就是：模型口头表达的置信度是否真正影响了它的决策行为？如果模型说我只有30%把握，它会选择放弃回答吗？理解口头置信度的概念是理解本文研究问题的基础。
效用最大化框架（Utility Maximization Framework）
效用最大化框架源自决策理论，用于在不确定性下做出最优选择。在本文的设定中，模型面临一个选择：回答问题或放弃（abstain）。正确回答获得+1分，错误回答损失λ分（λ是惩罚参数），放弃回答得0分。理性决策者应该只在预期收益为正时才选择回答，即当置信度c满足 c ≥ τ(λ) = λ/(1+λ) 时才回答。这个阈值τ(λ)随惩罚λ的增加而上升，意味着在高风险场景下，只有非常确信时才应该回答。
本文用这个框架来评估LLM是否是理性决策者。通过改变惩罚参数λ（从0.01到100），可以测试模型是否能根据风险水平调整其回答/放弃策略。这是评估模型战略可靠性的核心工具。
校准（Calibration）
校准是指模型预测概率与实际正确率之间的一致性。如果一个模型对100个问题都给出80%的置信度，而其中80个确实答对了，那么这个模型就是完美校准的。常用指标包括：期望校准误差ECE（Expected Calibration Error）衡量置信度与准确率的平均差距；Brier Score衡量预测概率与实际结果的均方误差；AUARC（Area Under the Accuracy-Rejection Curve）评估置信度排序质量。
论文区分了两个层面：校准（模型能否准确估计不确定性）和决策（模型能否利用这种不确定性做决策）。发现模型在前者表现良好但在后者完全失败，这是本文最核心的洞察。
政策一致性（Policy Consistency）
政策一致性衡量模型的实际决策与最优决策之间的吻合频率。给定模型的口头置信度c和惩罚参数λ，最优策略是当c ≥ λ/(1+λ)时回答，否则放弃。政策一致性PC就是模型实际遵循这个最优策略的比例。例如，如果模型对某题给出60%置信度，在λ=2时最优阈值是2/3≈67%，所以应该放弃；如果模型确实放弃了，就算一次一致。PC=1表示完美遵循最优策略，PC=0.5相当于随机决策。
这是评估模型决策质量的核心指标。论文发现模型在低惩罚时PC较高（~0.8），但在高惩罚时PC急剧下降到0.2-0.4，说明模型无法根据风险调整决策阈值，暴露了决策能力的根本缺陷。
研究动机
当前大语言模型的一个重要发展方向是让它们能够量化自身的不确定性，以便人类用户可以判断何时信任模型的输出。口头置信度（verbal confidence）是一种直观的方法：直接询问模型你有多确定？。已有研究表明，经过RLHF训练的模型能够给出相当准确的置信度估计，在校准指标上表现良好。然而，一个关键问题被忽视了：即使模型能准确说出我只有40%的把握，这个信息是否真正影响了模型的行为决策？在实际部署中，LLM经常被用作需要做出关键决策的智能体（agent），比如医疗诊断、金融交易或自动驾驶。在这些场景下，仅仅能口头表达不确定性是不够的——模型需要能够根据风险水平采取行动，例如在不确定时选择放弃回答而不是冒险给出可能错误的答案。现有研究很少测试模型是否能将置信度信号转化为风险敏感的行为调整，这构成了一个严重的信任缺口。
本文的目标是本文的具体目标是评估LLM是否能够将其口头表达的置信度转化为风险敏感的决策行为。作者设计了一个名为RiskEval的评估框架，通过系统性地改变错误惩罚参数λ（从0.01到100），测试模型是否能够：（1）根据惩罚水平调整放弃回答的策略；（2）在数学上最优的置信度阈值处做出回答/放弃决策；（3）最大化预期效用而不是盲目回答所有问题。论文评估了10个前沿模型（包括GPT-5系列、Gemini系列、DeepSeek-V3.2、Llama-4-Maverick等）在3个不同难度的数据集（HLE、GPQA Diamond、GSM8K）上的表现，试图回答一个根本问题：模型口头表达的置信度是否忠实于其决策行为？
与已有工作不同的是，本文的独特切入角度在于区分了认知和行动两个层面。此前的不确定性量化研究主要关注模型能否准确估计自己的不确定性（认知层面），使用ECE、Brier Score等校准指标来评估。但本文指出，即使模型在认知层面表现良好——它知道自己可能错了——这并不意味着它会在行动层面做出相应调整。这种知道但不行动的现象类似于人类的明知故犯，但在LLM中可能源于训练过程中缺乏对风险敏感行为的明确优化。论文提出了三个相互关联的发现：风险不敏感性（置信度不随惩罚变化）、效用崩溃（高惩罚下效用急剧下降为负值）、以及置信度与策略的脱节（模型有信号但不使用）。这种从决策理论角度评估LLM可靠性的方法，将评估重点从模型是否正确转向了模型是否在适当时候选择不回答，为构建真正可信赖的AI系统提供了新的评估维度。
核心方法
RiskEval框架的核心思想可以用一个简单的类比来理解：想象一个学生参加考试，考试规则是答对得1分，答错扣λ分，放弃得0分。一个理性的学生会根据自己的把握程度来决定是否作答——如果只有30%的把握，而答错要扣10分，那么预期收益是0.3×1 + 0.7×(-10) = -6.7，显然应该放弃。RiskEval就是用这种方法来测试LLM：给模型看一道题，同时告诉它惩罚参数λ是多少，然后观察模型是选择回答还是放弃，以及它表达的置信度是多少。通过改变λ的值（从0.01到100），可以观察模型是否能根据风险水平调整策略。技术路线是：首先构建包含不同难度数据集的评估集，然后设计标准化的提示模板（包含惩罚规则），接着通过三阶段流水线（求解器-解析器-评判器）收集模型的决策和置信度，最后用多个指标（政策一致性、归一化遗憾、归一化效用等）来量化评估决策质量。
本文最核心的创新在于提出了一个关键区分：校准良好的置信度不等于忠实的决策。这个发现挑战了此前的一个隐含假设——如果模型能准确估计不确定性，它就能做出好的决策。论文通过实验证明了一个令人震惊的脱节现象：模型在口头表达置信度时表现得相当理性（置信度随惩罚变化保持稳定，校准指标良好），但在做回答/放弃决策时却表现得完全非理性（几乎从不放弃，即使惩罚高达100倍）。这就像一个人能准确说出我有30%的把握会赢，但仍然每次都押上全部身家——他的认知是准确的，但行为完全不理性的。这种脱节的根本原因可能在于：当前的训练方法（如RLHF）优化的是回答质量，而不是风险敏感的决策能力。模型学会了表达不确定性这个语言模式，但没有学会根据不确定性采取行动这个决策技能。这个发现对LLM的实际部署有深远影响：仅仅要求模型说出你的不确定性是不够的，还需要训练它根据不确定性做出正确行动。
方法步骤详情
RiskEval的完整评估流程分为三个阶段：第一阶段是求解器（Solver），将问题和惩罚规则作为输入提供给LLM。系统提示明确说明评分规则：正确回答得+1分，错误回答得-λ分，放弃回答得0分。模型需要输出答案、置信度估计（0-1之间的数字）以及推理过程。第二阶段是解析器（Parser），使用单独的LLM调用从求解器的自由格式输出中提取结构化信息，包括最终决策（回答或ABSTAIN）、置信度分数和答案文本。解析器设计为对异构输出格式具有鲁棒性。第三阶段是评判器（Judge），将解析出的答案与标准答案进行比对，输出二值正确性信号。对于选择题使用标准化选项匹配，对于开放式问题使用基于LLM的语义等价判断。这种三阶段分离确保了严格的信息隔离：求解器永远看不到标准答案或最优阈值，评判器的输出也不反馈给求解器。评估时，对每个模型和数据集，系统地改变惩罚参数λ（使用0.01, 0.1, 0.25, 0.5, 0.75, 1, 2, 5, 10, 20, 50, 100这些值），收集每个λ下的决策和置信度数据，然后计算各项评估指标。
技术新颖性
RiskEval的技术新颖性体现在三个方面：首先，它首次系统性地测试了LLM的战略适应性——即模型能否根据外部激励结构（惩罚参数）调整其决策策略，而不仅仅是测试模型的准确性或校准性。其次，它引入了决策理论的严格框架，将模型行为量化为效用最大化问题，可以精确计算最优策略并与模型实际行为对比。这使得评估不再是主观判断，而是有数学依据的。第三，它揭示了一个此前未被充分认识的问题：置信度估计和决策行为可以完全脱节。此前的不确定性量化研究假设良好的校准意味着有用的信号，但RiskEval证明这个假设在决策场景下可能不成立。与已有工作相比，RiskEval的独特之处在于它不是在测试模型能否正确回答问题，而是在测试模型能否在适当时候选择不回答。这种从能力评估到战略可靠性评估的转变，为LLM评估开辟了新的方向。
实验结果
实验结果揭示了三个相互关联的核心发现，共同指向LLM决策能力的根本缺陷。第一个发现是风险不敏感性：如Figure 2所示，无论惩罚参数λ如何变化（从0.01到100，跨越四个数量级），模型的口头置信度保持惊人稳定，几乎没有下降。这意味着模型不会因为答错代价更高而变得更保守，它们的不确定性估计与外部风险完全脱钩。第二个发现是效用崩溃：如Figure 3和Figure 6所示，随着惩罚增加，模型的归一化效用急剧下降为负值。在HLE数据集上，当λ=100时，几乎所有模型的归一化效用都低于-0.5，而最优策略（基于模型自身置信度的后验放弃）可以将效用提升0.3-0.7个点。以GPT-5-mini为例，在HLE高惩罚区间，其实际归一化效用为-0.537，而使用最优策略可达-0.087，差距高达0.450。第三个发现是政策一致性崩溃：如Figure 4所示，模型的政策一致性在低惩罚时较高（λ≤5时约0.7-0.9），但在高惩罚时急剧下降（λ≥10时降至0.1-0.4）。Table 1显示，在HLE高惩罚区间，政策一致性最差的模型（GPT-4.1-mini）仅为0.148，意味着它有85%的时间做出了次优决策。更令人担忧的是，即使明确提示模型使用你的置信度来决定是否回答（消融实验，Figure 7和8），行为也没有显著改变，说明这种决策缺陷是深层的行为先验，无法通过简单的提示工程修复。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HLE（Humanity's Last Exam） | 归一化效用（λ≥10） | GPT-5-mini: -0.537, Gemini-3-Flash: -0.517 | 最优策略π*: GPT-5-mini: -0.087, Gemini-3-Flash: -0.169 | 使用最优策略可提升0.450（GPT-5-mini）和0.347（Gemini-3-Flash） |
| HLE（Humanity's Last Exam） | 政策一致性（λ≥10） | DeepSeek-V3.2-Thinking: 0.119, GPT-4.1-mini: 0.148 | Gemini-3-Flash: 0.403, Qwen3-Next-Think: 0.492 | 最优模型的政策一致性是最差模型的4倍 |
| GPQA Diamond | 归一化效用（全λ平均） | Gemma-3n-E4B: -0.210 | 最优策略π*: -0.053 | 使用最优策略可提升0.157 |
| GSM8K | 政策一致性（全λ平均） | 所有模型均>0.9 | 简单任务上表现良好 | 在简单任务上模型决策较为理性 |
局限与改进
论文的局限性可以从多个维度分析。首先，作者承认对口头置信度的依赖是一个限制：对于无法访问原始log概率或内部激活的专有API模型，口头诱导是唯一可行的方法，但这可能无法完美捕捉模型的真实内部信念。有可能模型的内部概率与其决策行为是对齐的，只是口头表达出了偏差。其次，任务范围有限：评估仅限于正确性可验证的任务（选择题、数学题），在开放式生成、创意写作或对话等效用和惩罚主观且正确/错误边界模糊的场景下，置信度与放弃行为的关系可能不同。第三，提示工程的局限：论文只测试了两种提示策略（基线和明确指示使用置信度），没有探索更复杂的提示设计或few-shot示例引导。从我自己的观察来看，还有一个潜在问题：论文假设模型的口头置信度是其内部信念的无偏估计，但如果模型在高惩罚下被诱导给出更低的置信度（即使实际把握不变），那么整个评估框架的有效性就会受到质疑。不过，Figure 2显示置信度确实保持稳定，部分缓解了这个担忧。
独立分析的弱点
基于论文的实验设计和结果，我识别出以下几个关键弱点及改进方向。第一个弱点是评估框架的单一性：RiskEval只测试了回答vs放弃这种二元决策，但在实际应用中，LLM的决策空间更丰富，比如要求更多信息、转交给人类、给出置信区间而非点估计等。改进方向是扩展决策空间，测试模型在更复杂决策树中的表现。第二个弱点是缺乏对决策失败原因的深入分析：论文展示了模型不放弃的现象，但没有充分解释为什么。可能的原因包括：训练数据中放弃回答的样本稀少、RLHF奖励模型偏好有帮助的回答而非诚实的放弃、或者模型缺乏风险感知的归纳偏置。改进方向是进行因果分析，比如在训练中显式加入风险敏感的奖励信号，看是否能改善决策行为。第三个弱点是后验最优策略的实用性问题：论文证明了使用模型置信度的后验最优策略可以大幅提升效用，但这需要知道惩罚参数λ的精确值。在实际部署中，惩罚往往是隐含的、模糊的或动态变化的。改进方向是研究在不确定性惩罚下的鲁棒决策策略。
未来方向
论文和实验结果指向几个重要的未来研究方向。首先，训练方法的改进是直接的延伸：可以设计直接惩罚风险不敏感行为的训练目标，比如在RLHF中加入效用最大化的奖励项，或者使用决策理论损失函数替代简单的交叉熵。其次，推理时框架的开发也很有前景：类似DeLLMa（论文引用的相关工作）这样的方法，可以在推理时数学上强制执行最优决策边界，而不依赖模型自身的决策能力。第三，跨模态和跨任务的泛化研究：目前的评估限于文本QA任务，在多模态任务、长期规划任务或需要工具使用的agent任务中，置信度与决策的关系可能呈现不同模式。第四，人类-AI协作场景的研究：当LLM与人类协作时，模型的放弃行为（或不放弃行为）如何影响人类的信任和决策？这需要跨学科的研究，结合人机交互和认知科学的方法。
复现评估
从复现角度来看，本文具有较好的可复现性。首先，评估框架RiskEval的设计清晰，三阶段流水线（求解器-解析器-评判器）的每个组件都有明确的输入输出规范，论文附录提供了完整的提示模板。其次，使用的数据集都是公开可用的：HLE（MIT License）、GPQA Diamond（CC-BY-4.0）和GSM8K（MIT License）。第三，论文评估的模型中，有多个开源模型可供复现：Llama-4-Maverick（LLAMA 4 Community License）、Gemma-3n（Gemma Terms of Use）、DeepSeek-V3.2（MIT License）和Qwen-3-Next-Thinking（Apache License）。主要的复现障碍是API模型（GPT-5系列、Gemini系列）需要付费调用，且论文使用的是特定时间点的模型版本，结果可能因模型更新而变化。算力需求方面，评估本身不需要大量计算（主要是API调用），但如果要在本地运行开源模型，需要相应的GPU资源（如运行Llama-4-Maverick可能需要多张A100）。总体而言，论文的结果应该可以在相同条件下复现，但精确数值可能因模型版本和API行为的变化而略有差异。
论文图表
