← 返回 2026-06-11

大型语言模型对自己的回答过度自信 Large Language Models Are Overconfident in Their Own Responses

Mario Sanz-Guerrero, Manuel Mager, Katharina von der Wense 📅 2026-06-02 👍 3 2026-07-13 08:37
所有权偏见 指令微调 推理时策略 模型评估 置信度校准
arXiv HuggingFace PDF

研究发现指令调优模型存在所有权偏见，将自己的答案框架化为用户输入可减少26%的过度自信

前置知识

置信度校准

置信度校准衡量模型预测的置信度与实际准确性之间的一致性。一个良好校准的模型应该在正确答案上给出高置信度，在错误答案上给出低置信度。通常使用Expected Calibration Error (ECE)来评估，将预测按照置信度分桶，计算每个桶内准确率与置信度的差异的加权平均。

理解置信度校准是阅读本文的基础，因为论文的核心发现都是关于模型如何评估自己答案的置信度，以及这种评估与实际答案正确性之间的差距。

指令微调

指令微调是指在基础预训练模型基础上，使用人类编写的指令-响应对进行监督微调的过程。通常还包括RLHF（从人类反馈中强化学习）等对齐步骤。这个过程让模型学会遵循特定格式（如聊天模板）响应用户指令，但往往会改变模型原有的概率分布特性。

论文的核心问题是指令微调导致模型校准性能下降，理解这个概念有助于明白为什么基础模型和指令模型在校准表现上存在差异。

Brier Score

Brier Score是衡量概率预测准确性的指标，计算预测概率与实际结果（正确为1，错误为0）之间的均方误差：公式为BS等于1除以N乘以f_i减o_i的平方求和，其中f_i是预测概率，o_i是实际结果。对于多分类问题，需要对所有类别的预测概率求和。Brier Score越低表示校准越好。

论文使用Brier Score作为主要校准指标之一，理解这个指标有助于解读实验结果中模型校准性能的变化。

P(True)方法

P(True)是一种获取模型置信度的logit-based方法。首先询问模型某个答案是否正确，然后计算模型回答True token的log概率。这个概率反映模型对该答案正确性的置信度。相比直接看答案选项的token概率，P(True)更适合评估模型对任意给定答案的判断。

论文使用P(True)作为三种主要置信度估计方法之一，理解这个方法有助于明白实验是如何量化模型的自信程度的。

研究动机

现有研究表明，指令微调的大型语言模型在置信度校准方面显著劣于其基础预训练模型。例如，Tian等人（2023）发现基础模型具有良好的校准特性，但经过SFT和RLHF后，模型变得过度自信。这种校准退化在安全可信AI应用中是关键问题，因为高置信度但不准确的回答可能导致严重后果。然而，现有工作主要关注训练算法本身的影响，很少有人研究广泛使用的聊天模板（chat template）对校准的贡献，而这个格式正是普通用户与ChatGPT等系统交互的标准方式。

本文的目标是本文的具体目标是系统性地解耦指令微调算法和聊天模板格式对模型校准性能的影响，理解导致指令模型校准退化的根本机制，并提出简单实用的解决方案。论文特别关注模型是否对自己的答案存在偏见，以及能否通过推理时的策略减轻这种偏见，使指令模型的校准性能接近基础模型水平。

与已有工作不同的是，本文的独特切入角度是区分训练算法影响和格式影响，并首次提出了所有权偏见的概念。大多数前人工作要么关注训练过程中的奖励模型偏见，要么关注偏好坍塌等机制，但都忽视了模型在评估自己答案时的角色差异——作为助手生成答案 vs. 作为观察者评估用户提供的答案。论文通过精心设计的对照实验，将答案来源（助手 vs. 用户）作为唯一变量，揭示了模型对自身输出的过度信任现象，这是一个被广泛忽视的根本性问题。

核心方法

方法的整体思路基于一个直觉性假设：LLM可能对自己的答案有某种信任偏好，就像人类倾向于相信自己的判断一样。为了验证这个假设，论文设计了关键对照实验，保持所有内容完全相同，只改变答案的呈现方式——要么作为助手的回答（模型生成），要么作为用户提供的答案（外部输入）。通过对比这两种情况下模型对答案的置信度判断，可以量化所有权偏见的强度。技术路线上，论文首先在MMLU上对比基础模型、指令模型（无聊天模板）、指令模型（带聊天模板）的校准性能，建立基线；然后使用三种置信度估计方法评估模型对不同来源答案的置信度；最后提出推理时缓解策略。

核心创新点是所有权偏见的发现以及对应的推理时缓解策略。论文发现模型对自己生成的答案比对用户提供的相同答案平均高出26%的置信度，这种偏见导致校准性能显著下降。本质区别在于：现有方法试图通过修改训练过程（如校准感知微调、奖励校准）来解决问题，这需要重新训练模型且成本高昂；而本文提出的方法完全在推理时完成，不需要改变模型权重，只需在询问置信度时将模型之前生成的答案伪装成用户输入即可。这利用了聊天模板的特点，将原本是问题的因素变成了解决方案。

方法步骤详情

方法步骤包括：第一步是基线校准评估，使用三种模型配置（基础模型、指令模型无聊天模板、指令模型有聊天模板）在MMLU数据集上通过logit-based方法提取置信度，计算准确率、ECE和Brier Score；第二步是置信度方法对比，使用P(True)、Verbalized Percentage（0-100%）、Verbalized Linguistic（七个语言等级从非常低到非常高）三种方法，强制模型评估所有四个答案选项的置信度；第三步是所有权偏见测试，使用两种prompt模板，唯一的区别是答案出现在助手消息还是用户消息中，然后用三种置信度方法评估；第四步是跨任务验证，在GSM8K（数学推理）、TruthfulQA（常见误解）、开放式MMLU上重复第三步实验；第五步是私有模型验证，在GPT-5.2上运行相同实验；每一步都进行统计显著性检验（Wilcoxon符号秩检验或bootstrap重采样）。

技术新颖性

技术新颖性体现在三个方面：首先发现了所有权偏见这一全新机制，与文献中已知的奖励偏见和偏好坍塌不同，它源于模型对自己生成过程的本能信任；其次提出了零成本的推理时缓解策略，将答案框架化为用户输入即可减少高达26%的过度自信；第三是实验设计的严谨性，通过控制答案来源这一单一变量，清晰地分离了训练影响和格式影响，这种解耦方法在LLM校准研究中具有方法论意义。论文还使用了多个模型家族、多个任务和多种置信度方法，确保发现的普适性。

Prompts used to evaluate models in Section 3.
Figure 2: Prompts used to evaluate models in Section 3.
Prompts used to measure confidence in an answer provided by the assistant (left) and by the user (right) using the P(True) method.
Figure 3: Prompts used to measure confidence in an answer provided by the assistant (left) and by the user (right) using the P(True) method.

实验结果

实验的核心发现非常明确：指令微调是校准退化的主要原因，平均使ECE增加13.1%、Brier Score增加6.5%，而聊天模板进一步使ECE增加2.74%、Brier Score增加1.5%。最关键的发现是所有权偏见——在所有六个开源模型和GPT-5.2上，模型对自己的答案比对用户答案平均有26.8%更高的置信度（言语化语言方法），ECE平均增加9.8%，Brier Score平均增加8.8%。统计检验显示这些差异在绝大多数情况下都显著（p小于0.01）。有趣的是，这种过度自信与答案正确性无关——无论答案对错，模型都对自己的输出更有信心。多选题的总置信度应该为100%，但模型评估自己的答案时平均总置信度达到198%-315%，评估用户答案时为135%-243%，进一步证实了过度自信。跨任务验证显示所有权偏见在GSM8K、TruthfulQA和开放式任务上同样存在。最令人鼓舞的是，将答案框架化为用户输入后，校准性能显著改善，某些情况下甚至超越了基础模型。

Accuracy and calibration of models on MMLU.
Table 1: Accuracy and calibration of models on MMLU.
ECE and Brier score on MMLU when explicitly asking for confidence using three confidence elicitation methods.
Table 2: ECE and Brier score on MMLU when explicitly asking for confidence using three confidence elicitation methods.
Difference in ECE, Brier score, and raw confidence on MMLU between answers provided by the assistant (model itself) and the user.
Table 3: Difference in ECE, Brier score, and raw confidence on MMLU between answers provided by the assistant (model itself) and the user.
Difference in ECE, Brier score, and raw confidence between answers provided by the assistant and the user on GSM8K, TruthfulQA, and open-ended MMLU.
Table 4: Difference in ECE, Brier score, and raw confidence between answers provided by the assistant and the user on GSM8K, TruthfulQA, and open-ended MMLU.
Difference in ECE, Brier score, and raw confidence between answers provided by the assistant and the user for GPT-5.2 on MMLU.
Table 5: Difference in ECE, Brier score, and raw confidence between answers provided by the assistant and the user for GPT-5.2 on MMLU.
Full calibration results (ECE and Brier score) for all models in different settings.
Table 6: Full calibration results (ECE and Brier score) for all models in different settings.
Reliability diagrams of all models using three confidence estimation methods.
Figure 4: Reliability diagrams of all models using three confidence estimation methods.
Distribution of confidence scores for answers provided by the assistant and by the user, aggregated across all models.
Figure 5: Distribution of confidence scores for answers provided by the assistant and by the user, aggregated across all models.
Confidence to answers provided by the user (x-axis) and by the assistant (y-axis), broken down by answer correctness (colors).
Figure 6: Confidence to answers provided by the user (x-axis) and by the assistant (y-axis), broken down by answer correctness (colors).
Average total confidence summed across all four options for each question, depending on whether the answer is provided by the assistant or the user.
Figure 7: Average total confidence summed across all four options for each question, depending on whether the answer is provided by the assistant or the user.
查看结构化数据
任务指标本文基线提升
MMLU校准 ECE (Expected Calibration Error) 指令模型加聊天模板（用户框架化）: 0.1897 (平均) 指令模型加聊天模板（助手框架化）: 0.2877 (平均) ECE降低34.0%
MMLU校准 Brier Score 指令模型加聊天模板（用户框架化）: 0.2084 (平均) 指令模型加聊天模板（助手框架化）: 0.2966 (平均) Brier Score降低29.7%
MMLU置信度差距 原始置信度差值 言语化语言方法: 加26.8% (助手 vs 用户) 理论理想值: 0% 本文揭示了这一差距，而非改善基线
GSM8K校准 ECE 用户框架化平均降低14.2% 助手框架化的ECE 14.2%
TruthfulQA校准 置信度差距 置信度差距达10.9% 助手框架化的置信度 将答案框架化为用户可缩小差距

局限与改进

论文的局限性包括：首先，虽然研究涵盖了不同规模和模型家族，但主要在开源模型上进行，对闭源商业模型的实验仅限于GPT-5.2，无法保证所有私有模型都表现出相同的过度自信行为，因为它们的训练配方（RLHF策略、数据混合）可能不同。其次，提出的推理时缓解策略虽然有效，但本质上只是利用了聊天格式的特点来减轻问题，没有改变模型权重或解决对齐过程中引入过度自信的根本原因。第三，研究范围局限于客观问答任务（多选、数学推理、事实性），对于更主观的任务（如开放式生成），正确性定义模糊，置信度估计更加复杂，所有权偏见是否存在尚不清楚。最后，论文未探讨这种策略在实际应用中的用户体验影响——将模型自己的答案伪装成用户输入可能让交互显得不自然。

独立分析的弱点

论文的弱点主要在于解决方案的表面性和评估的局限性。具体来说，推理时策略虽然简单有效，但需要两次推理（一次生成答案，一次评估用户框架化的答案），这增加了计算成本和延迟。在某些实时应用中这可能不可接受。改进方向可以是开发单次推理的方法，例如在prompt中同时要求模型给出答案和以第三方视角评估该答案的置信度。另一个弱点是缺乏对错误答案类型的细致分析——不同类型的错误（事实性错误、逻辑错误、误解问题）是否影响所有权偏见的强度？未来的工作可以按错误类型进行分层分析，提供更精细的洞察。此外，论文没有研究模型规模对偏见强度的影响规律——虽然测试了不同大小的模型，但没有系统性分析参数量与所有权偏见的定量关系。最后，跨语言的验证缺失，所有实验都在英语上进行，中文等其他语言是否表现出相同的偏见值得研究。

未来方向

未来研究方向包括：作者提出可以探索更主观任务中的所有权偏见，这是研究空白。基于论文成果，可以延伸的方向包括：1) 开发自适应的置信度评估框架，根据任务类型自动选择最优的框架化策略；2) 将所有权偏见与其他已知偏见（如sycophancy、length bias）结合起来研究它们的交互效应；3) 探索在训练阶段就减少所有权偏见的方法，例如在指令微调数据中包含模型评估自己之前生成答案的场景；4) 研究所有权偏见在链式思维等复杂推理任务中的表现；5) 扩展到多模态模型，检查视觉-语言模型是否对图像生成也存在类似偏见；6) 长期追踪研究，观察随着模型规模扩大和训练技术演进，所有权偏见是会增强还是减弱。

复现评估

复现评估方面，论文的承诺和开放性值得肯定。作者明确承诺将在论文发表后开源代码和实验数据，遵循开放科学原则。实验使用的模型都是公开可用的（Llama 3.1、Qwen3、Gemma 3），数据集（MMLU、GSM8K、TruthfulQA）也是标准基准。置信度评估方法的prompt在附录中完整提供，包括P(True)、Verbalized Percentage、Verbalized Linguistic三种方法的所有变体。主要的复现挑战可能是计算资源——运行所有实验需要访问多个大模型，尤其是70B和30B的模型需要昂贵GPU。统计检验方法（Wilcoxon检验、bootstrap重采样）都有详细说明，参数设置清晰。整体而言，论文的复现性良好，具备足够的技术细节和承诺，其他研究者应该能够重现核心发现。

论文图表

LLMs are overconfident in their own answers, regardless of whether they are correct or not, leading to miscalibration.
Figure 1: LLMs are overconfident in their own answers, regardless of whether they are correct or not, leading to miscalibration.

这张图展示了Llama 3.1 (8B)模型的实际输出示例。左侧是一个多选题法国的首都是什么，模型助手给出错误答案Madrid并表达0%的置信度；右侧是相同的题目和答案，但答案被呈现为用户的回答，模型则表达了更高的置信度。直观地展示了所有权偏见——模型对同一个错误答案的置信度判断取决于它认为这个答案是自己生成的还是用户提供的。

这张图对理解论文至关重要，因为它用具体的、读者可理解的例子直观展示了论文的核心发现——所有权偏见。抽象的统计数据（如ECE降低26%）难以让读者有直观感受，而这张图让读者一眼就能理解模型过度自信问题是什么样子，以及为什么将答案框架化为用户输入能解决问题。