人类与大语言模型在概率性推理上的分歧 Humans and LLMs Diverge on Probabilistic Inferences
推理型LLM在概率性推理中过度自信，无法复现人类的分级不确定性判断
前置知识
概率性推理（Probabilistic Reasoning）
概率性推理是指在不完全信息条件下，根据已有前提和背景知识对结论的可能性做出判断的过程。与严格的逻辑蕴含（entailment）不同，概率性推理的结论并非由前提必然推出，而是在给定前提下具有不同程度的可能性。例如，'高速公路上发生了事故'并不能逻辑蕴含'交通比平时更糟糕'，但大多数人会认为这一结论是高度可能的。这种推理方式在人类日常认知中极为普遍，涉及因果推断、常识判断等多个层面。
本文的核心正是研究人类和LLM在这类非确定性推理任务上的表现差异，理解概率性推理的本质是把握全文的基础。
自然语言推理（Natural Language Inference, NLI）
NLI是NLP中的经典任务，给定一个前提（premise）P和一个假设（hypothesis H），判断P与H之间的关系是蕴含（entailment）、矛盾（contradiction）还是中性（neutral）。传统NLI数据集如SNLI和MNLI采用三分类标签，但研究表明人类对NLI数据的判断存在显著的个体差异，且经常呈现双峰分布，说明三分类标签可能过度简化了人类推理的复杂性。
本文将COPA数据集转化为NLI风格的概率推理数据集，需要理解NLI任务的基本框架以及已有NLI数据集在捕捉人类判断变异方面的局限性。
推理型大语言模型（Reasoning LLMs）
推理型LLM是指经过专门训练、在输出最终回答之前会生成中间推理链（reasoning chain / thinking trace）的大语言模型。代表性模型包括OpenAI的o3、DeepSeek-R1、Gemini-3等。这些模型通常通过强化学习管线在数学或代码任务上训练，在数学和逻辑推理基准测试上表现出色，但在开放式的、非确定性的推理场景中的表现尚未被充分探索。
本文测试了8个主流推理型LLM，研究它们在概率性推理场景下是否能产生类似人类的判断分布，这一评估视角与现有推理基准完全不同。
Wasserstein距离（Earth Mover's Distance）
Wasserstein距离是衡量两个概率分布之间差异的度量指标。直觉上，它衡量的是将一个分布'搬运'成另一个分布所需的最小'工作量'。对于两个分布P和Q，其定义为 $$W_1(P, Q) = \inf_{\gamma \in \Gamma(P,Q)} \mathbb{E}_{(x,y) \sim \gamma}[|x-y|]$$，其中$\Gamma(P, Q)$是所有以P和Q为边缘分布的联合分布。与KL散度不同，Wasserstein距离不要求两个分布具有相同的支撑集，因此适合比较人类和模型在不同范围的打分分布。
本文使用Wasserstein距离作为核心指标来量化人类与模型概率判断分布之间的差异，是衡量人机对齐程度的关键工具。
微分熵（Differential Entropy）
微分熵是Shannon熵在连续随机变量上的推广，定义为 $$h(X) = -\int f(x) \log f(x) \, dx$$。较高的微分熵值表示分布更分散（响应间差异更大），较低的值表示分布更集中。与方差不同，微分熵捕捉的是信息的分散程度，而非简单地衡量与均值的距离。例如，一个双峰分布如果集中在极端两端，方差会很高，但微分熵可能不会特别高。微分熵可以取负值（当分布极度集中时）。
本文使用微分熵来量化人类和模型响应的变异程度，并作为衡量人机差异的核心指标之一。
研究动机
人类日常推理大量涉及在不完全信息下做出概率性判断，而非严格的逻辑推理。然而，现有对推理型LLM的评估几乎完全集中在数学和逻辑推理任务上（如AIME数学竞赛、SWE-Bench代码基准），这些任务具有确定性的正确答案。对于那些没有唯一正确答案、需要对不确定事件进行可能性评估的推理场景，推理型LLM的表现几乎未被研究。此外，已有的不确定性量化（UQ）方法要么需要金标签来衡量准确性，要么适用于开放式生成设置，而不适用于概率性推断这种本质不确定、需要可能性估计的场景。先前研究还发现LLM普遍存在过度自信的倾向（Mielke et al., 2022; Tian et al., 2023; Mei et al., 2025），且增加推理深度反而会加剧过度自信（Mei et al., 2025），但这些发现是否也适用于开放式的概率推理场景尚不清楚。
本文的目标是本文旨在系统地比较人类和推理型LLM在概率性推理任务上的表现。具体目标包括：构建一个专门的概率性推理数据集PROBCOPA，包含210个手工构造的概率推断，每个都有25-30个人类标注；通过收集人类和8个SOTA推理型LLM对这些推断的可能性评分，量化二者之间的分布差异；分析模型推理链中的常见推理模式，揭示模型如何处理概率性推断。
与已有工作不同的是，本文的独特切入角度在于：第一，它关注的是概率性推理而非逻辑推理——这类推理没有确定性答案，结论的可能性在一个连续的梯度上变化，这与现有推理评估完全不同。第二，它不仅比较人类和模型的中位数判断，更关注整个判断分布的比较——人类对同一个推断的判断是存在个体差异的，而模型是否能复现这种变异是一个被忽视但重要的问题。第三，它选择了推理型LLM而非普通LLM作为研究对象，因为这些模型代表了当前最先进的推理能力，但它们的推理训练（基于数学/代码的强化学习）是否能迁移到开放式概率推理场景，正是本文要回答的核心问题。
核心方法
本文的研究方法可以类比为一场'人机推理对齐实验'。想象你给一群人和几台机器看同一组日常场景，问他们'在这个前提下，某个结果有多可能？'。人类会给出从0到100的各种评分，且不同人之间会有差异——有的场景大家一致认为很可能，有的场景则众说纷纭。而机器呢？它们会'思考'（通过推理链），然后给出一个数字。本文的核心方法就是：构建这样的测试集，收集人类和机器的评分，然后用统计工具量化二者之间的差异。技术路线上，作者从COPA常识推理数据集出发，将每个选择题拆分为两个独立的概率推断（NLI风格），通过众包实验收集人类评分，再用8个推理型LLM在相同任务上收集模型评分，最后使用Wasserstein距离和微分熵等工具进行分布层面的比较分析。
本文最核心的发现是：推理型LLM在概率性推理上表现出系统性的过度自信，几乎不会给出中等可能性的判断。具体来说，人类的评分分布整体呈三峰分布（低、中、高可能性），且单个项目的评分分布通常是单峰的——这说明人们对同一个推断存在合理的、连续的判断差异。而模型的评分分布整体呈双峰分布，极少有评分落在中间区域。更关键的是，模型在任何一个项目上的响应变异（用微分熵衡量）都远低于人类，且增加温度、调整推理深度或使用人格提示都无法产生人类水平的响应变异。这揭示了一个根本性问题：当前推理型LLM的训练方式（基于确定性任务的强化学习）可能导致模型在面对本质上不确定的推理场景时，无法表达'这个结论可能性中等'这样的判断。
方法步骤详情
本文的方法分为以下步骤：第一步，数据构建。从COPA数据集中随机抽取105个项目，每个COPA项目包含一个前提和两个可选结果（其中一个是更可能的）。作者将每个项目拆分为两个NLI风格的概率推断（前提-假设对），其中一个较可能、一个较不可能，但都不是逻辑蕴含的，从而得到210个概率推断。第二步，人类标注。通过Prolific平台招募328名英语母语者（来自英国、美国或加拿大），每人最多标注30个项目。标注使用滑动条（0-100），并提供了与模型相同的数值范围指南（如0=绝对不可能，50=完全等可能，100=绝对确定）。参与者先完成5个教学示例（含反馈），然后进入主实验阶段，其间穿插注意力检查题。最终每个项目获得25-30个标注，中位数为28个。第三步，人类响应验证。进行了两轮验证：第一轮用30名新参与者重新标注30个项目，第二轮用另外30名新参与者在略微调整的提示语下标注相同项目。两轮验证的Spearman相关系数分别为0.98和0.97，且通过Kolmogorov-Smirnov检验确认无显著分布差异。第四步，模型推理。对8个推理型LLM（Gemini-3、GPT-5、Claude Sonnet-4.5、Qwen3、Kimi-K2、GLM-4.6、DeepSeek-R1、Grok-4.1 Fast）分别运行推理。每个项目重复30次，使用模型默认温度设置，要求模型先推理再输出0-100的可能性评分。第五步，分布比较。使用微分熵量化人类和模型各自的响应变异程度，使用Wasserstein距离量化人类与模型评分分布之间的差异，并将人机差异与人类基线（人与人之间的差异）进行对比。
技术新颖性
本文的技术新颖性体现在多个层面。首先，PROBCOPA数据集本身是新颖的——不同于现有NLI数据集（如SNLI、MNLI）采用三分类标签，PROBCOPA使用连续的可能性评分（0-100），且每个项目有25-30个独立标注，能够捕捉人类判断的梯度性和变异度。其次，论文发现PROBCOPA的人类评分分布与现有NLI数据集有本质区别：虽然整体分布都是三峰的，但PROBCOPA在三个峰之间有大量评分，表明更丰富的梯度判断；而现有NLI数据集在峰之间几乎没有评分。此外，PROBCOPA单个项目的评分分布是单峰的（不拒绝单峰假设），而现有NLI数据集经常出现双峰分布（反映质性的解释分歧），这意味着PROBCOPA中的变异更可能是噪声或个体差异，而非对推断的质性不同理解。在评估方法上，本文是首个系统地在分布层面（而非仅比较中位数或准确率）比较人类和推理型LLM在概率推理上差异的工作，使用的Wasserstein距离和微分熵等工具为这类比较提供了严谨的统计框架。
实验结果
本文的核心发现可以从以下几个维度详细阐述。首先，在人类响应分析方面，PROBCOPA的人类评分整体呈三峰分布（对应低、中、高可能性），但与Pavlick和Kwiatkowski（2019）收集的NLI数据集不同的是，PROBCOPA在三个峰之间有大量评分，表明更丰富的梯度概率判断。对于单个项目，人类评分几乎总是单峰的（通过Silverman单峰检验，α=0.05下无一项目被拒绝），这意味着虽然人们有判断差异，但不存在质性的解释分歧。微分熵分析揭示了一个'马蹄形'模式：中位数评分接近极端（0或100）的项目，微分熵较低（标注者共识更高）；中位数评分在中间区域的项目，微分熵较高（标注者分歧更大）。而且，微分熵与人类响应时间呈正相关（Spearman ρ=0.31, p=6.45e-06），说明更难的项目不仅标注者分歧更大，人们也需要更长的思考时间。在模型与人类对比方面，八个推理型LLM的评分分布整体呈双峰分布，极少有评分落在中间区域——即使GPT-5（表现最好的模型）也很少返回中等可能性的评分。在项目层面的中位数对比中，模型与人类在极端高和极端低可能性的项目上较为一致，但在中间区域严重偏离。人类基线（另一组人类标注者）则能在整个范围内复现相似的中位数判断。在分布层面的对比中，Wasserstein距离显示模型与人类的分布差异远大于人类与人类之间的差异，且这种差异在中间区域的项目上尤为突出。在响应变异方面，对于PROBCOPA中的每一个项目，人类的微分熵都高于模型——模型几乎无法产生人类水平的响应多样性。增加温度设置虽然能增加模型的响应变异，但代价是大量响应退化为无意义的随机token序列，且仍然无法达到人类水平。增加推理深度（reasoning effort / thinking budget）对模型的评分分布没有显著影响。人格提示（persona prompting，使用人口统计或心理特征描述）同样无法产生人类水平的响应变异。在所有8个模型的响应聚合（ensemble）后，与人类的分布对齐有所改善，但仍显著低于人类基线。在推理链分析方面，手动检查100条推理链发现，90%包含对替代场景的显式考虑——模型会明确列出'前提还可能导致哪些其他结果'，然后据此评估目标假设的可能性。推理链长度与人类评分的微分熵呈正相关（Gemini-3最高，ρ=0.50），说明模型在人类更不确定的项目上倾向于推理更长时间。但推理链长度与人类响应时间的相关性则弱得多（最高ρ=0.25），表明推理链与人类认知负荷的关系不够清晰。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 概率性推理分布对齐（全数据集） | Wasserstein距离（模型-人类 vs 人类-人类） | 模型-人类Wasserstein距离中位数约30-50（因模型而异） | 人类-人类Wasserstein距离中位数约4.77 | 模型与人类的分布差异是人类与人类之间差异的6-10倍 |
| 中等可能性判断覆盖率 | 评分落在35-65区间的比例 | 模型极少返回中间区域评分（GPT-5相对最好但仍远低于人类） | 人类有大量评分落在中间区域（三峰分布中峰间区域） | 模型几乎不表达中等可能性判断，这是系统性偏差 |
| 响应变异度（微分熵） | 每个项目的微分熵 | 所有8个模型在所有210个项目上的微分熵均低于人类 | 人类微分熵中位数约4.07 | 模型无法产生人类水平的响应多样性，增加温度也无法弥补 |
| 推理链长度与人类不确定性的相关性 | Spearman ρ（推理链长度 vs 人类微分熵） | Gemini-3: ρ=0.50; DeepSeek-R1: ρ=0.36; Kimi-K2: ρ=0.33 | 人类微分熵与响应时间的相关性: ρ=0.31 | 模型推理链长度与人类判断不确定性的相关性可与人类内部相关性相当 |
局限与改进
本文的局限性在作者明确承认的和我个人观察到的两个层面展开。在作者承认的层面：第一，本文仅限于英语数据，不同语言和文化背景下的概率性推理可能存在差异，结果的跨语言泛化性尚不确定。第二，使用语言化的可能性评分（verbalized likelihood scores）来获取模型判断存在忠实性问题——推理型LLM输出的数值是否真正反映其'内在'的不确定性判断，还是仅仅是一种表面的数字生成，这个问题尚未解决（Tian et al., 2023; Kumar et al., 2024）。作者也指出，对于推理型模型，由于中间推理链的存在，简单的模型对数概率或softmax分布可能无法反映实际的输出分布。第三，PROBCOPA的项目源自COPA数据集，虽然作者通过拆分和重新标注创造了新的任务，但COPA很可能出现在这些模型的训练数据中，这可能影响模型对这些句子的行为。在我个人观察的层面：第一，作者排除了COPA中要求推理可能原因的项目（仅保留推理可能结果的项目），这限制了数据集的覆盖范围——日常概率推理中因果推理同样重要，且方向不同（原因→结果 vs 结果→原因）可能涉及不同的认知过程。第二，所有概率推断都是简单的前提-假设对，缺乏复杂的多步推理或涉及多个不确定因素的场景，这可能低估了模型在更复杂概率推理中的能力差异。第三，人类标注者的范围仅限于英国、美国和加拿大的英语母语者，缺乏跨文化视角——不同文化背景下人们对不确定性的表达和判断可能存在系统性差异。
独立分析的弱点
本文的第一个弱点是数据集的多样性不足。PROBCOPA仅包含210个项目，且全部源自COPA的一个子集（105个因果推理项目各拆分为2个）。虽然这保证了数据质量，但样本量相对有限，且场景类型单一（主要是常识因果推理）。改进方向是扩展数据集的来源——可以从更多样化的常识推理数据集（如PIQA、WinoGrande等）或真实场景文本中构建概率推断，涵盖更广泛的推理类型和领域。第二个弱点是概率推断的复杂度较低。PROBCOPA中的所有推断都是简单的前提-假设对，仅涉及单一因果链。现实中的概率推理往往涉及多个不确定因素的交互、条件概率、贝叶斯更新等更复杂的情况。改进方向是设计多步骤概率推断任务，例如'前提A发生，且已知条件B，那么结果C有多可能？'，这样可以更全面地评估模型的概率推理能力。第三个弱点是对模型推理链的分析停留在定性层面。虽然作者手动检查了100条推理链并发现了'考虑替代场景'的模式，但缺乏更系统的量化分析——例如，推理链中考虑的替代场景数量与最终评分的关系、推理链的逻辑结构与人类推理模式的对比等。改进方向是开发自动化的推理链分析工具，对更大规模的推理链进行结构化分析。第四个弱点是缺乏对模型内在不确定性的测量。作者仅使用语言化的数值评分，但未探索模型内部的注意力分布、隐藏状态变化等是否能更好地反映不确定性。改进方向是结合探针（probing）方法，在模型内部层面研究不确定性表征。
未来方向
作者提出的未来研究方向包括：识别更适合推理型模型的可能性提取方法（当前的语言化评分忠实性存疑）；在更广泛的非确定性推理场景中评估模型。基于本文成果可延伸的方向包括：第一，研究概率性推理的校准（calibration）——模型能否学会在适当的场景表达不确定性，而非一味给出极端判断？这可以通过在概率推理数据上进行微调或RLHF来探索。第二，将概率性推理评估扩展到多语言和跨文化场景，检验不同语言和文化背景下人类概率推理的差异，以及模型是否能适应这些差异。第三，研究推理链的忠实性问题——当模型的推理链中考虑了替代场景但最终仍给出极端评分时，推理链是否真正反映了模型的决策过程？第四，探索概率性推理与模型校准的联系——如果模型在概率推理中能产生人类水平的响应变异，这是否意味着它们在其他不确定性场景中也会更加校准？第五，将概率性推理评估应用于实际应用场景，如医疗诊断（'根据症状，患者有多可能是某种疾病？'）、法律推理（'根据证据，被告有罪的可能性有多大？'）等，评估模型在这些高风险场景中的不确定性表达能力。
复现评估
本文的复现性较好。作者提供了完整的数据和代码（github.com/McGill-NLP/probabilistic-reasoning），包括PROBCOPA数据集、人类标注数据、模型推理代码和分析代码。数据集规模适中（210个项目），人类标注通过Prolific平台进行，时薪约15美元/小时，标注流程规范（含教学示例、注意力检查等）。模型推理方面，作者测试了8个模型，使用了各提供商的Batch API功能，每个项目重复30次，算力需求适中。不过，完全复现可能面临以下挑战：第一，需要访问多个商业API（Gemini、OpenAI、Anthropic、Together AI、OpenRouter），涉及一定的API调用费用。第二，模型版本会随时间更新（如Gemini-3-pro-preview等），不同时间运行可能得到略有不同的结果。第三，人类标注的复现需要招募大量参与者（每次验证30人×2轮+原始标注328人），且参与者需要满足特定的地理和语言筛选条件。总体而言，对于有基本API访问权限的研究者，核心实验的复现是可行的。
论文图表
