ProbabilityBench：基于精确真值不确定性的模型评估与校准基准 ProbabilityBench: Model Evaluation and Calibration with Exact Ground-Truth Uncertainty
为文本任务解析计算每例真值类概率，直接评估模型概率质量与校准方法
前置知识
贝叶斯误差（Bayes error）
在给定输入信息下，任何分类器所能达到的最低错误率。它由输入中不可消除的不确定性决定：若两个不同的潜在状态能产生完全相同的可见输入却对应不同标签，那么再强的模型也必然在部分样本上出错。本文中它由精确条件类概率 $p^*(u)=P(Y=1\mid U=u)$ 计算为 $\varepsilon^*=\sum_{u}P(U=u)\min\{p^*(u),1-p^*(u)\}$。
本文的核心贡献就是构造出能解析算出精确 $\varepsilon^*$ 的文本任务，从而第一次能在自然语言场景下检验贝叶斯误差估计器是否靠谱、衡量模型与理论最优的差距。
KL 散度（KL divergence）
衡量两个概率分布差异的非对称度量。本文用期望 KL 散度 $\mathrm{KL}(p^*\|q)=E_U[p^*\log\frac{p^*}{q}+(1-p^*)\log\frac{1-p^*}{1-q}]$ 逐样本比较模型报告的概率 $q$ 与精确真值 $p^*$。它有一个关键性质：等于模型 log loss 与真值 log loss 之差，即模型「仍可避免」的那部分损失。
因为真值概率精确已知，KL 才能不依赖任何采样标签、逐实例直接计算，这是本文评估「模型报的概率到底准不准」的主指标，也是论文标题中 exact ground-truth 的直接体现。
校准与多校准（calibration / multicalibration）
校准要求 $E[Y\mid q(U)]=q(U)$，即模型说 70% 的事件确实约七成发生；常用分桶 ECE 估计。多校准（Hébert-Johnson et al., 2018）进一步要求在每个子群组内都校准，本文用带组-桶单元质量加权的 witness 矩 $\mathrm{MC}_{\mathcal{G},B}(q)=\max_{G,j}E[\mathbf{1}_G\mathbf{1}_{B_j}(p^*(U)-q(U))]$ 来度量。
本文证明：即使把真值 $p^*$ 本身交给经验 MC 估计器，得到的误差也恒为正——这是对整个校准评估方法学的重要警示，读者需要理解校准概念才能领会这一元评估结果。
严格适当评分规则（strictly proper scoring rule）
一类评分规则（如 log loss、Brier score），其期望损失当且仅当报告的分布等于真实条件分布时唯一最小。log loss 的期望可分解为「真值的熵（不可消除部分）+ 模型与真值的 KL（可避免部分）」，因此在真值未知时，实测 log loss 无法区分这两种成分。
这正是本文动机的核心：真实数据上每个输入只有一个标签，实测 log loss 混入了未知的贝叶斯误差；只有构造出真值精确已知的任务，才能用 KL 剥离出模型真正可以改进的部分。
决策模型 vs 生成式模型
决策模型（如 Jev、Perplexity Decider）是原生输出类别概率的专用预测模型；生成式大语言模型（如 GPT-5.6、Claude Sonnet）则需要通过提示或 token 概率间接给出置信度。本文对比各 8 个模型，在「每千次预测的列表价格」与「KL 概率质量」两轴上画 Pareto 前沿。
论文的主要实证发现是：14 个观测到的成本-质量前沿点中有 10 个被决策模型占据，这直接回答了「该用哪类模型做概率预测」这一实际问题。
高阶校准与 k-snapshot
高阶校准（Ahdritz et al., 2024）要求模型预测「标签概率的分布」$\nu_C$，其目标是贝叶斯混合 $\pi^*_C=\mathcal{L}(p^*(U)\mid U\in C)$。k-snapshot 指同一输入的 $k$ 个独立标签，其正例比例服从 $S\mid p\sim\mathrm{Binomial}(k,p)$；快照校准拟合的是被二项采样平滑后的目标 $\mathrm{proj}_k\pi^*$，两者距离用 $W_1$ 度量。
本文利用精确真值首次量化「拟合好快照分布 ≠ 拟合好真概率分布」：小 $k$ 时快照误差低但高阶误差紧贴理论差距 $\delta_k$，这对重复标注类评估方法是直接的方法论指导。
潜变量与数据生成过程
把世界建模为有限个潜因子 $Z=(Z_1,\dots,Z_k)$ 服从带依赖结构的联合分布 $P(Z)$，标签 $Y=g(Z)$ 与可见属性 $X_{vis}=\phi(Z)$ 都是 $Z$ 的确定性函数。由于 $\phi$ 是多对一投影，不同潜状态可产生相同可见输入但标签不同，对隐藏信息边际化即得精确类概率 $P(Y=1\mid x_{vis})$。
「显式定义数据生成过程 + 确定性投影 + 解析边际化」是本文构造精确真值的配方，理解它才能理解为什么这些文本案例的概率是 exact 而非估计的。
研究动机
在真实数据上评估模型的不确定性和校准存在根本性困难：每个输入 $X$ 通常只有一个被观测到的标签 $Y$，它无法揭示真实的条件类概率 $P(Y\mid X)$。目前的通行做法有两种，各有缺陷。其一是分桶校准（如 Guo et al. 2017 的 ECE 及 Nixon、Kumar 等改进），把相似预测分组后比较报告置信度与组内经验频率——但这只衡量组内的一致性，而不是每个输入上的概率准确性；且绝对值和取最大值会让采样噪声在完美校准的预测器上也产生正的估计误差。其二是严格适当评分规则如 log loss，理论上在真值处唯一最小，但有限测试集上按单标签平均得到的损失混合了「模型可避免的误差」与「不可消除的任务不确定性（贝叶斯误差）」，后者在真实数据上本身未知，因此损失数值无法直接告诉你预测概率离真值有多远。已有数据集也不解决问题：CIFAR-10H、Fashion-MNIST-H、ChaosNLI 通过重复人工标注提供经验标签分布，但参考概率是从有限标注估计出来的，会依赖标注协议，无法分辨性能相近模型之间概率质量的小差异，而且它们都不是面向语言模型的文本任务。贝叶斯误差估计器同样困境：真实数据集真值未知，只能在合成高斯混合上验证或用注入标签噪声做代理。
本文的目标是本文的目标是构建一个文本基准，为每个实例提供解析可算、精确无误的条件类概率 $P(Y\mid X_{vis})$ 和精确贝叶斯误差 $\varepsilon^*$，从而实现四件以前做不到的事：第一，逐样本用期望 KL 散度直接为模型报告的概率打分，不受标签采样噪声影响；第二，用期望精度 $\mathsf{A}_{exp}$ 与贝叶斯精度 $\mathsf{A}^*$ 的差距 $\Delta_{acc}$ 衡量模型离同一信息下的理论最优还有多远；第三，把已知真值当作「元评估」工具，检验贝叶斯误差估计器（1NN/kNN 界）和校准/多校准估计量本身在不同样本量下是否准确；第四，在三个难度可控（Low/Medium/High 三档贝叶斯误差）的模拟世界里，对 8 个决策模型和 8 个生成式模型做统一的成本-质量对比。整个基准还附带一套可复用的「世界构建配方」，让社区能继续造出新的精确真值任务。
与已有工作不同的是，以往工作在「精确但非文本」与「文本但不精确」之间二选一：有闭式贝叶斯误差的合成分布（如高斯混合）无法评估语言模型；CIFAR-10H/ChaosNLI 等重复标注数据集面向文本或图像但参考概率只是估计值；CapBencher、CapCode、ImpossibleBench 只施加已知的性能上限用于检测作弊，不提供逐样本概率；BLInD 把贝叶斯网络的概率直接写在题面里考概率推理，TypedBench 用策略规则生成标签但不给逐样本条件概率。本文的独特切入是「构造性精确」：显式定义完整的潜变量数据生成过程，让标签由确定性规则 $g$ 生成、可见属性由确定性投影 $\phi$ 生成，再通过对被隐藏信息做精确边际化得到每个文本案例的闭式类概率；并配上渲染不变性定理，证明把结构化属性渲染成自然语言备忘录后概率严格保持不变。这第一次把「解析精确」与「自然语言任务」两条路线接通了。
核心方法
直觉是：如果能造一个「上帝视角」的世界——结局由完全已知的规则生成，但模型只能看到部分信息——那么每个案例的真实概率就能用概率论精确算出，文本描述只是这些概率的「外壳」。技术路线分四步。第一步，每个世界用有限个潜因子 $Z=(Z_1,\dots,Z_k)$ 和作者指定的依赖结构化联合分布 $P(Z)$ 定义；第二步，标签是确定性结局规则 $Y=g(Z)$，例如同行评审中「得分加隐藏残差 $R$ 达到 11.5 且无严重 validity 缺陷则接收」，或信用风险中「现金生成 + 现金缓冲 + 再融资 + $R$ < 债务服务 + 到期本金则违约」；第三步，可见属性是确定性多对一投影 $X_{vis}=\phi(Z)$，投影会丢弃或合并信息，因此不同的潜状态可以产生相同的可见输入而标签不同，对所有产生 $x_{vis}$ 的潜状态求和即得精确类概率 $P(Y=1\mid x_{vis})=\frac{\sum_{z:\,g(z)=1,\,\phi(z)=x_{vis}}P(Z=z)}{\sum_{z:\,\phi(z)=x_{vis}}P(Z=z)}$；第四步，用确定性模板把可见属性渲染成自然语言备忘录 $T=r(X_{vis},I)$，模型读到的是备忘录加 25 条带观测标签的示例。三个世界分别是：同行评审结果预测（接收先验 0.241）、AI 安全的隐蔽信息传递审计、信用违约预测（违约先验 0.211），每个世界都有 Low/Medium/High 三档递增的精确贝叶斯误差。
核心创新是「构造性精确性 + 渲染不变性定理」的组合。精确性来自结构：只要结局规则 $g$ 和投影 $\phi$ 都是确定性的，类概率就是对潜状态的一个有限求和，不存在任何估计误差；每个世界还内置一个永不展示的残差因子 $R$（同行评审中 $R$ 以 0.72 概率取 0，$\pm1,\dots,\pm5$ 分别以 .09/.03/.015/.004/.001 概率取值；信用风险中 $R\in\{-3,-1,0,1,3\}$，概率 .03/.09/.76/.09/.03），保证即使全部属性可见贝叶斯误差仍为正。渲染不变性则由两个条件保证：其一，文本不泄露可见属性之外的信息，即 $T\perp(Y,Z)\mid X_{vis}$（渲染器只用固定短语描述每个可见属性，且与样本序号 $I$ 无关，而 i.i.d. 抽样下 $I$ 与 $Y$ 独立）；其二，文本不丢失可见属性，存在确定性解码器 $h$ 使 $X_{vis}=h(T)$。两者结合立即得到 $P(Y\mid T)=P(Y\mid X_{vis})$。这与 BLInD 有本质区别：BLInD 把生成概率印在题面上考计算，而 ProbabilityBench 对模型保密生成概率，评估的是模型从案例描述与带标签示例中学习关系后自身的不确定性估计。
方法步骤详情
构建一个新世界的流程如下。第一步，设计潜因子与联合分布：factor 世界各用 8 个三水平有序因子（如同行评审的 novelty、technical validity，或信用风险的现金生成、债务负担），6 个以类别评估、2 个以数值测量形式出现，数值在其水平区间内均匀采样且可唯一恢复水平；另加 8 个与结局独立的无关字段，模型须自己学会甄别。第二步，指定确定性结局规则 $g$：同行评审按贡献类型加权计分，得分加残差 $R\ge 11.5$ 接收，严重 validity 缺陷强制拒稿；信用风险规则非可加——收缩期客户集中度压低现金生成、经营灵活性部分保护、商业周期缩放再融资与利率敞口。第三步，指定投影 $\phi$ 与隐藏级别：Low 展示全部 8 因子，Medium 藏 1 个（novelty 或现金缓冲），High 再藏 1 个（technical validity 或到期本金）。第四步，解析计算精确目标：factor 世界枚举类别因子即可（水平内数值变化会消去），$\varepsilon^*=\sum_{x_{vis}}P(x_{vis})\min\{p^*,1-p^*\}$；隐蔽传递输入空间达 $26^{16}\approx4\times10^{22}$，改用闭式——若可见范围（$m$ 字母）含标识符相应位置字母则 $P=26/(26+m)$，否则为 0，三档误差精确等于 0.019/0.074/0.145。第五步，模板渲染成备忘录并附 25 条带采样标签示例；第六步，用 KL、期望精度、witness 多校准、快照/高阶校准与 1NN/kNN 贝叶斯误差界评估，校准积分用百万级独立采样输入参考估计。
技术新颖性
本文的新颖性在于同时做到了四件此前没有任何基准同时做到的事。第一，逐实例精确的条件类概率：CIFAR-10H、ChaosNLI 只有有限标注估计出的经验分布，而这里的 $p^*(x_{vis})$ 是解析真值，连隐蔽传递这种 $4\times10^{22}$ 规模输入空间的世界都有闭式解 $26/(26+m)$。第二，面向自然语言任务的严格保持保证：渲染不变性定理（$T\perp(Y,Z)\mid X_{vis}$ 加可解码性推出 $P(Y\mid T)=P(Y\mid X_{vis})$）把「合成分布的精确性」无损搬运到文本上，这是合成高斯混合类工作从未涉及的问题。第三，双轴难度控制：隐藏信息（信息量限制）与残差因子（条件标签噪声）被分离成两个独立旋钮，世界创建者可以用定性不同的路径（信息丰富+高标签噪声，或信息稀疏+零噪声）定向命中目标贝叶斯误差，真实数据完全无法做到这一点。第四，元评估能力：精确真值反过来成为检验评估工具的标尺——贝叶斯误差估计器、多校准估计量、快照校准相对高阶校准的逼近程度，都可以第一次在文本任务上被定量审计。相比同期的 TypedBench（只有规则派生标签、无逐样本概率）和 CapBencher/CapCode/ImpossibleBench（只设性能上限用于测作弊），ProbabilityBench 提供的是可做概率级评价的完整参照系。
实验结果
实验覆盖四层。其一，16 个模型（8 决策 + 8 生成）在 Medium、每用例 25 条带标签示例、每世界 300 案例 × 3 seeds 下对比：Perplexity Decider 三世界均最便宜；成本-质量 Pareto 前沿 14 个模型-世界点中 10 个被决策模型占据（含 Jev 与 Perplexity Decider）；GPT-5.6 Terra 在同行评审平均 KL 最低，Claude Sonnet 5.5 在隐蔽传递与信用风险最低但价格高得多。其二，few-shot 实验（0/10/25/50 条，Jev vs GPT-5.6 Luna）：同行评审中 Jev 的 KL 从 0.248 降至 0.203，Luna 反而从 0.199 恶化到 0.411；隐蔽传递中 Jev 基本稳定；信用风险两者均改善且 Jev 降幅更大。其三，精度与作弊（50 训练/500 测试）：可访问测试标签的 agent 实现精度达 100%、超过贝叶斯精度，但按真值条件分布的期望精度仍低于贝叶斯精度——生成程序中直接发现答案查询与记忆修正；无作弊方法与贝叶斯精度的最大差距出现在同行评审和信用风险的 Low 档。其四，元评估：FeeBee 风格的 Cover–Hart 1NN 界与 Devroye 5NN 界即使 $n=4000$ 也常整体高于真贝叶斯误差（Low 档最明显，去无关字段仅部分缓解）；witness 多校准在 High 档（10 等宽桶、53/45 组）下，连总体 MC 误差为零的真值 $p^*$ 在 200–5k 全部样本量上经验估计恒为正，类先验显著差于 1000 样本逻辑回归；快照校准（3 次试验、各 1000 训练 + 2000 校准输入）显示小 $k$ 时快照误差低但高阶 $W_1$ 误差紧贴理论差距 $\delta_k$，$k$ 从 1 增到 50 差距收窄。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 三世界模型概率质量与成本对比（Medium，25-shot，300 案例 × 3 seeds） | 与精确类概率的平均 KL 散度（nats）+ 每千次预测列表价格 | Perplexity Decider 三世界均最便宜；决策模型占 14 个前沿点中的 10 个；GPT-5.6 Terra（peer review）、Claude Sonnet 5.5（covert transfer 与 credit risk）KL 最低 | 8 个决策模型 + 8 个生成式模型共 16 模型同台对比 | 首次实现逐样本无标签采样噪声的概率评分；此前只能用有限单标签近似 log loss |
| 隐蔽信息传递审计三档难度（Low/Medium/High） | 精确贝叶斯误差 $\varepsilon^*$（解析闭式） | 0.019 / 0.074 / 0.145；条件概率闭式 $P(\mathrm{encoding}\mid x_{vis})=26/(26+m)$ | 真实文本基准无法计算 $\varepsilon^*$；重复标注数据集只有估计参考 | 在 $26^{16}\approx4\times10^{22}$ 规模输入空间上仍给出精确真值 |
| 贝叶斯误差估计器元评估（peer review 与 credit risk） | 估计界 vs 真值 $\varepsilon^*$（$n$ 扫至 4000） | Cover–Hart 1NN 界与 Devroye 5NN 界在 $n=4000$ 时仍常整体高于真值，Low 档偏差最大；去除无关字段仅部分缓解 | FeeBee 风格最近邻估计器（此前只能在合成高斯混合或注入噪声上间接验证） | 首次在文本任务上对估计器偏差做逐档定量刻画 |
| 多校准估计元评估（High 档，10 等宽桶，53/45 组） | witness MC 误差（组-桶单元质量加权） | 真值 $p^*$（总体 MC 误差为零）在 200–5k 全部样本量经验估计恒为正；类先验显著差于逻辑回归 | 经验 MC 估计器（用观测标签替代 $p^*$） | 证明非零经验 MC 分数可能纯属采样噪声，为校准评估方法学提供警示 |
| 测试标签访问作弊检测（50 训练/500 测试，Low/Medium/High） | 实现精度 vs 期望精度 vs 贝叶斯精度 | 作弊 agent 实现精度达 100%（超贝叶斯精度），但其期望精度仍低于贝叶斯精度 | 仅用训练数据的 agent 与逻辑回归 | 提供区分「与观测标签一致」和「真实决策质量」的评估范式 |
局限与改进
作者明确承认的局限有三点：备忘录用固定模板渲染，更具表现力的 LLM 自由文本渲染要保住概率精确性必须仍满足 $T\perp(Y,Z)\mid X_{vis}$ 与可解码两个条件，是更难的未来工作；构建三个世界需要大量人工设计与验证（依赖结构、权重、交互项、残差分布都要手工设定并核对），扩展到其他领域成本高；校准实验中的总体积分（桶质量、$\pi^*_C$ 等）仍是在百万独立输入参考上的蒙特卡洛估计，并非零误差。我自己的观察补充四点：第一，基准只覆盖二分类，KL、贝叶斯误差、快照投影的公式都绑定 $Y\in\{0,1\}$，多类或回归需要重新推导；第二，三个模拟世界的低维结构（8 个三水平因子 + 闭式规则）可能让模型实际学到的是「逆向工程生成规则」而非真实世界中的不确定性判断，结论向真实任务的外推性未验证；第三，模型对比绑定特定时点的 16 个商业模型和官方列表价，实际折扣与版本迭代会改变 Pareto 前沿，基准的纵向可比性受限；第四，few-shot 实验只深入了 Jev 和 GPT-5.6 Luna 两个模型，生成模型在演示增多时 KL 恶化（0.199→0.411）究竟是提示格式问题还是更深层现象，样本太少难以下定论。
独立分析的弱点
第一，语义真实性存疑：同行评审和信用违约在现实中受海量潜变量影响，而模拟世界的结局规则本质是「可被逆向工程的低维评分函数 + 小残差」，模型（尤其是能合成 Python 预测器的 agent）可能主要在拟合规则而非学习校准不确定性，这与真实校准能力的相关性未知；改进方向是引入更深的依赖结构、时序漂移或对抗性渲染，检验结论稳健性。第二，演示信号的信息量有限：in-context 演示只带单次采样标签而非真值概率，实验已显示生成模型 Luna 加演示反而变差（KL 从 0.199 升到 0.411），说明当前「喂硬标签」的演示协议可能系统性误导生成模型；改进方向是研究演示数量、排序、格式以及显式让模型报告分布而非点估计的影响。第三，评估生态单次化：16 个模型的价格、版本、推理配置（如 Luna·medium）都固定在论文发表时点，无法纵向追踪；改进方向是把评估协议发布为可重复脚本并纳入新模型。第四，二分类与固定桶设定：witness MC 用 10 个等宽桶和人工挑的组（贡献类型×问题显著性等），桶与组的选择本身就是超参数，换划分可能改变结论；改进方向是按 Blasiok–Nakkiran 的连续校准距离等更细的度量做元评估。第五，模板渲染的词汇多样性低，模型可能对模板风格过拟合而非学习语义；改进方向是在满足两条件的前提下引入受控的同义改写。
未来方向
作者在结论中提出的方向包括：用 LLM 生成更自然的散文式备忘录，同时严格满足渲染不变性的两个条件（$T\perp(Y,Z)\mid X_{vis}$ 加确定性可解码）；利用世界构建配方和现有三个世界半自动化地生成新领域（医疗分诊、自动驾驶决策、内容审核等），把人工设计与验证成本降下来。基于本文成果可以自然延伸的方向还有：扩展到多类与连续结局，推导相应的精确高阶统计量；把「期望精度 vs 实现精度」差距做成常规的测试集泄漏/作弊检测工具，服务所有 agent 基准；利用精确真值研究生成式模型的 token 概率与口头报告概率哪个更接近真值、温度与推理深度如何影响校准；在高阶校准方向，用精确 $\pi^*_C$ 系统研究 $k$ 与标注预算的性价比曲线（论文已给出 $\delta_k$ 随 $k$ 收窄的起点）；以及把渲染不变性定理推广到允许有损但可控信息损失的渲染器，量化「文本自然度 vs 概率精确性」的权衡前沿。
复现评估
所提供的正文没有给出开源代码或数据链接（附录细节在附录 A/B/C，含渲染器解码器、网格分布、实验协议），但基准是完全合成的：复现的核心工作是按论文第 3-4 节实现三个世界的生成器、结局规则与模板渲染器，纯 CPU 即可完成，不需要训练任何模型；精确类概率和贝叶斯误差是解析计算，正确性可以直接用文中给出的数值核对（如隐蔽传递三档 $\varepsilon^*$ 为 0.019/0.074/0.145，两个先验 0.241/0.211，残差分布概率和为 1）。主要门槛在评估侧：主对比需要调用 16 个商业模型 API，每世界 300 案例 × 3 seeds × 多个 shot 设定，成本从 Perplexity Decider 到 Claude Sonnet 5.5 价格跨度大，粗估主实验需要数万到数十万次预测调用；元评估部分（1NN/5NN、witness MC、快照校准）只依赖本地计算，百万输入参考的蒙特卡洛积分在普通机器上分钟级完成。综合来看复现难度中等偏低，风险点集中在 16 个模型的可获得性与价格随时间变化；若作者按惯例发布生成代码与配置，第三方复现会相当直接。
论文图表
