相信你的模型：基于分布引导的置信度校准 Believe Your Model: Distribution-Guided Confidence Calibration
利用置信度分布先验优化投票，提升大推理模型测试时性能
前置知识
测试时扩展（Test-Time Scaling, TTS）
测试时扩展是一种通过增加推理阶段计算量来提升大语言模型性能的技术范式。其核心思想是在推理时对同一问题生成多个候选回答，然后通过某种选择机制（如投票、打分）选出最佳答案。这种方法不需要重新训练模型，而是通过'多想几次'来提高准确率。常见的实现方式包括自一致性（Self-Consistency）、最佳N选一（Best-of-N）等。TTS的计算预算（Budget）决定了生成的候选回答数量，预算越大通常性能越好，但计算成本也越高。
本文的核心方法DistriVoting和SelfStepConf都是在TTS框架下提出的改进方案，理解TTS的基本流程是理解本文的前提
自一致性（Self-Consistency）
自一致性是由Wang等人提出的经典投票方法，其核心思想是：对于同一道题，生成多条独立的推理链（trajectory），然后对最终答案进行多数投票（majority voting），选择出现次数最多的答案作为最终答案。该方法基于一个直觉假设——正确的推理路径虽然可能不同，但最终会收敛到相同的正确答案。自一致性是本文的主要基线方法之一，本文提出的DistriVoting可以看作是对自一致性的增强版本。
自一致性是本文对比的最重要基线，理解它才能理解DistriVoting的改进之处
置信度（Confidence）
在本文中，置信度是指模型对生成回答正确性的内部评估指标。具体而言，对于一条包含N个token的推理轨迹，其置信度通过token级别的负对数概率计算得出。公式为 $C_{traj} = -\frac{1}{N_G \times k} \sum_{i \in G} \sum_{j=1}^{k} \log P_i(j)$，其中 $G$ 是用于计算置信度的token子集（通常是包含最终答案的尾部token），$k$ 是参与计算的top-k概率数量。置信度越高，模型对该回答越'确定'，但高置信度并不一定意味着回答正确——这正是本文要解决的核心问题。
置信度是本文方法的核心信号，DistriVoting和SelfStepConf都围绕如何更好地利用置信度信息展开
高斯混合模型（Gaussian Mixture Model, GMM）
高斯混合模型是一种概率生成模型，假设数据由多个高斯分布（正态分布）的加权混合生成。其概率密度函数为 $p(x) = \sum_{i=1}^{K} \pi_i \mathcal{N}(x|\mu_i, \sigma_i^2)$，其中 $\pi_i$ 是混合权重，$\mathcal{N}(x|\mu_i, \sigma_i^2)$ 是第 $i$ 个高斯分量。在本文中，GMM被用来将置信度分布分解为两个高斯分量——一个对应正确回答（正分布，均值较高），另一个对应错误回答（负分布，均值较低）。通过期望最大化（EM）算法可以估计GMM的参数。
GMM是DistriVoting方法的核心技术组件，用于将混合的置信度分布分解为正负两个分量，从而实现对轨迹正确性的预测
加权多数投票（Weighted Majority Voting）
加权多数投票是标准多数投票的扩展版本。在标准多数投票中，每个回答的权重相等；而在加权多数投票中，每个回答的权重由其置信度决定。具体公式为 $f_{WMaj}(V, C) = \arg\max_{ans} \sum_{traj \in V} \mathbb{I}(A_{traj} = ans) \cdot C_{traj}$，即选择加权票数最多的答案。这种方法让高置信度的回答拥有更大的话语权，但前提是置信度需要可靠——如果高置信度回答恰好是错误的，加权投票反而可能降低准确率。
本文的HierVoting方法建立在加权多数投票之上，理解加权投票的原理有助于理解分层投票的设计动机
研究动机
在大推理模型的测试时扩展场景中，一个关键挑战是如何从多个候选回答中选出最可靠的答案。现有方法如自一致性（Self-Consistency）和最佳N选一（Best-of-N）依赖模型内部信号（如置信度分数）来评估回答质量。然而，这些方法存在一个根本性问题：模型的置信度并不可靠，高置信度并不一定对应正确回答。论文通过实验发现，正确和错误的推理轨迹在置信度分布上呈现出明显的双峰特性——正确轨迹的置信度分布均值较高（如 $\mu_{pos} = 18.00$），错误轨迹的置信度分布均值较低（如 $\mu_{neg} = 12.96$），但两个分布之间存在显著重叠。这种重叠导致两类问题：一是高置信度的错误样本（false positives）会污染投票池，二是低置信度的正确样本可能被错误过滤。以DeepConf方法为例，它使用固定的Top-50%阈值过滤低置信度样本，但论文实验表明最优阈值在不同基准测试间差异巨大（从6%到96%），说明固定阈值策略缺乏适应性。
本文的目标是本文的具体目标是提出一种能够充分利用置信度分布先验信息的投票方法，以提升大推理模型在测试时扩展场景下的回答选择准确率。具体而言，作者希望实现三个目标：第一，设计一种自适应的置信度过滤机制，能够根据数据分布自动区分正确和错误轨迹，取代固定的阈值策略；第二，提出一种利用负分布（错误轨迹分布）来进一步消除正分布中误报样本的方法；第三，在推理过程中实时监控置信度变化，当检测到置信度显著下降时触发自我反思，从而提高生成轨迹的整体质量。最终目标是在16个模型和5个推理基准测试上验证这些方法的有效性。
与已有工作不同的是，本文的独特切入角度在于，它不将置信度仅仅视为一个静态的质量评估指标，而是将其视为一个具有统计结构的分布信号。先前工作虽然观察到正确和错误轨迹的置信度分布存在差异，但仅将此用于评估置信度的可靠性。本文则更进一步，将这种分布先验显式地融入投票过程中。具体而言，本文的创新在于三个层面的突破：第一，在分布建模层面，使用GMM将混合置信度分布分解为正负两个高斯分量，实现对轨迹正确性的概率预测；第二，在投票机制层面，提出'负分布投票拒绝'策略，即利用负分布的投票结果来识别和消除正分布中的误报样本；第三，在推理过程层面，提出SelfStepConf方法，在推理过程中实时监控步级置信度并触发自我反思，从源头上提升正确和错误轨迹的分布分离度。这种'先优化生成质量，再优化选择策略'的双重优化思路是本文区别于已有工作的核心特征。
核心方法
本文的方法可以分为两个互补的组件：SelfStepConf（SSC）和DistriVoting。整体思路遵循推理和投票的自然顺序：首先在推理阶段使用SSC提升生成轨迹的质量，然后在投票阶段使用DistriVoting从候选轨迹中选出最佳答案。直觉上，SSC的作用是'提升信号质量'——通过在推理过程中实时监控置信度并在检测到质量下降时触发自我反思，使得生成的正确轨迹更加自信、错误轨迹更加不自信，从而增大两个分布之间的分离度。DistriVoting的作用是'优化信号利用'——通过GMM建模将置信度分布分解为正负两个分量，先用GMM Filter过滤掉可能错误的轨迹，再用Reject Filter利用负分布的投票结果消除正分布中的误报，最后用HierVoting进行分层投票得出最终答案。技术路线可以概括为：推理阶段（SSC监控+反思注入）→分布建模（GMM分解）→两阶段过滤（GMM Filter + Reject Filter）→分层投票（HierVoting）。
本文的核心创新点与已有方法存在本质区别。已有方法如DeepConf和Self-Consistency将置信度视为每个轨迹的独立属性，通过设定阈值或直接加权来进行投票。本文则将置信度视为一个具有统计结构的分布信号，其核心创新在于三点。第一，分布分解：使用GMM将混合置信度分布分解为正（正确）和负（错误）两个高斯分量，这不仅实现了自适应的阈值划分（阈值由分布参数自动确定），还为每个轨迹提供了属于正确类别的后验概率。第二，负分布投票拒绝（Reject Filter）：这是最具创新性的设计——利用负分布中的轨迹进行'反向投票'，选出最可能错误的答案 $A_{neg}$，然后将投票结果与 $A_{neg}$ 一致的正分布轨迹过滤掉。这种方法的巧妙之处在于，它利用了'错误轨迹也有一致性'这一观察——如果多条错误轨迹都指向同一个错误答案，那么正分布中指向该答案的轨迹很可能是误报。第三，推理时自适应：SSC在推理过程中实时监控步级置信度，当检测到置信度显著下降（$\Delta_{conf} < \delta$ 且置信度下降）时触发自我反思，通过注入反思token来纠正推理方向。这种'边推理边校准'的策略是已有投票方法所不具备的。
方法步骤详情
本文方法的完整步骤如下。第一步，SelfStepConf推理阶段：对于输入问题，模型开始生成推理轨迹。在每一步生成后，计算当前步的置信度 $C_{G_m} = -\frac{1}{N_{G_m} \times k} \sum_{i \in G_m} \sum_{j=1}^{k} \log P_i(j)$，其中 $G_m$ 是第 $m$ 步的token集合。然后计算置信度变化比 $\Delta_{conf} = C_{G_m} / \tau_{conf}$，其中 $\tau_{conf}$ 是动态阈值。如果 $\Delta_{conf} < \delta$ 且置信度下降（$C_{G_m} < C_{G_{m-1}}$），则触发自我反思：将反思token的概率与最高概率token进行交换，强制模型重新审视推理过程。否则，通过指数移动平均（EMA）更新阈值 $\tau_{conf} := \alpha \tau_{conf} + (1-\alpha) C_{G_m}$。第二步，GMM建模：对问题的所有候选轨迹（Budget条），使用公式1计算轨迹级置信度，然后用GMM将置信度分布建模为两个高斯分量的混合 $p(x) = \pi_1 \mathcal{N}(x|\mu_1, \sigma_1^2) + \pi_2 \mathcal{N}(x|\mu_2, \sigma_2^2)$。第三步，GMM Filter：将均值较高的分量映射为正分布 $\mathcal{N}(\mu_{pos}, \sigma_{pos}^2)$，均值较低的分量映射为负分布 $\mathcal{N}(\mu_{neg}, \sigma_{neg}^2)$，将属于正分布的轨迹组成候选投票池 $V_{pos}$。第四步，Reject Filter：对负分布轨迹 $V_{neg}$ 使用负置信度 $-C_{neg}$ 作为权重进行投票，得到最可能错误的答案 $A_{neg} = f_{vote}(V_{neg}, -C_{neg})$。然后过滤掉候选投票池中与 $A_{neg}$ 一致的轨迹，得到精炼后的投票池 $\hat{V}_{pos}$。第五步，HierVoting：将置信度分为 $N_C$ 个子区间，在每个子区间内进行加权多数投票选出区间答案，再对所有区间答案进行加权多数投票得出最终答案 $A_{final} = f_{HierV}(\hat{V}_{pos}, \hat{C}_{pos})$。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在理论层面，论文提出了定理2.1和定理2.2，形式化证明了增加正负分布之间的距离 $\delta = \mu_1 - \mu_2$ 会使得积分比函数 $R(\mu_1, \mu_2)$ 严格单调递增，进而提高加权投票准确率的下界。这为SelfStepConf提升投票性能提供了理论保证。其次，在方法设计层面，Reject Filter的提出是本文最具创新性的贡献。与传统的'只看正分布'的过滤方法不同，Reject Filter创造性地利用负分布的投票结果来识别正分布中的误报，实现了'用错误来发现错误'的效果。实验表明，Reject Filter使平均准确率从77.60%提升到80.41%（Table 4）。第三，在工程实现层面，SelfStepConf的反思注入机制设计巧妙——通过交换概率值而非直接修改logits，确保了反思注入不影响步级置信度的计算（公式11），从而保持了置信度监控的一致性。第四，在实验设计层面，本文是首个在16个不同模型（包括DeepSeek-R1系列和Qwen3系列的思维/非思维模式）和5个推理基准测试上系统评估分布引导投票方法的工作，实验规模远超已有研究。此外，论文还进行了详细的消融实验，比较了GMM与K-Means、MeanShift等聚类方法的性能，发现GMM在准确率（76.95% vs 75.19% vs 75.50%）和效率（0.3369ms vs 0.6014ms vs 1.8492ms）上都具有优势。
实验结果
本文的实验结果在16个模型和5个基准测试上系统验证了DistriVoting和SelfStepConf的有效性。首先，在主实验中（Table 1），DeepSeek-R1-8B模型上，标准自一致性（SC）的平均准确率为73.09%，加权自一致性（WSC）为73.30%，而DistriVoting结合GMM过滤（DIS-GMM）达到76.95%，结合SelfStepConf（DIS-GMM*）进一步提升到77.84%，相比SC提升4.75个百分点。Qwen3-32B模型上，SC为73.85%，DIS-GMM*达到76.53%，提升2.68个百分点。其次，GMM自适应过滤显著优于固定阈值过滤：DeepSeek-R1-8B上，WSC-Top50为74.75%，WSC-GMM为76.64%，提升1.89个百分点；DIS-Top50为76.32%，DIS-GMM为76.95%，提升0.63个百分点。第三，SelfStepConf提供了持续的性能增益：DeepSeek-R1-8B上，WSC-GMM从76.64%提升到WSC-GMM*的77.24%，DIS-GMM从76.95%提升到DIS-GMM*的77.84%。第四，消融实验（Table 2）表明GMM是最佳聚类选择：GMM的投票准确率为76.95%，高于K-Means的75.19%和MeanShift的75.50%，同时计算效率最高（0.3369ms/iteration），分别是K-Means的1.78倍和MeanShift的5.49倍。第五，预算消融（Table 3）显示DistriVoting在预算≥16时显著优于传统方法，在小预算下性能相当，这源于其对分布信息的依赖——小样本产生噪声分布，大样本提供更可靠的判别信息。第六，效果分析（Table 4）显示三个阶段的准确率逐步提升：过滤前69.27%，GMM Filter后77.60%，Reject Filter后80.41%，验证了两阶段过滤的有效性。第七，SelfStepConf的Pass@1改进呈现拱形模式（Figure 7）：中等性能模型改进最大（Qwen3-8B +4.3%），弱模型和强模型改进较小，类似强化学习提升采样效率但不扩展推理极限的特性。第八，SSC在不增加回答长度的情况下提升置信度（Table 5），平均步数从66.47降至64.48，token数从15322降至15097，运行时间仅增加2.31%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HMMT2025（数学推理） | Accuracy (%) | DeepSeek-R1-8B: DIS-GMM* 84.95%; Qwen3-32B: DIS-GMM* 65.73% | DeepSeek-R1-8B: SC 69.11%; Qwen3-32B: SC 62.08% | DeepSeek-R1-8B: +15.84pp; Qwen3-32B: +3.65pp |
| GPQA-D（科学推理） | Accuracy (%) | DeepSeek-R1-8B: DIS-GMM* 70.63%; Qwen3-32B: DIS-GMM* 73.18% | DeepSeek-R1-8B: SC 67.50%; Qwen3-32B: SC 70.30% | DeepSeek-R1-8B: +3.13pp; Qwen3-32B: +2.88pp |
| AIME2024（数学竞赛） | Accuracy (%) | DeepSeek-R1-8B: DIS-GMM* 93.23%; Qwen3-32B: DIS-GMM* 89.11% | DeepSeek-R1-8B: SC 86.67%; Qwen3-32B: SC 86.46% | DeepSeek-R1-8B: +6.56pp; Qwen3-32B: +2.65pp |
| AIME2025（数学竞赛） | Accuracy (%) | DeepSeek-R1-8B: DIS-GMM* 86.64%; Qwen3-32B: DIS-GMM* 80.05% | DeepSeek-R1-8B: SC 80.36%; Qwen3-32B: SC 76.98% | DeepSeek-R1-8B: +6.28pp; Qwen3-32B: +3.07pp |
| BRUMO2025（数学推理） | Accuracy (%) | DeepSeek-R1-8B: DIS-GMM* 94.27%; Qwen3-32B: DIS-GMM* 93.33% | DeepSeek-R1-8B: SC 93.07%; Qwen3-32B: SC 93.33% | DeepSeek-R1-8B: +1.20pp; Qwen3-32B: +0.00pp |
局限与改进
本文存在几个值得关注的局限性。首先，DistriVoting依赖于生成大量候选轨迹（默认Budget=128），这意味着推理成本是单次生成的128倍。虽然论文展示了在小预算（如Budget=8）下DistriVoting仍有一定效果，但其优势在Budget≥16时才明显显现，这限制了其在资源受限场景下的应用。其次，GMM假设置信度服从双峰高斯分布，但这一假设在所有情况下可能不成立——例如当正确和错误轨迹的置信度分布高度重叠或呈现非高斯形态时，GMM的分解效果可能下降。论文虽然在附录中验证了GMM的合理性，但未充分讨论假设失效的边界条件。第三，SelfStepConf的改进效果呈现拱形模式（Figure 7），对中等性能模型改进最大（Qwen3-8B +4.3%），但对弱模型（如Qwen3-0.6B仅+0.1%）和强模型改进较小，说明该方法存在性能天花板。第四，论文仅在数学推理基准上进行了评估（HMMT2025、AIME、GPQA-D、BRUMO2025），未验证方法在代码生成、自然语言理解等其他任务上的泛化能力。第五，SelfStepConf引入了额外的超参数（EMA因子 $\alpha$、反思触发阈值 $\delta$、置信度区间数 $N_C$），虽然论文在附录中进行了参数分析，但这些参数可能需要针对不同模型和任务进行调优。最后，最优top-threshold在不同基准测试间差异巨大（从6%到96%，如Figure 3所示），虽然GMM提供了自适应解决方案，但这种差异性本身就说明了置信度校准问题的复杂性。
独立分析的弱点
本文存在几个可以改进的弱点。第一，计算效率问题：DistriVoting需要生成128条轨迹并运行GMM分解和两阶段过滤，推理成本较高。改进方向包括：设计轻量级的分布估计方法替代GMM（如使用更简单的统计量如均值和方差进行分位数划分），或开发早期停止策略，在分布足够可靠时提前终止轨迹生成。第二，GMM的鲁棒性：当样本量较小时（如Budget=8），GMM可能无法准确估计分布参数。改进方向包括：引入贝叶斯先验或正则化项来约束GMM参数估计，或使用非参数方法（如核密度估计）替代参数化GMM。第三，SelfStepConf的反思注入机制相对简单——仅通过概率交换来注入反思token。改进方向包括：设计更精细的反思策略，如根据错误类型（计算错误、逻辑错误、知识错误）注入不同类型的反思提示，或使用强化学习来优化反思触发条件。第四，Reject Filter依赖于负分布投票的准确性——如果负分布中存在大量低质量轨迹，投票结果 $A_{neg}$ 可能不可靠。改进方向包括：对负分布轨迹进行质量筛选（如仅使用高置信度的负样本进行投票），或引入置信度加权来降低低质量轨迹的影响。第五，分层投票（HierVoting）的区间划分是均匀的，未考虑置信度分布的实际形态。改进方向包括：使用分位数划分或基于分布形态的自适应区间划分。
未来方向
本文为未来研究提供了多个有价值的方向。首先，作者在论文中提到的方法可以扩展到更多任务领域——目前仅在数学推理上验证，未来可以探索在代码生成、逻辑推理、常识推理等任务上的效果。其次，DistriVoting的分布引导思想可以与其他TTS方法结合，例如与外部奖励模型（如MoB）结合，利用内部置信度信号和外部奖励信号的互补性来进一步提升投票准确率。第三，SelfStepConf的'边推理边校准'范式可以进一步发展——当前的反思注入是被动的（仅在置信度下降时触发），未来可以设计主动的推理调控策略，如在关键决策点主动请求反思。第四，论文的理论分析（Theorem 2.1和2.2）为分布分离与投票准确率的关系提供了理论基础，未来可以基于此理论设计更优化的分布增强方法。第五，DistriVoting的自适应特性可以用于动态计算预算分配——当分布分离度足够大时提前终止生成，当分离度不足时增加预算，从而在性能和效率之间实现更好的平衡。第六，GMM建模可以扩展为更复杂的混合模型，如使用贝叶斯非参数方法（如Dirichlet Process）来自动确定分量数量，以处理置信度分布可能存在的多峰情况。第七，SelfStepConf的反思机制可以与思维链（Chain-of-Thought）的结构化设计结合，例如在反思时引导模型重新审视特定类型的推理步骤。
复现评估
本文的复现条件较为良好。代码已在GitHub公开（https://github.com/yxizhong/DistriVoting），为复现提供了直接参考。论文使用了标准的基准测试（HMMT2025、AIME2024、AIME2025、GPQA-D、BRUMO2025），这些数据集均可公开获取。评估协议清晰，使用64次重复采样来确保结果的统计可靠性，置信区间在±0.86%以内。然而，复现的主要挑战在于计算资源需求——论文测试了16个模型（从1.7B到32B参数），每个模型在每个基准上需要生成大量轨迹（Budget=128，64次重复），这意味着总推理次数非常庞大。以DeepSeek-R1-8B为例，每个问题需要生成128×64=8192条轨迹，5个基准测试的总计算量估计需要多块高端GPU运行数天。论文在附录中提供了详细的伪代码（Appendix D）、参数设置（温度t=0.6，非思维模型t=0.7）和实现细节（步分割方法、反思信息token列表），降低了复现的技术难度。GMM使用标准的scikit-learn实现即可，SelfStepConf的反思注入机制虽然涉及概率操作但逻辑清晰。总体而言，复现的技术难度中等，主要瓶颈在于计算资源。
论文图表
