解耦推理与置信度：在可验证奖励强化学习中复活校准能力

通过解耦推理与置信度优化目标，解决 RLVR 训练中模型过度自信的根本问题

前置知识

RLVR (Reinforcement Learning from Verifiable Rewards)

可验证奖励强化学习是一种利用自动验证器（如数学答案的精确匹配、代码的单元测试）来生成奖励信号，从而通过强化学习微调大语言模型的训练范式。与 RLHF 中依赖人类偏好模型不同，RLVR 的奖励是确定性的、可自动获取的，因此无需额外的奖励模型。以 GRPO 为代表的 RLVR 算法已在数学推理、代码生成等任务上取得了显著进展，是当前提升 LLM 推理能力的主流方法。

本文的核心问题——校准退化——正是在 RLVR 训练过程中产生的，理解 RLVR 的工作原理是理解本文研究动机的前提。

模型校准 (Calibration)

模型校准衡量的是模型输出的置信度与实际正确率之间的一致性。理想情况下，如果模型对一组问题预测置信度为 0.8，那么这组问题中应该有约 80% 被正确回答。常用指标包括期望校准误差 ECE（Expected Calibration Error，将预测按置信度分桶后计算各桶内置信度与正确率的加权绝对差）和正校准误差 PCE（仅统计置信度高于正确率的桶，专门衡量过度自信程度）。

本文的核心贡献是解决 RLVR 训练导致的校准退化问题，ECE 和 PCE 是评估方法有效性的关键指标，理解这些指标才能判断实验结果的意义。

GRPO (Group Relative Policy Optimization)

GRPO 是一种基于组采样的 RLVR 算法。对每个输入 prompt，策略模型采样一组 G 个回答，每个回答获得一个标量奖励，然后在组内进行归一化得到优势值 $A_i = (r_i - \bar{r}) / \sigma$。这种组内相对归一化降低了奖励尺度的敏感性，提供了低方差的训练信号，是 DeepSeek-R1 等推理模型的核心训练算法。

DCPO 是在 GRPO 基础上的改进，利用了 GRPO 的组采样机制来构建低方差的校准监督信号，理解 GRPO 的工作方式对理解 DCPO 的设计至关重要。

口头化置信度 (Verbalized Confidence)

让模型在生成回答后显式输出一个 0 到 1 之间的置信度分数，而非依赖内部 token 概率等隐式信号。这种方法的优势在于：可解释性强，用户可以直接看到模型对自己答案的信心程度；灵活性高，可以作为 RL 训练中的独立优化目标。本文将模型输出分为推理块和置信度块两部分，分别施加不同的优化信号。

DCPO 的核心机制之一就是通过口头化置信度将推理输出和置信度输出在生成结构上解耦，这是实现目标解耦优化的基础设施。

Fisher 信息矩阵与自然梯度

Fisher 信息矩阵 $F = \mathbb{E}_{y \sim \pi_\theta}[g(y)g(y)^\top]$ 是策略参数空间上的局部度量，衡量参数变化对策略分布的影响程度。自然梯度 $F^{-1}\nabla_\theta J$ 是在 Fisher 度量下的最速下降方向，相比普通梯度更能反映策略分布的实际变化。两个梯度的 Fisher 内积 $\langle \nabla J_1, \nabla J_2 \rangle_{F^{-1}}$ 可以判断两个优化目标是否方向一致。

本文用 Fisher 内积严格证明了准确率梯度和校准梯度之间的方向冲突（内积为负），这是揭示准确率-校准权衡的理论核心。

研究动机

RLVR 虽然显著提升了大语言模型的推理能力，但会导致严重的校准退化问题。具体来说，经过 RLVR 训练的模型会变得过度自信——即使答案是错误的，模型也会分配极高的置信度。实验数据表明，在 Qwen3-8B 上进行 GRPO 训练后，模型的平均置信度从约 0.88 飙升到 0.98 以上，置信度方差从 0.006 降至 0.001，PCE（正校准误差）从 0.312 上升到 0.362。在医疗、法律、金融等高风险应用场景中，这种过度自信会误导用户对系统可靠性的判断，带来系统性风险。更严重的是，已有的校准优化方法（如 RLCR 和 CCGSPG）虽然能降低校准误差，但会显著损害推理准确率——例如 RLCR 在 AIME24 上将 PCE 从 0.505 降至 0.214，但准确率从 40.0% 暴跌到 32.8%，形成了所谓的「准确率-校准权衡」。

本文的目标是本文的目标是设计一种训练框架，能够在不损害推理能力的前提下，系统性地改善 RLVR 训练后模型的校准质量。具体而言，DCPO 追求在多个数学推理和代码生成基准上同时实现：(1) 推理准确率与标准 GRPO 持平或更优；(2) 校准误差（ECE 和 PCE）显著低于 GRPO 和其他校准优化基线；(3) AUROC（区分能力）明显提升，使模型的置信度能够有效区分正确和错误回答。

与已有工作不同的是，本文的独特切入角度在于揭示了准确率-校准权衡的根本原因：不是两个目标本身不可调和，而是它们的优化梯度方向存在本质冲突。论文通过理论分析证明，对于过度自信的模型，最大化准确率的梯度方向与最小化校准误差的梯度方向在 Fisher 度量下的内积为负，意味着同时优化这两个目标会在梯度层面相互干扰。已有方法的失败在于它们将这两个目标耦合在同一个优化信号中，不可避免地陷入梯度冲突。本文抓住了这个被忽视的关键点——不是要在两个目标之间找折中，而是要在结构层面彻底解耦它们的优化路径。

核心方法

DCPO 的设计直觉可以用一个类比来理解：想象一个学生既要提高解题能力（推理准确率），又要学会诚实评估自己的把握程度（校准）。如果老师把这两个目标混在一起打分，学生会发现「自信地回答」比「准确地评估自己」更容易得高分，于是变得盲目自信。DCPO 的做法是：让学生把解题过程和自我评估分开写，老师分别对两部分打分，这样学生就不会因为追求解题得分而扭曲自我评估。技术上，DCPO 通过三个层次实现解耦：(1) 生成结构层面——要求模型先输出推理过程，再输出置信度，用特殊分隔符隔开；(2) 奖励设计层面——为推理和置信度分别设计独立的奖励函数；(3) 梯度优化层面——使用掩码梯度策略，确保两部分的优化信号只作用于对应的 token。

DCPO 的核心创新在于从理论上证明并从实践上解决了准确率与校准之间的梯度冲突。具体来说，论文证明了当模型过度自信时（即 $\text{Conf}_\theta(x) > \mathbb{E}_{y \sim \pi_\theta}[R(y)]$），准确率梯度 $\nabla_\theta J_{\text{acc}}$ 和校准梯度 $\nabla_\theta J_{\text{cal}}$ 的 Fisher 内积 $\langle \nabla J_{\text{acc}}, \nabla J_{\text{cal}} \rangle_{F^{-1}} = -\frac{\partial l}{\partial c} \cdot \text{Cov}_{\pi_\theta}(R(y), \phi(y))$ 严格为负。这意味着优化准确率的方向恰好会恶化校准，反之亦然。已有方法（RLCR、CCGSPG）的根本缺陷在于将这两个目标耦合在同一组 token 上，导致梯度信号相互抵消。DCPO 的解决方案是通过生成结构上的物理分离（推理 token vs 置信度 token）和梯度掩码，使两个目标的优化信号完全隔离，在各自的 token 子空间内独立优化，从根本上避免了梯度冲突。

方法步骤详情

DCPO 的完整训练流程如下。第一步是块级口头化置信度生成（Block-wise Verbalized Confidence Rollout）：给定输入 prompt $q$，模型被要求以结构化格式生成回答 $o = [o_r \langle\text{conf}\rangle o_c]$，其中 $o_r$ 包含推理过程和最终答案，$o_c$ 是一个 0 到 1 之间的置信度标量，两部分由特殊分隔符 $\langle\text{conf}\rangle$ 隔开。第二步是解耦优势估计（Decoupled Advantage Estimation）：对推理部分，使用标准的结果级正确性奖励 $R(o_r) = \mathbb{I}(y_{\text{pred}} \equiv y_{\text{label}})$；对置信度部分，设计混合校准目标 $R^G = \lambda \cdot \tilde{R}_G + (1-\lambda) \cdot R(o_r)$，其中 $\tilde{R}_G = \frac{1}{G}\sum_{i=1}^{G} R(o_{r,i})$ 是组级平均正确率（利用 GRPO 的组采样机制），$\lambda$ 控制方差缩减和样本级区分之间的平衡，置信度奖励定义为 $R_c(o_c) = -|\text{confidence}(o_c) - R^G|$。第三步是掩码梯度优化（Masked Gradient Optimization）：对每个回答构建 token 级掩码，将推理 token $o_r$ 和置信度 token $o_c$ 分离，确保推理优势信号只作用于推理 token，置信度优势信号只作用于置信度 token，即梯度更新公式中两项通过掩码严格隔离。

技术新颖性

DCPO 的技术新颖性体现在三个层面。首先，理论层面：这是首次从 Fisher 信息矩阵的角度严格证明 RLVR 中准确率与校准之间存在结构性梯度冲突，而非简单的经验观察。这一理论洞察直接解释了为什么已有耦合优化方法会失败。其次，方法层面：与 RLCR 直接将 Brier Score 融入奖励、CCGSPG 修改 GRPO 目标函数不同，DCPO 通过生成结构上的物理分离实现解耦——这是一种更根本的解耦方式，不修改优化算法本身，而是通过输出结构设计使两个目标自然隔离。第三，校准信号设计：利用 GRPO 固有的组采样机制构建混合校准目标，证明组级平均正确率 $\tilde{R}_G$ 是正确率期望 $\mathbb{E}[R(y)]$ 的无偏估计且方差为 $O(1/G)$，相比实例级二元监督（方差为 $4p(1-p)$）显著更稳定，这一发现为校准优化提供了低方差的监督信号。

实验结果

实验结果全面验证了 DCPO 在多个维度上的优势。在数学推理任务上，以 Qwen3-8B 为基座模型，DCPO 在五个基准上取得了综合最优的准确率-校准权衡：平均准确率 60.8%，与 GRPO（60.4%）持平并略优于 RLCR（56.5%）和 CCGSPG（57.6%）；平均 ECE 仅 0.128，相比基础模型（verbal 置信度）的 0.435 下降了 71.6%，相比 GRPO 的 0.372 下降了 65.6%。特别值得注意的是 PCE 指标——DCPO 为 0.126，而 GRPO 高达 0.363，说明 DCPO 显著缓解了过度自信问题。在 AIME24 上，DCPO 达到 41.6% 准确率（GRPO 为 40.0%），同时 PCE 仅为 0.212（GRPO 为 0.505）。AUROC 方面，DCPO 平均 0.881，远高于 GRPO（0.532）和基础模型（0.609），表明 DCPO 训练出的置信度具有更强的区分能力。在代码生成任务上，DCPO 同样表现出色：平均准确率 0.515 略优于 GRPO 的 0.514，平均 ECE 从 GRPO 的 0.287 降至 0.175。消融实验证明了三个关键组件的必要性：移除解耦优化导致 ECE 从 0.128 升至 0.258、准确率从 60.8% 降至 57.3%；移除组级标签导致准确率从 60.8% 降至 58.7%；移除实例级标签导致 ECE 从 0.128 升至 0.209。

**Figure 6**: AIME25 上 GRPO 和 DCPO 训练过程中准确率和 PCE 的变化

查看结构化数据

任务	指标	本文	基线	提升
MATH-500	Acc	90.2%	GRPO 88.0% (verbal)	+2.2%
AIME24	Acc	41.6%	GRPO 40.0%	+1.6%
AIME24	ECE	0.188	GRPO 0.515	-63.5%
AIME24	PCE	0.212	GRPO 0.510	-58.4%
AIME24	AUROC	0.914	GRPO 0.556	+64.4%
AIME25	Acc	28.3%	GRPO 28.3%	持平
AIME25	ECE	0.130	GRPO 0.593	-78.1%
AMC23	Acc	75.6%	GRPO 72.0%	+3.6%
AMC24	Acc	65.0%	GRPO 58.9%	+6.1%
Overall Math (5 benchmarks)	ECE	0.128	GRPO 0.372 (verbal)	-65.6%
Overall Math (5 benchmarks)	PCE	0.126	GRPO 0.363	-65.3%
Overall Math (5 benchmarks)	AUROC	0.881	GRPO 0.532 (verbal)	+65.6%
LiveCodeBench v5	Acc	0.314	GRPO 0.320	-0.6%
LiveCodeBench v5	ECE	0.223	GRPO 0.393	-43.3%
HumanEval+	Acc	0.947	GRPO 0.944	+0.3%
HumanEval+	ECE	0.034	GRPO 0.083	-59.0%

局限与改进

尽管 DCPO 取得了令人印象深刻的结果，但仍存在一些局限性。首先，DCPO 依赖于结构化的输出格式——模型需要在推理过程后显式输出置信度分数，这增加了对 prompt 工程的要求，且格式违规虽然在训练中迅速减少（从 1.60% 降至约 0.2%），但在部署时仍需额外的格式检查和容错处理。其次，论文的理论分析基于一些简化假设，如 $R(y)$ 和 $\phi(y)$ 之间正相关的假设（$\text{Cov}_{\pi_\theta}(R(y), \phi(y)) > 0$），这在实践中不一定总是成立，特别是当模型的口头化置信度与实际正确性之间存在系统性偏差时。第三，DCPO 中的超参数 $\lambda$（控制组级和实例级信号的平衡）需要调优，虽然实验表明 $\lambda = 0.5$ 在大部分场景下表现良好，但最优值可能随任务和模型规模变化。第四，论文主要在 8B 和 14B 规模的模型上验证，更大规模模型（如 70B+）上的表现尚未验证。最后，DCPO 增加了推理时的计算量（需要生成额外的置信度输出），虽然论文表明生成长度增加可以忽略，但在高吞吐部署场景中仍是需要考虑的因素。

独立分析的弱点

从独立分析的角度，DCPO 存在几个值得关注的弱点。第一，口头化置信度的表达能力受限：模型只能输出一个标量置信度分数，无法表达更复杂的不确定性结构（如多模态置信度分布、对不同推理步骤的差异化置信度）。改进方向是探索让模型输出结构化的置信度报告，例如对关键推理步骤分别评估置信度。第二，校准奖励的稀疏性问题：置信度奖励 $R_c(o_c) = -|\text{confidence}(o_c) - R^G|$ 在组内正确率接近 0 或 1 时几乎退化为二元信号，此时组级和实例级信号的差异很小。改进方向是引入课程学习策略，在训练早期使用更多实例级信号，在训练后期逐步增加组级信号的比重。第三，DCPO 仅优化校准质量但未考虑选择性预测（selective prediction）——即让模型学会在不确定时拒绝回答。改进方向是将校准优化与弃权机制结合，利用高质量的置信度信号实现「不确定就不回答」的策略。第四，论文未充分探讨 DCPO 对分布外（OOD）样本的校准鲁棒性，RLVR 训练通常在特定领域数据上进行，OOD 场景下的校准表现可能大幅退化。

未来方向

未来研究可以从以下几个方向延伸。首先，将 DCPO 的解耦思想推广到更多优化目标的场景——例如在推理能力之外同时优化安全性、事实性等多个维度，每个维度使用独立的 token 块和奖励信号。其次，探索 DCPO 与测试时计算（test-time compute）的结合：高质量的置信度信号可以指导自适应的推理预算分配——对低置信度问题投入更多计算资源，对高置信度问题快速跳过。第三，将 DCPO 的理论框架扩展到连续控制和多轮对话场景，其中推理过程和不确定性评估可能分布在多个交互步骤中。第四，研究 DCPO 训练出的校准信号能否有效用于模型集成和知识蒸馏中的样本加权。作者在论文中也提到，DCPO 为更可靠的 LLM 部署提供了有价值的见解和实用解决方案，未来可以探索将 DCPO 与选择性预测、不确定性感知的决策系统结合，构建真正可信赖的 AI 推理系统。

复现评估

DCPO 的复现条件较为友好。代码已开源在 GitHub（https://github.com/icip-cas/DCPO），基于广泛使用的 VERL 强化学习框架实现。训练数据使用公开的 DeepScaler 数据集（数学推理）和 PrimeIntellect-verifier 数据集（代码生成）。算力需求方面，实验使用 8 张 NVIDIA A100 80GB GPU，总训练步数约 120 步（3 个 epoch），在标准 RL 训练框架下属于中等规模的实验。关键超参数已明确给出（学习率 $1 \times 10^{-6}$、批大小 256、组大小 8、$\lambda = 0.5$ 等）。评估基准（MATH-500、AIME、AMC、LiveCodeBench、HumanEval+）均为公开数据集，使用 OpenCompass 框架计算准确率。总体而言，复现难度为中等：需要一定的 RL 训练经验，但不需要特殊的数据或算力条件，一个配备多卡 A100 的实验室应该可以在几天内完成复现。

解耦推理与置信度：在可验证奖励强化学习中复活校准能力 Decoupling Reasoning and Confidence: Resurrecting Calibration in Reinforcement Learning from Verifiable Rewards