确定性的幻觉：在策略蒸馏中解耦能力与置信度校准

CaOPD：用学生自评估替换教师特权置信度，打破OPD导致的过自信。

前置知识

在策略蒸馏 (On-Policy Distillation, OPD)

在策略蒸馏是一种让模型同时扮演教师和学生角色的自蒸馏范式：学生策略 $\pi_ heta(\cdot|x)$ 仅看输入 $ 生成轨迹，教师策略 $\pi_ heta(\cdot|x,z)$ 额外被赋予特权上下文 $（如专家示范或答案），通过逐 token 对齐两分布来迁移能力。

本文的核心痛点正是 OPD 在迁移推理能力的同时系统性地引入过自信，必须先理解学生-教师的设定才能看懂为什么会出现信息不对称问题。

反向 KL 散度 (Reverse KL Divergence)

反向 KL 衡量学生分布 $P$ 与教师分布 $Q$ 的差异 $\text{KL}(P\|Q) = \sum P \log(P/Q)$，其 mode-seeking 特性会迫使学生把概率质量集中在教师的高置信模式上，是 OPD 的标准优化目标。

CaOPD 在所有反向 KL 数学框架不变的前提下修改监督目标，理解反向 KL 的 mode-seeking 性质才能明白为什么教师的高置信度会被强制蒸馏到学生中。

期望校准误差 ECE 与 Brier 分数

ECE 把预测按置信度分桶后衡量平均置信度与实际准确率的绝对差；Brier Score 是预测概率与真实标签的均方误差 $\frac{1}{N}\sum(p_i - y_i)^2$，二者越低代表校准越好。

论文几乎所有实验结论都依赖这两个指标对比，没有校准度量基础就无法理解 CaOPD 在 ECE/BS 上的大幅下降意味着什么。

信息不对称 (Information Asymmetry)

训练阶段教师能看见特权证据 $z$，部署时学生只能看到输入 $x$，二者信息集不同。本文用条件互信息 $I(R;Z\mid X)>0$ 形式化这种差异，并据此证明教师条件下的成功率不可能被 $X$-可测函数无损预测。

这是全文的数学根因，命题 1-3 都建立在信息不对称之上，是把"过自信"从经验现象升级为可证定理的关键。

词面化置信度 (Verbalized Confidence)

让模型在回答末尾以自然语言写出"Confidence: 0.85"形式的置信度片段 $c$，再由解析器提取 $\text{val}(c)\in[0,1]$。相比 logits 置信，它对齐人类阅读直觉，但更容易被训练信号塑造。

本文所有监督目标都作用在词面化置信度 $c$ 上，CaOPD 的"目标替换"也是直接覆盖这段 token，目标解耦的精妙之处正是在此。

研究动机

现代大模型普遍存在严重的过自信问题：作者在 Science Q&A 上测得 DeepSeek-V3.1、Claude-Opus-4.6、Gemini-3.1-Pro 等前沿模型平均置信度高达 0.87-0.91，而准确率仅 0.5-0.7，Overconfidence Gap (OCG) 普遍超过 +30%。雪上加霜的是，当前最有效的后训练范式——在策略蒸馏 (OPD) 及其变体 SDFT/SDPO——不仅没有缓解，反而系统性地加剧了过自信。表 1 显示 Qwen3-8B 在 Science Q&A 上的 OCG 从 Base 的 +58.7% 进一步扩大到 SDFT 的 +48.1% 和 SDPO 的 +12.9%，而 Tool Use 上 SDPO 把平均置信度推到了惊人的 0.996。更糟糕的是，传统基于 RL 奖励塑形（如 RLCR、CAR）的校准方法虽然能压低置信度，但会带来严重的"能力税"：Qwen3-8B 在 Science Q&A 上 RLCR 准确率仅 65.8%，远低于 SDPO 的 80.6%。这意味着业界实际上没有一种既能保持推理能力、又能校准置信度的可行方案。

本文的目标是本文的核心目标是提出一种能在不牺牲推理能力的前提下，系统性消除 OPD 引入的过自信偏差的后训练框架 CaOPD。具体而言：(1) 在数学上严格证明 OPD 导致过自信的根因，把经验观察升级为可证命题 (命题 1-3)；(2) 设计一个轻量、即插即用的"目标替换"机制，把置信度监督从教师特权信号中解耦出来；(3) 在不引入能力税的前提下，让紧凑模型经校准后的可靠性 (1-Brier) 与 Discrimination (SPR) 能够正面硬刚前沿闭源大模型，使单次推理即可输出可信不确定性。

与已有工作不同的是，现有校准方法都集中在"对错误惩罚"这条 RL 奖励塑形路线，本质上是与优化器作斗争；而本文独辟蹊径，从"教师的目标本身就是错的"这一更上游的视角切入——不是事后调低置信度，而是让监督目标本身从一开始就不包含特权偏差。具体技术抓手是"目标替换 (Target Replacement)"：在保留教师能力示范的同时，把教师的极端置信度 (≈1.0) 替换成由学生自己 $K$ 次 rollout 算出的经验成功率 $\hat{\mu}(x)$，从而把能力克隆和置信度对齐两条优化路径彻底解耦。这一思路在文献中尚属首次。

核心方法

CaOPD 的整体思路可以一句话概括：能力看教师的，置信度看自己的。其技术路线分三步走——先用蒙特卡洛从学生策略采样 $K$ 条轨迹并用任务验证器 $R$ 打分，得到学生立足的经验成功率 $\hat{\mu}(x)\in[0,1]$；然后对学生生成的轨迹 $y=(a,c)$ 做"目标替换"，把尾部的置信度 token 段 $c$ 整体覆盖为 $\hat{\mu}(x)$，并对教师特权上下文 $z$ 中原来的极端置信度做同样替换；最后在修改后的"重写版" $\tilde{y}=a\oplus\hat{\mu}(x)$ 上跑与标准 OPD 完全一样的逐 token 反向 KL。整个过程不动反向 KL 的数学结构、不动验证器、不引入额外奖励，因此可以无缝嵌入 SDPO/SDFT 的现成管线，复用已经在做多 rollout 的计算，几乎零额外开销地把置信度监督锚定到学生自身的真实分布上。

CaOPD 与已有方法的本质区别在于它处理的是"监督信号本身"，而不是"优化器如何消费监督信号"。传统 RL 奖励塑形 (RLCR、CAR) 把 Brier 惩罚塞进 PPO 的奖励函数，等于让优化器在"答对"和"答得别太自信"之间权衡，必然牺牲准确率 (能力税)；而 CaOPD 通过目标替换，把反向 KL 的 loss 数学结构完整保留——推理段 $I_a$ 的 KL 与标准 OPD 一字不差，依然在向教师的特权示范对齐 (能力克隆)；只有置信度段 $I_c$ 的 KL 把教师的目标换成 $\hat{\mu}(x)$，把监督源从"不可得的信息"切换到"学生可观测的样本均值"。这条思路的精妙之处在于它把信息不对称问题直接斩断在数据源头：既然部署时学生永远拿不到 $z$，那就不应该被训练去预测 $z$-条件下的成功率。

方法步骤详情

CaOPD 算法 (Algorithm 1) 分三步。(1) 学生自评估：对每个输入 x，从学生策略采样 K 条轨迹，用验证器 R 打分后计算经验成功率 mu_hat(x)=K 次内 R 的平均；与 SDPO 联用时这些 rollout 本就是训练流程自带的，几乎零额外开销。(2) 目标替换：再采样一条轨迹 y=(a,c) 作为蒸馏对象，将置信度段 c 整体覆盖为 mu_hat(x) 得 y_tilde；同时把教师上下文 z 中原本约 1.0 的极端置信度替换为 mu_hat(x) 得 z_tilde。(3) 蒸馏：在 y_tilde 的推理位与置信度位上分别计算学生与教师条件的逐 token 反向 KL，加和得 L_CaOPD(theta)，用 AdamW 更新。Test-time 仍为单次前向推理，所有数学结构与标准 OPD 完全一致。

技术新颖性

技术新颖性体现在三层。理论层：命题 1 用 I(R;Z|X)>0 证明教师条件成功率对 X 不可识别，最优 X-可测预测器恰为学生部署成功率，残差严格为正；命题 2 证明特权条件必然导致熵塌缩；命题 3 用 helpful 分布形式化条件证明目标本身具有系统性乐观偏差。算法层：首次把"学生 grounded 监督"作为置信度对齐锚点，避免 RL 奖励塑形的能力税，并把 test-time O(K) 多采样成本摊销进训练。系统层：在 SDPO、SDFT 两个主流 OPD 范式上同源兼容，覆盖 Science Q&A 与 Tool Use，并在 0.6B 到 32B 的 Qwen3 系列上验证"Scaling Law of Miscalibration"既真实又可破。

实验结果

五大发现：(1) OPD 系统性放大过自信：Qwen3-8B Science Q&A OCG 从 Base +58.7% 扩大到 SDPO +12.9%；Tool Use 上 SDPO 平均置信度达 0.996。(2) CaOPD 不损准确率却显著改善校准：Qwen3-8B Science Q&A 的 ECE 从 0.486 降到 0.266，Brier 从 0.477 降到 0.281，SPR 从 0.387 跃升到 0.599；Tool Use 上 SPR 从 0.085 恢复到 0.555。(3) 对比 RL 路线 Pareto 占优：CaOPD 准确率与 SDPO 持平 (80.3% vs 80.6%)，ECE 0.141 全面优于 RLCR、CAR、GRPO。(4) 泛化与抗遗忘：OOD ECE 从 0.599 降到 0.358；持续训练 CT ECE 0.126、SPR 0.662。(5) Scaling Law 被打破：Qwen3 0.6B-32B 全家族中 SDFT 平均置信度始终贴 1.0，CaOPD 把 Pareto 前沿推向右上角。

**Table 1**: Mean confidence and OCG metrics across models, domains and methods

**Table 2**: Main results comparing CaOPD against SDFT

**Table 3**: Comparison of CaOPD against RL-based baselines

**Figure 3**: Generalization of Calibrated Confidence

**Figure 4**: Decoupling Capability from Calibration across Model Scales

查看结构化数据

任务	指标	本文	基线	提升
Science Q&A (Qwen3-8B)	ECE / Brier Score / SPR	CaOPD: ECE 0.266, BS 0.281, SPR 0.599	SDFT: ECE 0.486, BS 0.477, SPR 0.387	ECE 绝对降 0.22、BS 绝对降 0.20、SPR 绝对升 0.21
Tool Use (Qwen3-8B)	Acc. / ECE / SPR	CaOPD: Acc. 70.6%, ECE 0.228, SPR 0.555	SDFT: Acc. 67.6%, ECE 0.321, SPR 0.085	Acc. 升 3.0%，ECE 降 0.09，SPR 从近乎零提升到 0.555
Science Q&A (Olmo-3-7B-Instruct)	ECE / Brier Score / SPR	CaOPD: ECE 0.176, BS 0.260, SPR 0.568	SDFT: ECE 0.429, BS 0.423, SPR 0.397	ECE 绝对降 0.25，SPR 绝对升 0.17
Science Q&A vs RL Baselines (Qwen3-8B)	Acc. / ECE / BS	CaOPD: Acc. 80.3%, ECE 0.141, BS 0.134	SDPO: Acc. 80.6%, ECE 0.157, BS 0.177；RLCR: Acc. 65.8%, ECE 0.143	准确率与 SDPO 持平 (无能力税)，校准全面优于 SDPO 与 RLCR/CAR/GRPO
OOD: Tool Use → Chemistry (Qwen3-8B, SDFT backbone)	OOD ECE	CaOPD: OOD ECE 0.358	SDFT: OOD ECE 0.599	OOD ECE 相对降低 40%
Continual Training: Tool Use → Chemistry (Qwen3-8B, SDFT backbone)	CT ECE / CT SPR	CaOPD: CT ECE 0.126, CT SPR 0.662	SDFT: CT ECE 0.513, CT SPR 0.230	CT ECE 绝对降 0.387，CT SPR 绝对升 0.432

局限与改进

作者在 Limitations 与 Future Work 中坦率承认三点。其一，CaOPD 继承了所有 OPD 的前提假设：基础模型必须具备足够的 in-context 学习能力才能从特权上下文 $z$ 中获益，0.6B 量级虽仍有校准改进但能力上限受限。其二，词面化置信度要求模型推理时严格按指定格式输出 "Confidence: X"，作者提到测试时偶尔会出现格式解析失败，这与所有 verbalized uncertainty 方法共有的脆弱性一致，在他们评测的 API 模型中同样观察到这一现象。其三，训练时每个 prompt 需要 $K$ 次 rollout，论文在 $K=8$ 处验证为性价比甜点 (Appendix D.3)，但仍是不可忽视的训练算力开销。此外，$\hat{\mu}(x)$ 的精度依赖任务验证器 $R$ 的可靠性，对开放式任务 (如开放域写作) 需回退到 Teacher-Anchored Self-Consistency；最后，校准粒度仍是 utterance 级而非 step 级。

独立分析的弱点

从独立审稿视角补充五个弱点。第一，"能力税"声明主要在 8B 量级对比得出，但表 3 中 SDPO 准确率 80.6% 仍比 CaOPD 80.3% 高 0.3 个百分点，作者未做统计显著性检验，建议引入多次种子运行的 Bootstrap 置信区间。第二，OOD 实验只在 Tool Use → Chemistry 一个方向上验证，作者声称"CaOPD 学习到可泛化元能力"缺乏反向迁移与多对实验支撑，建议补充 Science Q&A → Tool Use 等异源 OOD。第三，$\hat{\mu}(x)$ 完全依赖任务验证器，对开放式任务的 fallback (Teacher-Anchored Self-Consistency) 仅在附录提及且未做主线实验。第四，附录对 entropy collapse 与 optimism bias 的命题证明只展示了非形式化论证，缺乏完整数学推导。第五，论文未对模型内部表示做 probing 分析，无法在表示层面解释能力与置信度"为何能解耦"。

未来方向

作者明确指出的方向有三：把 utterance 级置信度扩展到 step 级，与 Process Reward Models 结合做多步 agentic reasoning 的早停与精细错误检测；研究自适应 rollout 策略 (rollouts 返回一致分数时提前停止)；把 CaOPD-calibrated 小模型作为 cascade inference 的轻量 triage router，对不确定查询降级到大模型。除此之外可延伸的方向：(1) 把目标替换范式迁移到 DPO/RLHF 等偏好优化框架；(2) 在 RLHF reward model 训练中也引入 $\hat{\mu}(x)$，让奖励模型本身的置信度对齐到人类标注者分布；(3) 把 verbalized confidence 与 semantic entropy-based 不确定性做 hybrid 估计，缓解单一信号的脆弱性；(4) 与 conformal prediction 结合输出有覆盖率保证的预测集，而非单点置信度。

复现评估

论文在 Salesforce AI Research 的 GitHub 仓库 (github.com/SalesforceAIResearch/CaOPD) 开源了完整代码与实验配置。主要依赖 Qwen3 系列 (0.6B-32B) 与 Olmo-3-7B-Instruct，可在 HuggingFace 上直接获取。数据集采用 Science Q&A (Feng et al., 2024) 与 ToolAlpaca (Tang et al., 2023)，均为公开学术 benchmark。训练时的关键超参 (K=8 的 rollout budget、reverse KL 系数、学习率等) 在附录有详细表格。复现难度估计为中等：单卡 8B 模型的 SDPO+CaOPD 训练需要约 8 卡 A100/H100 量级若干小时 (K=8)，但目标替换逻辑只在损失计算层插一行代码，实现成本很低。主要的复现门槛在于：(a) 任务验证器 $R$ 的实现细节需要按领域定制；(b) SDPO/SDFT 本身的多 rollout 基础设施尚无统一开源实现，需要在仓库基础上自行整合。

确定性的幻觉：在策略蒸馏中解耦能力与置信度校准 The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation