EpiCaR：知道你不知道什么对大语言模型的推理至关重要 EpiCaR: Knowing What You Don't Know Matters for Better Reasoning in LLMs
通过联合优化推理准确率与置信度校准，解决迭代自训练导致的模型过度自信问题
前置知识
Chain-of-Thought (CoT) 提示
Chain-of-Thought 提示是一种通过引导大语言模型生成中间推理步骤来解决复杂问题的技术。与直接要求模型给出答案不同，CoT 要求模型将问题分解为一系列逻辑步骤，逐步推导最终答案。例如，在解决数学应用题时，模型会先列出已知条件，再逐步计算，最后给出结论。这种方法由 Wei et al. (2022) 提出，显著提升了 LLM 在数学、逻辑等需要多步推理的任务上的表现。CoT 的核心价值在于将隐式推理过程显式化，使得模型的错误可以被追踪和修正。
本文的核心研究对象就是基于 CoT 的推理路径生成与优化，理解 CoT 是理解本文方法论的基础。
Self-Taught Reasoner (STaR)
STaR 是 Zelikman et al. (2022) 提出的一种迭代自训练框架。其核心循环为：模型先通过 few-shot 提示生成 Chain-of-Thought 推理路径和最终答案；然后使用 ground-truth 验证器筛选出到达正确答案的路径；仅用这些正确路径对模型进行微调。对于模型无法正确回答的问题，STaR 还会提供正确答案作为提示，让模型反向推导出合理的推理过程（rationalization）。这个过程迭代 T=3 轮，每轮都用上一轮的模型作为生成器，逐步提升推理能力。
STaR 是本文的主要基线方法，EPICAR 的核心创新正是针对 STaR 只使用正确路径进行训练这一缺陷而提出的。
模型校准 (Calibration)
模型校准是指模型的预测置信度与实际准确率之间的一致程度。一个完美校准的模型在其预测置信度为 80% 的样本中，确实应该有大约 80% 是正确的。本文采用三个核心指标衡量校准质量：Expected Calibration Error (ECE)，将预测按置信度分 M=10 个等宽桶，计算各桶内平均置信度与平均准确率的加权差异；Brier Score，即预测置信度与实际结果之间的均方误差 $ ext{BS} = ?rac{1}{N}\sum_i (f_i - o_i)^2$，它是一个 proper scoring rule；以及 AUROC，衡量模型区分正确与错误推理路径的判别能力。
本文的核心贡献就是解决迭代训练中模型校准退化的问题，ECE、Brier Score 和 AUROC 是衡量方法有效性的关键指标。
模型坍缩 (Model Collapse)
模型坍缩是 Shumailov et al. (2023) 提出的概念，指当模型在自身生成的数据上反复训练时，输出分布逐渐退化为低方差的点估计。在推理训练语境下，若模型只在正确推理路径上训练（正反馈循环），它会强化自身已有的偏置信念，丢失分布尾部中对不确定性估计至关重要的信息。具体表现为模型变得过度自信，在逻辑错误的推理上也给出极高的置信度分数。这是一种认知信号截断：模型只学习了 $P(r|x, y=1)$ 但从未接触决策边界。
模型坍缩是本文要解决的核心问题的理论根源，EPICAR 的设计正是为了打破正反馈循环导致的坍缩。
置信度口语化估计 (Verbalized Confidence)
与传统的基于 token 概率的置信度不同，口语化置信度是通过提示模型自我评估其答案正确性来获得的。具体做法是向模型提出二元查询（如答案是否正确？是/否），然后取肯定 token 的归一化概率作为置信度分数 $c = \frac{P(\text{yes})}{P(\text{yes}) + P(\text{no})}$。Kapoor et al. (2024) 和 Kuhn et al. (2023) 的研究表明，这种语义层面的置信度比序列困惑度更能捕获推理任务中的高层确定性信息。本文在此基础上通过微调优化了这些口语化置信度的质量。
EPICAR 的自评估机制直接依赖于口语化置信度，模型需要学会准确地表达是或否来反映其对推理路径正确性的判断。
研究动机
当前提升大语言模型推理能力的主流范式是迭代自训练（如 STaR、ReST），即让模型反复生成推理路径，仅保留到达正确答案的路径进行微调。这种方法虽然能有效提升原始准确率，但它只提供正向反馈（只训练正确路径），忽略了一个严重的副作用——校准代价（calibration cost）。具体而言，当模型只在正确路径上训练时，它从未接触到正确推理与错误推理之间的决策边界，导致认知信号截断（epistemic signal truncation）。模型只学习了 $P(r|x, y=1)$ 的分布，却从未见过 $P(r|x, y=0)$ 的模式。这最终导致一种形式的模型坍缩：模型的预测行为收敛为低方差的点估计，在逻辑错误的推理上也给出接近 100% 的置信度。例如，一个模型可能在最终算术步骤上犯错，却对其错误结论赋予极高的确定性。Hu et al. (2025) 将这一现象正式定义为校准代价，指出它与能力层面的对齐税不同，是一种普遍的、系统性的副作用。在高风险应用场景中，知道模型何时不应该被信任与获得正确答案同样重要。
本文的目标是本文提出一个全新的训练框架——认知校准推理（Epistemically-Calibrated Reasoning, EPICAR），其目标是在迭代自训练过程中联合优化推理性能与校准质量，使模型不仅学会如何推理（how to reason），还学会何时其推理应该被信任（when to trust）。具体而言，EPICAR 希望在不引入辅助模型或额外推理计算开销的前提下，实现推理准确率与校准指标（如 ECE、Brier Score、AUROC）的 Pareto 优越性，即同时提升两者而非在两者之间做权衡。此外，作者希望通过内化的校准信号为推理时缩放（inference-time scaling）提供更稳健的基础，使得加权集成方法 CISC 能以更少的采样路径达到更高的性能，从而实现推理计算的有效缩减。最终目标是实现 3 倍推理计算缩减，匹配高采样数下的性能。
与已有工作不同的是，现有工作对这一问题的处理方式存在明显不足。首先，Hu et al. (2025) 提出了校准代价的概念并建议使用后处理的模型合并（Model Merging）来缓解，但这种方法只是在权重空间做线性插值 $ heta_{\text{merged}} = (1-\lambda)\theta_{\text{PT}} + \lambda\theta_{\text{IT}}$，并未从根本上解决训练过程中的校准退化问题。其次，V-STaR 虽然利用了错误路径来训练验证器，但它需要一个独立的验证器模型，增加了系统复杂度和推理开销。第三，DeepSeek-R1 等推理模型通过在推理时进行慢思考（Slow Thinking）来改善置信度表达，但这种方法的可靠性严格绑定在推理时计算开销上，并未解决基础策略的校准问题。本文的独特切入角度是：将推理训练重新定义为一个认知学习问题（epistemic learning problem），将自评估信号直接内化到生成器的训练目标中，而非依赖外部验证器或后处理干预。作者发现，通过同时在正确路径（标记为是）和错误路径（标记为否）上训练自评估任务，可以迫使模型利用潜在的逻辑失败特征，从而打破正反馈循环导致的模型坍缩。
核心方法
EPICAR 的核心直觉可以类比为：一个优秀的学生不仅要会做题，还要能判断自己是否做对了。传统的 STaR 只给学生看正确答案（正反馈），学生越学越自信，但无法识别自己的错误。EPICAR 则同时让学生接触正确和错误的解题过程，并要求学生判断每条推理路径的对错。技术路线上，EPICAR 在迭代监督微调（iterative SFT）框架中实现了一个双目标训练：推理强化（reinforcement）和自评估（self-evaluation）。在每轮迭代中，模型为每个问题生成 K 条候选推理路径，正确路径既用于推理任务训练（增强解题能力），也标记为是用于自评估任务训练；错误路径则标记为否用于自评估任务训练。两类样本混合后使用标准因果语言建模损失进行联合微调。作者还引入了一种自然混合策略：在早期迭代中模型准确率低，数据自然以否样本为主，迫使模型优先学习不确定性表示；随着推理能力提升，正样本比例自然增加，构成了一种内在课程学习。
EPICAR 与已有方法最本质的区别在于：它将错误推理路径从需要丢弃的废物转变为训练自评估能力的宝贵资源。在 STaR 中，错误路径被直接丢弃；在 V-STaR 中，错误路径被用来训练外部验证器。而 EPICAR 将错误路径作为否标签直接整合到生成器自身的训练目标中，迫使模型学习区分正确和错误推理路径的内在特征。这一设计的理论基础来自 Zhang et al. (2025) 的发现：推理模型在其隐藏状态中编码了正确性信号，但标准非推理模型由于从未接触到包含正确和错误步骤的推理模式，这种潜在能力严重退化。EPICAR 通过显式训练否标签，提供了必要的暴露来激发和强化这些内部信号。这一设计的另一个关键优势是实现了生成与验证的统一：模型在生成答案的同时内化了评估能力，消除了外部验证器的开销，这正是作者报告 3 倍推理计算缩减的根本原因。
方法步骤详情
EPICAR 的完整流程在 T=3 轮迭代中执行，每轮包含三个阶段。第一步是生成阶段（Generation Phase）：对于训练集 D 中的每个问题 x，使用当前模型 $M_{t-1}$ 采样 K 条候选推理路径 $\hat{y}_1, \ldots, \hat{y}_K$。对于每条路径，使用 ground-truth 验证器判断其正确性：若正确，则将 $(x, \hat{y}_k)$ 加入推理数据集 $D_{\text{reason}}$ 并将 $((x, \hat{y}_k), \text{yes})$ 加入评估数据集 $D_{\text{eval}}$；若错误，则仅将 $((x, \hat{y}_k), \text{no})$ 加入 $D_{\text{eval}}$。在此阶段使用自适应注入解码（AID）确保格式合规性。第二步是混合阶段（Mixing Phase）：将 $D_{\text{reason}}$ 和 $D_{\text{eval}}$ 合并并随机打乱，形成 $D_{\text{total}}$。第三步是双目标训练阶段（Dual-Objective Training）：使用标准因果语言建模损失 $\mathcal{L}_{\text{EpiCaR}} = -\sum_t \log P_\theta(w_t | w_{<t})$ 对 $M_{t-1}$ 进行微调得到 $M_t$。模型将推理 token 和自评估 token（yes/no）视为单一连续序列进行训练。性能和校准指标通常在第三轮迭代后稳定。
技术新颖性
EPICAR 的技术新颖性体现在三个层面。首先，在训练范式上，它首次将推理训练重新定义为认知学习问题，将自评估能力作为与推理能力同等重要的训练目标，而非后处理步骤或外部组件。这与 STaR（仅用正确路径）、V-STaR（需要外部验证器）和 MASA（聚焦元数据对齐）形成了本质区别。其次，在训练信号设计上，EPICAR 创造性地利用了错误推理路径作为否标签，实现了正负样本的对称利用，不仅提高了数据效率，更重要的是为模型提供了学习认知不确定性的必要信号。第三，在解码策略上，AID 是一种有状态的注入机制，不同于静态约束，它根据模型输出动态转换状态（触发、格式执行、终止防护）。消融实验表明，移除 AID 会导致 Llama-3-8B 准确率从 14.47% 暴跌至 2.56%，凸显了其关键作用。此外，EPICAR 采用自然混合策略作为内在课程学习，无需手动调整混合权重即可稳定学习轨迹。
实验结果
EPICAR 在 Llama-3 和 Qwen-3 两个模型家族的多个规模上展示了全面的实验结果。在缓解校准代价方面，标准迭代 SFT（STaR）持续带来校准退化：例如在 Llama-3-1B 上，STaR 虽然略微提升准确率，但 AUROC 降至 0.491；而 EPICAR 恢复了判别能力（AUROC 0.573）。对于更大的模型如 Llama-3-3B 和 8B，EPICAR 实现了严格的 Pareto 支配：Llama-3-3B 上准确率从基线 7.56% 提升至 8.58%，同时 ECE 从 0.376 大幅降至 0.108，Brier Score 从 0.216 降至 0.097；Llama-3-8B 上准确率从 13.30% 提升至 14.42%，ECE 从 0.496 降至 0.415。在推理时缩放方面，EPICAR 与 CISC 的协同效应是关键发现：在 Qwen-3-8B 上，EPICAR+CISC 在 K=10 时达到 59.80%，超越 STaR 在 K=30 时的 58.00%，实现 3 倍计算缩减。在域外泛化方面，GSM8K 零样本评估中 Llama-3-3B 准确率从 STaR 的 17.13% 提升至 21.46%。在 MBPP 代码生成上，Llama-3-8B 的 Brier Score 从 0.387 大幅降至 0.246。一个关键的规模依赖性发现是存在临界质量阈值：在极低准确率的 Llama-3-1B 上，EPICAR 优势减弱，说明需要足够的基础推理能力才能有效内化校准。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH 数学推理（Llama-3-3B） | Accuracy | 8.58% | 7.38% (STaR) | +1.20% 绝对提升 |
| MATH 数学推理（Llama-3-3B） | ECE | 0.108 | 0.382 (STaR) | 降低 71.7% |
| MATH 数学推理（Llama-3-8B） | Accuracy | 14.42% | 13.46% (STaR) | +0.96% 绝对提升 |
| MATH 数学推理（Llama-3-8B） | ECE | 0.415 | 0.494 (STaR) | 降低 16.0% |
| GSM8K 零样本泛化（Llama-3-3B） | Accuracy | 21.46% | 17.13% (STaR) | +4.33% 绝对提升 |
| GSM8K 零样本泛化（Qwen-3-8B） | Accuracy | 89.46% | 87.95% (STaR) | +1.51% 绝对提升 |
| MBPP 代码生成（Llama-3-8B） | Brier Score | 0.246 | 0.387 (STaR) | 降低 36.4% |
| MATH-500 推理时缩放（Qwen-3-8B, K=10） | Accuracy (CISC) | 59.80% | 58.00% (STaR, K=30) | K=10 超越 STaR K=30，3倍计算缩减 |
局限与改进
尽管 EPICAR 取得了显著的性能提升和校准改善，该工作仍存在若干局限性。首先在领域范围上，作者仅在具有客观、自动化的 ground-truth 验证的领域（数学推理、代码生成）进行了评估，对于更主观或模糊的领域（如法律推理、创意写作）是否有效尚未可知。其次在模型规模上，实验仅在最高 8B 参数的模型上进行，作者识别出一个临界质量阈值问题：在极低准确率的模型（如 Llama-3-1B，基线准确率约 1.80%）上，EPICAR 的优势会减弱，因为正确推理路径的密度不足以学习细微的判别特征。第三，绝对校准与判别能力之间存在泛化差距：尽管 EPICAR 在 OOD 基准上保持了优越的 AUROC，但其口语化概率值（由 Raw ECE 衡量）在域外场景中表现出更大的波动性，说明从语义 token 到经验概率的精确映射对域偏移敏感。此外，口语化置信度范式仍然受到已知的提示敏感性问题的影响，虽然 EPICAR 显著改善了校准，但进一步研究需确保其在更广泛的语言上下文中的鲁棒性。
独立分析的弱点
从独立分析的角度来看，EPICAR 存在几个值得关注的弱点。首先，在小模型上的效果有限甚至出现退化：在 Llama-3-1B 上，EPICAR 虽然提升了 AUROC（0.573 vs 0.491），但准确率反而下降（3.30% vs 3.46%），说明当模型推理能力不足时，同时学习推理和自评估两个目标可能产生干扰。改进方向可以考虑渐进式训练策略：先用多轮 STaR 提升基础推理能力，达到临界质量后再引入自评估目标。其次，EPICAR 的训练数据使用效率存在浪费：每个问题生成 K 条路径，但只有正确路径用于推理强化，错误路径仅用于自评估标签。在模型准确率较低的早期迭代中，大量路径被浪费为负样本。改进方向可以结合 V-STaR 的思路，利用错误路径训练轻量级内部验证信号。第三，绝对校准与判别能力的脱节是根本性问题：模型学会了区分对和错（高 AUROC），但口语化概率值不精确对应经验准确率（高 Raw ECE）。这可能源于自评估任务只使用二元标签，缺乏对置信度数值的精细监督。第四，AID 的有状态设计增加了推理时复杂度，虽然对防止标签噪声至关重要，但在实际部署中可能带来工程挑战。
未来方向
本文的未来研究方向可以从以下几个维度展开。作者明确提出将 EPICAR 的内化校准目标整合到强化学习（RL）框架中是一个有前景的方向：自评估信号可以作为内在奖励机制或稠密反馈信号，用于 PPO、DPO 或 GRPO 等 RL 算法。此外，降低临界质量阈值也是重要方向：研究专门的数据增强技术或预训练策略，使更小的模型也能从内化校准中受益。另一个值得探索的方向是扩展到主观推理领域，如法律分析、伦理判断，这需要重新设计自评估信号的定义方式，从二元对错判断扩展到多维度的质量评估。将 EPICAR 的双目标训练范式与推理时缩放策略深度整合也是重要方向，研究自评估信号如何指导更高效的采样和剪枝策略，可能进一步放大 3 倍计算缩减的潜力。
复现评估
从复现评估来看，EPICAR 的复现条件较为友好。作者使用了标准公开数据集（MATH、GSM8K、MBPP），均为开源许可。训练采用 LoRA（r=16, alpha=32）参数高效微调，使用 4 张 NVIDIA H100 GPU，相比全参数微调大幅降低了算力需求。所有超参数在附录中完整公开：学习率 $1 \times 10^{-5}$、batch size 32、最大序列长度 2048、AdamW 优化器、余弦学习率调度。推理使用 vLLM 库实现高吞吐量推理，采用 bfloat16 精度。整个框架基于 Hugging Face TRL 库构建。训练流程为 3 轮迭代（T=3），每轮对 12,500 个 MATH 训练问题生成 K 条候选路径。对于校准评估，作者采用了严格的 split-validation 协议：从测试集中随机抽取 500 个实例作为校准验证集，找到最优温度后应用于剩余测试实例，避免了校准指标的过度乐观估计。总体而言，具备中等算力（4xH100）和标准 ML 工程能力的研究者应该能够在合理时间内复现本文结果。
论文图表
