过自信错误需要更强的纠正：面向强化学习的非对称置信度惩罚 Overconfident Errors Need Stronger Correction: Asymmetric Confidence Penalties for Reinforcement Learning
ACE通过非对称惩罚过自信错误，在不损失Pass@1的前提下显著扩展推理边界
前置知识
RLVR（Reinforcement Learning with Verifiable Rewards）
RLVR是一种利用可验证奖励信号来训练大语言模型推理能力的范式。与传统RLHF依赖人类偏好标注不同，RLVR使用确定性验证器（如数学题的规则验证器）产生二值奖励信号（正确/错误），通过PPO、GRPO等算法迭代优化模型的思维链生成能力。这种方法已成为增强LLM推理能力的主要方法，DeepSeek-R1等模型的成功都依赖于此。
本文的核心问题——过自信错误的积累——正是在RLVR训练过程中产生的，理解RLVR的工作机制是理解本文动机的前提。
GRPO（Group Relative Policy Optimization）
GRPO是一种相对策略优化算法，其核心思想是在同一提示下生成一组rollout（通常G=16或32个），然后通过组内归一化计算优势值：$\hat{A}_i = (r_i - \hat{\mu}_x) / (\hat{\sigma}_x + \epsilon)$，其中$\hat{\mu}_x$和$\hat{\sigma}_x$分别是组内奖励的均值和标准差。优势值为正的rollout被强化，为负的被抑制。这种方法避免了训练额外的价值网络，但关键缺陷是对所有错误rollout施加相同的惩罚力度。
ACE方法正是在GRPO的优势计算基础上进行修改，将统一的负优势值替换为依赖置信度的非对称优势值，因此理解GRPO的原始机制是理解ACE创新点的基础。
Pass@k 指标
Pass@k衡量从k个独立采样中至少获得一个正确答案的概率，使用Chen et al. (2021)的无偏估计器计算：$\text{Pass@k} = \mathbb{E}_{x \sim \mathcal{D}}\left[1 - \frac{\binom{n-c}{k}}{\binom{n}{k}}\right]$，其中n是总采样数，c是正确数。Pass@1反映模型的利用能力（exploitation），而大k值（如Pass@32）反映探索能力（exploration）和推理边界的广度。RLVR的一个核心矛盾是Pass@1提升的同时Pass@k（大k）往往下降，表明推理边界在缩窄。
本文的核心贡献就是证明ACE能在不损失Pass@1的前提下显著提升大k值的Pass@k，因此理解Pass@k的含义及其与多样性之间的关系对理解本文的价值至关重要。
DAPO（Dynamic sampling Advantage-weighted Policy Optimization）
DAPO是针对RLVR提出的一种改进算法，包含三个关键创新：Clip-Higher策略（将重要性采样比率的上下限解耦，给予低概率探索token更多增长空间）、动态采样（根据通过率动态调整每个提示的rollout数量）、以及token级别的损失计算。这些机制共同目标是缓解RLVR训练中的熵崩溃问题，保持生成多样性。DAPO在MATH-500等基准上取得了优异性能。
ACE与DAPO的组合是本文的重要实验维度，证明了ACE的rollout级别非对称惩罚与DAPO的token级别多样性保持策略具有互补性，两者结合产生更强的效果。
置信度偏移（Confidence Shift）
置信度偏移$c_i = \log(\pi_\theta(y_i|x) / \pi_{\text{ref}}(y_i|x))$衡量训练后策略相对于参考模型在某个rollout上的概率变化。$c_i > 0$表示策略对该错误rollout变得更有信心（过自信），$c_i \approx 0$表示概率基本不变（探索性错误），$c_i < 0$表示策略已经降低了该错误的概率（自我纠正）。这个指标可以分解为token级对数比之和：$c_i = \sum_{t=1}^{T_i} \log \frac{\pi_\theta(y_i^{(t)} | x, y_i^{(<t)})}{\pi_{\text{ref}}(y_i^{(t)} | x, y_i^{(<t)})}$，且在标准RLVR训练中已被隐式计算（用于KL惩罚和重要性比率），因此ACE引入的额外计算开销几乎为零。
置信度偏移是ACE方法的核心创新——它提供了一个rollout级别的诊断维度，与提示级别的难度正交，使得能够区分不同类型错误并实施差异化惩罚。
KL散度正则化
在RLHF/RLVR中，全局KL惩罚$\beta D_{\text{KL}}(\pi_\theta \| \pi_{\text{ref}})$是防止奖励黑客和模式崩溃的标准技术。它对所有偏离参考模型的输出施加对称惩罚，无论是正确还是错误的输出。虽然这种惩罚有助于稳定训练，但它无法区分有益的置信度增长（在正确路径上）和有害的过自信（在错误路径上），这是其结构性局限。ACE通过引入非对称的、选择性的KL类惩罚来解决这一问题。
理解标准KL正则化的对称性局限是理解ACE动机的关键——ACE本质上是对全局KL惩罚的一种精细化、非对称化改进。
研究动机
RLVR（Reinforcement Learning with Verifiable Rewards）已成为增强大语言模型推理能力的主要范式，但存在一个被广泛记录的病理现象：虽然RLVR模型在Pass@1上表现出色，但它们在大k值的Pass@k上持续低于自己的基座模型。例如，Yue et al. (2025)的分析表明，RLVR训练会导致推理边界的缩窄而非扩展，这一现象被称为“多样性崩溃”——训练过程将概率质量集中在少数成功的推理路径上，压制了更广泛的解空间。根本原因在于现有方法对错误的统一惩罚：标准RLVR算法（如GRPO和DAPO）对组内所有错误rollout施加相同的负优势值$\hat{A}_i^- = (r_i - \hat{\mu}_x)/(\hat{\sigma}_x + \epsilon)$，无法区分探索性错误（良性随机偏差）、自我纠正错误（模型已在放弃的路径）和过自信错误（被虚假强化的路径）。即使是全局KL惩罚$\beta D_{\text{KL}}(\pi_\theta \| \pi_{\text{ref}})$也是对称的，它按比例惩罚所有偏离参考模型的输出，同时压制了正确路径上有益的置信度增长和错误路径上有害的过自信。
本文的目标是本文的具体目标是打破RLVR中“统一惩罚所有错误”的困境，引入rollout级别的非对称纠正机制。具体而言，作者希望：（1）提出一种新的分析维度——错误置信度偏移$c_i = \log(\pi_\theta(y_i|x)/\pi_{\text{ref}}(y_i|x))$——来区分不同类型错误，这一维度与提示级别难度正交；（2）设计一种能动态放大过自信错误惩罚、同时保持探索性错误惩罚接近基础水平的方法；（3）确保该方法不损害Pass@1性能，同时显著提升大k值的Pass@k，从而扩展推理边界；（4）方法应与现有RLVR算法（如GRPO和DAPO）无缝组合，无需修改训练流程。
与已有工作不同的是，本文的独特切入角度在于关注错误的微观质量而非宏观选择。现有方法主要在两个层面工作：难度课程学习在提示级别选择训练数据，优势塑造方法在组级别平衡正确与错误样本。这些方法都忽略了错误rollout内部的关键区别。ACE首次在rollout级别引入置信度偏移作为诊断工具，识别出三种错误机制：过自信错误（$c_i > 0$，策略强化了错误路径）、探索性错误（$c_i \approx 0$，概率基本不变）、自我纠正错误（$c_i < 0$，策略已在降低概率）。这种微观层面的区分使得能够实施精细化的非对称惩罚，这是现有方法无法实现的。更重要的是，作者证明了ACE的梯度可以分解为选择性正则器和残差项的组合（Theorem 1），为方法提供了坚实的理论基础，而非仅仅是启发式设计。
核心方法
ACE（Asymmetric Confidence-aware Error Penalty）的核心直觉是：不是所有错误都应受到相同惩罚。想象一个学生在做数学题：有些错误是因为大胆探索新方法（值得鼓励），有些错误是因为固守错误思路（需要强力纠正）。标准RLVR像是对所有错误一视同仁地扣分，而ACE则识别出那些“过度自信的错误”——学生明明错了但还很确信的答案——并对这些错误施加更重的惩罚。技术路线上，ACE在GRPO的负优势计算中引入一个依赖置信度偏移$c_i$的调制因子$(1 + \alpha \cdot \text{Softplus}(c_i))$，使得过自信错误（$c_i \gg 0$）的惩罚强度近似线性增长，而自我纠正错误（$c_i \ll 0$）的惩罚接近基础GRPO水平。这个修改极其简洁——只需在现有GRPO/DAPO计算流程中添加一个Softplus运算，且$c_i$本身已在训练中被隐式计算（用于KL惩罚），因此几乎零额外计算开销。
ACE的核心创新是将统一的负优势值$\hat{A}_i^-$替换为依赖置信度的非对称优势值$A_{\text{ACE},i}^- = \hat{A}_i^- \cdot (1 + \alpha \cdot \text{Softplus}(c_i))$。与现有方法的本质区别体现在三个维度：第一，非对称性——ACE只对负优势（错误rollout）进行调制，正确rollout保持标准GRPO优势不变；第二，选择性——Softplus函数使得$c_i \gg 0$时惩罚近似线性增长（$\text{Softplus}(c_i) \approx c_i$），而$c_i \ll 0$时惩罚收敛到基础水平（$\text{Softplus}(c_i) \approx e^{c_i} \to 0$），自然地聚焦于过自信错误；第三，自适应性——由于$c_i$随训练动态变化，ACE的惩罚强度会自动调整，无需手动调度。理论上，ACE的梯度可分解为选择性正则器$R_{\text{sel}}(\theta)$（针对过自信错误的加权反向KL散度）加上一个残差项$E(\theta)$（Theorem 1），表明ACE实现了一种“温和化”的选择性正则化——比完整正则器更温和，但比标准GRPO更有针对性。
方法步骤详情
ACE的完整算法流程如下：（1）从数据集$\mathcal{D}$中采样一批提示$\{x_1, ..., x_B\}$；（2）对每个提示$x$，使用当前策略$\pi_\theta$生成$G$个rollout $\{y_1, ..., y_G\}$；（3）通过验证器计算每个rollout的奖励$r_i \in \{0, 1\}$；（4）计算标准GRPO组内优势$\hat{A}_i = (r_i - \hat{\mu}_x)/(\hat{\sigma}_x + \epsilon)$；（5）对每个错误rollout（$r_i = 0$），计算置信度偏移$c_i = \sum_{t=1}^{T_i} [\log \pi_\theta(y_i^{(t)}|\cdot) - \log \pi_{\text{ref}}(y_i^{(t)}|\cdot)] / T_i$（按序列长度归一化）；（6）计算ACE优势$A_{\text{ACE},i}^- = \hat{A}_i^- \cdot (1 + \alpha \cdot \log(1 + \exp(c_i)))$；（7）使用裁剪代理目标计算损失：$\mathcal{L}_{\text{ACE}}(\theta) = -\mathbb{E}_{x \sim \mathcal{D}} \frac{1}{G} \sum_{i=1}^{G} [\mathbb{I}[r_i=1] \cdot \mathcal{L}_i^+ + \mathbb{I}[r_i=0] \cdot \mathcal{L}_i^-] + \beta D_{\text{KL}}(\pi_\theta \| \pi_{\text{ref}})$，其中$\mathcal{L}_i^- = \min(\rho_i A_{\text{ACE},i}^-, \text{clip}(\rho_i, 1-\epsilon_c, 1+\epsilon_c) A_{\text{ACE},i}^-)$；（8）通过梯度下降更新参数$\theta$。整个过程中，正确rollout的优势计算完全不变，只有错误rollout的优势被置信度调制。
技术新颖性
ACE的技术新颖性体现在多个层面。首先，它提出了一个全新的分析维度——错误置信度偏移$c_i$——这与传统的提示级别难度是正交的，首次使得能在rollout级别区分错误类型。其次，选择Softplus作为调制函数而非简单的ReLU具有重要技术意义：Softplus处处可微（避免ReLU在$c_i=0$处的不可微kink），严格单调（更自信的错误总是获得更大惩罚），且在$c_i=0$处提供非零调制（$\text{Softplus}(0) = \ln 2 \approx 0.69$），使得能对边界错误进行细粒度区分。第三，理论上ACE的梯度可精确分解为选择性正则器和残差项（Theorem 1），这不是一个启发式方法而是有坚实理论支撑的设计。第四，梯度质量分析（Theorem 2）表明ACE通过将“有害方差转化为可利用信号”来改善梯度信噪比——过自信错误的梯度更对齐优化方向，ACE的集中加权使得信号增长快于噪声。最后，ACE与现有方法的组合性（与GRPO和DAPO都兼容）证明了其作为一种通用技术的适用性。
实验结果
ACE在三个模型家族和两个基准上都展现出一致性改进，特别是大k值的Pass@k。在Qwen2.5-Math-7B上，ACE-GRPO相比GRPO在MATH-500的Pass@32从91.3%提升到94.3%（+3.0pp），ACE-DAPO进一步推到96.1%（+1.5pp over DAPO）；在AIME 2025上，ACE-GRPO的Pass@32从33.7%提升到36.4%（+2.7pp），ACE-DAPO达到38.6%（+1.5pp over DAPO）。在Qwen3-8B-Base上，MATH-500 Pass@32：ACE-GRPO从88.6%到91.1%（+2.5pp），ACE-DAPO到91.6%（+1.2pp）；AIME 2025 Pass@32：ACE-GRPO从29.8%到32.4%（+2.6pp），ACE-DAPO到34.4%（+1.3pp）。在Llama-3.1-8B-Instruct上（跨家族泛化测试），MATH-500 Pass@32：ACE-GRPO从79.3%到81.5%（+2.2pp），ACE-DAPO到82.1%（+1.7pp）。过自信错误动力学实验显示ACE-GRPO在整个训练过程中维持更低的过自信错误比例（OEF）和更低的平均过自信程度。熵动力学实验表明ACE-GRPO在前20步训练中保留了显著更多的token级熵，避免了标准GRPO的快速熵崩溃。消融实验证实Softplus优于ReLU（Pass@32 +1.2pp），验证了平滑性和非零边界调制的设计价值。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH-500（数学推理） | Pass@32 (%) | ACE-GRPO: 94.3%, ACE-DAPO: 96.1% | GRPO: 91.3%, DAPO: 94.6% | ACE-GRPO vs GRPO: +3.0pp, ACE-DAPO vs DAPO: +1.5pp |
| AIME 2025（竞赛数学） | Pass@32 (%) | ACE-GRPO: 36.4%, ACE-DAPO: 38.6% | GRPO: 33.7%, DAPO: 37.1% | ACE-GRPO vs GRPO: +2.7pp, ACE-DAPO vs DAPO: +1.5pp |
| MATH-500（Qwen3-8B-Base） | Pass@32 (%) | ACE-GRPO: 91.1%, ACE-DAPO: 91.6% | GRPO: 88.6%, DAPO: 90.4% | ACE-GRPO vs GRPO: +2.5pp, ACE-DAPO vs DAPO: +1.2pp |
| AIME 2025（Qwen3-8B-Base） | Pass@32 (%) | ACE-GRPO: 32.4%, ACE-DAPO: 34.4% | GRPO: 29.8%, DAPO: 33.1% | ACE-GRPO vs GRPO: +2.6pp, ACE-DAPO vs DAPO: +1.3pp |
| MATH-500（Llama-3.1-8B-Instruct） | Pass@32 (%) | ACE-GRPO: 81.5%, ACE-DAPO: 82.1% | GRPO: 79.3%, DAPO: 80.4% | ACE-GRPO vs GRPO: +2.2pp, ACE-DAPO vs DAPO: +1.7pp |
| AIME 2025（Llama-3.1-8B-Instruct） | Pass@32 (%) | ACE-GRPO: 8.2% | GRPO: 7.0% | ACE-GRPO vs GRPO: +1.2pp |
局限与改进
作者明确承认了三个局限性。第一，对参考模型质量的依赖：ACE使用$\pi_{\text{ref}}$定义过自信，如果参考模型校准不佳，置信度分数$c_i$可能无法可靠指示虚假模式，作者建议探索使用近期检查点的移动平均作为替代。第二，仅支持二值奖励：当前公式假设$r_i \in \{0, 1\}$，扩展到连续或部分奖励（如过程奖励模型）需要重新定义“过自信错误”的含义。第三，与长思维链的交互：超长输出（>10K token）可能展现不同的置信度偏移动态，序列长度归一化$\bar{c}_i = c_i/T_i$可能需要针对长链进行细化。此外，从独立分析角度，ACE的理论分析（Theorem 1和2）依赖于无限样本假设（$G \to \infty$），在实际有限样本设置中的近似质量未被充分探讨；ACE的收益在与DAPO组合时出现递减边际效应（如MATH-500 Pass@32：ACE-GRPO +3.0pp vs ACE-DAPO +1.5pp），表明两种方法在机制上有重叠；Llama模型在AIME 2025上的绝对性能极低（ACE-GRPO仅8.2%），ACE的提升幅度也较小（+1.2pp），在低准确率区域ACE的有效性可能受限。
独立分析的弱点
ACE存在几个值得深入分析的弱点。首先，置信度偏移$c_i$的计算依赖于参考模型$\pi_{\text{ref}}$的质量，但在论文中未探讨参考模型选择对性能的影响——使用不同checkpoint或不同规模的参考模型会产生怎样的变化？其次，ACE对所有错误rollout的惩罚始终不小于基础GRPO（因为$(1 + \alpha \cdot \text{Softplus}(c_i)) \geq 1$），这意味着即使是自我纠正错误也会受到略微增大的惩罚，可能无意中抑制了有益探索。第三，超参数$\alpha$的敏感性分析仅在附录中简要提及，默认值$\alpha = 1.0$的选择缺乏理论指导，不同任务和模型可能需要不同的$\alpha$值。第四，论文主要在数学推理任务上验证，对代码生成、常识推理等其他推理类型的泛化性未被考察。改进方向：（1）设计自适应$\alpha$调度策略，根据训练进度动态调整惩罚强度；（2）探索基于集成或对抗训练的参考模型构建方法，提高$c_i$的鲁棒性；（3）将ACE扩展到连续奖励设置，定义基于奖励梯度的过自信度量。
未来方向
作者提出了三个明确的未来方向：（1）探索替代参考模型的方案，如使用近期检查点的移动平均来定义置信度，减少对初始参考模型的依赖；（2）将ACE扩展到连续或部分奖励设置，特别是与过程奖励模型（PRM）结合，在步骤级别而非轨迹级别实施非对称惩罚；（3）研究ACE与长思维链模型（>10K token输出）的交互，可能需要开发更适合长序列的置信度度量。基于本文成果，还可以延伸出更多方向：（4）将ACE与课程学习结合，根据提示难度动态调整$\alpha$——对难题可能需要更温和的惩罚，对易题可以更激进；（5）将ACE的思想扩展到多轮对话RLHF中，识别对话级别的过自信响应；（6）探索ACE在模型对齐（alignment）中的应用，非对称惩罚可能有助于解决对齐税（alignment tax）问题；（7）研究ACE与MCTS等搜索方法的结合，在推理时也实施非对称扩展策略。
复现评估
本文的复现条件相对良好。数据方面，DAPO-Math-17K是公开可用的数据集，MATH-500和AIME 2025也是标准基准。模型方面，Qwen2.5-Math-7B、Qwen3-8B-Base和Llama-3.1-8B-Instruct都是公开模型，8B规模在学术界可复现。训练框架使用VERL（火山引擎开源），代码风格清晰。关键超参数已提供：$\alpha = 1.0$，归一化置信度$\bar{c}_i = c_i/T_i$，训练细节在附录E中。但复现仍有一定挑战：（1）论文报告了5次独立训练运行的均值和95%置信区间，每次需要完整的GRPO/DAPO训练，计算成本较高；（2）VERL框架虽然开源，但与特定版本的依赖可能导致兼容性问题；（3）ACE的核心修改虽然简洁（仅修改优势计算），但需要确保$c_i$的计算与现有代码正确集成；（4）论文未明确开源训练代码和脚本，复现者需要自行实现ACE逻辑。总体而言，中等难度可复现，预计一个熟悉RLVR训练的研究团队可在1-2周内完成。
论文图表
