DiPO：解耦困惑度策略优化用于细粒度探索-利用权衡

用PPL空间解耦破解RLVR训练中探索-利用的两难困境

前置知识

GRPO (Group Relative Policy Optimization)

一种用于LLM后训练的RL算法，对每个query采样G个response，将组内归一化奖励作为advantage估计，无需value网络。但当G个response奖励全为0（hard group）或全为1（easy group）时，advantage全为0，丢失训练信号。

本文的方法直接建立在GRPO/DAPO范式之上，第一困境（极端样本优势退化）就源于GRPO的归一化机制。

Perplexity (PPL) 困惑度

衡量语言模型生成置信度的指标，$p_i = \exp(-\frac{1}{T}\sum_{t=1}^T \log \pi_\theta(o_{it}|q, o_{<t}))$。PPL越低表示模型越自信（利用），PPL越高表示越不确定（探索），是本文区分ErS/EiS的核心信号。

PPL是本文区分探索空间ErS与利用空间EiS的核心信号，也是BRR机制奖励重分配的依据。

DAPO (Dynamic Sampling Policy Optimization)

基于GRPO的改进RL算法，引入动态采样去除零优势组、非对称clip-higher机制，不使用overlong reward shaping。本文所有数学推理实验都以DAPO为基线，目标函数$J_{\text{DAPO}}$与DiPO的$J_{\text{DiPO}}$直接对应。

DiPO建立在DAPO之上，最终目标$J_{\text{DiPO}} = J_{\text{DAPO}}(\theta, R) + \alpha \cdot J_{\text{DAPO}}(\theta, R_r)$。

RLVR (Reinforcement Learning with Verifiable Rewards)

使用可验证奖励（如数学题答案对错判断）的强化学习范式，是GPT-o1及近期reasoning LLM后训练的核心方法。相比RLHF，奖励信号无需人工标注更易规模化。本文研究RLVR训练中hard group的探索困境。

RLVR是本文的应用背景，binary verification reward（0/1）使得hard/easy极端组频繁出现，正是DiPO要解决的问题。

Advantage function 优势函数

$A(s,a)=Q(s,a)-V(s)$，衡量动作相对平均水平的优劣。GRPO用组内reward归一化估计$\hat{A}_i = (R_i - \text{mean})/\text{std}$。极端组（reward全同）时$\hat{A}=0$，policy gradient消失。

第一困境（极端样本优势退化）直接源于advantage在极端组上恒为0，DiPO的BRR正是要重新为这些组引入非零梯度。

研究动机

论文识别出GRPO类RLVR算法在探索-利用权衡上存在两个具体困境。**第一困境**：在RL训练中相当大比例的样本组会落入极端状态——hard group（所有response奖励为0）或easy group（所有奖励为1），此时组内归一化后advantage恒为0，policy gradient完全消失，导致hard group永远无法学习、easy group无法巩固。图1(a)显示DAPO训练中hard/easy组占比随步骤持续存在。**第二困境**：从困惑度分布看，理想情况下错误样本应高PPL（探索）、正确样本应低PPL（利用），但实际分布存在显著重叠（图1b）——部分错误样本呈现低PPL的利用倾向、部分正确样本呈现高PPL的探索倾向，造成低效的探索-利用。已有方法DACE基于组内accuracy做粗粒度划分，在训练早期所有样本都是hard group时会失效；CDE直接用PPL作为reward bias，会显著扰动验证奖励的分布、引入更多超参数。

本文的目标是本文的具体目标是设计一个细粒度、稳定、可扩展的机制来缓解RLVR训练中探索-利用的两难。具体包括：**(1)** 实现细粒度样本挖掘，自动识别哪些hard样本需要鼓励探索、哪些easy样本需要鼓励利用，而不是粗粒度地把整个hard/easy组都按同一方向调整；**(2)** 设计一种奖励机制，在引入PPL信号的同时最大化保留原始验证奖励的分布特性，避免DACE/CDE类方法对验证奖励分布的大幅扰动；**(3)** 在数学推理和function calling两个任务上、跨Qwen3-4B/8B、Qwen2.5-3B/7B等多个模型规模验证方法的有效性和可扩展性。

与已有工作不同的是，本文的独特切入角度在于**显式解耦PPL空间**：通过PSD模块用条件概率$\Pr(R|P)$和95%置信区间优势判断$\Delta_{\text{EiS}}(\tau)>0$、$\Delta_{\text{ErS}}(\tau)>0$，自动学习最优阈值$\tau^*$，把PPL空间分成exploration space (ErS, P>$\tau^*$) 和 exploitation space (EiS, P<$\tau^*$)。这个二维切分把样本自然分成四个象限CH/CL/EH/EL，EETO的关键在于把CH推向利用、EL推向探索。**核心差异化**：与DACE（粗粒度intra-group accuracy）和CDE（用PPL magnitude作为reward bias）不同，DiPO的BRR只对hard group in EiS和easy group in ErS做单样本最大PPL奖励重分配（置1或0），重分配奖励$R_r$与验证奖励$R$正交，最终目标$J_{\text{DiPO}} = J_{\text{DAPO}}(\theta, R) + \alpha \cdot J_{\text{DAPO}}(\theta, R_r)$只需要一个超参$\alpha$。

核心方法

DiPO方法整体由三部分组成：**PPL Queue、Perplexity Space Disentangling (PSD)、Bidirectional Reward Reallocation (BRR)**。直觉上，PPL与正确性本应自然相关（低PPL→正确→利用，高PPL→错误→探索），但实际训练中这个相关被打破（第二困境）。PSD的思路是：在线统计$\Pr(R|P)$的条件概率分布，用95%置信区间的优势判断 + 最小化分类误差，自动学到一个最优阈值$\tau^*$，把PPL空间切分成ErS（$P>\tau^*$）和EiS（$P<\tau^*$）。BRR的思路是：极端组（hard/easy）原本advantage全为0、梯度消失，只对这些组做奖励重分配——hard group in EiS（低PPL但答错）应该往高熵方向探索，因此把组内最大PPL样本的reward置1；easy group in ErS（高PPL但答对）应该往低熵方向利用，把最大PPL样本的reward置0；normal group直接置零使重分配奖励与验证奖励正交。最终优化目标为$J_{\text{DiPO}} = J_{\text{DAPO}}(\theta, R) + \alpha \cdot J_{\text{DAPO}}(\theta, R_r)$，$\alpha$控制两个奖励的相对权重（最优值0.1）。

DiPO相较已有方法有两个本质区别。**(1) PSD的统计化阈值学习**：与DACE基于intra-group accuracy做粗粒度划分不同，PSD用$\Pr(R=1|P<\tau) - \Pr(R=0|P<\tau) > 0$的优势判断（且采用CI下界$L_1 - U_2$保守估计）作为约束，再用$|r_i - I(p_i<\tau)|$的分类误差最小化求解$\tau^*$（公式9）。这使得阈值$\tau^*$自适应于训练动态，并且仅在PPL与正确性正相关时才激活（解决DACE早期训练失效问题）。**(2) BRR的正交重分配**：与CDE直接将PPL作为reward bias不同，BRR对hard/easy组（已全0或全1）只修改**单个最大PPL样本**的奖励（0→1或1→0），重分配后组内reward分布仍接近原分布（方差近零），并通过把normal group的$R_r$置0保证$R$与$R_r$正交。两个定理（Theorem 1/2）分别证明max-PPL置1会增加策略熵（鼓励探索）、置0会降低熵（鼓励利用），给出理论保证。

方法步骤详情

DiPO的训练流程分6步。**Step 1**（PPL Queue构建）：维护一个队列$Q=\{(p_i, r_i)\}_{i=1}^M$缓存最近两个batch的PPL-reward对。**Step 2**（条件概率估计）：对候选阈值$\tau$，用公式5的经验频率估计$\hat{\Pr}(R=1|P<\tau)$、$\hat{\Pr}(R=0|P<\tau)$、$\hat{\Pr}(R=1|P>\tau)$、$\hat{\Pr}(R=0|P>\tau)$，并用Wald近似计算95% CI。**Step 3**（优势判断）：定义$\Delta_{\text{EiS}}(\tau) = L_1 - U_2$和$\Delta_{\text{ErS}}(\tau) = L_4 - U_3$（公式8），要求两者同时>0，否则$\tau$无效（处理早期训练相关性弱的情况）。**Step 4**（最优阈值求解）：在满足优势判断的$\tau$集合中，$\tau^* = \arg\min_\tau \frac{1}{|Q|}\sum_{(r_i,p_i)\in Q}|r_i - I(p_i<\tau)|$（公式9）。**Step 5**（BRR奖励重分配）：对hard group（$\{r_i\}=\{0\}$）若$\text{mean}(p_i)<\tau^*$（在EiS），把$\arg\max p_i$的reward置1；对easy group（$\{r_i\}=\{1\}$）若$\text{mean}(p_i)>\tau^*$（在ErS），把$\arg\max p_i$的reward置0；normal group的$R_r$置0。**Step 6**（联合优化）：按$J_{\text{DiPO}} = J_{\text{DAPO}}(\theta, R) + \alpha \cdot J_{\text{DAPO}}(\theta, R_r)$（公式11）训练，超参$\alpha$经验最优为0.1。

技术新颖性

技术新颖性体现在三方面。**第一**，PSD采用**在线统计估计 + 95% CI的优势判断**来稳健地学习$\tau^*$，直接处理训练过程中PPL分布漂移问题；保守的下界-上界差（$L_1-U_2$而非点估计）确保仅在PPL与正确性确实正相关时才激活PSD，这通过Appendix E.5的实验观察驱动（早期训练相关性可能非正）。**第二**，BRR利用**奖励正交性**设计：normal group的$R_r=0$使得$\nabla_\theta J_{\text{DAPO}}(\theta, R)$和$\nabla_\theta J_{\text{DAPO}}(\theta, R_r)$作用在不同样本上，从而只需一个超参$\alpha$就能精确控制DiPO贡献（避免CDE的多个权重超参）。**第三**，重分配后极端组的reward分布方差仍接近零（只改一个样本），这与直接用PPL作reward bias的方法（DACE、CDE）形成对比——后者会大幅改变验证奖励的统计分布，可能破坏已经收敛的policy优化。

**Figure 2**: DiPO整体架构图：由PPL Queue、Perplexity Space Disentangling (PSD) 和 Bidirectional Reward Reallocation (BRR) 三模块组成

实验结果

DiPO在数学推理和function calling两个任务、五个模型规模上一致取得SOTA。**数学推理**（Table 1）：Qwen3-4B-Base AVG 50.55% vs DAPO 49.43%（+1.12）、DAPO w/ EL 50.01%、CDE 49.08%；Qwen3-8B-Base AVG 54.79% vs DAPO 53.23%（+1.56）、DAPO w/ EL 53.90%、CDE 53.37%；Qwen2.5-7B AVG 43.56% vs DAPO 42.73%（+0.83）。AIME24/25上Qwen3-8B分别达35.00%和27.50%，AIME24提升最显著（+4.92 vs DAPO）。**Function calling**（Table 2）：ToolRL+DiPO在Qwen2.5-3B-Instruct上Overall 55.03% vs ToolRL+DAPO 53.21%（+1.82），Qwen2.5-7B上62.51% vs 61.06%（+1.45）；Multi-Turn Acc提升最显著——7B从19.75%→24.50%（+4.75），3B从8.00%→8.62%（+0.62）。**超参分析**（Table 3）：$\alpha=0.1$最优，$\alpha=0$退化为DAPO，$\alpha=1.0$过度加权$R_r$反而下降。**消融**（Table 4）：PSD+BRR组合最优（4B 50.55%、8B 54.79%），单用BRR无PSD反而比baseline还差（4B 47.23%、8B 51.37%），PSD+ PPL reward效果次之，证明PSD+BRR两模块缺一不可。**定性分析**（Figure 3-4）：DiPO训练后PPL分布的正确/错误样本分离度显著优于DAPO；Figure 4显示训练后期DAPO曲线增长明显放缓，DiPO保持持续探索能力。

**Table 1**: 数学推理ACC/mean@8在6个benchmark（AIME24/25, MATH, AMC, OLY, MIN）上3个base model（Qwen3-4B/8B-Base, Qwen2.5-7B）的对比

**Table 2**: Function calling在BFCLv3 benchmark上的acc对比，模型为Qwen2.5-3B-Instruct和Qwen2.5-7B-Instruct

**Table 3**: 超参$\alpha$对Qwen3-4B/8B-Base在数学推理6个benchmark上的影响

**Table 4**: Qwen3-4B/8B-Base上PSD、BRR、PPL reward三组件的消融研究

**Figure 3**: Qwen3-8B-Base在DAPO-17K上用DAPO和DiPO训练后，正确/错误样本的PPL分布对比

**Figure 4**: Qwen3-8B-Base在AIME24/25上，DiPO与DAPO训练过程中的ACC/mean@8曲线（raw + smoothed）

查看结构化数据

任务	指标	本文	基线	提升
数学推理 AIME24 (Qwen3-8B-Base)	ACC/mean@8 (%)	35.00	30.08 (DAPO)	+4.92
数学推理 AVG over 6 benchmarks (Qwen3-8B-Base)	ACC/mean@8 (%)	54.79	53.23 (DAPO)	+1.56
数学推理 AVG (Qwen3-4B-Base)	ACC/mean@8 (%)	50.55	49.43 (DAPO)	+1.12
数学推理 AVG (Qwen2.5-7B)	ACC/mean@8 (%)	43.56	42.73 (DAPO)	+0.83
Function calling Overall (Qwen2.5-3B-Instruct on BFCLv3)	Overall ACC (%)	55.03	53.21 (ToolRL+DAPO)	+1.82
Function calling Overall (Qwen2.5-7B-Instruct on BFCLv3)	Overall ACC (%)	62.51	61.06 (ToolRL+DAPO)	+1.45
Function calling Multi-Turn Acc (Qwen2.5-7B-Instruct)	Multi-Turn ACC (%)	24.50	19.75 (ToolRL+DAPO)	+4.75

局限与改进

作者未单独设置limitations小节，但从行文中可识别以下局限。**(1) 冷启动依赖**：PSD需要至少2个batch的PPL-reward对构建queue，且依赖优势判断$\Delta_{\text{EiS/\text{ErS}}}(\tau)>0$激活，这意味着训练最早期DiPO退化为DAPO；Appendix E.5承认早期RL阶段PPL与正确性相关性可能非正。**(2) 极端组覆盖范围**：BRR只对hard/easy极端组（$\{r_i\}=\{0\}$或$\{1\}$）做重分配，normal group（混合奖励）的EETO问题未处理——若任务数据大量落在normal group（如简单QA），DiPO影响有限。**(3) 单一超参仍需调优**：虽然比CDE少，但$\alpha$经验最优值0.1可能随模型规模/任务变化需重新调优，论文未提供调优策略。**(4) 理论部分缺正式证明**：Theorem 1/2仅陈述结论，主文中未给出完整证明（被推至附录），且CI的Wald近似在小batch或极端概率下精度存疑。我的观察：实验仅覆盖Qwen系列模型，未在Llama/Mistral等架构上验证，跨架构泛化未经验证。

独立分析的弱点

独立分析可识别以下弱点。**(1) 阈值$\tau^*$的稳定性问题**：$\tau^*$从最近2个batch估计，batch间PPL分布快速漂移时$\tau^*$可能剧烈波动，导致同一batch内BRR对不同组做不一致的重分配，引入训练噪声；改进方向是增加指数移动平均或维护更大queue。**(2) 单样本重分配信息量有限**：BRR对每个极端组只修改$\arg\max p_i$一个样本的奖励（0→1或1→0），当G>1且组内PPL接近时只有一个样本获得非零$R_r$梯度；改进方向是按PPL排序做top-k重分配或使用连续型奖励调制（如基于PPL rank）。**(3) 二元验证奖励假设过强**：论文主要验证在binary verification reward（数学题对错）场景，ToolRL因奖励非二元需「certain modifications」——这暗示方法对奖励结构敏感；改进方向是扩展到连续奖励或非二元分类。**(4) CI近似的精度边界**：Wald (Normal) 近似在极端概率（接近0或1）或小n时不可靠，论文未讨论边界情况；改进方向是改用Wilson或Bootstrap CI。**(5) 架构泛化未验证**：所有实验都是Qwen系列，方法对其他LLM架构（Llama、Mistral、DeepSeek）的可迁移性未测试。

未来方向

作者未明确列出future work，但可从方法特性延伸出多个方向。**(1) 非二元奖励扩展**：将BRR推广到连续或结构化奖励（多维评分、preference-based），需要重新设计$R$与$R_r$的正交性条件。**(2) PPL分布动态建模**：当前PSD用单阈值$\tau^*$二分，未来可探索**双阈值软分区**（$\tau_1<\tau_2$，三区域ErS/ambiguous/EiS），给ambiguous区域更细粒度处理。**(3) 自适应$\alpha$调度**：当前$\alpha$固定为0.1，未来可设计$\alpha$随训练进度动态调整（早期小、后期大）或基于PSD激活状态自适应。**(4) 多模态RL后训练**：PPL在多模态LLM中的语义可能不同，扩展到视觉-语言模型的RLVR训练是自然方向。**(5) 与其他RL算法结合**：DiPO基于DAPO，可推广到其他RLVR算法（如RLOO、ReMax、Reinforce++），验证PSD+BRR的算法无关性。**(6) Theorem 1/2的形式化证明**：补全理论证明，分析在convergence rate、sample complexity层面的保证。

复现评估

复现性评估整体中等偏难。**(1) 代码/数据可用性**：论文主体未明确声明代码开源计划，但训练数据DAPO-17K、ToolRL框架、VERL框架均为公开资源；模型Qwen3-4B/8B-Base、Qwen2.5-3B/7B-Instruct均为开源模型。**(2) 关键超参**：$\alpha=0.1$经验最优；PPL queue大小=2 batches（PSD模块隐含）；未明确batch size、learning rate等具体值，需查附录D.1/D.2。**(3) 算力需求**：实验涉及4B/7B/8B模型的RL训练，每个模型需多轮sampling + PPL计算 + policy update，典型配置需≥8张A100/H100，论文未明确具体GPU数和训练时长。**(4) 实现复杂度**：需实现PPL per-sample计算、Wald CI估计、BRR逻辑以及与VERL/ToolRL的集成，工程量中等。**(5) RL训练本身随机性大**：多个随机种子下的方差未充分报告（论文主要展示single-run或best run结果），可能影响复现稳定性。**(6) 评价协议**：math用ACC/mean@8（每个prompt采8次），function calling用BFCLv3官方协议，标准化程度高。整体而言方法思路清晰但落地复现需投入中等工程量。

DiPO：解耦困惑度策略优化用于细粒度探索-利用权衡 DiPO: Disentangled Perplexity Policy Optimization for Fine-grained Exploration-Exploitation Trade-Off