← 返回 2026-02-24

DSDR：面向大语言模型推理探索的双尺度多样性正则化方法 DSDR: Dual-Scale Diversity Regularization for Exploration in LLM Reasoning

Zhongwei Wan, Yun Shen, Zhihao Dou, Donghao Zhou, Yu Zhang, Xin Wang, Hui Shen, Jing Xiong, Chaofan Tao, Zixuan Zhong, Peizhou Huang, Mi Zhang 📅 2026-02-23 👍 14 2026-07-13 08:35
RLVR 多样性探索 大语言模型推理 强化学习 数学推理
arXiv HuggingFace PDF

通过双尺度多样性正则化促进LLM推理中的深度探索

前置知识

RLVR（Reinforcement Learning with Verifiable Rewards）

基于可验证奖励的强化学习范式，用于提升大语言模型的推理能力。训练过程中，模型生成的答案会通过验证器（如代码执行器、数学计算器）进行检查，获得二进制奖励（正确/错误）。这种方法让模型通过试错学习正确的推理路径，而不依赖于人工标注的中间步骤。代表性的方法包括GRPO（Group Relative Policy Optimization）和DAPO等。

本文的核心改进针对RLVR范式中的探索问题，理解RLVR是理解DSDR的必要前提。

GRPO（Group Relative Policy Optimization）

一种基于组的策略优化方法，是RLVR训练的核心优化算法。对于每个输入问题，模型采样G个候选答案，计算每个答案的验证器奖励，然后在组内进行标准化得到优势函数。通过相对比较而非绝对值，GRPO提高了训练稳定性，使得大规模RLVR训练成为可能。公式为 Ai = (ri - mean(r)) / std(r)。

DSDR直接基于GRPO框架进行扩展，需要理解GRPO的组内归一化机制才能理解DSDR如何保持学习信号。

熵正则化

强化学习中常用的探索策略，通过在目标函数中添加熵项来鼓励策略保持随机性。对于分类策略，熵定义为负对数概率期望，最大化熵意味着避免策略过早收敛到确定性选择。在LLM中，token级熵可以防止模型对每个token都过度自信，从而保持探索能力。

本文的局部正则化使用改进的熵正则化，理解传统熵正则化的局限性是理解DSDR创新的基础。

Pass@k

代码和数学推理任务的标准评估指标。对于每个问题，模型生成k个独立的解决方案，如果有至少一个正确，则该问题计为通过。Pass@k衡量的是在k次尝试中至少找到一次正确解的概率。随着k增加，Pass@k反映了模型发现多种正确解法的能力。

本文的核心贡献之一是提高Pass@k性能，衡量DSDR是否真正扩展了正确推理轨迹的集合。

研究动机

现有RLVR方法（如GRPO、DAPO）在训练中存在严重的探索不足问题。当模型在组内采样多个答案且大多数答案正确时，验证器奖励趋于常数，组内奖励方差缩小，导致组内归一化的优势函数退化为零，学习信号消失。策略倾向于崩溃到少数几个相似的推理模式，过早停止深度探索。例如，在AIME2024数据集上，基线方法的Pass@32（采样32次）提升有限，说明模型未能发现多样化的正确推理路径。传统的熵正则化方法只在token级别注入随机性，主要产生局部噪声，无法促进轨迹级别的多样化探索。虽然一些工作试图在轨迹层面鼓励多样性，但它们将全局和局部多样性信号独立处理，没有明确说明不同尺度的多样性应该如何协调，因此仍然面临模式崩溃和学习信号微弱的问题。

本文的目标是本文的核心目标是设计一个双尺度多样性正则化框架DSDR，在保持正确性的前提下实现深度探索。具体来说，需要在两个尺度上协调多样性：（1）全局（轨迹）尺度：发现并维持多个不同的推理模式，对应于不同的解题路径；（2）局部（token）尺度：防止每个模式内的熵崩溃，使正确轨迹保持鲁棒性和表达性而非脆弱或过度自信。DSDR通过全局到局部的分配机制将这两个尺度耦合，优先为最独特的正确轨迹分配更强的局部正则化。理论目标是证明在有限正则化下保持最优正确性，并在基于组的优化中维持信息丰富的学习信号。

与已有工作不同的是，本文的独特切入角度是将探索问题形式化为双尺度协调问题，而非单一尺度的随机性注入。与已有工作的关键区别在于：（1）明确区分全局（模式间）和局部（模式内）多样性，并阐明它们在RLVR中的互补作用；（2）通过正确性对齐的多样性信号，只在正确轨迹上应用正则化，避免奖励黑客；（3）使用全局到局部的softmax分配机制，将局部熵预算集中在全局最独特的正确轨迹上，而非均匀扰动所有正面样本；（4）提供理论支持，证明有限正则化下的正确性保持和信号保持特性。这一视角使得探索与正确性之间的权衡得到 principled 的协调，而非启发式的试错。

核心方法

DSDR的整体思路是通过双尺度正则化框架协调全局和局部多样性。直觉上，好的探索应该既能在不同解题模式之间跳跃（全局多样性），又能在每个模式内保持探索性（局部多样性）。DSDR的技术路线包括：（1）计算每个轨迹的全局多样性分数，包括语义级别（embedding距离）和公式级别（数学公式唯一性）两个分量；（2）对正确轨迹应用多样性增强奖励，通过扩展奖励信号，防止组内奖励方差消失；（3）使用基于多样性的softmax权重在正确轨迹间分配局部熵预算；（4）对正确轨迹应用长度不变的token级熵正则化，使用平均token级条件熵而非轨迹级熵；（5）将全局多样性项和局部熵项集成到GRPO目标中。这种双尺度结构使得全局项在不同正确轨迹间建立偏好，而局部项防止token级别崩溃，共同实现广泛探索和稳定行为。

DSDR的核心创新点是双尺度多样性的正确性对齐和全局到局部耦合机制。与已有方法的本质区别在于：（1）正确性对齐：DSDR只在正确轨迹上应用多样性正则化，避免鼓励错误的多样化探索，这是通过指示符实现的；（2）双尺度协调：不是独立处理全局和局部多样性，而是通过softmax权重将它们耦合，使得全局最独特的正确轨迹获得更强的局部正则化；（3）长度不变熵：采用平均token级条件熵而非轨迹级熵，避免激励更长的输出只为累积更多不确定性；（4）双层次多样性信号：同时使用语义级别（embedding余弦距离）和公式级别（数学表达式唯一性）捕捉轨迹差异，前者捕获广义语义差异，后者对符号推理的表面变化具有鲁棒性。这些设计共同解决了RLVR中探索不足和模式崩溃的核心问题，同时保持正确性。

方法步骤详情

DSDR的方法步骤包括：（1）输入：对于每个问题，从旧策略采样G个候选轨迹，每个轨迹是一系列token；（2）验证：使用验证器为每个轨迹计算二进制奖励；（3）全局多样性计算：对于每个轨迹，计算语义级多样性（embedding余弦距离）和公式级多样性（平均公式唯一性），组合得到全局多样性分数并裁剪；（4）增强奖励：计算多样性增强奖励；（5）全局到局部耦合：对正确轨迹集合，计算softmax权重；（6）局部熵计算：对于每个token位置，计算重要性比率和对数概率；（7）局部目标：计算平均token级条件熵的目标函数；（8）联合优化：计算最终目标并执行梯度更新。整个过程的输出是更新后的策略。

技术新颖性

DSDR的技术新颖性体现在多个方面：（1）理论创新：提供了正确性保持理论，证明当局部正则化权重足够小时，任何正则化目标的最优解仍然是正确性最优的；（2）信号保持理论：证明在solve-all组（所有轨迹都正确）中，如果多样性分数不完全相同，则组相对优势保持非退化，避免学习信号消失；（3）最优耦合理论：证明softmax分配是熵正则化资源分配问题的唯一最优解；（4）信息论视角：通过条件互信息分解，阐明全局多样性促进模式间覆盖，局部熵防止模式内崩溃，两者互补而非冗余；（5）双层次多样性信号：同时使用语义和公式级多样性，后者对数学任务的符号操作具有鲁棒性，能捕捉表面相似但逻辑不同的解法。这些理论和设计创新使得DSDR成为一个 principled 的双尺度探索框架，而非启发式的组合。

(Left): global-to-local coupling for enhanced exploration during RL training. (Right): baseline exploration collapses to local suboptimal solutions, while DSDR promotes diverse trajectories that escape local optima and reach the correct solution space.
Figure 1: (Left): global-to-local coupling for enhanced exploration during RL training. (Right): baseline exploration collapses to local suboptimal solutions, while DSDR promotes diverse trajectories that escape local optima and reach the correct solution space.
DSDR training pipeline for dual-scale exploration in RL. Correct-only global diversity promotes exploration across solution modes, while a global-to-local coupling mechanism allocates length-invariant local entropy regularization to distinctive correct trajectories. Both signals are integrated into policy updates to enable deep exploration without sacrificing correctness.
Figure 2: DSDR training pipeline for dual-scale exploration in RL. Correct-only global diversity promotes exploration across solution modes, while a global-to-local coupling mechanism allocates length-invariant local entropy regularization to distinctive correct trajectories. Both signals are integrated into policy updates to enable deep exploration without sacrificing correctness.

实验结果

实验结果表明DSDR在多个数学推理基准测试上一致超越基线方法。在Qwen2.5-Math-1.5B上，DSDR在AIME24的Pass@1达到20.0%（vs. GRPO的16.7%），Avg@16达到18.8%（vs. GRPO的15.2%），平均性能为25.4/25.6。在Qwen3-1.7B上，DSDR在AIME24的Pass@1达到36.7%（vs. GRPO的16.7%），在AIME25达到23.2%（vs. GRPO的20.0%），平均性能为36.8/36.8，显著优于GRPO的28.4/29.7和DAPO的29.6/32.1。在Qwen3-4B上，DSDR在AIME24的Pass@1达到56.67%（vs. GRPO的36.67%），在AIME25达到50.00%（vs. GRPO的33.33%），平均性能为48.01/46.80，大幅超越GRPO的39.31/39.57和DAPO的38.94/40.21。这些提升表明DSDR更好地保持了基于组优化的信息学习信号，通过区分正确轨迹缓解了奖励方差崩溃。消融实验显示，移除全局多样性导致性能下降，平均性能从36.8降至29.7；移除全局到局部耦合导致性能降至35.1，表明两个组件是互补的。训练动态分析显示DSDR的熵曲线平衡增长，w/o GD的熵过度增长反映不受控制的随机探索，w/o GC的熵后期下降反映策略过度集中。Pass@k曲线显示DSDR在k∈[2,64]范围内一致超越基线，且在高k（如k=64）时优势更明显，说明DSDR真正扩展了正确推理轨迹集合。多样性评估使用GPT-5.2作为LLM-as-Judge，从语义、逻辑和公式三个维度评分，DSDR在AIME24、Minerva、Olympiad、AIME25四个数据集上的一致性高于DAPO，同时Pass@32也更高，说明多样性提升不牺牲正确性。

Results on different reasoning benchmarks. We report Pass@1 and Avg@16 (%) accuracy across different model scales. DSDR consistently outperforms Backbone, GRPO, and DAPO across most benchmarks and achieves the best average performance. Ablation results (w/o GD, w/o GC) show consistent performance drops, suggesting that both global diversity (GD) and global-to-local coupling (GC) regularization play important roles in DSDR.
Table 1: Results on different reasoning benchmarks. We report Pass@1 and Avg@16 (%) accuracy across different model scales. DSDR consistently outperforms Backbone, GRPO, and DAPO across most benchmarks and achieves the best average performance. Ablation results (w/o GD, w/o GC) show consistent performance drops, suggesting that both global diversity (GD) and global-to-local coupling (GC) regularization play important roles in DSDR.
Summary of training details.
Table 2: Summary of training details.
Evaluation settings.
Table 3: Evaluation settings.
Pass@k performance across five benchmarks for both Qwen3-1.7B and Qwen3-4B. The Base models serve as backbones. DSDR consistently outperforms both the Base models and DAPO across all values of k.
Figure 3: Pass@k performance across five benchmarks for both Qwen3-1.7B and Qwen3-4B. The Base models serve as backbones. DSDR consistently outperforms both the Base models and DAPO across all values of k.
Training dynamics across methods conducted on Qwen3-1.7 model. From left to right, we report AIME2024 Avg@16, policy entropy, semantic-level diversity similarity, and formula-level diversity similarity. Results are shown for GRPO, DSDR, DSDR w/o GD, DSDR w/o GC, and DAPO.
Figure 4: Training dynamics across methods conducted on Qwen3-1.7 model. From left to right, we report AIME2024 Avg@16, policy entropy, semantic-level diversity similarity, and formula-level diversity similarity. Results are shown for GRPO, DSDR, DSDR w/o GD, DSDR w/o GC, and DAPO.
We generate 32 test-time rollouts per problem on four benchmarks and evaluate response diversity using an LLM-as-Judge (1–10 scale). The figure reports diversity scores and corresponding pass@32 for DAPO and DSDR.
Figure 5: We generate 32 test-time rollouts per problem on four benchmarks and evaluate response diversity using an LLM-as-Judge (1–10 scale). The figure reports diversity scores and corresponding pass@32 for DAPO and DSDR.
查看结构化数据
任务指标本文基线提升
AIME2024 (Qwen3-4B) Pass@1/Avg@16 56.67% / 52.08% GRPO: 36.67% / 37.50% +20.00% / +14.58%
AIME2025 (Qwen3-4B) Pass@1/Avg@16 50.00% / 46.46% GRPO: 33.33% / 35.21% +16.67% / +11.25%
MATH500 (Qwen3-4B) Pass@1/Avg@16 66.20% / 66.18% GRPO: 64.00% / 63.83% +2.20% / +2.35%
Olympiad (Qwen3-4B) Pass@1/Avg@16 40.36% / 42.43% GRPO: 37.54% / 37.70% +2.82% / +4.73%
AIME2024 (Qwen3-1.7B) Pass@1/Avg@16 36.7% / 32.1% DAPO: 20.0% / 20.4% +16.7% / +11.7%

局限与改进

作者承认的局限性包括：（1）超参数敏感性：局部正则化系数和全局多样性因子需要谨慎调节，过大的局部系数会导致训练不稳定和崩溃，过大的全局多样性因子引入额外方差而无一致增益；（2）计算开销：需要为每个轨迹计算embedding和公式提取，虽然使用轻量级编码器，仍有额外计算成本；（3）适用性：当前方法主要针对可验证的数学推理任务，对于开放式文本生成或其他不可验证任务的适用性尚未验证；（4）理论假设：正确性保持理论假设存在离散的正确性差距，在某些连续奖励设置中可能不成立；（5）轨迹长度限制：长度不变熵虽然避免了激励过长输出，但可能错过某些需要更长推理的正确路径。我的观察：（1）多样性分数的计算依赖于固定编码器，编码器的选择可能影响多样性质量；（2）公式提取的健壮性：数学公式提取依赖于启发式规则，对于非标准符号或不规范的数学表达可能失败；（3）局部熵的token级别局限：虽然采用平均token级熵避免了长度偏差，但忽略了跨token的依赖结构；（4）全局到局部耦合的集中度风险：当温控参数过大时，softmax权重高度集中，可能导致局部正则化只作用于少数轨迹；（5）不可验证任务的适用性受限：当前方法依赖于二进制验证器奖励，对于开放式生成或多维度评估任务，如何定义正确性和多样性信号不明确。

独立分析的弱点

独立分析的弱点包括：（1）多样性分数的语义偏见：使用预训练编码器计算embedding距离可能偏向编码器训练数据中的表达方式，某些新颖但语义相似的推理路径可能被低估多样性；（2）公式提取的健壮性：数学公式提取依赖于启发式规则，对于非标准符号或不规范的数学表达可能失败，导致公式级多样性不准确；（3）局部熵的token级别局限：虽然采用平均token级熵避免了长度偏差，但忽略了跨token的依赖结构，某些探索性推理需要保持跨token的不确定性而非单token随机性；（4）全局到局部耦合的集中度风险：当温控参数过大时，softmax权重高度集中，可能导致局部正则化只作用于少数轨迹，其他独特正确轨迹被忽视；（5）不可验证任务的适用性受限：当前方法依赖于二进制验证器奖励，对于开放式生成或多维度评估任务，如何定义正确性和多样性信号不明确。改进方向：（1）自适应编码器：针对特定任务微调编码器或使用可学习的多样性度量；（2）多维度公式提取：结合语义解析和符号推理，提高公式提取的健壮性；（3）结构熵正则化：引入n-gram或跨token依赖的熵度量；（4）自适应温控：根据训练动态自动调节温控参数；（5）扩展到软奖励：将二进制奖励扩展到连续评分，并设计相应的多样性信号。

未来方向

作者提出的未来研究方向包括：（1）扩展到其他推理任务：将DSDR应用于代码生成、逻辑推理、科学推理等可验证任务，验证双尺度探索的泛化性；（2）自适应多样性度量：研究如何根据任务特点动态选择和调整多样性信号，而非固定使用embedding和公式级度量；（3）多模式探索：探索将DSDR与mode-switching机制结合，显式建模不同的推理模式；（4）理论扩展：放宽正确性保持理论的离散假设，研究连续奖励设置下的探索-正确性权衡；（5）与离线RL结合：研究如何将DSDR的思想扩展到离线强化学习设置，利用离线数据指导探索。基于成果可延伸的方向：（1）跨模态推理：将双尺度探索扩展到多模态推理任务（如视觉问答、图表理解）；（2）层级探索：研究多尺度探索框架（如推理步级别、子任务级别、轨迹级别）；（3）元学习：研究如何快速适应新任务的多样性需求；（4）高效实现：优化多样性计算效率，减少训练开销；（5）可解释性：研究如何可视化不同推理模式及其探索轨迹，提高方法的可解释性。

复现评估

DSDR的复现评估如下：（1）开源情况：论文提到代码公开在DSDR（未给出具体链接），基于VERL框架实现；（2）数据集：使用filtered DAPO-Math-17K，去除了重复样本；（3）评估基准：AIME2024/2025、MATH500、Minerva Math、Olympiad-level problems，均为公开数据集；（4）硬件要求：训练使用8×NVIDIA A100 GPUs（40GB），对于普通研究者来说硬件要求较高；（5）超参数设置：批量大小256，每个提示采样8次rollout，学习率1e-6，最大响应长度4096（Qwen2.5）或8192（Qwen3），默认值为0.001（全局多样性因子）、0.001（局部正则化系数）、5（温控参数）；（6）复现难度：中等。虽然论文提供了详细的实现细节和超参数，但需要多块A100 GPU且依赖于特定框架VERL，对于没有足够硬件资源的研究者来说复现有一定难度。此外，多样性评估需要使用GPT-5.2作为LLM-as-Judge，增加了依赖性和成本。总体来说，代码和数据的可访问性较好，但硬件要求较高，建议提供更多实现细节和轻量级复现指南。

论文图表

Hyperparameter sensitivity of DSDR on Qwen3-1.7B. Left: varying lambda_l shows that overly large entropy regularization destabilizes training. Right: lambda_d = 0.001 achieves the best and most stable Avg@16 performance on AIME2024/2025.
Figure 6: Hyperparameter sensitivity of DSDR on Qwen3-1.7B. Left: varying lambda_l shows that overly large entropy regularization destabilizes training. Right: lambda_d = 0.001 achieves the best and most stable Avg@16 performance on AIME2024/2025.

该图包含两个子图，展示超参数敏感性。左图显示局部正则化系数对AIME25和AIME24的Avg@16影响，0.001时表现最佳，0.01时性能下降，0.1时崩溃。右图显示全局多样性因子对Avg@16的影响，0.001达到最佳和最稳定的性能，较大值引入额外方差而无一致增益。

这张图展示了DSDR的超参数敏感性，帮助读者理解关键参数的影响和选择原则。对于实际应用DSDR具有重要的指导意义。