奖励罕见策略：面向LLM创造性问题解决的独特性感知强化学习 Rewarding the Rare: Uniqueness-Aware RL for Creative Problem Solving in LLMs
通过奖励LLM生成的罕见但正确的解题策略，解决强化学习中的探索崩溃问题。
前置知识
探索崩溃（Exploration Collapse）
在强化学习训练中，智能体过早收敛到少数高奖励策略的现象。具体到LLM推理场景，模型会逐渐集中在少数几种标准解题模式上，导致生成的解题路径多样性下降。这会导致pass@1（单次采样正确率）可能提高，但pass@k（k次采样中至少一次正确的概率）停滞甚至下降。
理解探索崩溃是本文要解决的核心问题。论文指出，现有RL方法在训练LLM时普遍存在这一问题，限制了模型在复杂推理任务上的表现。
pass@k 与 AUC@K
pass@k 是评估LLM推理能力的重要指标，表示从k个独立采样中至少得到一个正确答案的概率。AUC@K 是 pass@k 曲线在k=1到K范围内的归一化面积，通过梯形法则计算，用于综合评估不同采样预算下的性能。这两个指标能更全面地反映模型的探索能力和解题多样性。
本文的核心目标就是提高pass@k和AUC@K，同时不牺牲pass@1。这两个指标是评估方法有效性的主要标准。
Group Relative Policy Optimization (GRPO)
一种基于群体的强化学习框架，用于训练大语言模型。对于每个问题，生成K个rollout（推理轨迹），计算组内奖励的均值和标准差，然后计算归一化优势值 $z_{m,k} = \frac{r_{m,k} - \mu_m}{\sigma_m + \epsilon}$。策略参数使用这个优势值进行更新。
本文方法建立在GRPO基础上，通过修改优势计算来融入策略独特性信息。理解GRPO是理解本文技术方案的前提。
策略聚类（Strategy Clustering）
使用LLM评判器将同一问题的多个推理轨迹按高层解题策略进行分组的过程。评判器会忽略表面差异（如变量命名、代数重排），只关注核心解题思路（如因式分解、二次公式、图形解释等）。每个策略簇的大小反映了该策略的常见程度。
这是本文方法的核心创新之一。通过策略聚类，能够区分真正不同的解题策略和表面不同但本质相同的推理路径，从而实现更精准的多样性控制。
研究动机
现有强化学习方法在训练大语言模型进行复杂推理时，普遍存在探索崩溃问题。具体表现为：策略过早收敛到少数高概率推理模式，这些模式虽然能获得较强的短期奖励，但导致策略多样性和pass@k收益停滞。例如，对于方程 $x^2 - 5x + 6 = 0$，两个rollout可能都使用二次公式，只是在代数表达上有细微差异（一个展示中间步骤 $x = \frac{5 \pm \sqrt{25-24}}{2}$，另一个直接简化为 $x = \frac{5 \pm 1}{2}$）。基于token级熵或嵌入距离的方法会将它们视为多样，但实际上它们共享相同的高层策略。而因式分解 $(x-2)(x-3)=0$ 才是真正不同的解题路径。
本文的目标是本文的目标是开发一种新的强化学习方法，能够显式地奖励那些罕见但正确的解题策略，从而在提高pass@k性能的同时不牺牲pass@1。具体来说，希望模型在训练后能够生成更多样化的解题路径，覆盖更广泛的策略空间，特别是在中等到大的采样预算（k≥32）下获得更好的性能。
与已有工作不同的是，本文的独特切入角度在于：将多样性正则化的目标从token级提升到rollout集（即多个采样解题尝试）级别，并且将多样性定义为策略级覆盖而非表面语义差异。现有方法（如熵奖励、低概率正则化、基于pass@k的目标）大多通过易于测量的信号（如token熵、嵌入距离）间接鼓励多样性，这些信号可能增加措辞变化，但不一定产生不同的解题策略或更广的搜索空间覆盖。本文则直接针对解题策略的独特性进行优化。
核心方法
本文方法的核心思想是：在强化学习训练中，不仅奖励正确的解题结果，还要奖励那些采用罕见策略的正确解题路径。整体技术路线如下：首先，对于每个训练问题，使用当前策略生成K个rollout（完整的推理轨迹）；然后，使用任务特定的验证器为每个rollout分配奖励分数；接着，使用一个LLM评判器（通常是同一模型家族中更大的变体）将这些rollout按高层解题策略进行聚类；最后，根据策略簇的大小重新加权GRPO优势值，使得罕见但正确的策略获得更大的更新权重。
本文的核心创新点在于提出独特性感知的优势加权机制。与现有方法的本质区别在于：现有方法（如熵奖励、低概率正则化）在token级别操作，通过增加token级随机性来鼓励探索，但这可能导致表面变化而非策略多样性。本文方法则在rollout集级别操作，直接针对解题策略的独特性进行优化。具体来说，通过策略聚类识别每个rollout所属的策略簇，然后使用簇大小的倒数作为权重：罕见策略（小簇）获得更高权重，常见策略（大簇）获得更低权重。这可以看作是将质量-多样性思想引入LLM推理的强化学习中。
方法步骤详情
方法包含以下关键步骤：1) Rollout生成：对于每个训练问题m，使用当前策略 $\pi_\theta$ 生成K个rollout $\{p_{m,k}\}_{k=1}^K$，每个rollout是一个完整的推理轨迹（如思维链）并以最终答案结束。2) 奖励计算：使用任务特定的验证器为每个rollout分配标量奖励 $r_{m,k}$（如通过/失败为0/1，或分级分数）。3) GRPO优势计算：在标准GRPO中，计算组内奖励的均值 $\mu_m$ 和标准差 $\sigma_m$，然后计算归一化优势 $z_{m,k} = \frac{r_{m,k} - \mu_m}{\sigma_m + \epsilon}$。4) 策略聚类：使用LLM评判器J对rollout进行聚类，输出结构化分区 $C_m = J(m, \{p_{m,k}\}_{k=1}^K) = \{S_c^{(m)}\}_{c=1}^{C_m}$，其中每个 $S_c^{(m)}$ 是分配到同一高层解题思路的rollout索引集合。5) 独特性权重计算：对于rollout $p_{m,k}$，其策略簇大小为 $f_{m,k} = |S_{c(k)}^{(m)}|$，独特性权重为 $w_{m,k} = \frac{1}{f_{m,k}^\alpha}$，其中 $\alpha \in [0,1]$ 控制重新加权强度。6) 优势重新加权：最终优势为 $\text{advantage}_{m,k} = w_{m,k} \cdot z_{m,k} = \frac{1}{f_{m,k}^\alpha} \cdot \frac{r_{m,k} - \mu_m}{\sigma_m + \epsilon}$。7) 策略更新：使用重新加权的优势更新策略参数，保持GRPO训练目标的形式不变。
技术新颖性
本文的技术新颖性体现在以下几个方面：首先，这是第一个在rollout集级别（而非token级别）进行多样性正则化的方法，直接针对解题策略的独特性进行优化。其次，引入了LLM评判器进行策略聚类，能够区分真正不同的解题策略和表面不同但本质相同的推理路径，这是对传统基于嵌入距离或token熵的多样性度量的重要改进。第三，提出了简单而有效的独特性加权机制 $w_{m,k} = 1/f_{m,k}^\alpha$，将罕见策略的奖励放大，同时保持训练稳定性。第四，该方法可以视为GRPO的即插即用替代品，只需修改优势计算，无需改变训练目标的形式，便于实际应用。
实验结果
本文在多个推理基准上进行了广泛实验，包括数学（AIME 2024/2025、HLE数学部分）、物理（OlympiadBench物理部分）和医学（MedCaseReasoning）领域。实验使用Qwen2.5-7B、Qwen3-8B和OLMo-3-7B三个模型家族。主要发现如下：1) AUC@K性能提升：在Qwen2.5-7B上，与SimpleRL（仅使用GRPO）相比，本文方法在所有领域和所有采样预算（K=64/128/256）下都获得了最高的AUC@K。例如，在AIME上K=64时，AUC@K从0.116提升到0.160（提升38%）；K=128时，从0.184提升到0.242（提升31%）。2) pass@k曲线改善：在所有领域，本文方法的pass@k曲线在中等到大的采样预算（k≥32）下保持更高的斜率，实现更好的渐近精度。3) 探索能力维持：训练过程中的策略熵分析显示，SimpleRL（GRPO）表现出明显的熵下降趋势，表明策略变得越来越确定；而本文方法保持更高且更稳定的熵，甚至在某些设置下熵有所增加。4) 策略多样性覆盖：通过人类标注的解题策略覆盖评估（cover@n），本文方法在20个具有挑战性的AIME问题上，有16个问题与基线方法覆盖相同，而在4个最复杂的问题上实现了更高的覆盖。例如，在几何问题aime24_i_p10上，基线方法仅覆盖40%的人类参考策略（2/5），而本文方法实现了100%覆盖（5/5）。5) 跨模型泛化：在OLMo-3-7B和Qwen3-8B上，本文方法也 consistently 优于基线方法和其他探索/多样性导向的训练方法（如DAPO和Forking Token）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理（AIME 2024/2025） | AUC@64 | 0.160（Qwen2.5-7B） | 0.116（SimpleRL） | 提升38% |
| 数学推理（AIME 2024/2025） | AUC@128 | 0.242（Qwen2.5-7B） | 0.184（SimpleRL） | 提升31% |
| 数学推理（AIME 2024/2025） | AUC@256 | 0.335（Qwen2.5-7B） | 0.273（SimpleRL） | 提升23% |
| 数学推理（HLE） | AUC@64 | 0.138（Qwen2.5-7B） | 0.112（SimpleRL） | 提升23% |
| 数学推理（HLE） | AUC@128 | 0.220（Qwen2.5-7B） | 0.182（SimpleRL） | 提升21% |
| 物理推理（OlympiadBench） | AUC@64 | 0.236（Qwen2.5-7B） | 0.228（SimpleRL） | 提升3.5% |
| 物理推理（OlympiadBench） | AUC@128 | 0.299（Qwen2.5-7B） | 0.270（SimpleRL） | 提升11% |
| 医学推理（MedCaseReasoning） | AUC@64 | 0.564（Qwen2.5-7B） | 0.560（SimpleRL） | 提升0.7% |
局限与改进
论文承认的局限性包括：1) 计算开销：依赖LLM评判器进行策略聚类引入了额外的计算成本。2) 聚类准确性：LLM评判器可能不完美，特别是在具有模糊或重叠推理结构的问题上。3) 策略定义依赖性：高层策略的定义本质上是任务依赖的，尽管提示工程可以缓解对表面变化的敏感性，但错误的聚类可能影响独特性信号的准确性。4) 缺乏长期新颖性：方法仅在单个问题的rollout集内测量稀有性，没有显式捕获训练过程中的长期新颖性或跨问题多样性。5) 评判器选择：需要使用比策略模型更大的模型作为评判器（如训练7B模型时使用32B评判器），增加了资源需求。我自己的观察还包括：6) 提示敏感性：策略聚类的质量可能对提示模板敏感，论文中使用了三阶段提示流程，增加了工程复杂性。7) 可扩展性问题：随着rollout数量K的增加，LLM评判器的输入长度线性增长，可能导致效率问题。
独立分析的弱点
基于独立分析，本文存在以下弱点：1) 评判器依赖：方法严重依赖LLM评判器的聚类质量。如果评判器错误地将不同策略聚为一类，或错误地将相同策略分为多类，会扭曲独特性信号。改进方向：可以开发更鲁棒的聚类方法，如集成多个评判器的投票机制，或使用对比学习训练专门的策略编码器。2) 静态权重机制：独特性权重 $w_{m,k} = 1/f_{m,k}^\alpha$ 使用简单的倒数关系，可能不够灵活。改进方向：可以设计自适应权重机制，根据训练进度、问题难度或策略质量动态调整权重。3) 缺乏跨问题信息：方法仅在单个问题内测量策略稀有性，忽略了跨问题的策略共享。改进方向：可以构建全局策略库，跟踪不同问题间的策略使用频率，实现更全面的多样性控制。4) 效率问题：对于每个问题，需要运行LLM评判器对K个rollout进行聚类，计算成本随K线性增长。改进方向：可以开发近似聚类方法，如基于嵌入的快速聚类，或定期更新聚类而非每步都重新计算。5) 缺乏理论分析：论文主要基于经验验证，缺乏对方法收敛性、最优性等理论性质的深入分析。
未来方向
作者提出的未来工作方向包括：1) 将独特性感知目标扩展到更高效、无评判器的公式化方法。2) 开发全局一致性、跨问题的独特性感知方法。基于本文成果，还可以延伸以下方向：3) 多模态推理：将方法扩展到多模态推理任务（如数学图表、物理示意图），需要开发能够处理视觉信息的策略聚类方法。4) 课程学习：结合课程学习思想，从简单问题开始训练，逐步增加问题难度和策略多样性要求。5) 人机协作：将人类解题策略作为外部知识源，指导模型探索更多样的解题路径。6) 元学习：开发能够快速适应新领域或新任务的独特性感知RL方法。7) 可解释性：分析模型学到的策略表示，理解不同策略簇的语义含义，提高方法的可解释性。
复现评估
论文提供了良好的复现条件：1) 代码开源：代码已在GitHub公开（https://github.com/zhiyuanhubj/Uniqueness-Aware-RL）。2) 数据可用：训练数据来自公开数据集（MATH、MegaScience、MedCaseReasoning），测试数据也都是公开基准。3) 模型透明：使用了公开可用的模型（Qwen2.5-7B、Qwen3-8B、OLMo-3-7B），并详细说明了训练超参数（学习率5×10^-7、KL系数0.001等）。4) 详细附录：提供了完整的提示模板（附录A）、训练/测试示例（附录B）和奖励计算细节。5) 计算资源：方法需要运行比策略模型更大的评判器（如训练7B模型时使用32B评判器），对计算资源有一定要求。总体而言，复现难度中等，主要挑战在于LLM评判器的聚类质量和计算成本。
论文图表
展示了在Qwen2.5、Qwen3和Olmo3三个模型上，SimpleRL（GRPO）和本文方法在训练过程中的actor熵损失变化。GRPO表现出明显的熵下降趋势，而本文方法保持更高且更稳定的熵。
这张图从信息论角度证明了本文方法能够维持更好的探索能力，防止策略过早收敛。
表格展示了在额外模型家族（OLMo-3-7B和Qwen-3-8B）上，本文方法与其他基线方法（包括DAPO和Forking Token）在HLE和Physics基准上的AUC@K对比。本文方法 consistently 优于所有基线。
这个表格证明了本文方法在不同模型架构上的泛化能力，以及相对于其他探索/多样性导向方法的优势。