F-GRPO：别让你的策略学会显而易见的，却忘记了稀有的 F-GRPO: Don't Let Your Policy Learn the Obvious and Forget the Rare
通过Focal加权缓解群相对RLVR在中等组大小下的分布锐化问题，无需额外计算
前置知识
RLVR（Reinforcement Learning with Verifiable Rewards，可验证奖励强化学习）
RLVR 是一种后训练范式，利用可自动验证的奖励信号（如数学题答案是否正确）来优化大语言模型的推理能力。与依赖人类偏好数据的 RLHF 不同，RLVR 不需要人工标注，奖励是二元的（正确得高分 $R_c$，错误得低分 $R_w$）。这种范式在数学推理、代码生成等任务上取得了显著效果，DeepSeek-R1、Qwen3 等模型均采用此方法进行后训练。
本文聚焦 RLVR 在有限组大小下的优化动态，理解 RLVR 是理解全文的前提。
GRPO（Group Relative Policy Optimization，群相对策略优化）
GRPO 是当前 RLVR 中最主流的优化算法，由 DeepSeek 提出。其核心思想是不需要训练一个价值函数网络（如 PPO 中的 Critic），而是通过为每个 prompt 采样 N 个 rollout，利用这 N 个 rollout 的奖励计算群内相对优势 $\hat{A}_i = (R_i - \bar{R}) / (\sigma_R + \epsilon)$，其中 $\bar{R}$ 是群均值，$\sigma_R$ 是群标准差。当群内所有奖励相同时（$\sigma_R = 0$），优势为零，不产生学习信号。
F-GRPO 是对 GRPO 优势计算的直接修改，理解 GRPO 的机制才能理解 F-GRPO 的改进在哪里。
pass@k 评估指标
pass@k 衡量的是从模型中独立采样 k 次，至少有一次回答正确的概率。pass@1 反映模型的「最可能输出」质量，pass@k（如 pass@256）则反映模型解空间的覆盖度。研究发现，RLVR 训练后 pass@1 通常提升，但 pass@k（大 k）反而下降，表明模型将概率集中在少数解上，丢失了多样化的正确解空间。
本文的核心发现之一就是中间组大小的 GRPO 会降低 pass@256，而 F-GRPO 能恢复它。
Focal Loss（焦点损失）
Focal Loss 最初由 Lin et al. (2017) 提出，用于解决目标检测中的类别不平衡问题。其核心思想是给难分类的样本更大权重：$\mathcal{L}_{fl} = -\alpha_t (1 - p_t)^\gamma \log(p_t)$，其中 $(1-p_t)^\gamma$ 使得容易分类的样本（$p_t$ 大）贡献更小。本文受此启发，将类似思想应用于 RLVR 中按 prompt 难度加权。
F-GRPO 的 Focal 权重 $g(x) = (1 - \hat{\mu}_{pos}(x))^\gamma$ 直接借鉴了 Focal Loss 的思想。
分布锐化（Distribution Sharpening）
分布锐化是指 RLVR 训练后模型输出分布变得更集中——概率质量聚集到少数「常见正确解」上，而「稀有但正确的解」概率下降。这不是因为模型「学到了新知识」，而是将已有能力中的优势解进一步强化。已有工作如 Yue et al. (2025) 发现 RLVR 训练后的模型在大采样预算下可能不如基础模型。
本文的理论分析直接解释了分布锐化的机制，并提出了缓解方案。
研究动机
在 RLVR 中，群相对方法（如 GRPO、DAPO、CISPO）通过为每个 prompt 采样 N 个 rollout 来计算优势。然而，在实际计算约束下，N 不能太大（如 N=8 是常用设置），这导致一个关键问题：当 N 适中时，某些正确但概率较低的解（稀有正确模式）可能在采样中完全不出现，但群内仍然存在混合奖励（既有正确也有错误），因此更新仍然活跃。这种「活跃但未覆盖」的事件会导致策略将概率从这些未采样的正确解转移到已被采样的正确解上，造成分布锐化。具体数据：在 Qwen2.5-7B 上，GRPO 在 N=8 时将 pass@256 从基础模型的水平压低到 64.1，而 N=2 时 pass@256 为 75.0，N=32 时回升到 70.1。这说明中间组大小 N=8 恰好是最容易发生分布锐化的「集中区」。
本文的目标是本文的具体目标有三个层次：第一，在理论层面明确刻画群相对 RLVR 中有限组大小导致的「尾部遗漏」（tail-miss）概率，揭示其与组大小 N 的非单调关系；第二，在分类策略框架下分析未采样正确质量量（unsampled-correct mass）的动态，证明即使总正确质量量增加，未采样正确质量量仍可能减少；第三，在理论分析的基础上提出一种轻量级的、受 Focal Loss 启发的加权方案（F-GRPO），在不增加计算成本的情况下缓解分布锐化，在固定 N=8 的设置下提升 pass@256 同时保持或改善 pass@1。
与已有工作不同的是，已有工作对组大小的建议存在矛盾：Wu et al. (2025b) 认为 N=2 足够高效且有理论支撑，Hu et al. (2025) 则主张增大组大小以扩大覆盖。本文抓住了一个被忽视的关键点：这些看似矛盾的建议实际上描述的是不同组大小区间的不同机制。小 N 通过「不活跃」（大多数群全对或全错，优势为零）保护稀有模式；大 N 通过「充分覆盖」保护稀有模式；但实践中最常用的中间 N 恰恰处于两种保护机制都失效的区间。本文从 prompt 局部的有限采样偏差出发，建立了统一的理论框架，并基于此设计了无需增大 N 的实用解决方案。
核心方法
本文的方法可以用一个类比来理解：想象你是一个老师，每次只检查班上 N 个同学的作业。如果 N 很小，可能全对或全错，你无法判断（不活跃）；如果 N 很大，你大概率能覆盖所有类型的解法（充分覆盖）；但如果 N 适中，你可能只看到了常见解法并强化它，而那些用少见但正确方法解题的同学被你忽略了。F-GRPO 的做法相当于给那些「班上答对人数较少」的题目更高的关注权重——因为这些题目更有可能出现稀有正确模式被遗漏的情况。技术路线上，首先在分类策略框架下推导了尾部遗漏概率的闭合形式和未采样正确质量量的变化公式；然后设计了一个简单的 Focal 权重 $g(x) = (1 - \hat{\mu}_{pos}(x))^\gamma$，将其乘到群相对优势上，即可与 GRPO、DAPO、CISPO 等任何群相对方法正交组合。
F-GRPO 的核心创新是将「prompt 难度」（以群内采样正确率 $\hat{\mu}_{pos}(x) = X/N$ 衡量）作为调节群相对优势的单一标量系数。当群内大多数 rollout 都正确时（$\hat{\mu}_{pos}(x) \to 1$），$g(x) \to 0$，优势被大幅衰减；当群内只有少数正确时（$\hat{\mu}_{pos}(x)$ 小），$g(x) \to 1$，优势几乎不变。这与已有方法的本质区别在于：已有方法如熵正则化、KL 惩罚、低学习率是对所有 prompt 统一调节更新幅度；DS-GRPO 修改奖励值本身；而 F-GRPO 是在群层面、按采样正确率选择性调节，且不修改奖励、不修改裁剪参数、不引入参考模型，仅需一个超参数 $\gamma$。理论动机直接来自本文的尾部遗漏分析：高采样正确率的群更可能已经覆盖了大多数正确模式（减少遗漏风险），而低采样正确率的群更可能遗漏稀有正确模式（需要保留其学习信号）。
方法步骤详情
F-GRPO 的完整流程如下：第一步，对每个训练 prompt $x$，从当前策略 $\pi_\theta$ 采样 N 个 rollout $\{o_i\}_{i=1}^N$，计算二元奖励 $R_i \in \{R_c, R_w\}$。第二步，计算群相对优势 $\hat{A}_i^{GRPO} = (R_i - \bar{R}) / (\sigma_R + \epsilon)$，其中 $\bar{R}$ 是群均值，$\sigma_R$ 是群标准差。第三步，计算该 prompt 的经验成功率 $\hat{\mu}_{pos}(x) = X/N$，其中 X 是群内正确的 rollout 数。第四步，计算 Focal 权重 $g(x) = (1 - \hat{\mu}_{pos}(x))^\gamma$，$\gamma \geq 0$ 是唯一的超参数（$\gamma = 0$ 退化为标准 GRPO）。第五步，将 Focal 权重乘到优势上得到加权优势 $\hat{A}_i^{F\text{-}GRPO} = g(x) \cdot \hat{A}_i^{GRPO}$。第六步，用加权优势替换原始优势，进入标准的 GRPO/DAPO/CISPO 优化流程（裁剪 surrogate 目标、token 级重要性比率等不变）。整个修改极其轻量：不引入额外网络，不改变奖励值或裁剪参数，$\gamma$ 是唯一新增超参数，且在所有实验中 $\gamma \in \{0.5, 1.0\}$ 即可。
技术新颖性
F-GRPO 的技术新颖性体现在三个方面。第一，理论分析的完整性：不同于以往只观察到分布锐化现象的实证工作，本文首次推导了尾部遗漏概率的闭合公式 $\Pr(B^{E,N}(x)|x) = (1-\tau)^N - (\mu_{pos}-\tau)^N - (1-\mu_{pos})^N$，揭示了其与 N 的非单调依赖关系，统一了「小 N 足够」和「大 N 更好」的矛盾观点。第二，分类框架下的分布分析：Proposition 3.2 给出了未采样正确质量量变化的闭合形式，证明 $\Delta Q_{u,pos}$ 可以为负即使 $\Delta Q_{pos} > 0$，揭示了 RLVR 增加总正确质量但集中到已采样子集的机制。第三，实用方案的正交性：Focal 权重是一个群层面的标量系数，与底层优化器（GRPO/DAPO/CISPO）的裁剪策略、重要性权重、KL 惩罚等选择完全正交，可以即插即用，这与需要修改奖励函数（DS-GRPO）、引入额外正则项（GRPO-KL/GRPO-H）或调低全局学习率的方案有本质区别。
实验结果
本文在四个层次上验证了其理论和方法。第一，分类策略模拟：在 128,000 个动作（10,000 个正确）的 softmax 策略上，总正确质量量 $Q_{pos}$ 对所有组大小都增长（验证了 Hu et al. 的结论），但保留正确质量量 $M_{ret}$ 在中间组大小（如 N=256 到 N=8192）严重坍缩至约 0.2，形成明显的「集中区」。使用 $\gamma=1$ 的 Focal 加权后，中间组大小的 $M_{ret}$ 显著改善。N=131,072 时 $M_{ret} \approx 1$ 全程保持，验证了理论预测 $\Pr(B^{E,N}|x) < 10^{-3}$。第二，单解 Maze 实验：在每个 prompt 只有一个正确动作序列的迷宫任务中，F-GRPO（$\gamma=0.5$）在所有组大小 N $\in$ \{4,8,16,32,64,128\} 上均提升了 pass@1（74.4–93.6 vs. GRPO 的 65.6–75.8）和 pass@256（75.9–96.5 vs. 67.3–76.9），且减少了训练早期的 pass@K 下降。第三，LLM 主实验（N=8）：在 Qwen2.5-7B 上，F-GRPO 将平均数学 pass@256 从 64.1 提升到 70.3（+6.2），F-DAPO 从 69.3 到 72.5（+3.2），F-CISPO 从 73.2 到 76.8（+3.6）；OOD pass@256 也全面提升（55.9→63.3、58.4→63.6、59.0→65.9）。在 Qwen3-4B-Base 上提升更大，F-GRPO pass@256 从 71.1 到 76.0（+4.9），F-CISPO 从 75.3 到 79.2（+3.9）。在 Llama-3.2-3B-Instruct 上，F-DAPO 提升最为显著（54.2→62.3，+8.1）。第四，与正则化方法对比：F-GRPO 在数学 pass@1（38.6）上优于 GRPO-H（37.8）、GRPO-KL（37.2）、GRPO low-LR（37.8）和 DS-GRPO（37.7）；在 pass@256 上，DS-GRPO（73.8）略高于 F-GRPO（70.3），但 pass@1 更低，呈现 pass@1/pass@256 的权衡而非全面压制。跨所有 9 个方法-模型组合，Focal 加权平均提升数学 pass@256 约 +3.9，OOD pass@256 约 +4.1，数学 pass@1 在 9/9 情况中保持或改善。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Qwen2.5-7B 数学平均 | pass@256 | F-GRPO: 70.3 | GRPO: 64.1 | +6.2 (+9.7%) |
| Qwen2.5-7B AIME 2025 | pass@256 | F-GRPO: 52.6 | GRPO: 40.8 | +11.8 (+28.9%) |
| Qwen2.5-7B AMC 2023 | pass@256 | F-GRPO: 96.3 | GRPO: 87.3 | +9.0 (+10.3%) |
| Qwen2.5-7B OOD 平均 | pass@256 | F-GRPO: 63.3 | GRPO: 55.9 | +7.4 (+13.2%) |
| Qwen2.5-7B IFEval | pass@256 | F-GRPO: 75.7 | GRPO: 70.3 | +5.4 (+7.7%) |
| Qwen2.5-7B GPQA Diamond | pass@256 | F-GRPO: 57.3 | GRPO: 46.2 | +11.1 (+24.0%) |
| Qwen2.5-7B F-DAPO OOD | pass@256 | F-DAPO: 63.6 | DAPO: 58.4 | +5.2 (+8.9%) |
| Qwen2.5-7B F-CISPO OOD | pass@256 | F-CISPO: 65.9 | CISPO: 59.0 | +6.9 (+11.7%) |
| Qwen3-4B-Base F-GRPO 数学 | pass@256 | F-GRPO: 76.0 | GRPO: 71.1 | +4.9 (+6.9%) |
| Qwen3-4B-Base F-CISPO OOD | pass@256 | F-CISPO: 80.0 | CISPO: 76.5 | +3.5 (+4.6%) |
| Llama-3.2-3B-Instr. F-DAPO 数学 | pass@256 | F-DAPO: 62.3 | DAPO: 54.2 | +8.1 (+14.9%) |
| GRPO N=8 vs N=32 数学 pass@256 | pass@256 | F-GRPO N=8: 70.3 | GRPO N=32: 70.1 | 4倍计算量节省下持平 |
局限与改进
本文的局限性可以从多个角度分析。首先，理论分析基于分类策略框架（有限动作空间的 softmax 策略），这是一个抽象模型，其具体参数（如 128,000 动作、初始正确质量量 0.63）不应直接映射到 LLM 训练的定量预测。集中区的具体边界依赖于初始分布和学习率，论文作者也明确指出不应将分类模拟的定量结果直接解释为 LLM 训练的预测。其次，Focal 超参数 $\gamma$ 需要选择，在本文的扫描范围 $\{0.5, 1.0, 2.0\}$ 中，$\gamma=2.0$ 有时进一步提升 pass@256 但经常引入 pass@1 的权衡，说明最优 $\gamma$ 可能依赖于模型和任务。第三，本文的实验主要在数学推理任务上进行（DeepScaleR 数据集），OOD 评估包括 IFEval、SynLogic 和 GPQA，但在代码生成、常识推理等其他 RLVR 场景下的有效性尚未验证。第四，本文的方法在 Qwen3-4B-Base 上对 DAPO 的改善幅度较小（+0.3 数学 pass@256），且在 Llama-3.2-3B-Instruct 上 F-GRPO 对数学 pass@256 的提升（+3.5）不如 F-DAPO（+8.1）和 F-CISPO（+1.7），说明方法的效果在不同基础优化器和模型之间存在差异。最后，论文未讨论 Focal 加权与更大组大小的组合效果——如果将 F-GRPO 与 N=32 结合使用是否能获得更大收益，这在实际计算预算允许时是一个值得探索的方向。
独立分析的弱点
本文有几个值得深入探讨的弱点。第一，Focal 权重仅依赖群内采样正确率这一个统计量，忽略了 prompt 内不同正确解之间的多样性差异。例如，一个 prompt 可能有两种截然不同的正确解法，即使采样正确率较高，仍可能遗漏其中一种。改进方向可以是引入群内正确 rollout 的多样性度量（如平均嵌入距离或序列级编辑距离），对多样性低的群施加更大权重。第二，$\gamma$ 是全局超参数，但不同难度的 prompt 可能需要不同程度的调节。一个自适应方案可以将 $\gamma$ 设为 prompt 历史成功率的函数——对历史上从未或极少答对的 prompt 使用更大的 $\gamma$，实现课程学习式的自适应加权。第三，本文只研究了 outcome-level 奖励（仅看最终答案是否正确），而实际中 process-level 奖励（如步骤级反馈）越来越流行。Focal 权重是否可以推广到 step-level，按部分正确的程度加权，值得探索。第四，理论推导假设 i.i.d. 采样，但实际 LLM 训练中 rollout 可能受 temperature、top-p/top-k 采样策略影响，这些与 i.i.d. 假设的偏差可能影响 Focal 权重的有效性。
未来方向
作者在论文中提到的未来方向包括：将分析扩展到更广泛的奖励结构（超越二元奖励），以及探索 Focal 加权与更大组大小的交互。基于本文成果可延伸的方向更多：第一，将 Focal 权重与 token 级方法（如 entropy-based token reweighting）结合，同时在 prompt 层和 token 层缓解集中化。第二，将理论框架扩展到多轮对话或 agent 任务中，其中 rollout 不是单次回答而是多步交互序列，尾部遗漏的机制可能更复杂。第三，探索 Focal 权重在 online RL（如在线 DPO 或 online RLHF）中的应用，而不仅限于 outcome-level RLVR。第四，将本文的有限采样偏差理论应用于理解测试时计算扩展（test-time compute scaling）中 pass@k 的行为模式，为采样策略设计提供理论指导。第五，研究 $\gamma$ 的自动调优机制，例如通过验证集 pass@256 信号动态调整 $\gamma$。
复现评估
本文的复现条件相当友好。数据集使用公开的 DeepScaleR（过滤后 39,202 个样本），评估基准均为公开数据集（MATH500、AIME24/25、AMC23、Minerva Math、OlympiadBench、GPQA Diamond、IFEval、SynLogic）。训练使用 verl 框架和 sglang 推理引擎，均为开源工具，部署在 16 块 NVIDIA H100 GPU 上。代码和权重方面，论文未明确声明是否开源代码仓库，但使用的基础模型（Qwen2.5-7B、Qwen3-4B-Base、Llama-3.2-3B-Instruct）均为公开模型。复现难度方面，核心修改仅需在 GRPO 优势计算后乘以一个标量系数，实现极其简单；超参数 $\gamma$ 只需在 $\{0.5, 1.0\}$ 中选择，通常 $\gamma=0.5$ 即可。评估需要生成大量样本（n=1024 per problem 用于 pass@k 估计），计算量不小，但可以用子采样（如本文的 m=256 子采样统计测试）降低评估成本。整体而言，这是一个理论清晰、实现简单、计算需求中等的研究，适合在已有 RLVR 训练流程上快速验证。
论文图表
