你的群组相对优势是有偏的 Your Group-Relative Advantage Is Biased
揭示GRPO等群组相对RL算法中优势估计的固有偏差，并提出HA-DW自适应修正方案
前置知识
RLVR（Reinforcement Learning from Verifier Rewards）
RLVR是一种利用验证器（verifier）提供的奖励信号来训练大语言模型推理能力的后训练范式。核心思路是：给定一个数学问题，模型生成多个解答（rollouts），然后用验证器判定每个解答的对错（二元奖励 0/1），再用这些奖励信号通过强化学习更新模型策略。这种方法避免了训练复杂的奖励模型，特别适合数学推理等有明确正确答案的任务。DeepSeek-R1 和 GRPO 是该范式的代表性工作。
本文的核心发现——优势估计偏差——正是发生在 RLVR 的群组相对优势计算环节，理解 RLVR 的工作流程是理解本文问题和方案的基础。
GRPO（Group Relative Policy Optimization）
GRPO 是一种简化版的 PPO，它去掉了价值网络（critic），转而使用同一 prompt 下多个采样响应的平均奖励作为基线来估计优势。具体来说，对每个 prompt 生成 G 个响应，计算组内平均奖励，然后每个响应的优势等于其奖励减去组内均值。这种设计省去了训练 critic 的计算开销，在 DeepSeek-R1 之后被广泛采用。形式化地，GRPO 定义群组优势为：响应奖励减去组内均值再除以标准差，并将此归一化后的优势均匀分配给响应中的所有 token。
GRPO 是本文分析的核心对象，论文证明了 GRPO 使用的群组相对优势估计器相对于真实优势存在系统性偏差，这是本文的理论基石。
优势估计（Advantage Estimation）
在策略梯度方法中，优势函数衡量的是采取某个动作相对于平均水平的优劣程度。正优势意味着该动作比平均好，应该被强化；负优势意味着该动作比平均差，应该被抑制。在 RLVR 中，真实优势定义为响应奖励减去策略在该 prompt 上的期望奖励。优势估计的准确性直接决定了策略更新的方向和幅度。群组相对方法用有限样本的组内均值替代真实期望，引入了估计误差。
论文的核心论证是：群组相对优势估计器在困难 prompt 上系统性地低估真实优势，在简单 prompt 上高估，导致模型对困难问题学习不足、对简单问题过度利用。
期望奖励与经验估计
给定 prompt 和策略，期望奖励代表策略在该 prompt 上能获得正确解答的真实概率。而群组基线只是从有限样本（如 G=8 个 rollouts）中估计出的经验值。当 G 较小时，经验估计和真实期望之间可能存在显著差异。例如，如果真实通过率是 20%，在 8 个样本中可能恰好有 0 个或 3 个正确，对应的估计值分别是 0% 和 37.5%，与真实值差距很大。这种有限样本导致的差异正是偏差的根源。
理解经验估计与真实期望的区别，是理解偏差产生机制的关键——有限样本导致的系统性偏差而非随机噪声。
Kalman 滤波风格更新
Kalman 滤波是一种递归贝叶斯估计方法，通过融合新的观测与先验信念来获得后验估计。本文将其思想应用于跨批次信息融合：将模型的历史表现作为先验信念，用当前批次的观测准确率更新为后验。遗忘因子动态调节历史信息与当前观测的权重，在训练初期快速适应、后期保持稳定。具体而言，后验信念等于(1-eta)乘以先验加上eta乘以当前观测，其中eta根据历史波动自动调节。
这是 HA-DW 算法中演化难度锚点的核心技术，使算法能够感知模型能力随训练的动态变化，而非使用固定阈值判断 prompt 难度。
研究动机
在 RLVR 后训练范式中，GRPO 及其变体（GSPO、DAPO、Dr.GRPO 等）依赖群组相对优势估计来避免训练 critic 网络。具体做法是：对每个 prompt 生成 G 个响应（通常 G=8），用组内平均奖励作为基线计算优势。然而，当 G 较小时，组内均值作为真实期望的估计器存在系统性偏差。实证数据表明，在 MATH 数据集上当 rollout=8 时，有 24 组困难 prompt（在 rollout=8 时只有 1 个正确响应）在 rollout=128 时实际正确数不到 16 个，说明这些 prompt 的优势被严重低估。类似地，12 组在 rollout=8 时有 7 个正确响应的 prompt，在 rollout=128 时实际错误数不到 16 个，说明优势被高估。这种偏差导致策略在困难 prompt 上探索不足（因为正优势被低估，学习信号变弱），在简单 prompt 上过度利用（因为负优势的绝对值被低估），最终影响训练稳定性和泛化能力。
本文的目标是本文的首要目标是提供群组相对优势估计器偏差的严格理论刻画，证明其在真实通过率不等于 0.5 时存在系统性偏差；其次，在理论指导下提出一种轻量级的自适应加权方案 HA-DW，在不增加 rollout 数量和计算成本的前提下修正偏差，提升 GRPO 及其变体在数学推理任务上的性能。具体来说，HA-DW 要在五个数学推理基准上持续提升 GRPO/GSPO/DAPO 的准确率，同时保持即插即用的特性，作为纯插件集成到现有算法中。
与已有工作不同的是，此前关于群组相对 RL 算法的改进工作（如 DAPO 的解耦裁剪、GSPO 的序列级重要性采样、Dr.GRPO 的归一化修正等）主要聚焦于策略优化的稳定性设计，但都没有从统计学角度分析群组基线本身作为估计器的性质。本文是第一个从偏差-方差角度严格证明群组相对优势估计器存在系统性偏差的工作，且发现这一偏差与 prompt 难度高度相关——困难 prompt 低估、简单 prompt 高估——而非简单的随机噪声。这一独特视角为修正方案提供了精确的理论指导：应当增强困难 prompt 的优势估计、抑制简单 prompt 的优势估计。
核心方法
HA-DW 的核心思想可以用一个直觉类比来理解：想象一位老师在课堂上提问，如果某个问题全班都答对了（简单题），老师不应该因为这次都答对就高估学生在这类题上的能力；如果某个问题只有少数人答对（困难题），老师不应该因为这次正确率低就低估学生在这类题上的探索潜力。HA-DW 就是这样一个历史感知的自适应难度加权机制，它通过两个协作阶段工作：第一阶段维护一个演化难度锚点 Ct，通过跨批次信息融合追踪模型能力的长期变化趋势；第二阶段根据每个 prompt 相对于模型当前能力的历史难度 diff_hist = p_hat_t - Ct_minus 自适应地调整优势权重——增强困难 prompt 的优势估计（促进探索）、抑制简单 prompt 的优势估计（减少过度利用）。技术路线上，HA-DW 是一个即插即用的插件，通过乘性因子 Phi_{t,i} 调整优势项，可以无缝集成到 GRPO、GSPO、DAPO 等任意群组相对 RL 算法中。
HA-DW 与已有方法最本质的区别在于：它不是从策略优化层面（如裁剪、归一化）来改进 GRPO，而是从底层统计估计的角度修正群组相对优势的固有偏差。具体来说，论文证明了群组基线的条件期望在真实通过率 p_t 小于 0.5 时小于 p_t（低估），在 p_t 大于 0.5 时大于 p_t（高估），且这一偏差随着 p_t 偏离 0.5 和 G 的减小而增大。基于这一发现，HA-DW 设计了一个指数形式的重加权因子 Phi_{t,i} = lambda_scale * exp(D_{t,i} * M_t)，其中方向项 D_{t,i} 决定增强还是抑制（基于优势和难度偏离的符号），幅度项 M_t 控制调整强度（基于难度偏离的绝对值）。这种设计使得困难 prompt 的正优势被放大，简单 prompt 的负优势绝对值被缩小，从而系统性地修正偏差。Theorem 3 从理论上保证了在适当的 lambda_scale 选择下，HA-DW 调整后的优势估计的期望偏差严格小于原始估计。
方法步骤详情
HA-DW 的完整工作流程分为三个步骤。第一步是演化难度锚点的维护：在每个训练步骤 t，计算当前批次的准确率 y_t = K_t / B_t（K_t 为正确响应数，B_t 为总响应数），然后用 Kalman 风格更新 Ct_plus = (1-eta_t)*Ct_minus + eta_t * y_t 融合历史信息，其中遗忘因子 eta_t = eta * sigma_t 根据前 m 个批次的信念标准差动态调节——训练初期用较大的 eta_t 快速适应能力变化，后期用较小的 eta_t 保持稳定。更新后的 Ct_plus 作为下一步的先验。第二步是计算历史感知的 prompt 难度：diff_hist = p_hat_t - Ct_minus，它衡量当前 prompt 的组内准确率相对于模型演化能力的偏离程度和方向。第三步是自适应优势重加权：计算方向项 D_{t,i}（基于优势符号和难度偏离符号的乘积取负），幅度项 M_t = |diff_hist|，然后定义重加权因子 Phi_{t,i} = lambda_scale * exp(D_{t,i} * M_t)。最终的 HA-DW 目标函数在原始群组相对 RL 目标的基础上乘以 Phi_{t,i}。
技术新颖性
HA-DW 的技术新颖性体现在三个方面。第一，从理论层面看，本文是首个严格证明群组相对优势估计器存在系统性偏差的工作。Theorem 1 给出了期望层面的偏差方向（困难低估、简单高估），Theorem 2 给出了分布层面的偏差概率，Corollary 1-3 给出了实用群组大小（G 在 2 到 8 之间）下的精确概率界——例如在 p_t 小于 0.25 时低估概率超过 78%，在 p_t 小于 0.125 时低估概率为 100%。第二，从算法设计层面看，HA-DW 引入了跨批次历史信息融合的思想来追踪模型能力的演化，这是此前群组相对 RL 算法所没有的。传统方法使用固定阈值判断 prompt 难度，而 HA-DW 通过 Kalman 风格更新的演化锚点实现了动态、自适应的难度评估。第三，从工程实用层面看，HA-DW 是一个纯即插即用的乘性因子，不改变原有算法的结构，不需要额外的模型或网络，计算开销几乎为零。
实验结果
本文在五个数学推理基准上进行了全面实验，覆盖三个模型族（Qwen3-4B-Base、Qwen3-8B-Base、LLaMA-3.2-3B-Instruct）和三种群组相对 RL 算法（GRPO、GSPO、DAPO）。核心发现如下：首先，在所有 9 种模型x算法组合中，HA-DW 均带来了一致的性能提升。在 Qwen3-4B-Base 上，GRPO+HA-DW 相比 GRPO 在五个基准上的平均准确率从 46.5% 提升到 48.7%（+2.2 个百分点），DAPO+HA-DW 从 46.8% 提升到 49.5%（+2.7 个百分点）。在 Qwen3-8B-Base 上提升更为显著，DAPO+HA-DW 从 50.7% 提升到 53.4%（+2.7 个百分点），GRPO+HA-DW 从 49.6% 提升到 52.5%（+2.9 个百分点）。其次，HA-DW 在困难 prompt 上的提升最为突出：在 MATH500 的 Hard 难度（Levels 4-5）上，GRPO+HA-DW 比 GRPO 高出 3.4 个百分点，而在 Easy 和 Mid 难度上两者接近，这直接验证了偏差修正的效果——困难题目的优势被低估导致探索不足，HA-DW 通过增强困难 prompt 的优势估计恢复了探索。第三，HA-DW 在有限 rollout 条件下甚至优于使用更多 rollout 的基线：在 Qwen3-4B-Base 上，GRPO+HA-DW（rollout=8）在 MATH500 上达到 78.0%，超过了 GRPO（rollout=16）的 76.2%，说明自适应优势调整比简单增加采样更高效。第四，训练动态分析表明 HA-DW 不仅提升了最终性能，还改善了训练过程——模型获得了更高的训练奖励并生成了更长的推理链（在 Qwen3-8B-Base 上从约 800 token 增加到约 1200 token），说明 HA-DW 激励了更深入的推理探索。消融实验还验证了动态阈值 Ct 优于固定阈值（48.7% vs 48.1%），以及 lambda_scale=1.3 或 1.5 为最优值。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH500 | Accuracy (%) | GRPO+HA-DW: 78.0 (4B), 80.0 (8B) | GRPO: 75.4 (4B), 78.8 (8B) | +2.6 (4B), +1.2 (8B) |
| AIME25 | avg@16 Accuracy (%) | GRPO+HA-DW: 20.4 (4B), 22.9 (8B) | GRPO: 19.6 (4B), 20.4 (8B) | +0.8 (4B), +2.5 (8B) |
| AMC23 | avg@16 Accuracy (%) | GRPO+HA-DW: 63.4 (4B), 72.8 (8B) | GRPO: 60.3 (4B), 64.2 (8B) | +3.1 (4B), +8.6 (8B) |
| Minerva | Accuracy (%) | GRPO+HA-DW: 36.8 (4B), 39.7 (8B) | GRPO: 33.8 (4B), 38.2 (8B) | +3.0 (4B), +1.5 (8B) |
| OlympiadBench | Accuracy (%) | GRPO+HA-DW: 44.7 (4B), 47.1 (8B) | GRPO: 43.5 (4B), 46.4 (8B) | +1.2 (4B), +0.7 (8B) |
| MATH500 (Qwen3-8B) | Accuracy (%) | DAPO+HA-DW: 82.8 | DAPO: 79.2 | +3.6 |
| Average (Qwen3-4B) | Avg Accuracy (%) | DAPO+HA-DW: 49.5 | DAPO: 46.8 | +2.7 |
局限与改进
本文存在以下局限性。首先，作者坦承 HA-DW 目前仅针对群组相对 RL 方法设计，其核心思想——修正优势估计偏差——具有更广泛的适用性，但本文未将其扩展到 PPO 等使用 critic 的方法中。其次，实验主要在数学推理任务上验证，使用的是二元奖励（对/错），虽然论文在附录中将分析扩展到连续有界奖励分布（Beta 和截断高斯），但实际在这些设置下的实验验证有限。第三，HA-DW 引入了额外的超参数，包括缩放常数 lambda_scale、遗忘因子基准 eta、历史窗口大小 m 等，虽然论文提供了理论指导的选取范围（lambda_scale 在 1.3 到 1.5 之间效果最好），但最优值仍需实验调优。第四，实验规模受限于单节点 8xA100 的配置，最大模型仅 8B 参数，未在更大规模（如 70B+）模型上验证。此外，Theorem 3 要求 lambda_scale 落在特定区间内，这个区间依赖于真实 p_t 的上下界估计（通过 Lemma 6 用 p_hat_t 近似），在训练初期这些估计可能不够可靠。
独立分析的弱点
从独立分析的角度看，HA-DW 存在几个值得关注的弱点。第一，演化难度锚点 Ct 的更新依赖于批次级准确率 y_t，这在 prompt 难度分布剧烈波动时可能产生不稳定的估计。例如如果某一批次恰好集中了大量简单 prompt，y_t 会偏高导致 Ct_minus 被推高，进而错误地将后续批次的中等难度 prompt 判定为困难。改进方向是引入 prompt 级别的难度追踪而非批次级别，或使用加权移动平均来减轻异常批次的影响。第二，重加权因子 Phi_{t,i} 的指数形式可能导致极端值——当 M_t 较大时（模型能力与 prompt 难度差距大），Phi_{t,i} 可能变得非常大或非常小，导致梯度不稳定。可以考虑引入截断或 Softmax 归一化来约束 Phi_{t,i} 的范围。第三，论文的偏差分析假设奖励服从 Bernoulli 分布，虽然附录扩展到连续有界分布，但在实际应用中奖励可能来自学习得到的奖励模型，其分布特性可能更复杂，偏差的理论界可能不够紧。改进方向是对奖励模型的校准误差进行联合分析。第四，lambda_scale 的理论选取范围依赖于 clow 和 chigh 的计算，这本身需要知道 p_hat_t 和 epsilon_delta，在训练初期这些估计可能不够可靠，实际中可能需要更鲁棒的自适应机制来调节 lambda_scale。
未来方向
未来研究可以从以下几个方向展开。第一，将偏差修正思想扩展到更广泛的 RL 算法中，包括使用 critic 的 PPO、使用 token 级优势的方法等——虽然这些方法不使用群组基线，但其价值函数估计同样可能存在系统性偏差。第二，探索 prompt 级别的难度自适应，而非当前的批次级演化锚点——可以利用模型的内部表示（如 logit 分布、注意力模式）来更精细地估计每个 prompt 的难度，从而实现更精确的优势修正。第三，结合自适应采样策略，让 HA-DW 不仅调整优势权重，还能指导 rollout 预算的分配——对困难 prompt 分配更多 rollouts 以降低方差，对简单 prompt 减少 rollouts 以节省计算。第四，在更大规模模型（70B+）和更广泛的任务（代码生成、逻辑推理、科学问答）上验证 HA-DW 的效果。第五，作者在 Limitations 章节提到将探索偏差修正思想扩展到更广泛的估计偏差场景，这是一个很有前景的方向——许多 RL 算法中的统计估计器都可能存在类似的系统性偏差。
复现评估
论文的可复现性较好。代码和实验基于 VeRL 框架，这是一个开源的 RLHF/RLVR 训练框架，在单节点 8xNVIDIA A100 GPU 上运行，算力需求对中等规模的研究团队是可承受的。训练数据使用 MATH 数据集（7.5k 题），评估使用五个标准基准（MATH500、AMC23、AIME25、Minerva、OlympiadBench），都是公开可获取的。模型使用 Qwen3-4B-Base、Qwen3-8B-Base 和 LLaMA-3.2-3B-Instruct，均为开源模型。论文提供了详细的超参数设置（Table 8），包括学习率 1e-6、rollout 数 G=8、最大响应长度 4096 等。HA-DW 本身作为一个即插即用的乘性因子，实现复杂度很低——核心代码量估计在 50 行以内。主要的复现难点在于 lambda_scale 和 eta 的调优，但论文提供了消融实验作为参考（lambda_scale=1.3 或 1.5 效果最好）。总体而言，复现难度属于中等偏低水平。
论文图表
