GDPO：基于组奖励解耦归一化的多奖励强化学习策略优化方法 GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization

GDPO的方法包含三个主要步骤。第一步是解耦的组内标准化：对每个问题 $i$ 的第 $k$ 个奖励，计算其在组内的标准化优势 $$A_{k}^{(i,j)} = \frac{r_{k}^{(i,j)} - \text{mean}\{r_{k}^{(i,1)}, \ldots, r_{k}^{(i,G)}\}}{\text{std}\{r_{k}^{(i,1)}, \ldots, r_{k}^{(i,G)}\}}$$ 其中 $G$ 是组大小。第二步是加权聚合：将各奖励的标准化优势加权求和 $$A_{sum}^{(i,j)} = w_1 A_1^{(i,j)} + \cdots + w_n A_n^{(i,j)}$$ 权重 $w_k$ 用于编码不同目标的优先级。第三步是批次级标准化：对聚合后的优势进行批次级别的标准化 $$\hat{A}_{sum}^{(i,j)} = \frac{A_{sum}^{(i,j)} - \text{mean}\{A_{sum}^{(i',j')}\}}{\text{std}\{A_{sum}^{(i',j')\} + \epsilon}$$ 确保优势的数值范围不随奖励数量增加而增长，提高训练稳定性。最后使用标准的PPO-clip目标函数进行策略更新。

GDPO的技术新颖性体现在多个层面。首先，它首次从信息论角度系统分析了GRPO在多奖励场景下的信号坍塌问题，这是以往工作未曾关注的。其次，解耦归一化的思想虽然简单，但非常有效，且理论上有明确的解释：通过对每个奖励独立标准化，GDPO保留了 $O(G^n)$ 级别的不同优势值组，而GRPO只有 $O(G)$ 级别。论文的图3量化了这一差异：随着rollout数量或奖励数量增加，GDPO产生的好处值组数量远超GRPO和GRPO w/o std。此外，论文还系统研究了奖励优先级调整策略，提出了通过条件化奖励函数来解决奖励难度差异导致的优化偏差问题，这在实际应用中具有重要价值。

本文存在几个值得改进的弱点。第一，理论分析较为初步，仅通过枚举小规模示例说明奖励坍塌问题，缺乏对GDPO优势值组数量的更严格数学刻画，例如给出不同奖励数量 $n$ 和组大小 $G$ 下GDPO与GRPO优势值组数量的精确公式。第二，批次级标准化的引入虽然提高了训练稳定性，但可能引入跨批次的不一致性，特别是在奖励分布随训练变化时，论文未深入分析这一潜在问题。第三，奖励优先级调整部分的实验主要在DeepSeek-R1-7B上进行，未验证在其他模型架构上的泛化性。第四，条件化奖励函数（如将长度奖励条件化在正确性上）虽然有效，但这种设计需要人工根据任务特点进行调整，缺乏自动化的优先级适应机制。第五，论文未提供GDPO与更广泛的基线方法（如PPO、ReMax、RLOO等）的比较，限制了对GDPO相对优势的全面理解。

基于本文成果，未来研究可以在多个方向展开。首先，可以探索GDPO在更大规模模型和更多奖励维度下的效果，特别是在同时优化正确性、安全性、公平性、风格等多个维度时的表现。其次，可以研究自动化的奖励优先级适应机制，例如通过元学习或在线调整来动态确定奖励权重和条件化策略，减少人工设计的需求。第三，将GDPO与学习到的奖励模型结合使用是一个重要方向，因为实际应用中的偏好往往是隐式的、难以用规则表达的。第四，可以探索GDPO在其他RL算法框架（如PPO、ReMax）中的应用，验证解耦归一化的思想是否具有更广泛的适用性。第五，研究GDPO在在线学习和持续学习场景下的表现，特别是在奖励分布随时间变化时的适应能力。

本文的复现性较好。作者在论文中声明已在HF-TRL、verl和Nemo-RL三个框架中实现了GDPO，这大大降低了复现门槛。论文提供了详细的超参数配置（见附录D和E），包括batch size（512）、rollout数量（4或16）、最大响应长度（1024或8000）、学习率等关键设置。训练数据方面，工具调用任务使用公开的ToolACE、Hammar和xLAM数据集，数学推理使用DeepScaleR-Preview数据集，代码推理使用Eurus-2-RL数据集，均为公开可用。评估基准（BFCL-v3、AIME、MATH等）也都是标准测试集。算力需求方面，论文未明确说明训练所需的GPU资源，但基于使用的模型规模（1.5B-7B）和训练步数（100-500步），估计需要多块A100或H100 GPU。总体而言，具备相应算力的研究团队应该能够较为顺利地复现本文结果。