让稀疏奖励物尽其用：多奖励强化学习中的密度感知奖励聚合 Make Sparse Rewards Count: Density-Aware Reward Aggregation for Multi-Reward RL
用活跃组密度解释并校准多奖励RL中各奖励的学习信号强度，加速稀疏目标学习
前置知识
GRPO（组相对策略优化）
大语言模型 RL 后训练的主流算法：对每个提示采样 $G$ 个回答，用组内奖励的均值 $\mu$ 和标准差 $\sigma$ 把奖励归一化为相对优势 $\hat{A}=(r-\mu)/(\sigma+\epsilon)$，用相对比较替代绝对回报，无需训练独立的价值网络。它由 DeepSeekMath 提出后成为 R1 类推理模型训练的基础范式。
本文全部理论都建立在 GRPO 式组归一化之上，DARA 只修改其多奖励优势的聚合步骤，策略优化目标完全不变。
多奖励 RL 与逐奖励归一化（GDPO）
当任务同时要求答案正确、格式合规、长度受控、工具调用可靠等多个行为目标时，每个目标可作为一个独立奖励通道联合优化。GRPO 先把奖励求和再做组归一化，会把不同的奖励组合映射到相同优势（奖励坍缩）；GDPO 反转顺序，先对每个奖励通道独立组归一化再聚合，保留各通道的相对信息。
DARA 是对 GDPO 聚合方式的后续修正；论文证明即使做了逐奖励归一化，批层面仍残留与奖励活跃度成正比的信号不均衡。
稀疏奖励与奖励饱和
二值奖励只有在组内同时出现成功与失败样本时才提供组内相对比较信号。当奖励太难（几乎全错）或已接近饱和（几乎全对）时，大多数 rollout 组内奖励为常数，归一化优势为零，该奖励对策略更新的贡献骤降，学习在最有价值的阶段反而失去信号。
这正是论文提出的「活跃组密度」变化的来源，也是 DARA 用密度校正要解决的问题：越接近饱和，剩余的有效比较越稀少。
优势能量与策略梯度
策略梯度可写成 $\nabla J=\mathbb{E}[A\nabla\log\pi]$，优势 $A$ 是每个样本梯度贡献的系数。论文定义批次上某奖励的优势能量 $E_k=\sum_{i,j}(A_k^{(i,j)})^2$，衡量该奖励提供给策略更新的梯度系数总质量，并证明它与该奖励梯度贡献的波动幅度直接挂钩。
「能量正比于活跃组密度」的恒等式 $E_k=B\pi_k(G-1)$ 是全文核心定理，权重公式 $w_k=\sqrt{\pi_{ref}/\pi_k}$ 完全由能量匹配条件反解而来。
研究动机
在 LLM 多奖励 RL 后训练中，模型需要同时满足答案正确、格式合规、长度受控、工具调用可靠等多个行为目标，各目标作为独立奖励通道联合优化。GDPO 通过逐奖励组归一化缓解了 GRPO 先标量化导致的奖励坍缩，但其数学推理与工具调用实验仍显示明显的学习不均衡：例如工具调用任务中，正确性奖励（[-3,3] 的工具/参数匹配分）远早于格式奖励被习得，格式合规长期拖后腿；数学推理中长度合规与正确性的习得速度也严重不同步。GDPO 把这种不均衡归因于模型优先学更简单的目标，并报告了一个令人困扰的现象——对权重做温和的人工调整并不能可靠地改变这种优先级。这留下两个未解问题：造成学习进度差异的优化机制究竟是什么？奖励权重能否从这个机制出发解析地推导出来，而不是靠反复的经验调试？
本文的目标是本文的目标是对多奖励 RL 中的学习不均衡给出一个可量化、可测量、可校正的优化信号解释。具体分三步：第一，定义批次层面每个奖励的优势能量 $E_k=\sum_{i,j}(A_k^{(i,j)})^2$，作为该奖励驱动策略更新的信号总量的度量；第二，证明在理想化的 GDPO 归一化下，能量正比于活跃组密度 $\pi_k$（即该奖励提供非零相对优势的 rollout 组占比），从而把「学习慢」归因于「活跃组少、能量低」；第三，由能量匹配条件反解出闭式的密度校正权重，构建即插即用的 DARA 聚合方法，让低频活跃的奖励在提供有效比较时获得更大权重，加速稀疏或趋于饱和目标（如格式、长度合规）的习得，同时不损害最终性能、不修改底层策略优化目标。
与已有工作不同的是，本文的独特切入角度是不走「按某种统计量加权」的经验路线，而是先建立一个可解析的恒等式再做校正。同期方法各有代理统计量：DVAO 按组内标准差加权、SAW 按批次变异系数加权、SA-MRPO 按距奖励上限的剩余距离加权、GD2PO 过滤优势符号冲突的样本。DARA 则先证明：理想化 GDPO 下每个活跃组恰好贡献 $G-1$ 的能量，因此 $E_k=B\pi_k(G-1)$，把学习不均衡严格归约为一个可直接从 rollout 批次测量的统计量；再从能量匹配条件 $w_k^2 E_k=E_{ref}$ 反解出逆平方根校正 $w_k=\min(w_{max},\sqrt{\pi_{ref}/\pi_k})$。权重逐批次自动计算、随奖励活跃度动态变化，无需人工调权，且方法只作用于优势聚合层，与策略更新机制和任务奖励设计完全正交。
核心方法
直觉上，一个奖励要想影响策略更新，必须在某个 rollout 组内产生非零的相对比较：组内全对或全错时，组归一化优势为零。因此每个奖励的信号总量由它「活跃」的组数决定。论文先在理论上证明：理想化 GDPO 归一化下（$\epsilon=0$、常数组优势置零、除数 $G-1$ 的样本标准差），每个活跃组恰好贡献 $G-1$ 的优势能量，批次总能量 $E_k=B\pi_k(G-1)$ 与活跃组密度成正比——也就是说，逐奖励归一化虽然拉平了组内尺度，批层面的信号强度仍随密度线性失衡，这就是 GDPO 学习不均衡的机制根源。技术路线上，DARA 按能量匹配原则给每个奖励乘上 $w_k=\min(w_{max},\sqrt{\pi_{ref}/\pi_k})$（$\pi_{ref}$ 为本批最大密度），使校准后能量统一到 $B\pi_{ref}(G-1)$；权重逐批次计算，随训练中奖励活跃度的变化自适应更新。整个过程只改变优势聚合这一步，之后进入与 GDPO 完全相同的 PPO 裁剪优化目标。
核心创新是把「学习速度不均衡」归因于批次级的优势能量失衡，并给出解析形式的校正。与已有方法的本质区别在于权重的来源：DVAO、SAW、SA-MRPO 等用奖励的方差、变异系数、饱和度等统计量加权，本质是启发式；DARA 的权重从恒等式 $E_k=B\pi_k(G-1)$ 和能量匹配条件推导而来，是「推导出来的」而非「调出来的」。逆平方根形式有明确含义：能量与权重平方成正比，要把密度低 $\pi_{ref}/\pi_k$ 倍的能量补齐，权重必须取该比值的平方根。针对奖励维度冲突时对称放大会同时强化负系数的问题（例如回答正确但超长时收到负长度优势），论文进一步提出 DARA-Asym 变体：密度权重只放大正优势，负优势保持 GDPO 原始尺度，优先强化有利的相对比较、限制额外的负向压力。
方法步骤详情
完整流程（算法 1）：第一步，对每个奖励通道 $k$ 和提示组 $i$，由组内均值 $\mu_{i,k}$ 与标准差 $\sigma_{i,k}$ 得到逐奖励组归一化优势 $A_k=(r_k-\mu_{i,k})/(\sigma_{i,k}+\epsilon)$；第二步，计算活跃指示 $I_{i,k}=\mathbb{1}[\textstyle\frac{1}{G}\sum_j A_k>\tau]$（$\tau=10^{-8}$）与活跃组密度 $\pi_k=\frac{1}{B}\sum_i I_{i,k}$；第三步，取 $\pi_{ref}=\max_k\pi_k$，权重 $w_k=\min(w_{max},\sqrt{\pi_{ref}/\pi_k})$，$\pi_k=0$ 时 $w_k=1$ 不放大，实验中封顶 $w_{max}=5$；第四步聚合：DARA-Sym 用 $S=\sum_k w_kA_k$，DARA-Asym 用 $S=\sum_k A_k+(w_k-1)[A_k]^+$；第五步，批级归一化 $\bar{A}=(S-\mu_B)/(\sigma_B+\epsilon)$ 并广播到响应所有生成 token，进入与 GDPO 相同的裁剪优化目标。所有量在当前 rollout 批次内计算、无跨步状态，权重随训练中各奖励活跃度自适应更新。
技术新颖性
技术新颖性有四点。其一，概念上首次提出「活跃组密度」这一可测量量，并建立密度—能量恒等式，进一步推广到策略梯度几何（命题 1：在协方差条件 $\|PCP-cP\|_{op}\le\delta c$ 下，能量控制该奖励梯度贡献的波动幅度，密度校准等比均衡各奖励的梯度波动）。其二，校正规则是闭式推导的：由 $E_k(\alpha_k)=\alpha_k^2E_k$ 与能量匹配条件反解出 $\alpha_k^*=\sqrt{\pi_{ref}/\pi_k}$，并证明批归一化给所有奖励贡献乘以同一正因子、不破坏相对幅度（推论 1）。其三，理论给出可检验预言：二值奖励的组活跃概率 $q_G(p)=1-p^G-(1-p)^G$ 随组大小 $G$ 严格递增，固定每步响应预算下更大 $G$ 同时提高密度与单位响应能量，实验在 $G\in\{4,8,16,32\}$ 下验证。其四，对非对称变体也证明了能量界 $\|\tilde{A}_{k,asym}\|^2\in[E_k,w_k^2E_k]$。方法与 GSPO、DAPO 等策略更新机制正交，可自由组合。
实验结果
工具调用（Qwen2.5-1.5B/3B，BFCL-v4）：格式奖励中位数达 0.8，DARA 需 14–15 步，GDPO 19 步（少约 26%），GRPO 34 步；第 60 步 DARA 平均准确率 50.94%、平均格式 96.06%，基线最高仅 50.50%/90.11%；第 100 步收敛后仍领先（DARA-Sym 平均 Acc 51.17 vs GDPO 50.37）。加入第三个长度奖励后，GDPO 平均 Format 从 97.11% 跌至 94.39%，DARA 仅降至 96.93%–97.43%，新目标不挤占旧信号。组大小实验验证理论预言：固定每步 2,048 响应，G 从 4 增至 32 提高密度并加快达标，DARA 每个 G 下最早达 0.8。数学推理（R1-1.5B/Qwen3-4B/R1-7B，正确性+长度二值奖励）：99% 长度合规首次稳定达成步数，Qwen3-4B 上 DARA-Asym/Sym/GDPO 为 66/59/111 步，R1-7B 上 56/50/142 步（少 41–65%）；held-out 上 DARA 第 50 步即达 95% 长度合规，GDPO 需 70 步。第 50 步聚合（表 3）：DARA-Sym 三模型 Exceed 均最低（5.18%/1.69%/1.09%），DARA-Asym Acc 最高（45.83%/60.30%/58.31%）且两个 R1 模型 Joint 最高（45.14%/57.83%）。固定权重 $w=5$ 消融显示硬加权掉准确率（48.03%→46.84%）；能量分析（图 7/8）证实 GDPO 下长度能量仅为正确性的 31–46%，DARA 匹配到 1，触cap后 GDPO 跌破 0.04 而 DARA 中位数保持 0.39–0.49。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 工具调用格式习得速度（Qwen2.5-1.5B/3B） | 格式奖励中位数首次达 0.8 的训练步数 | DARA 14–15 步 | GDPO 19 步；GRPO 34 步 | 比 GDPO 少约 26%，比 GRPO 少约 56% |
| 工具调用 BFCL-v4（Qwen2.5-1.5B，step 100） | Average Accuracy (%) / Average Format (%) | DARA-Sym 51.17 / DARA-Asym 97.90 | GDPO 50.37 / 97.11；GRPO 48.46 / 81.01 | Acc +0.80、Format +0.79（vs GDPO） |
| 三奖励工具调用（正确性+格式+长度，Qwen2.5-1.5B，step 100） | Average Format (%) | DARA-Sym 97.43、DARA-Asym 96.93 | GDPO（加长度奖励后）94.39 | +3.04（几乎不损失原格式性能） |
| 数学推理长度合规（Qwen3-4B / DeepSeek-R1-7B） | 首次稳定达到 99% 合规的训练步数 | Qwen3-4B：66/59 步（Asym/Sym）；R1-7B：56/50 步 | GDPO 111 步（4B）/ 142 步（R1-7B） | 步数减少 41–65% |
| 数学推理超长率（三模型平均，step 50） | Exceed：超过 4000 token 的响应占比 (%) | DARA-Sym 5.18 / 1.69 / 1.09（R1-1.5B / Qwen3-4B / R1-7B） | GDPO 8.66 / 7.64 / 6.82 | 三个模型上均为全场最低 |
| 数学推理准确率与联合成功（R1 模型，step 50） | Acc 宏平均 pass@1 (%) / Joint (%) | DARA-Asym 45.83/45.14（1.5B）、58.31/57.83（7B） | GDPO 44.12/43.47（1.5B）、57.45/56.48（7B） | 两个 R1 模型上 Acc 与 Joint 均为最高 |
局限与改进
作者承认的局限：能量—密度恒等式依赖理想化假设（$\epsilon=0$、常数组优势置零、除数 $G-1$ 的样本标准差），能量与梯度波动的联系还需协方差条件成立；权重封顶 $w_{max}=5$ 后不再精确匹配能量，且 $w_{max}$、$\tau$ 是需要选择的超参；作为主方法的 DARA-Asym 只有能量界 $[E_k,w_k^2E_k]$ 而没有精确的能量匹配理论。我的补充观察：其一，主要增益体现在训练动态上（更快达标），第 100 步收敛后最终性能与 GDPO 差距很小（如 1.5B 平均 Acc 51.17 vs 50.37），价值主张偏「省算力」而非「提上限」；其二，实验限于 1.5B–7B 模型和以二值为主的奖励（仅工具调用正确性为 [-3,3]），连续或密集奖励下的密度校准效果未验证；其三，主表未与 SAW、SA-MRPO 等并发方法直接对比；其四，数学推理中强制长度约束先降准后恢复，Asym 高准确高超长、Sym 低准确低超长的权衡仍需使用者按场景选择，且两个模型规模上最优方法不一致（4B Instruct 上 GRPO 在 step 50 领先）。
独立分析的弱点
第一，密度只度量「信号量」而不度量「信号质量」：命题 1 表明放大能量会等比放大梯度波动（噪声），当某奖励的正负优势与其他奖励冲突时，对称校准会同时放大错误的负向压力，DARA-Asym 用「只放大正优势」来补丁，但这放弃了能量匹配的精确性；改进方向是结合 GD2PO 式的符号一致性过滤，或在权重中加入优势方向一致性项。第二，$w_{max}=5$ 的封顶使能量匹配恰在最需要的稀疏阶段失效（第 48–62 步触cap后长度/正确性能量比仍跌至 0.39–0.49），可探索随训练阶段自适应的 cap 或对数尺度压缩权重。第三，各奖励独立校准忽略奖励间相关性：论文公式 (29) 显示两奖励梯度波动的相关性等于其优势向量的相关性，高度相关的奖励会被重复放大、等价于隐式加倍权重，可做协方差感知的联合校准。第四，仅在 GRPO/GDPO 框架内验证，与 DAPO 动态采样、GSPO 序列级重要性比值组合后的交互效应未知。第五，评测规模较小（1.5B–7B、100 步），未展示 13B+ 模型或长周期真实生产负载下的稳定性与开销。
未来方向
作者层面的方向：利用活跃组密度作为训练进度信号来调度奖励的引入与退火时机（密度峰值标志目标正在被习得，密度衰减标志饱和），以及把能量校准推广到多目标权衡的显式控制。基于其成果可延伸：其一，与课程学习结合——密度趋零（过饱和或过难）的奖励可自动降权或触发训练数据再平衡，形成自调度的多目标课程；其二，将密度校准推广到过程奖励模型（PRM）或步级密集奖励通道，那里「组内全同」问题同样存在但结构不同；其三，理论上放松理想化假设，刻画 $\epsilon$、$\tau$ 与批归一化引入的偏差界，并为 DARA-Asym 补全精确理论；其四，与 SMOPD 的奖励专家蒸馏、RVPO 的 SoftMin 风险聚合组合；其五，把密度用作早停与检查点选择的可解释指标（图 1b 中密度峰与快速学习段对齐即是雏形）；其六，在安全对齐、事实性等奖励天然冲突的场景检验非对称设计是否仍最优；其七，研究异步 rollout 系统中密度估计的方差与陈旧性偏差。
复现评估
复现条件较好：论文承诺开源代码（github.com/zhaihaotian/DARA），实现基于公开的 verl + vLLM 训练栈（工具调用部分派生自 GDPO 开源库）；训练数据公开（ToolRL 3,920 例 + 80 验证例、DeepScaleR-Preview 全量），评测均为公开基准（BFCL-v4、MATH-500、AIME 2024、AMC 2022/23、Minerva、OlympiadBench）。附录 C/D 详尽给出完整超参（学习率 $10^{-6}$、PPO clip 0.20/0.28、$w_{max}=5$、$\tau=10^{-8}$、$G=16$、每步 512 提示、DAPO 式动态组过滤）、奖励定义、评测解码配置与 bootstrap 置信区间方法（2,000 次重采样）。方法本身只需在优势聚合处修改几行代码，工程改动量小。门槛主要在算力：1.5B–7B 模型 × 100 步 × 多种子的多卡 RL 训练，完整复现主表约需 8 卡 A100/H100 级 GPU 数天；若只验证核心机制，可先复现图 7/8 的能量统计与格式奖励收敛曲线，单 1.5B 模型即可，成本大幅降低。
论文图表
在 $G\in\{4,8,16,32\}$、固定每步 2,048 响应的设置下，画出格式奖励活跃组密度随训练步数的曲线（中位数+四分位距），虚线上的标记表示格式奖励首次达到 0.8 的步数，空心标记表示 100 步内未达到。结果显示更大的 G 提高所有方法的密度并加快达标，GDPO 在小 G 下学习缓慢且不稳定，而 DARA 在每个 G 下都比 GRPO/GDPO 更早达标。
这是对理论预言 $q_G(p)=1-p^G-(1-p)^G$ 随 G 递增的直接实验验证，把密度—能量理论与学习速度联系起来的关键一环。
R1-7B 每 10 步在外部五个数学 benchmark 上的评测：左为宏平均 pass@1 准确率（56%–64% 区间），右为超过 4,000 token 的响应占比（Exceed 率）。Exceed 率在训练前半段快速下降，两个 DARA 变体更早进入低 Exceed 区（95% 合规第 50 步 vs GDPO 第 70 步）；准确率呈所有方法共有的「先降后部分恢复」轨迹，DARA-Sym 的 Exceed 更低、DARA-Asym 的准确率更高。
证明训练侧的加速可迁移到 held-out 评测，并揭示准确率—合规之间的权衡结构，是解读表 3 结果的动态背景。
训练全程（0–100 步）长度/正确性能量比值曲线，分三列展示 GDPO 归一化、DARA 加权、理想等能线（虚线 y=1）。GDPO 下比值随长度合规趋于饱和而持续衰减（后期 <0.04）；DARA 将比值保持在 1 直到所需权重触及 $w_{max}=5$ 的封顶（三个模型分别在第 48、59、62 步），此后中位数仍维持 0.39–0.49。
说明 DARA 的增益窗口恰好对应 GDPO 最弱的稀疏阶段，也诚实展示了封顶后的残余失衡，是理解方法适用区间与局限的关键图。