DenseGRPO：从稀疏奖励到密集奖励的流匹配模型对齐 DenseGRPO: From Sparse to Dense Reward for Flow Matching Model Alignment
用逐步密集奖励和自适应噪声校准改进流匹配模型的人类偏好对齐
前置知识
Flow Matching Model
流匹配模型是一类基于常微分方程（ODE）的生成模型，通过学习从噪声分布到数据分布的最优传输路径来生成图像。与扩散模型类似，流匹配模型通过迭代去噪过程将初始噪声逐步转换为干净图像，但其速度场（velocity field）的建模方式更为直接。在文本到图像生成任务中，流匹配模型如 Stable Diffusion 3.5 已展现出优异性能。本文的核心研究对象正是这类模型在强化学习训练中的优化问题。
流匹配模型是本文提出的 DenseGRPO 方法的直接优化目标，理解其去噪机制（ODE 采样 vs SDE 采样）对于理解密集奖励的估计方式至关重要。
GRPO (Group Relative Policy Optimization)
GRPO 是 DeepSeek 提出的一种强化学习优化框架，其核心思想是对同一提示词生成一组（group）样本，然后通过组内标准化计算优势函数（advantage），即 $\hat{A}_i = \frac{R(x_0, c) - \text{mean}(\{R(x_0, c)\}_{i=1}^G)}{\text{std}(\{R(x_0, c)\}_{i=1}^G)}$。这种方法不需要单独训练价值函数（critic），而是直接利用组内相对排名来估计每个样本的优劣，从而简化了训练流程。在文本到图像生成领域，Flow-GRPO 和 DanceGRPO 将此框架应用于流匹配模型，取得了显著的人类偏好对齐效果。
GRPO 是本文 DenseGRPO 方法的基础框架，本文的创新在于改进了 GRPO 中奖励信号的计算方式——从轨迹级稀疏奖励升级为步级密集奖励。
Sparse Reward Problem
在现有的 GRPO 对齐方法中，强化学习的奖励信号仅在去噪轨迹的终点生成一张完整的图像后才被计算，然后这个单一的奖励值 $R_i$ 被直接应用于优化轨迹中的所有去噪步骤。然而，生成图像的质量是由每一步去噪操作共同决定的，不同步骤对最终结果的贡献是不同的。将同一个全局奖励分配给所有步骤会导致信用分配（credit assignment）不准确，即优化信号与实际贡献之间存在失配。
稀疏奖励问题是本文提出 DenseGRPO 的核心动机，理解这个问题才能明白为什么需要密集奖励以及密集奖励如何改善训练效果。
SDE Sampler
标准的流匹配模型使用确定性的 ODE 采样器进行去噪，即 $dv_t = v_t dt$。但 GRPO 等强化学习方法需要探索多样性（exploration），因此 Flow-GRPO 将 ODE 采样器转换为等效的随机微分方程（SDE）采样器，通过注入额外噪声来产生多样化的采样轨迹。SDE 采样器的形式为 $x_{t+\Delta t} = x_t + [v_\theta(x_t, t) + \frac{\sigma_t^2}{2t}(x_t + (1-t)v_\theta(x_t, t))]\Delta t + \sigma_t\sqrt{\Delta t}\epsilon$，其中 $\sigma_t = a\sqrt{\frac{t}{1-t}}$ 控制噪声强度。
SDE 采样器的噪声注入方式直接影响强化学习的探索质量，本文的一个核心贡献就是通过校准时间步特定的噪声强度 $\psi(t)$ 来改善探索空间。
ODE Denoising
ODE 去噪是流匹配模型中的确定性去噪过程，给定中间潜变量 $x_t^i$ 和条件 $c$，通过执行 $n$ 步 ODE 去噪可以得到对应的干净潜变量 $\hat{x}_{i,0}$，即 $\hat{x}_{i,0} = \text{ODE}_n(x_t^i, c)$。这个过程的关键性质是确定性：对于同一个中间潜变量，ODE 去噪总是产生同一个干净图像。DenseGRPO 利用这个性质，通过对中间潜变量进行 ODE 去噪得到干净图像，然后用奖励模型对干净图像评分，从而估计中间潜变量的奖励。
ODE 去噪是 DenseGRPO 密集奖励估计的技术基础，利用 ODE 的确定性实现了中间状态到可评估图像的一一映射，避免了额外训练过程奖励模型的需要。
研究动机
现有的 GRPO 对齐方法存在严重的稀疏奖励问题。具体而言，以 Flow-GRPO 和 DanceGRPO 为代表的方法在训练过程中，对每条去噪轨迹只计算一个终端奖励 $R_i$（在完整图像生成后通过奖励模型评估），然后将这个单一奖励值直接应用于优化轨迹中的所有 $T$ 个去噪步骤。然而，由于 $R_i$ 代表的是所有步骤的累积贡献，将其直接用于优化单个时间步 $t$ 会导致分配的全局轨迹级反馈与该步骤的实际精细贡献之间存在严重失配。从可视化实验（Fig. 3）中可以清楚地看到这个问题：在现有方法中（如 $a=0.7$ 的设置），几乎所有样本在某些时间步（如 $t=2$）都收到负奖励，表明当前探索空间中几乎所有采样轨迹的性能都不如默认模型，缺乏正向指导信号。即使调整噪声水平（如 $a=0.5$ 或 $a=0.8$），也无法在所有时间步上获得合适的探索空间，说明均匀噪声注入设置无法适应生成过程中噪声强度随时间变化的本质。
本文的目标是本文的核心目标是解决流匹配模型对齐中的稀疏奖励问题，通过引入逐步密集奖励（step-wise dense reward）来评估每个去噪步骤的精细贡献，从而实现奖励反馈信号与步骤贡献之间的精确对齐。具体来说，DenseGRPO 旨在实现三个目标：第一，估计准确的逐步密集奖励，使每个去噪步骤获得与其实际贡献相匹配的优化信号；第二，基于估计的密集奖励校准探索空间，通过自适应调整时间步特定的噪声注入来平衡所有时间步的奖励分布；第三，在多个文本到图像生成基准任务上验证密集奖励的有效性，包括组合图像生成、视觉文本渲染和人类偏好对齐。
与已有工作不同的是，本文的独特切入角度在于利用流匹配模型的确定性特性来估计密集奖励，而无需额外训练过程奖励模型（process reward model）。与需要额外标注数据和训练成本的过程奖励模型方法不同，DenseGRPO 采用了一种简单而有效的 ODE 去噪方法：由于 ODE 采样器是确定性的，给定中间潜变量 $x_t^i$，其对应的干净潜变量 $\hat{x}_{i,0}$ 是完全确定的，因此可以直接将干净图像的奖励作为该中间潜变量的奖励估计。这种方法不需要任何额外的专门模型，可以无缝集成任何现有的奖励模型。此外，本文还揭示了现有 GRPO 方法中均匀噪声注入设置与时间变化噪声强度之间的失配问题，并提出了基于奖励感知的时间步特定噪声校准方案，这在已有文献中是首次被系统研究和解决的。
核心方法
DenseGRPO 的整体思路可以概括为两个核心创新：密集奖励估计和探索空间校准。在直觉层面，现有方法的问题类似于让学生写一篇论文，但只在最终给出一个总分，而不告诉学生每个段落写得好不好。DenseGRPO 的做法是评估每个去噪步骤的贡献程度，即每一步去噪对最终图像质量的提升程度。技术上，这通过计算相邻步骤之间的奖励增益来实现：$\Delta R_t^i = R_{t-1}^i - R_t^i$，其中 $R_t^i$ 是时间步 $t$ 的潜变量奖励。为了估计中间潜变量的奖励，DenseGRPO 利用 ODE 去噪的确定性，将中间潜变量转换为干净图像，然后用现有奖励模型评估。此外，DenseGRPO 发现现有方法的均匀噪声注入设置会导致某些时间步的探索空间不理想（如几乎所有样本都收到负奖励），因此提出根据密集奖励的平衡程度自适应地调整每个时间步的噪声强度 $\psi(t)$。
DenseGRPO 的核心创新在于两个方面，与已有方法存在本质区别。第一，在奖励估计方面，与 CoCA 等方法通过潜变量相似度按比例分配终端奖励不同，DenseGRPO 通过 ODE 去噪获得中间潜变量对应的干净图像，然后直接用奖励模型评分，计算相邻步骤的奖励增益作为密集奖励。这种方法的优势在于：（1）奖励信号与步骤贡献精确对齐，每一步的奖励增益反映了该步去噪对图像质量的实际改善；（2）不需要额外的专门模型，利用现有奖励模型即可；（3）方法通用性强，可以无缝集成任何奖励模型。第二，在探索空间方面，与现有方法使用均匀噪声水平 $a$ 不同，DenseGRPO 提出时间步特定的噪声强度 $\psi(t)$，通过迭代校准使每个时间步的正负奖励分布达到平衡，从而确保所有时间步都有合适的探索空间。
方法步骤详情
DenseGRPO 的方法包含以下完整步骤：第一步是密集奖励估计，对于 GRPO 组中的第 $i$ 条轨迹 $\{x_t^i\}_{t=T}^0$，首先对每个中间潜变量 $x_t^i$ 执行 $n$ 步 ODE 去噪，得到对应的干净潜变量 $\hat{x}_{i,0} = \text{ODE}_n(x_t^i, c)$，其中实验中设置 $n=t$ 表现最佳；然后解码干净图像并用奖励模型 $R$ 预测其奖励 $R_t^i = R(\hat{x}_{i,0}, c)$；最后计算相邻步骤的奖励增益作为密集奖励 $\Delta R_t^i = R_{t-1}^i - R_t^i$。第二步是优势函数计算，用密集奖励替代稀疏奖励计算优势函数 $\hat{A}_t^i = \frac{\Delta R_t^i - \text{mean}(\{\Delta R_t^i\}_{i=1}^G)}{\text{std}(\{\Delta R_t^i\}_{i=1}^G)}$。第三步是探索空间校准，通过 Algorithm 1 迭代调整噪声强度 $\psi(t)$，在密集奖励平衡时（正负样本数量差异小于 $\epsilon_1$）增加噪声，否则减少噪声，最终得到适合所有时间步的 $\psi(t)$。第四步是策略优化，使用标准 GRPO 目标函数进行训练，其中 SDE 采样器使用校准后的 $\sigma_t = \psi(t)$。
技术新颖性
DenseGRPO 的技术新颖性体现在多个层面。首先，它首次系统地解决了流匹配模型对齐中的稀疏奖励问题，提出了一种无需额外过程奖励模型的密集奖励估计方法。这一方法巧妙地利用了 ODE 采样器的确定性特性，建立了中间潜变量与干净图像之间的一一映射关系，从而实现了免费的密集奖励估计。其次，本文首次揭示并量化了现有 GRPO 方法中均匀噪声注入设置与时间变化噪声强度之间的失配问题，并提出了基于奖励信号的自适应校准方案。这种奖励感知的探索空间校准方法具有普适性，可以应用于任何需要时间步特定探索策略的强化学习场景。第三，DenseGRPO 的方法框架具有很强的通用性，不仅适用于流匹配模型，还可以推广到扩散模型（如 SD 1.5 的实验所示），只要使用确定性采样器即可实现密集奖励估计。
实验结果
DenseGRPO 在多个标准基准上进行了广泛的实验验证，取得了显著的性能提升。在人类偏好对齐任务上，DenseGRPO 的 PickScore 从 Flow-GRPO 的 23.31 提升到 24.64，提升了 1.33 个点，显著优于 Flow-GRPO+CoCA 的 23.63。在组合图像生成任务上，DenseGRPO 的 GenEval 分数达到 0.97，超过 Flow-GRPO 的 0.95 和 Flow-GRPO+CoCA 的 0.96。在视觉文本渲染任务上，DenseGRPO 的 OCR 准确率达到 0.95，相比 Flow-GRPO 的 0.92 提升了 3 个百分点。消融实验进一步验证了各组件的有效性：（1）密集奖励对比稀疏奖励的优势，Dense Reward Baseline 方法（直接使用下一步的奖励 $R_{t-1}^i$ 作为当前步的优化信号）已经优于 Flow-GRPO，说明密集奖励本身的有效性；（2）时间步特定噪声校准的优势，使用校准后 $\psi(t)$ 的 DenseGRPO 显著优于使用均匀 $a=0.7$ 的版本；（3）ODE 去噪步数的影响，$n=t$（完整 ODE 去噪）表现最佳，$n=1$ 的单步 ODE 表现不如 Flow-GRPO，说明更准确的密集奖励估计至关重要。在 DrawBench 的额外评估中，DenseGRPO 在 Aesthetic Score（6.35 vs 5.92）和 ImageReward（1.41 vs 1.28）等指标上也表现出色，展示了方法的鲁棒性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 组合图像生成 | GenEval | 0.97 | Flow-GRPO 0.95 | +2.1% |
| 视觉文本渲染 | OCR Accuracy | 0.95 | Flow-GRPO 0.92 | +3.3% |
| 人类偏好对齐 | PickScore | 24.64 | Flow-GRPO 23.31 | +5.7% |
| 图像质量评估 | Aesthetic Score | 6.35 | Flow-GRPO 5.92 | +7.3% |
| 图像奖励评估 | ImageReward | 1.41 | Flow-GRPO 1.28 | +10.2% |
局限与改进
尽管 DenseGRPO 取得了显著的性能提升，但论文也承认了一些局限性。首先，密集奖励的精确性使得模型更容易过拟合奖励模型，从而加剧了奖励黑客（reward hacking）问题。在组合图像生成任务中，当使用 GenEval 作为奖励模型时，DenseGRPO 在对象计数等组合准确性上取得了显著提升，但图像质量有时会出现下降。类似的问题在视觉文本渲染任务中也有观察到。作者指出，这种现象源于密集奖励提供了更精确的优化信号，虽然增强了学习效果，但也使模型更容易过度适应奖励模型的偏好，从而放大了奖励黑客的风险。其次，ODE 去噪的计算成本较高，$n=1$、$n=2$ 和 $n=t$ 分别需要 11、13 和 19 个 GPU 小时完成 20 步训练，较大的 $n$ 值带来更好的性能但增加了计算开销。此外，论文的实验仅在 SD3.5-M 基础模型上进行了主要评估，虽然在 FLUX.1-dev 和 SD 1.5 上进行了额外验证，但更广泛的模型适用性仍需进一步探索。
独立分析的弱点
从独立分析的角度来看，DenseGRPO 存在几个值得关注的弱点。首先，密集奖励估计的准确性高度依赖于 ODE 去噪的质量，单步 ODE（$n=1$）的表现甚至不如 Flow-GRPO 的稀疏奖励，说明密集奖励的准确性是一把双刃剑：不准确的密集奖励可能比稀疏奖励更有害。这引发了一个问题：是否存在一个更鲁棒的方式来估计密集奖励，使其在 $n$ 较小时也能保持合理的质量？其次，探索空间校准的迭代过程（Algorithm 1）需要在训练前进行，且使用固定的 $\psi(t)$，这意味着校准可能无法完全适应训练过程中策略的变化。一个可能的改进方向是将 $\psi(t)$ 的自适应调整集成到训练循环中，实现在线校准。第三，奖励黑客问题的缓解策略不够明确，作者建议使用更大规模的奖励模型，但这会增加计算成本且不保证根本解决问题。探索对比学习、KL 散度约束等正则化方法可能是更有效的方向。
未来方向
基于 DenseGRPO 的成果，可以延伸出多个有前景的研究方向。首先，密集奖励的估计方法可以推广到更多类型的生成模型，论文已经在扩散模型（SD 1.5）上进行了初步验证，未来可以探索在视频生成、3D 生成等领域的应用。其次，探索空间校准的思想可以与其他强化学习方法结合，如 PPO、DPO 等，而不仅限于 GRPO 框架。第三，当前的 ODE 去噪方法虽然简单有效，但计算成本较高，未来可以探索更高效的密集奖励估计方法，如基于潜变量空间的直接预测或蒸馏方法。第四，奖励黑客问题的根本解决可能需要从奖励模型本身的改进入手，例如训练更具泛化能力的奖励模型或引入多维度的评估信号。第五，将 DenseGRPO 与 TempFlow-GRPO 的轨迹分支机制结合，可能进一步提升时间步信用分配的准确性。
复现评估
从复现角度来看，DenseGRPO 具有较好的可复现性。论文基于 Flow-GRPO 的官方实现（https://github.com/yifan123/flow_grpo）进行实验，代码基础清晰。实验设置详细说明了超参数配置：LoRA 的 $\alpha=64$、$r=32$，AdamW 优化器的学习率 $3 \times 10^{-4}$，批量大小 144，梯度累积步数 8，以及各任务的具体训练迭代数。探索空间校准的关键参数 $\epsilon_1=2$、$\epsilon_2=0.01$ 也已公开。数据方面，所有使用的数据集都是公开的，包括 GenEval、PickScore、OCR Accuracy 等评估基准。算力方面，实验使用 16 块 NVIDIA A100 GPU，这对大多数研究机构来说是可获取的。然而，完整的密集奖励估计流程需要在训练前进行探索空间校准，这增加了复现的复杂度。此外，论文提到的 UnifiedReward 评估结果与 Flow-GRPO 论文存在差异，可能是由于模型版本更新所致，复现时需要注意版本一致性。
论文图表
图中展示了两种奖励计算方式的对比：(a) 现有方法（如 Flow-GRPO）只在去噪轨迹终点计算一个稀疏奖励 $R_i$，然后将其直接应用于优化所有中间步骤；(b) DenseGRPO 在每个去噪步骤都计算奖励增益 $\Delta R_t$，实现逐步密集奖励。图中用箭头清晰地展示了奖励信号如何从轨迹终点向前传播到每个步骤。
这张图是理解论文核心问题和解决方案的关键——它直观地展示了稀疏奖励与密集奖励的本质区别，帮助读者快速理解 DenseGRPO 的设计动机。
图中展示了当使用 GenEval 作为奖励模型时 DenseGRPO 出现的奖励黑客现象。在组合图像生成任务中，DenseGRPO 在对象计数等组合准确性上取得了提升，但图像质量有时会下降。在视觉文本渲染任务中也有类似观察。
这张图诚实地展示了 DenseGRPO 的局限性——奖励黑客问题，这是理解方法权衡和未来改进方向的重要参考。