E-GRPO：高熵步驱动流模型的有效强化学习 E-GRPO: High Entropy Steps Drive Effective Reinforcement Learning for Flow Models
通过合并低熵去噪步骤为高熵SDE步骤，提升流模型GRPO训练效率
前置知识
Flow Matching / 流匹配模型
流匹配模型是一类生成模型，通过学习一个向量场将简单分布（如高斯噪声）连续地变换为目标数据分布。与扩散模型类似，流匹配模型采用迭代去噪过程生成图像，但其核心是学习一个ODE（常微分方程）的漂移项 v_\theta(x_t, t)，使得从噪声 x_T 出发，沿时间 t 从 T 到 0 积分即可得到生成样本 x_0。经典代表包括Rectified Flow和FLUX.1-dev。流匹配模型的关键特点是其确定性的ODE采样轨迹，这使得梯度估计更稳定但探索能力受限。
E-GRPO的核心方法正是针对流匹配模型的去噪过程进行优化，理解流匹配的ODE/SDE采样机制是理解本文方法的基础
GRPO (Group Relative Policy Optimization)
GRPO是一种强化学习算法，最初由DeepSeek-Math提出用于大语言模型对齐。与PPO不同，GRPO不需要单独的价值网络来估计基线，而是通过组内相对奖励来计算优势值（advantage）。具体来说，对同一提示（prompt）生成一组轨迹，计算每个轨迹的奖励与组内均值的差，再除以标准差作为归一化优势值。这种设计简化了架构，避免了训练价值模型的复杂性。
E-GRPO是对GRPO的改进，理解GRPO的基本框架（特别是组归一化优势的计算方式）是理解本文创新点的前提
SDE（随机微分方程）与ODE采样
在流匹配模型中，ODE采样是确定性的。而SDE采样在ODE基础上引入随机噪声项，其中 epsilon 服从标准正态分布。SDE采样提供了探索能力，允许模型在去噪过程中探索不同的轨迹方向，这对于强化学习中的策略优化至关重要。但SDE也引入了累积随机性，导致奖励信号模糊。
本文的核心贡献在于如何智能地在SDE和ODE采样之间切换，理解两者的本质区别对于把握E-GRPO的策略至关重要
熵（Entropy）在强化学习中的作用
在强化学习中，策略的熵衡量了动作分布的不确定性。高熵意味着策略在该状态下探索更广泛，能产生多样化的轨迹；低熵则表示策略已经收敛到确定性选择。Soft Actor-Critic（SAC）等算法显式地最大化策略熵以促进探索。在本文中，熵特指反向SDE步骤中转移概率分布的熵，它取决于噪声系数和时间步长。高熵步骤能产生多样化的去噪结果，使得奖励模型可以区分不同轨迹的质量。
本文的核心观察就是高熵步骤对训练更有效，理解熵的计算方式和物理意义是理解整个方法的关键
奖励黑客（Reward Hacking）
奖励黑客是指模型学会了利用奖励函数的缺陷来获得高分，而非真正满足人类偏好。在图像生成中，单独使用HPS-v2.1奖励模型训练时，模型倾向于生成过度饱和、对比度极高的图像，这些图像虽然在HPS上得分很高，但实际上并不符合真正的人类审美。解决方法之一是使用多个奖励模型进行联合训练，如同时使用HPS和CLIP score。
理解奖励黑客问题有助于理解本文为什么采用多奖励设置进行实验，以及为什么需要在域外指标上评估泛化能力
研究动机
当前基于GRPO的流模型对齐方法存在一个根本性问题：奖励信号的稀疏性和模糊性。具体来说，现有方法（如DanceGRPO、Flow-GRPO等）在所有去噪时间步上均匀应用策略优化，但本文作者观察到，不同时间步的熵（即探索潜力）存在显著差异。作者通过实验发现，只在前4个时间步进行SDE采样训练的效果甚至优于在全部16个时间步上训练的效果，这直接说明了后半部分时间步对训练几乎没有贡献。更具体地说，作者可视化了不同时间步的生成结果：在低熵（后期）时间步上，通过SDE采样产生的图像与仅在最终图像上添加10%随机噪声的结果几乎无法区分，方差仅为0.001级别。这意味着奖励模型无法区分低熵时间步上的不同轨迹，导致梯度信号几乎为零。此外，当对连续多个时间步进行SDE采样时，累积的随机性会导致奖励归因模糊——某一步的有益探索可能因为后续步骤的次优轨迹而被惩罚，从而产生错误的优化方向。
本文的目标是本文的目标是设计一种熵感知的GRPO训练框架，通过识别并聚焦于高熵（高信息量）去噪步骤来提升强化学习的效率和有效性。具体而言，作者希望：（1）建立一个基于熵的分析框架，量化不同去噪时间步对训练的贡献；（2）设计一种自适应的步骤合并策略，将连续的低熵SDE步骤合并为单个高熵步骤；（3）在保持探索能力的同时消除奖励归因模糊性；（4）在单奖励和多奖励设置下都实现优于现有方法的对齐效果。
与已有工作不同的是，本文的独特切入角度在于将熵这一概念从传统的RL探索策略引入到流模型的去噪过程中。与现有方法的对比来看：GranularGRPO专注于细化时间步粒度以获得更精确的信用分配，TempFlow-GRPO引入时间感知加权来缓解均匀优化的局限，MixGRPO通过混合ODE-SDE机制提升效率，BranchGRPO通过分支展开增强探索——但这些方法都没有从根本上解决哪些时间步值得优化的问题。本文的核心洞察是：与其在所有时间步上做均匀优化（即使大部分时间步产生的信号质量很差），不如通过熵分析主动识别高价值时间步，将资源集中在这些时间步上。这种方法不仅提升了训练效率（减少了不必要的SDE采样），还通过步骤合并消除了多步SDE带来的奖励归因模糊问题。
核心方法
E-GRPO的方法可以概括为先分析熵再智能采样的两阶段策略。直觉上，作者观察到流模型的去噪过程可以类比为从粗糙到精细的渐进细化过程——早期去噪步骤（高噪声水平）决定了图像的整体结构和语义，这些步骤的熵很高，通过SDE采样可以产生多样化的探索方向；而后期步骤（低噪声水平）主要进行细节微调，熵很低，SDE采样几乎不产生有意义的变化。基于这一观察，E-GRPO的技术路线是：首先计算所有去噪步骤的熵，然后设定一个自适应阈值 tau 将步骤分为高熵和低熵两组，接着将连续的低熵步骤合并为单个高熵SDE步骤（同时保持其他步骤为确定性ODE），最后在合并后的步骤上计算组归一化优势值进行策略优化。
E-GRPO的核心创新点在于两个相互关联的设计：熵驱动的步骤合并策略和多步组归一化优势估计。与已有方法的本质区别在于：DanceGRPO和Flow-GRPO在所有时间步上均匀应用SDE采样，导致后期低熵步骤产生大量无意义的探索轨迹；MixGRPO混合使用ODE和SDE但没有基于熵进行智能选择；GranularGRPO细化时间步粒度但没有考虑不同步骤的信息量差异。E-GRPO的创新在于：（1）首次系统性地分析了流模型去噪过程中熵与时间步的关系，建立了熵分析的理论框架；（2）提出了合并而非跳过低熵步骤的策略——通过将连续 l 个低熵SDE步骤合并为一个等效的高熵SDE步骤（时间间隔 Delta_t = t_m - t_{m-l}），在保持探索能力的同时消除了多步累积随机性带来的奖励归因模糊；（3）引入了自适应合并机制，根据熵阈值自动决定每个低熵步骤需要合并多少步。
方法步骤详情
E-GRPO的完整方法流程如下：第一步，熵计算——对所有去噪时间步计算熵值 h(t_k)，其中 a 是流模型的时间偏移参数（本文设为0.7），d 是潜空间维度。第二步，步骤分类——设定自适应熵阈值 tau（本文默认为2.2），将熵值大于等于 tau 的步骤标记为高熵步骤，小于 tau 的步骤标记为低熵步骤。第三步，自适应合并——对每个低熵时间步 t_m，找到最小的 l 使得合并 l 步后的熵恰好超过阈值 tau。第四步，轨迹生成——对每个活跃的SDE时间步 t_n，使用合并后的时间步集合生成 G_n 条轨迹，其中SDE采样仅在合并步骤上执行，其他步骤使用确定性ODE。第五步，优势估计——在每个合并组内计算组归一化优势值，基于组内轨迹的奖励计算均值和标准差进行归一化。第六步，策略更新——计算裁剪代理目标函数，其中策略比率基于新旧策略的概率比，然后通过最小化目标函数更新策略参数。
技术新颖性
E-GRPO的技术新颖性体现在以下几个方面：第一，理论贡献——本文首次推导了流模型反向SDE步骤的熵公式，建立了熵与去噪时间步之间的定量关系。这个公式揭示了一个重要规律：熵随时间步 t 的增大而增大（在 t < 1 的范围内），这意味着早期去噪步骤具有更高的探索潜力。第二，方法创新——合并步骤的设计是独特的。与简单的跳过低熵步骤不同，合并策略通过增大时间间隔来提升单步熵值，同时保持了信息传递的连续性。这比固定合并步数（如2步、4步、6步）的策略更加灵活和高效。第三，优势估计创新——多步组归一化优势的设计确保了奖励信号被准确归因到合并后的步骤，而不是分散到多个可能具有不同探索质量的步骤上。这种设计直接解决了图3中展示的模糊奖励信号问题。第四，实验洞察——本文通过系统性实验（仅在前4步、前8步、后8步、全部16步训练）揭示了高熵步骤驱动有效对齐这一核心规律，这为后续研究提供了重要的方法论指导。
实验结果
本文在HPD数据集（约103,000个训练提示和400个测试提示）上使用FLUX.1-dev作为骨干模型进行了全面实验。在单奖励设置（仅使用HPS-v2.1）下，E-GRPO在HPS指标上达到0.391，相比DanceGRPO的0.353提升了10.8%，相比MixGRPO的0.378提升了3.4%，相比GranularGRPO的0.385提升了1.6%。在多奖励设置（HPS-v2.1 + CLIP）下，E-GRPO在HPS上达到0.382（较DanceGRPO的0.331提升15.4%），在CLIP上达到0.401（较DanceGRPO的0.389提升3.1%），在PickScore上达到0.237（较DanceGRPO的0.227提升4.4%），在ImageScore上达到1.494（较DanceGRPO的1.128提升32.4%）。特别值得注意的是，ImageScore（ImageReward）的32.4%提升表明E-GRPO在泛化能力上具有显著优势——尽管训练时只使用了HPS和CLIP作为奖励信号，但模型在完全未见过的ImageReward指标上也表现出色。消融实验进一步验证了自适应合并策略的有效性：固定2步、4步、6步合并策略的HPS分别为0.382、0.374、0.337，而自适应合并达到0.391。时间步子集实验显示，仅在前8步训练的HPS为0.391（与全部16步的0.366相比提升了6.8%），这直接证实了高熵步骤对训练的关键贡献。训练曲线（图4）显示E-GRPO的奖励增长更快、更稳定，在300次迭代后达到更高的最终奖励值。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 图像生成人类偏好对齐（单奖励HPS） | HPS-v2.1 | 0.391 | DanceGRPO: 0.353, MixGRPO: 0.378, GranularGRPO: 0.385 | 较DanceGRPO提升10.8%，较GranularGRPO提升1.6% |
| 图像生成人类偏好对齐（多奖励HPS+CLIP） | HPS-v2.1 | 0.382 | DanceGRPO: 0.331, MixGRPO: 0.363, GranularGRPO: 0.377 | 较DanceGRPO提升15.4%，较GranularGRPO提升1.3% |
| 文本-图像语义一致性 | CLIP Score | 0.401 | DanceGRPO: 0.389, MixGRPO: 0.399, GranularGRPO: 0.400 | 较DanceGRPO提升3.1% |
| 人类偏好评分 | PickScore | 0.237 | DanceGRPO: 0.227, MixGRPO: 0.230, GranularGRPO: 0.236 | 较DanceGRPO提升4.4% |
| 图像质量与美学评估 | ImageScore (ImageReward) | 1.494 | DanceGRPO: 1.128, MixGRPO: 1.436, GranularGRPO: 1.490 | 较DanceGRPO提升32.4% |
局限与改进
本文存在几个值得关注的局限性。首先，作者明确承认的一个关键瓶颈是奖励模型本身的质量——奖励作为引导RL生成高质量、人类偏好内容的基石，现有奖励公式往往无法完全对齐细微的人类偏好（如美学吸引力、语义一致性、上下文适当性）。这种错位不仅导致次优的生成结果，还使模型容易受到奖励黑客的攻击：模型可能利用奖励函数的漏洞来最大化分数，而没有真正满足人类期望。作者在图8中展示了几个失败案例，例如在提示A jellyfish sleeping in a space station pod的生成结果中，模型偶尔会引入不应该存在的人脸或人形形状，这反映了模型对奖励模型偏见的过度利用。其次，本文的实验仅在FLUX.1-dev这一个骨干模型上进行，缺乏在其他流匹配模型（如Stable Diffusion 3、Rectified Flow等）上的验证，这限制了方法的泛化性结论。第三，实验设置中总去噪步数仅为16步，对于需要更多步骤的高分辨率生成任务（如1024x1024或视频生成），方法的有效性尚未验证。第四，本文的自适应合并策略需要设定熵阈值 tau，虽然作者通过消融实验展示了 tau=2.2 的最优性，但这个超参数的选择仍然依赖于经验，缺乏自动化的选择机制。第五，本文没有提供计算效率的详细分析——虽然减少了SDE采样的步骤数，但每一步的计算量是否增加（由于合并后时间间隔增大）未被讨论。
独立分析的弱点
E-GRPO存在几个值得深入分析的弱点。第一，熵阈值 tau 的选择仍然依赖经验调优——尽管作者展示了不同 tau 值的消融结果（tau=0, 1.8, 2.0, 2.2, 2.6），但最优阈值可能因模型架构、奖励函数、数据集的不同而变化。改进方向：可以探索基于统计分布的自适应阈值选择方法，例如将 tau 设定为熵分布的某个分位数，或者引入学习的阈值预测网络。第二，步骤合并策略假设所有低熵步骤的贡献是均匀的——但在实际的去噪过程中，即使是低熵步骤，在某些特定提示（如需要精细细节的提示）下也可能包含重要信息。改进方向：可以引入基于提示语义的动态合并策略，对不同类型的提示采用不同的合并方案。第三，多步组归一化优势的计算假设组内所有轨迹共享相同的合并时间步——这意味着探索的多样性仅来自SDE的随机性，而没有考虑不同合并粒度的探索。改进方向：可以在同一组内使用不同的合并粒度，增加探索的多样性。第四，本文没有讨论与现有方法（如PPO、DPO）的兼容性——E-GRPO的步骤合并思想是否可以推广到其他RL算法中尚不清楚。
未来方向
作者提出的关键未来方向是开发更鲁棒和有效的奖励模型——奖励模型与人类偏好的对齐程度是视觉RL生成的核心瓶颈。基于本文的成果，可以延伸出以下几个研究方向：第一，将E-GRPO的熵分析框架扩展到视频生成领域——视频生成通常需要更多的去噪步骤（可能超过100步），高熵与低熵步骤的差异可能更加显著，步骤合并的收益可能更大。第二，探索熵感知的多模态奖励设计——可以训练一个能够感知不同时间步信息量差异的奖励模型，在高熵步骤给予更精细的奖励信号。第三，将E-GRPO与其他探索增强技术（如BranchGRPO的分支展开、MixGRPO的混合采样）结合——这些技术解决的是不同层面的问题，理论上可以互补。第四，在更大规模的模型和数据上验证——本文仅在FLUX.1-dev（约12B参数）上实验，在更大规模的模型上，熵分布可能有新的特性。第五，探索E-GRPO在文本生成领域的应用——LLM的token级熵与流模型的时间步级熵存在相似性，本文的方法论可能对LLM的RL训练也有启发。
复现评估
本文的复现条件相对良好。代码已开源在 https://github.com/shengjun-zhang/VisualGRPO，这大大降低了复现难度。数据集HPD是公开的大规模数据集（约103,000训练提示，400测试提示），不需要额外的数据收集。骨干模型FLUX.1-dev是广泛使用的开源模型。然而，复现面临的主要挑战是算力需求——作者使用8块NVIDIA A800 GPU进行训练，batch size为1，总训练迭代300次，这对于普通研究者来说是较大的算力门槛。此外，奖励模型HPS-v2.1、CLIP、PickScore、ImageReward都是公开的，但需要额外下载和配置。从方法本身来看，E-GRPO的核心实现（熵计算、步骤合并、组归一化优势）并不复杂，但需要注意SDE采样的正确实现以及时间步索引的处理细节。整体而言，对于具备一定深度学习经验的研究者来说，复现难度为中等，主要瓶颈在于GPU资源。
论文图表
图1包含三个子图。(a)展示了不同SDE采样策略下生成的图像，包括在步骤2进行单步SDE、在步骤6进行单步SDE、以及在步骤6进行合并步SDE，并报告了clip score的方差——初始步骤和合并步骤产生的样本差异更大，而后验步骤生成的样本难以区分。(b)报告了不同合并步数下每个时间步的SDE采样熵——更多的合并步数意味着更高的熵和更大的探索范围。(c)展示了在全部时间步、前半部分时间步、后半部分时间步上训练的模型的训练奖励曲线，前半部分（高熵）时间步训练效果最好。
这张图是论文的核心motivation可视化，直观展示了高熵步骤对RL训练的关键贡献，是理解E-GRPO设计动机的关键证据
表4展示了不同熵阈值 tau（0、1.8、2.0、2.2、2.6）下的性能对比。tau=2.2达到最佳HPS（0.391），tau=0（无合并）的HPS为0.384，tau=2.6的HPS为0.388，说明阈值选择存在最优值。
这个表格展示了E-GRPO关键超参数的敏感性分析，帮助理解方法的稳健性和最优配置
图8展示了E-GRPO的失败案例，包括奖励黑客现象——模型偶尔会生成不应该存在的人脸或人形形状（如在A jellyfish sleeping in a space station pod的生成结果中），这反映了模型对奖励模型偏见的过度利用。
这张图诚实地展示了方法的局限性，对于全面评估E-GRPO的适用范围和改进方向具有重要价值