UniGRPO：面向推理驱动视觉生成的统一策略优化 UniGRPO: Unified Policy Optimization for Reasoning-Driven Visual Generation
将文生图的推理与生成统一为MDP，用GRPO联合优化文本和图像策略
前置知识
Group Relative Policy Optimization (GRPO)
GRPO是由DeepSeek提出的一种高效强化学习算法，用于优化大语言模型的推理能力。与传统PPO需要额外训练一个价值模型（critic）不同，GRPO通过组内相对比较来估计优势函数：对于每个prompt采样一组输出，计算组内奖励的均值和标准差，将每个样本的优势定义为 \(\hat{A}_i = ?rac{R_i - ext{mean}(\{R_j\})}{ ext{std}(\{R_j\})}\)。这种方式消除了价值模型的开销，同时保留了策略梯度优化的有效性。DeepSeek-R1等推理模型正是基于GRPO训练得到的。在本文中，GRPO被扩展为统一框架，同时优化离散文本token和连续图像latent的生成策略。
GRPO是本文的核心算法基础，理解其组相对优势计算和重要性采样裁剪机制是理解UniGRPO如何联合优化文本和图像生成的关键。
Flow Matching
Flow Matching是一种现代生成建模范式，通过学习一个速度场 \(v_ heta(x_t, t)\) 来定义从噪声分布到数据分布的确定性传输路径。与扩散模型逐步加噪/去噪不同，Flow Matching直接学习ODE的速度场，从纯噪声 \(x_1\) 出发，通过求解ODE \(?rac{dx}{dt} = v_ heta(x_t, t)\) 生成样本。这种方法在图像生成质量上表现出色，Bagel、Stable Diffusion 3等最新模型均采用此范式。然而，Flow Matching的确定性ODE特性给强化学习带来了挑战——没有随机性就无法进行探索，这正是FlowGRPO需要引入SDE扰动的原因。
本文的视觉生成组件基于Flow Matching架构，理解其ODE采样过程和与扩散模型的区别，是理解为何需要SDE采样和速度场正则化的前提。
Markov Decision Process (MDP)
MDP是强化学习的标准建模框架，定义为四元组 \((S, A, P, R)\)，其中 \(S\) 是状态空间，\(A\) 是动作空间，\(P\) 是状态转移概率，\(R\) 是奖励函数。在MDP中，智能体在每个时间步观察当前状态，选择一个动作，环境根据转移概率转移到新状态并返回奖励。本文将多模态生成过程建模为MDP：状态包括prompt和已生成的token/latent，动作分别是下一个token（文本阶段）和去噪后的latent（图像阶段），奖励是稀疏的终端奖励——只有图像完全生成后才获得非零奖励。这种建模使得统一的RL优化成为可能。
MDP是本文将文本生成和图像生成统一到单一优化框架的理论基础，理解状态空间、动作空间在两个阶段的不同定义是把握UniGRPO设计的关键。
Classifier-Free Guidance (CFG)
CFG是扩散/Flow模型推理时的标准技术，通过同时运行条件生成和无条件生成，将最终预测定义为 \(v = v_ ext{uncond} + s \cdot (v_ ext{cond} - v_ ext{uncond})\)，其中 \(s\) 是引导强度。这增强了模型对文本prompt的遵从能力，但代价是每步需要两次模型前向传播。在多条件生成（如图像编辑）中，CFG需要至少三次前向传播；在多轮交互生成中，分支数量随轮次指数增长。本文指出，在RL训练中保留CFG会导致分支计算图，严重复杂化梯度估计，因此训练时完全去除CFG。
去除CFG是本文的关键设计决策之一，理解CFG的计算开销和在RL训练中的问题，才能理解为何这一修改对可扩展性至关重要。
Reward Hacking
Reward Hacking是指强化学习中的策略利用奖励函数的漏洞来获得高分，但实际生成质量却下降的现象。在视觉生成中，这表现为模型生成过度饱和、纹理异常的图像来骗取奖励模型的高分。论文中展示了三种正则化策略的对比：无正则化时验证奖励先升后降，生成图像出现不自然的过饱和纹理；潜在空间KL散度虽然约束了分布但产生了网格状伪影；而本文提出的速度场MSE正则化则实现了稳定的训练动态和高质量的图像生成。
防止Reward Hacking是RL for Visual Generation的核心挑战，本文的MSE正则化是解决这一问题的关键创新，理解其必要性才能理解论文的技术贡献。
FlowGRPO
FlowGRPO是将GRPO算法适配到Flow Matching模型的方法，由先前工作提出。其核心创新是将确定性ODE采样过程重新构建为随机SDE（随机微分方程），引入噪声扰动以实现RL探索。具体地，采样过程变为 \(\Delta x_{t_k} = \left[v_ heta(x_{t_k}, t_k) + ?rac{\sigma^2_{t_k}}{2t_k} x_{t_k} + (1-t_k) v_ heta(x_{t_k}, t_k) ight] \Delta t + \sigma_{t_k}\sqrt{\Delta t} \epsilon\)，其中 \(\epsilon \sim \mathcal{N}(0, I)\)。FlowGRPO-Fast变体采用混合采样策略：在连续时间窗口内执行SDE采样并追踪梯度，其余步骤用ODE采样以减少计算开销。本文在此基础上进一步改进，去除了CFG并引入速度场MSE正则化。
FlowGRPO是本文视觉侧优化的基础，理解其SDE采样和RatioNorm机制是理解UniGRPO如何改进Flow Matching RL的前提。
研究动机
统一多模态模型的交织生成（interleaved generation）正成为AI领域的核心方向，社区逐渐达成共识：用自回归模型处理文本生成，用Flow Matching处理图像生成。然而，现有的训练方法在优化这类统一模型时面临根本性挑战。首先，文本生成和图像生成的传统优化方法是割裂的——文本侧使用标准GRPO等RL算法，图像侧使用ReFL、DPO等专用方法——但交织生成要求两者在同一生成序列中交替进行，割裂的优化无法捕获跨模态的依赖关系。其次，现有Flow Matching RL方法（如FlowGRPO）在设计时未考虑多轮交互场景：CFG在推理时需要两次前向传播，在多条件生成中需要至少三次，这在RL训练的分支计算图中会导致计算和内存成本指数级膨胀。第三，潜在空间的KL散度正则化在不同时间步的权重不均匀（高噪声时间步的KL惩罚过小），给RL优化器留下了可利用的漏洞，导致严重的Reward Hacking。这些问题在单一模态的简单任务中或许可以容忍，但在复杂的多轮交织生成中会成为致命瓶颈。
本文的目标是本文的目标是提出一个统一的强化学习框架UniGRPO，将推理驱动的图像生成（Prompt → Thinking → Image）建模为单一的马尔可夫决策过程，联合优化文本推理策略和图像生成策略。具体而言，作者希望验证：在稀疏终端奖励下，联合优化推理链和视觉合成是否能产生优于单独优化任一组件的效果。同时，框架必须具备可扩展性——能够自然地扩展到未来的多轮交互生成、多条件生成（如图像编辑）等复杂场景。为此，作者采用极简主义方法论，避免过度设计，而是将已有的成熟训练方案（标准GRPO用于文本、FlowGRPO用于图像）无缝整合到统一框架中。
与已有工作不同的是，本文的独特切入角度体现在三个层面。第一，与同期工作R3、DualGRPO、PromptRL、SepGRPO等不同，本文基于单一统一模型（而非分离的LLM+扩散模型）进行端到端训练，且使用通用prompt在1024分辨率下训练，具有更强的通用性。第二，本文不是简单地将文本GRPO和FlowGRPO拼接，而是针对Flow Matching RL的两个核心问题提出了精准的技术改进：去除CFG以确保线性无分支rollout，用速度场MSE替代潜在空间KL以提供更鲁棒的正则化。这两项改进不是锦上添花的工程优化，而是为未来多轮交织生成扫清了根本性障碍。第三，本文的MDP建模将文本阶段和图像阶段统一在同一个状态-动作框架下，文本生成的每个token和图像去噪的每一步都是MDP的一个决策步骤，这种统一建模使得组相对优势可以在跨模态的轨迹上计算，实现了真正的联合优化。
核心方法
UniGRPO的整体思路可以这样直觉理解：想象一个画家接到一个复杂任务，他不会直接开始画画，而是先在脑海中推理——理解prompt的含义、拆解视觉元素、规划构图——然后才动手作画。UniGRPO就是要让模型学会这个完整的思考-创作过程，并通过强化学习让两者协同进化。技术路线上，给定一个prompt \(c\)，模型首先通过自回归方式生成 \(G\) 条推理链 \(\{y_i\}_{i=1}^G\)，每条推理链对应文本MDP中的一系列离散token决策；然后，每条推理链条件化同一模型生成一条图像轨迹 \(\{x_i\}_{i=1}^G\)，对应图像MDP中的一系列连续latent决策。最终图像完全去噪后获得终端奖励 \(R(x_0, c)\)，基于组内奖励的均值和标准差计算每个样本的优势 \(\hat{A}_i\)。文本侧和图像侧的策略通过统一目标函数 \(J = J_{ ext{text}} + \lambda J_{ ext{flow}}\) 更新，其中 \(\lambda = 1\) 表示两个任务等权平衡。这种方法的优雅之处在于，推理链的质量会直接影响图像生成的奖励，因此RL优化自然地驱使模型产生更有助于视觉合成的推理文本。
UniGRPO的核心创新是将多模态生成过程形式化为联合MDP，并在Flow Matching RL训练中引入两项关键改进。与已有方法的本质区别在于：现有方法要么只优化文本推理（如TextGRPO），要么只优化图像生成（如ReFL、FlowGRPO），要么分阶段训练（如ReFL + TextGRPO），这些方式无法捕获推理质量和图像质量之间的协同效应。UniGRPO通过组相对优势将两者绑定——一个推理链的好坏不仅取决于文本本身的流畅度，更取决于它引导生成的图像质量。在技术细节上，去除CFG意味着训练时只需一次前向传播（而非两次），这在RL的rollout中节省了一半的计算量，更重要的是保持了计算图的线性结构，避免了分支带来的梯度估计复杂性。速度场MSE正则化 \(\mathcal{L}_{ ext{MSE}}( heta) = \|v_ heta(x_{t_k}, t_k, y) - v_{ ext{ref}}(x_{t_k}, t_k, y)\|^2\) 则是直接在未加权的速度场上施加约束，确保RL调优后的向量场在所有噪声水平上均匀地接近预训练参考模型，不留时间步相关的漏洞供策略利用。
方法步骤详情
UniGRPO的方法步骤如下：（1）MDP建模：将整个生成过程定义为 \((S, A, P, R)\)。文本阶段的状态 \(s_k^{ ext{txt}} = (c, y_{<k})\) 包含prompt和已生成token，动作 \(a_k^{ ext{txt}} \in V\) 是词表中的一个token；图像阶段的状态 \(s_k^{ ext{img}} = (c, y, x_{t_k}, t_k)\) 包含prompt、完整推理链、当前latent和时间步，动作 \(a_k^{ ext{img}} = x_{t_k - \Delta t} \in \mathbb{R}^d\) 是去噪后的latent。两个阶段的转移都是确定性的（给定动作），奖励 \(R(x_0, c)\) 仅在图像完全去噪后赋值。（2）推理链采样：对每个prompt \(c\)，从当前策略 \(\pi_ heta\) 采样 \(G\) 条推理链 \(\{y_i\}_{i=1}^G\)，通过自回归逐token生成。（3）图像轨迹采样：每条推理链 \(y_i\) 条件化模型生成对应的图像轨迹。采用FlowGRPO-Fast的混合采样策略：在连续时间窗口 \(T_{ ext{SDE}}\) 内执行SDE采样并追踪梯度（引入随机性以支持探索），其余时间步用ODE采样（无梯度，节省计算）。（4）优势计算：基于终端奖励计算组相对优势 \(\hat{A}_i = ?rac{R_i - ext{mean}(\{R_j\}_{j=1}^G)}{ ext{std}(\{R_j\}_{j=1}^G)}\)。（5）策略更新：文本侧用标准GRPO目标 \(J_{ ext{text}}\) 更新（含重要性采样裁剪和KL惩罚），图像侧用改进的FlowGRPO目标 \(J_{ ext{flow}}\) 更新（含RatioNorm和速度场MSE正则化），总目标 \(J = J_{ ext{text}} + \lambda J_{ ext{flow}}\)。（6）RatioNorm标准化：为解决重要性比率分布偏移问题（均值<1、方差不一致），对对数重要性比率进行标准化，恢复裁剪边界的有效性。
技术新颖性
UniGRPO的技术新颖性体现在以下几个方面。首先，将多模态交织生成形式化为统一MDP并用组相对策略优化联合训练，这在方法论上是首创——之前的工作如DualGRPO使用树结构rollout但需要分离的LLM和扩散模型，SepGRPO交替训练两个模块而非端到端联合优化，都无法实现真正的跨模态协同优化。其次，去除CFG的决策看似简单，但其背后的论证极具洞察力：CFG的本质是增强prompt遵从性，而RL训练中的奖励函数本身就评估文本-图像对齐，因此将对齐能力内化到策略权重中是更高效的做法。这一洞察使得训练计算量减半，且计算图保持线性，为扩展到多轮交互和多条件生成扫清了障碍。第三，速度场MSE正则化替代潜在空间KL散度是一个精妙的设计——潜在空间KL的 \(1/\sigma^2_{t_k}\) 权重导致高噪声时间步惩罚过小，而MSE在所有时间步均匀施加约束，不留漏洞。实验表明，无正则化导致Reward Hacking（验证奖励先升后降），潜在空间KL导致网格状伪影，而速度场MSE实现了稳定的训练和高质量生成。第四，本文采用极简主义方法论——不设计新的RL算法，而是将成熟的GRPO和FlowGRPO无缝整合，这种设计哲学本身就具有方法论价值，表明统一框架的关键不在于算法复杂度，而在于正确的建模和正则化。
实验结果
本文在两个核心benchmark上进行了全面评估。在Text Alignment (TA) Benchmark上，UniGRPO达到0.8381分，相比SFT基线（0.7769）提升7.9%，相比FlowGRPO（0.8208）提升2.1%，相比TextGRPO（0.8078）提升3.8%，相比ReFL w/ Thinking + TextGRPO（0.7987）提升5.0%。在GenEval基准上，UniGRPO达到0.90，相比SFT（0.82）提升9.8%，相比FlowGRPO（0.86）提升4.7%，相比ReFL（0.84）提升7.1%。一个关键发现是UniFPO（用FPO替代FlowGRPO的统一框架）训练失败（collapse），而UniGRPO成功收敛，凸显了GRPO-based公式在稳定性上的优势。消融实验表明：去除CFG后训练奖励曲线略低，但验证性能相当或更好（Figure 4），证实CFG在RL训练中是不必要的；速度场MSE正则化相比无正则化和潜在空间KL都更优——无正则化时验证奖励先升后降（Reward Hacking），潜在空间KL在step 250即出现网格状伪影（Figure 5）。定性分析（Figure 2）显示，原始Bagel倾向于生成色彩过饱和、有明显合成伪影的图像，SFT虽然减少了伪影但导致图像模糊，而UniGRPO显著提升了美学质量和文本-图像对齐。此外，UniGRPO优化后的推理链更加任务导向（Figure 6），紧密耦合于视觉合成目标，而非像SFT模型那样有时偏离核心任务。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本-图像对齐（TA Benchmark，150个prompt） | TA Score（VLM评分的平均二值正确率） | 0.8381 | SFT 0.7769 / FlowGRPO 0.8208 / TextGRPO 0.8078 / ReFL 0.8120 | +7.9% vs SFT, +2.1% vs FlowGRPO, +3.8% vs TextGRPO |
| 组合能力评估（GenEval） | GenEval Score（物体计数、空间关系、属性绑定等综合评分） | 0.90 | SFT 0.82 / FlowGRPO 0.88 / FPO 0.87 / ReFL 0.85 | +9.8% vs SFT, +2.3% vs FlowGRPO, +3.4% vs FPO |
| 文本-图像对齐（TA，含Thinking） | TA Score（启用推理链） | 0.8381 | SFT w/ Thinking 0.7769 / ReFL w/ Thinking 0.7804 / UniFPO collapse | +7.9% vs SFT w/ Thinking, 唯一成功的统一框架 |
| GenEval（含Thinking） | GenEval Score | 0.90 | SFT w/ Thinking 0.82 / ReFL w/ Thinking + TextGRPO 0.87 | +9.8% vs SFT w/ Thinking, +3.4% vs ReFL+TextGRPO |
局限与改进
作者在论文中承认的局限性包括：（1）本文仅验证了单轮推理驱动图像生成（Prompt → Thinking → Image），尚未扩展到多轮交互生成，尽管MDP框架自然支持这种扩展；（2）当前使用稀疏终端奖励，可能导致低效的信用分配——模型可能生成有缺陷的推理链但仍然产生高质量图像，未来需要引入多模态过程奖励模型（PRM）来提供密集的中间步骤反馈。从我的分析来看，还有以下局限：（3）奖励模型的选择受限——为与ReFL公平比较，本文使用了可微分奖励模型，但GRPO的真正优势在于支持黑盒验证器，未来实验应探索非可微分奖励的效果；（4）实验规模有限——仅在单一预训练模型（Bagel的SFT版本）上验证，未在其他统一多模态模型上测试，泛化性未知；（5）GenEval上启用Thinking并未一致提升性能（Bagel基线从0.78到0.79，SFT从0.83到0.82），说明推理链的质量和任务适配性仍有提升空间；（6）缺少计算效率分析——去除CFG节省了多少训练时间、MSE正则化相比KL的计算开销如何，这些实际工程细节未被讨论。
独立分析的弱点
本文存在几个值得深入分析的弱点。第一，组大小 \(G\) 的选择和影响未被充分探索——GRPO的核心是组内相对比较，但论文未讨论 \(G\) 对训练稳定性和最终性能的影响，也未与其他组大小进行对比。改进方向：系统地消融 \(G\) 的影响，探索自适应组大小策略。第二，权重系数 \(\lambda = 1\) 的设定过于简单——虽然作者声称是为了等权平衡，但文本和图像两个任务的梯度量级、收敛速度可能不同，固定权重可能导致训练不平衡。改进方向：引入动态权重调整机制，如基于两个任务的奖励变化率自适应调整 \(\lambda\)。第三，推理链的长度和质量控制缺失——论文展示了UniGRPO优化后的推理链更加任务导向，但未分析推理链长度对图像质量的影响，也未探索鼓励简洁推理的机制。改进方向：引入推理链长度惩罚或过程奖励模型来引导推理质量。第四，训练prompt的多样性未被讨论——GenEval和TA benchmark的150个prompt可能不足以代表真实场景的多样性，且训练数据的来源和分布未被披露。改进方向：使用更大规模、更多样化的训练prompt集，并公开数据构建流程。
未来方向
作者明确提出了两个未来方向。第一，扩展到多轮交织生成——UniGRPO的统一MDP框架天然支持多轮交互，未来可应用于交互式图像编辑、视觉叙事、多轮对话等场景。在这些设置中，模型需要在长序列中维持上下文一致性，去除CFG的线性rollout策略将带来显著的计算优势和训练稳定性。第二，引入多模态过程奖励模型（PRM）——当前的稀疏终端奖励无法对中间推理步骤提供反馈，未来可通过PRM验证推理链的逻辑合理性和视觉意图对齐，提升样本效率和可解释性。基于本文成果，还可以延伸到：（3）将UniGRPO应用于视频生成——视频生成涉及更长的序列和更多的帧间一致性要求，统一MDP框架和线性rollout的优势将更加突出；（4）探索非可微分奖励——GRPO支持任意奖励函数，未来可使用人类反馈、VLM评判等更灵活的奖励信号；（5）多条件生成——去除CFG后，模型可以自然地处理多个条件输入（如参考图像+文本描述+编辑指令），无需指数级增长的前向传播次数。
复现评估
本文的复现评估如下：开源方面，论文未提及是否开源代码和模型权重，这会显著影响社区的复现能力。预训练基座模型Bagel已有开源版本，但本文使用的是经过内部数据SFT后的版本，这一SFT过程的细节（数据量、数据来源、训练超参）未被充分披露，构成复现的主要障碍。数据方面，训练prompt的来源和构建方式未公开，GenEval是公开benchmark但TA Benchmark是内部评估集，外部团队无法完全复现评估流程。算力方面，虽然未明确说明训练硬件，但基于FlowGRPO的计算需求和1024分辨率的训练，预估需要多块高端GPU（如A100/H100）。奖励模型基于InternVL微调，使用了收集的用户偏好数据，这些数据也未公开。总体而言，复现难度较高——核心组件（SFT数据、训练prompt、TA评估集、奖励模型）均依赖内部资源，社区可能需要等待官方开源或自行构建替代方案。
论文图表
