PromptRL：基于流匹配的图像生成中强化学习的提示词优化

将语言模型作为可训练的提示词优化器，与流匹配模型联合强化学习，解决探索坍塌与提示词过拟合

前置知识

Flow Matching Model (流匹配模型)

流匹配模型是一种基于常微分方程（ODE）的生成模型，通过学习从噪声分布到目标数据分布的连续流映射来生成图像。与扩散模型通过离散去噪步骤不同，流匹配模型学习一个向量场 v_θ(x_t, t)，使得从噪声 ε ~ N(0, I) 出发，沿 dx/dt = v_θ(x_t, t) 积分即可到达目标分布。代表模型包括 FLUX.1-dev、SD3 等，它们在高分辨率文本到图像生成中表现出色。流匹配模型通常采用 Rectified Flow 的方式训练，优化目标是最小化预测速度与目标速度之间的均方误差。

本文的核心是对流匹配模型进行强化学习后训练，理解流匹配的采样机制（ODE 求解、噪声初始化）是理解 PromptRL 方法的基础。

GRPO (Group Relative Policy Optimization)

GRPO 是一种无价值函数（value-free）的强化学习算法，由 DeepSeek 提出。与 PPO 需要额外的 critic 网络不同，GRPO 对每个提示词生成一组（group）样本，通过组内样本之间的相对奖励来计算优势值（advantage）。具体而言，对于提示词 p 生成的 n 个样本 {x_1, ..., x_n}，优势值 A(x_i, p) = (R(x_i, p) - μ) / (σ + ε)，其中 μ 和 σ 是组内奖励的均值和标准差。这种方式省去了价值网络的训练，同时天然实现了组内竞争机制。

PromptRL 采用 GRPO 作为基础 RL 算法，但将其扩展为同时优化语言模型和流匹配模型的联合框架，理解 GRPO 的组归一化机制是理解 PromptRL 如何分配梯度信号的关键。

Prompt Enhancement (PE, 提示词增强)

提示词增强是指利用语言模型（如 Qwen-2.5-VL）将用户给出的简短或模糊的提示词改写为更详细、更具描述性的版本，从而提升生成图像的质量。典型方法包括 Promptist、NeuroPrompts、OPT2I、RePrompt 等。这些方法通常在推理阶段对提示词进行一次性改写，作为生成模型的静态预处理步骤。例如，RePrompt 使用链式推理和奖励引导训练来优化提示词结构，将 FLUX.1-dev 的 GenEval 分数从 0.66 提升到 0.76。

本文的核心发现之一是：现有 PE 方法在预训练模型上有效，但在经过流式 RL 微调后的模型上效果大幅下降甚至有害，这一反直觉现象直接催生了 PromptRL 的联合训练设计。

Exploration-Exploitation Trade-off (探索-利用权衡)

在强化学习中，探索（exploration）指策略尝试多样化的动作以发现更好的行为模式，利用（exploitation）指策略利用已知的高奖励行为。在文本到图像生成的 RL 场景中，探索对应于生成多样化的图像来发现哪些视觉构图和风格能获得更高奖励。当模型过度利用（即生成过于确定性）时，所有生成样本趋于相似，优势估计器失去了比较信息，导致策略改进停滞。这种现象被称为探索坍塌（exploration collapse）。

PromptRL 将语言模型引入 RL 循环的根本动机就是解决探索坍塌问题——通过提示词层面的多样性来间接扩展图像层面的探索空间，这是一种全新的探索策略。

研究动机

当前流匹配模型的强化学习后训练流程存在两个被严重低估的关键缺陷。第一个是探索坍塌问题：随着文本到图像模型越来越精确地遵循文本提示词，它们在相同提示词下的生成多样性急剧下降。论文中用 CLIP ViT-g-14 度量图像间相似度（II-Sim），发现 SD v1-5 的 II-Sim 约为 0.58-0.72，而更先进的 FLUX.1-dev 的 II-Sim 高达 0.92-0.93，意味着几乎每次生成的图像都高度相似。这种确定性导致所有 rollout 样本聚集在狭窄的输出空间中，优势估计器失去了区分不同样本质量的能力，RL 训练陷入停滞。第二个是提示词语言层面的过拟合（prompt linguistic hacking）：模型记住了训练提示词的表面语言模式而非真正理解视觉语义。实验表明，DiffusionNFT 在原始提示词上表现强劲，但在语义等价但措辞不同的提示词上性能出现灾难性退化。FlowGRPO 在 GenEval 上的分数从原始提示词的 0.92 降至释义后的 0.81。更严重的是，对于经过流式 RL 微调的模型，原本在预训练模型上有效的 PE 技术反而会降低性能——例如 FLUX.1-Kontext 的 EditReward 从基线的 1.19 降至加 PE 后的 1.01。

本文的目标是本文的核心目标是设计一个统一的 RL 训练框架，同时解决探索坍塌和提示词过拟合两个问题。具体而言，该框架需要：（1）将语言模型作为可训练的提示词优化器集成到流匹配模型的 RL 训练循环中，通过语义一致但语言多样的提示词变体扩展探索空间；（2）实现语言模型和流匹配模型的协同进化，使得提示词优化能力与图像生成能力同步提升；（3）在多个评估维度（组合准确性、OCR、人类偏好）上达到最先进的性能，同时将所需 rollout 数量减少至少 50%。此外，作者还希望验证该方法在大规模图像编辑模型（如 FLUX.1-Kontext）上的有效性。

与已有工作不同的是，本文的独特切入角度在于将提示词从固定输入重新定位为可塑的优化组件。现有方法（如 DDPO、FlowGRPO、DiffusionNFT）将提示词视为固定的条件输入，仅优化图像生成模型的参数。而 PromptRL 认为语言模型和图像生成模型应该在统一的 RL 框架中共同进化：语言模型通过奖励信号学习生成更好的提示词变体，这些变体反过来扩展了流匹配模型的探索空间。这种语言-视觉协同优化的设计理念是前所未有的。与之前将 PE 作为静态预处理步骤的方法不同，PromptRL 将 PE 模块作为 RL 训练的一部分，使其能够根据流匹配模型的当前状态自适应地调整提示词优化策略，从而避免了 PE 在 RL 微调模型上失效的问题。

核心方法

PromptRL 的核心思想可以用一个类比来理解：想象一位摄影师（流匹配模型）和一位策展人（语言模型）在合作完成一个摄影项目。策展人不直接拍照片，但会根据原始主题给出不同的诠释角度（提示词变体），摄影师根据每个角度拍出照片，最终由评审团（奖励模型）打分。摄影师根据反馈改进拍摄技巧，策展人则学习如何给出能拍出好照片的诠释角度。技术路线上，PromptRL 在每个训练迭代中，首先用语言模型 π_LM 将原始提示词 p_0 改写为 k 个语义等价但语言多样的变体 {p_1, p_2, ..., p_k}；然后为每个提示词（包括部分原始提示词）采样独立噪声 ε ~ N(0, I)，通过流匹配模型生成图像；最后用复合奖励函数评估每张图像，并通过 GRPO 算法同时更新语言模型和流匹配模型的参数。关键设计是两个模型保持架构上的解耦——梯度不跨模型传播，仅通过共享的奖励信号实现隐式的信息交换。

PromptRL 与已有方法最本质的区别在于它打破了提示词是固定条件这一隐含假设，将语言模型作为 RL 训练循环中的主动参与者。在传统方法中，RL 仅优化流匹配模型的参数，提示词始终是静态输入，这导致模型只能在固定的语言描述下优化视觉输出。PromptRL 的创新在于创建了一个双向正反馈机制：语言模型生成的提示词变体扩展了流匹配模型的探索空间，使其能够跳出由单一提示词定义的狭窄奖励模式；同时，来自流匹配模型输出的奖励信号指导语言模型学习哪些提示词变体能产生更好的图像，从而提升提示词优化的质量。这种协同进化效应在论文的训练曲线中得到了清晰体现：PromptRL 在使用约 50% 更少 rollout 的情况下，就能达到 FlowGRPO 收敛时的性能水平。此外，PromptRL 还引入了提示词保留机制（prompt retention mechanism），在每个 batch 的 n 个样本中保留 m 个使用原始提示词的样本，确保流匹配模型不会过度依赖语言模型的改写，同时为优势估计提供稳定的基线。

方法步骤详情

PromptRL 的完整训练流程如下：（1）从训练集中采样一批原始提示词 {p_0^(1), ..., p_0^(B)}。（2）对每个原始提示词 p_0^(j)，保留 m 个直接使用原始提示词的样本槽位，并用语言模型生成 n-m 个提示词变体，总计 n 个提示词。（3）为每个提示词采样独立噪声 ε_i ~ N(0, I)，通过流匹配模型生成图像 x_i，并计算奖励 R(x_i, p_i) = λ_Format * R_Format(p_i) + λ_Gen * R_Gen(x_i, p_i)，其中 R_Format 是格式奖励（要求 LM 输出用 XML 标签包裹），R_Gen 是图像生成奖励（如 GenEval）。（4）对每个提示词组进行组内优势值归一化：A(x_i, p_i) = (R(x_i, p_i) - μ_j) / (σ_j + ε)，其中 μ_j 和 σ_j 是第 j 组内奖励的均值和标准差。（5）更新语言模型参数，仅使用 LM 生成的变体对应的优势值：梯度 ∇J_LM 等于所有 LM 变体的优势值乘以 LM 策略对数概率的梯度的期望。（6）更新流匹配模型参数，使用所有 n 个样本的优势值：梯度 ∇J_FM 等于所有样本的优势值乘以 FM 策略对数概率的梯度的期望。这种设计确保语言模型只从比原始提示词更好的改写中学习，而流匹配模型在保持基础分布上良好表现的同时受益于扩展的探索空间。

技术新颖性

PromptRL 的技术新颖性体现在三个层面。首先是框架层面的创新：首次将语言模型作为可训练组件直接嵌入到流匹配模型的 RL 训练循环中，而非将其作为静态预处理器。此前的 PE 方法（Promptist、OPT2I、RePrompt 等）都是独立于生成模型训练的，导致 PE 模块无法适应 RL 微调后的模型行为。其次是优化机制的设计：PromptRL 实现了梯度解耦、奖励共享的联合训练范式——语言模型和流匹配模型之间没有梯度流，但通过共享的奖励信号实现隐式的信息传递。这使得两个模型可以独立使用各自的优化器和学习率，保持了架构的模块性和计算效率。第三是提示词保留机制的引入，这是一个看似简单但至关重要的设计：通过在每个组中保留 m 个原始提示词样本，既为优势估计提供了稳定的基线，又防止了流匹配模型对语言模型改写的过度依赖。消融实验表明，m=0（完全不保留原始提示词）导致 GenEval 从 0.94 降至 0.83，m=1 甚至降至 0.77，而 m=2 取得最佳效果。

实验结果

PromptRL 在多个评估维度上都取得了最先进的结果。在 GenEval 组合准确性基准上，PromptRL w/ PE 达到 0.97 的总分，显著超越 FlowGRPO（0.92）和 DiffusionNFT（0.88）。在具体子指标上，PromptRL 在计数（Counting）上达到 0.99，在位置（Position）上达到 0.99，在颜色（Color）上达到 0.96，在属性绑定（Attribute）上达到 0.90，均为同类方法中的最高值。在 OCR 准确率上，PromptRL 在 OCR-1k 上达到 0.98，远超 DiffusionNFT（0.89）和 FlowGRPO（0.89）。在人类偏好对齐方面，PromptRL 的 PickScore 达到 24.05，HPS 达到 32.03，均优于所有基线方法。在图像编辑任务上，PromptRL 将 FLUX.1-Kontext 的 EditReward 从 1.19 提升至 1.43，仅使用 0.06 million rollouts。这一成绩接近使用密集标注和多阶段训练的 ReasonEdit-Think（1.44），并超越了 Gemini 2.5 Flash Image（即 Nano Banana，1.37）。最引人注目的改进出现在 Removal 任务上（+0.69）和 Environment 任务上（+0.28）。训练效率方面，PromptRL 在 GenEval 上达到 FlowGRPO 收敛性能所需的 rollout 仅约为 FlowGRPO 的 50%。即使使用 2 倍 rollout 的 flow-only RL 也无法匹敌 PromptRL 的性能（GenEval 0.93 vs 0.97，OCR 0.93 vs 0.98），证明了联合训练的根本优势而非单纯的计算量增益。此外，PromptRL 学到的 PE 模块展现出良好的泛化能力：在 SANA 上将 GenEval 从 0.62 提升到 0.70，在 SD3 上从 0.58 提升到 0.77。

查看结构化数据

任务	指标	本文	基线	提升
GenEval 组合准确性	Overall Score	0.97 (w/ PE), 0.94 (w/o PE)	FlowGRPO 0.92, DiffusionNFT 0.88	+0.05 vs FlowGRPO, +0.09 vs DiffusionNFT
OCR 文字渲染	OCR-1k Accuracy	0.98	DiffusionNFT 0.89, FlowGRPO 0.89	+0.09 vs both baselines
人类偏好对齐	PickScore	24.05	DiffusionNFT 23.63, FlowGRPO 23.33	+0.42 vs DiffusionNFT, +0.72 vs FlowGRPO
人类偏好对齐	HPS	32.03	DiffusionNFT 31.79	+0.24
图像编辑	EditReward (Avg)	1.43 (w/ PE)	FLUX.1-Kontext 1.19, Nano Banana 1.37	+0.24 vs FLUX.1-Kontext, +0.06 vs Nano Banana

局限与改进

作者在论文中坦诚地指出了 PromptRL 的一个主要局限：语言模型和流匹配模型之间存在一定程度的共适应（co-adaptation）。具体而言，当在推理阶段替换联合训练的语言模型为另一个 LM（如 Qwen-3）时，GenEval 分数从 0.97 降至 0.88，表明流匹配模型在一定程度上特化于其训练时的语言模型伴侣所产出的语言模式。从我的观察来看，这一局限虽然在实际部署中影响不大（因为联合训练的 LM 和 FM 本来就是一起使用的），但它限制了 PromptRL 的模块化灵活性——用户无法随意替换更好的语言模型而不影响整体性能。此外，PromptRL 的计算成本虽然低于等效 rollout 的 flow-only RL，但每个迭代需要同时运行 LM 推理和 FM 推理，在硬件资源有限的场景下可能面临挑战。论文中所有实验均使用 8 张 H100 GPU，对于资源受限的研究者而言门槛较高。最后，虽然 PromptRL 展示了在 GenEval、OCR 等特定指标上的优异表现，但论文缺乏对生成图像语义多样性和创意性的定性评估，提示词变体的质量分析也较为有限。

独立分析的弱点

PromptRL 存在几个值得关注的弱点。首先是共适应问题导致的灵活性不足：流匹配模型特化于特定 LM 的语言风格，这在需要快速迭代 LM 组件的快速发展的领域中可能成为一个瓶颈。改进方向可以考虑引入多 LM 训练策略，即在训练过程中随机使用不同的语言模型生成提示词变体，使流匹配模型习得对不同语言风格的鲁棒性。其次是提示词变体的多样性缺乏显式控制：当前的语言模型仅通过格式奖励和图像生成奖励来优化，没有对提示词变体之间的语言多样性进行显式约束。如果所有变体都收敛到相似的表述，探索空间的扩展效果会减弱。可以考虑引入一个多样性奖励项，鼓励生成在词汇和句法上更丰富的提示词变体。第三是评估维度的局限：论文主要关注 GenEval、OCR 和 PickScore 等定量指标，但缺乏对生成图像美学多样性、语义忠实度的细粒度评估，特别是当提示词涉及创意性、艺术性描述时的表现。第四，论文在图像编辑任务上的实验仅使用了 10,000 个训练样本和 0.06M rollouts，训练规模相对较小，且仅在一个数据集（OmniEdit）上进行验证，其在更广泛编辑场景中的泛化能力有待进一步验证。

未来方向

作者提出了几个值得探索的方向，包括：（1）多 LM 训练或正则化策略以改善跨 LM 的泛化能力；（2）将 PromptRL 的组件与其他在线 RL 方法结合，如将 GRPO 替换为 ReMax（用于 LM 优化）或 DiffusionNFT（用于 FM 优化）。基于 PromptRL 的成果，我认为还可以延伸以下方向：首先，探索 PromptRL 在视频生成模型上的应用——视频生成的探索空间远大于图像生成，提示词层面的多样性扩展可能带来更大的收益。其次，研究提示词变体的可控性，即让语言模型不仅生成变体，还能根据用户的风格偏好（如更写实、更抽象）生成定向变体。第三，将 PromptRL 扩展到多模态输入场景，例如结合参考图像和文本描述的图像生成，语言模型可以学习如何从视觉线索中提取关键信息并融入提示词改写。第四，探索 PromptRL 与人类反馈的结合——当前使用的是自动奖励模型，但人类偏好往往包含奖励模型无法捕捉的细微判断。

复现评估

PromptRL 的代码已在 GitHub 上开源（https://github.com/G-U-N/UniRL），这为复现提供了良好的基础。训练数据方面，论文使用了公开可用的数据集：FlowGRPO-GenEval（50,000 样本）、FlowGRPO-OCR（19,653 样本）、Pick-a-Pic（25,432 样本）和 OmniEdit（10,000 样本），数据可获取性较好。然而，算力需求是复现的主要障碍：所有实验均使用 8 张 H100 GPU，其中 T2I 生成训练使用 512x512 分辨率和 20 步推理，图像编辑使用 1024x1024 分辨率和 8 步推理。以 GenEval 训练为例，0.2M rollouts、group size 8、batch size 1 意味着约 160 万次 FM 推理和 0.48 万次 LM 推理，加上梯度计算，总训练时间可能在数天量级。论文的超参数配置在 Table 7 中有详细记录，包括学习率（FM: 3e-7, LM: 1e-6）、KL 系数（FM: 4e-3, LM: 1e-2）、group size（n=8）和 prompt retention（m=2）等，复现难度中等。值得注意的是，论文的 base model 是 FLUX.1-dev（12B 参数）和 Qwen2.5-VL-3B-Instruct，这些模型本身需要较大的存储空间（约 24GB + 6GB 在 bfloat16 下）。

PromptRL：基于流匹配的图像生成中强化学习的提示词优化 PromptRL: Prompt Matters in RL for Flow-Based Image Generation