← 返回 2026-03-13

信任你的评判者：面向忠实图像编辑与生成的鲁棒奖励建模与强化学习 Trust Your Critic: Robust Reward Modeling and Reinforcement Learning for Faithful Image Editing and Generation

Xiangyu Zhao, Peiyuan Zhang, Junming Lin, Tianhao Liang, Yuchen Duan, Shengyuan Ding, Changyao Tian, Yuhang Zang, Junchi Yan, Xue Yang 📅 2026-03-12 👍 24 2026-07-13 08:36

图像生成图像编辑多模态大语言模型奖励建模强化学习

arXiv HuggingFace PDF

提出FIRM框架，通过专门训练的奖励模型和新颖的奖励策略，解决图像编辑与生成中强化学习奖励信号不可靠的问题。

前置知识

强化学习（Reinforcement Learning, RL）

强化学习是一种机器学习范式，智能体通过与环境交互来学习最优策略。在本文的上下文中，RL被应用于优化图像生成和编辑模型：生成模型（如扩散模型）作为策略网络，根据文本提示生成图像；奖励模型作为'评论家'，评估生成图像的质量并提供优化信号。典型的RL算法如PPO（Proximal Policy Optimization）通过最大化期望累积奖励来更新策略参数。

理解RL的基本概念是理解本文核心贡献的前提，因为整个FIRM框架都建立在'如何为RL提供更可靠的奖励信号'这一核心问题之上。

奖励模型（Reward Model）

奖励模型在RL中扮演'评论家'角色，负责评估智能体行为的好坏。在图像生成/编辑任务中，奖励模型接收图像和文本提示作为输入，输出一个标量分数表示生成质量。现有方法通常使用多模态大语言模型（MLLMs）作为零样本奖励模型，但这些通用模型在细粒度视觉评估上存在幻觉和噪声评分问题。

本文的核心贡献就是训练专门的、更可靠的奖励模型来替代通用MLLMs，因此理解奖励模型的作用和现有局限性至关重要。

多模态大语言模型（Multimodal Large Language Models, MLLMs）

MLLMs是能够同时处理文本和视觉信息的大型模型，如Qwen3-VL、GPT-4V等。它们通过视觉编码器将图像转换为token序列，与文本token一起输入到Transformer架构中进行联合推理。MLLMs在通用视觉问答任务上表现出色，但当被用作细粒度图像评估的奖励模型时，往往存在对象忽略、空间推理不准确和严重幻觉等问题。

本文指出通用MLLMs作为奖励模型的局限性，并基于MLLMs训练专门的奖励模型，因此需要理解MLLMs的能力和不足。

扩散模型（Diffusion Models）

扩散模型是一类生成模型，通过逐步添加噪声将数据转换为纯噪声，然后学习逆向去噪过程来生成新样本。在图像生成中，扩散模型从随机噪声开始，通过迭代去噪步骤逐步生成清晰图像。本文使用的SD3.5-Medium就是基于扩散架构的文本到图像生成模型。扩散模型的训练通常通过最大化似然估计进行，而RL提供了另一种优化范式。

扩散模型是本文实验中的主要生成模型架构，理解其工作原理有助于理解RL如何应用于图像生成优化。

流匹配（Flow Matching）

流匹配是扩散模型的一种高效替代方案，通过学习从噪声到数据的连续流场来实现生成。与传统扩散模型需要复杂的随机微分方程不同，流匹配直接学习确定性的速度场，提供更稳定的训练和更快的采样速度。本文使用的DiffusionNFT就是基于流匹配的RL算法，它在正向扩散过程中定义强化学习目标。

理解流匹配有助于理解本文采用的RL算法DiffusionNFT的技术细节，以及为什么选择这种算法进行实验。

奖励黑客（Reward Hacking）

奖励黑客是指智能体找到最大化奖励的捷径，但这种捷径并不符合设计者的初衷。在图像编辑中，模型可能发现保持原图不变（高一致性分数）比执行编辑指令（低执行分数）更容易获得高总奖励，从而输出几乎与输入相同的图像。在图像生成中，模型可能生成物体的黑色剪影来满足文本条件，但缺乏视觉细节。

奖励黑客是本文要解决的核心问题之一，理解这一现象有助于理解为什么需要设计新的奖励策略（CME和QMA）。

研究动机

当前图像编辑和生成领域的强化学习流程面临一个关键瓶颈：奖励模型的不可靠性。尽管多模态大语言模型（MLLMs）在通用视觉任务上表现出色，但当被用作零样本奖励模型进行细粒度图像评估时，这些模型存在严重的幻觉问题、对象忽略和缺乏精确空间推理能力。具体来说，当MLLMs被要求判断编辑后的图像是否完美遵循指令同时保持一致性时，它们经常无法捕捉到在描述性上下文中能够识别的细粒度细节。这种评估能力与描述能力之间的不匹配导致了不合理且嘈杂的奖励分数。例如，在编辑任务中，通用MLLMs经常给明显错误的编辑结果打高分；在生成任务中，它们可能忽略复杂的组合约束，导致评分与人类判断严重偏离。此外，简单的奖励组合（如线性加权）会导致奖励黑客问题：在编辑中模型学会输出几乎与输入相同的图像来获得高一致性分数；在生成中模型学会生成物体的黑色剪影来满足文本条件。

本文的目标是本文旨在构建一个完整的框架FIRM（Faithful Image Reward Modeling），专门训练鲁棒的、任务特定的奖励模型，作为图像编辑和生成的可信评论家。具体目标包括：第一，设计专门的数据构建管道来合成高质量的奖励数据集，分别针对编辑和生成任务；第二，基于这些数据集训练专门的奖励模型FIRM-Edit-8B和FIRM-Gen-8B；第三，构建全面的人工标注基准FIRM-Bench来严格验证奖励模型的质量；第四，设计新颖的奖励融合策略来平衡竞争目标，防止奖励黑客。最终目标是通过提供准确可靠的奖励信号，显著提升图像编辑和生成模型在强化学习中的性能。

与已有工作不同的是，本文的独特切入角度在于认识到通用MLLMs作为奖励模型的根本局限性，并提出了系统性的解决方案。与现有方法不同，本文不是简单地扩大模型规模或使用通用MLLMs，而是通过专门的数据构建和训练来创建任务特定的奖励模型。关键洞察是：模型通常作为问题解决者比作为评估者表现更好。基于这一洞察，本文提出了两个创新的数据构建管道：对于编辑任务，采用'差异优先'方法，先让MLLM描述源图像和编辑图像之间的差异，然后基于文本差异进行评估；对于生成任务，采用'计划后评分'范式，先让LLM生成详细的评分计划，然后强制MLLM按照计划逐步检查。此外，本文首次提出了针对图像编辑和生成的完整奖励建模框架，包括数据构建、模型训练、评估基准和奖励策略，填补了该领域的研究空白。

核心方法

FIRM框架的整体思路是构建一个端到端的可信奖励建模系统，从数据构建到模型训练，再到奖励策略设计。首先，本文认识到直接让MLLMs评估图像质量存在根本性缺陷，因此设计了专门的数据构建管道来生成高质量的训练数据。对于图像编辑，采用'差异优先'策略：先让MLLM描述源图像和编辑图像之间的视觉差异，然后基于文本差异描述让另一个MLLM进行最终评分。对于图像生成，采用'计划后评分'范式：先让LLM根据文本提示生成详细的评分计划，然后让MLLM按照计划逐步检查生成图像。基于这些管道构建了FIRM-Edit-370K和FIRM-Gen-293K数据集，并训练了专门的奖励模型FIRM-Edit-8B和FIRM-Gen-8B。为了严格验证奖励模型的质量，构建了人工标注基准FIRM-Bench。最后，设计了新颖的奖励融合策略：编辑任务的Consistency-Modulated Execution（CME）和生成任务的Quality-Modulated Alignment（QMA），有效解决了奖励黑客问题。

本文的核心创新点在于认识到模型作为'问题解决者'比作为'评估者'表现更好这一反直觉现象，并基于此设计了专门的数据构建管道。与现有方法的本质区别在于：第一，不直接使用通用MLLMs作为奖励模型，而是通过专门训练创建任务特定的奖励模型；第二，对于编辑任务，提出了'差异优先'（MLLM-to-LLM）管道，将视觉比较问题转化为文本推理问题，显著提高了评估准确性；第三，对于生成任务，提出了'计划后评分'范式，将复杂评估分解为结构化检查，避免了MLLMs的'注意力稀释'问题；第四，设计了乘法耦合的奖励策略（CME和QMA），将竞争目标转化为互补关系，从根本上解决了奖励黑客问题。这些创新使得即使参数量较小的专门奖励模型（8B）也能超越参数量大得多的通用模型（如235B的Qwen3-VL-235B）。

方法步骤详情

FIRM方法包含以下关键步骤： 1. **FIRM-Edit数据构建管道**：给定原始图像和编辑图像对，首先提示MLLM执行双层差异分析，识别'明显差异'和'详细差异'，生成统一的差异报告。然后将差异描述、图像对和原始编辑指令输入MLLM评估器，基于差异描述进行最终评分。评分维度包括执行度（1-5分）和一致性（1-5分）。数据源来自OpenGPT-4o-Image、GPT-Image-Edit等公开数据集，并通过改写指令合成低分样本来平衡分数分布。 2. **FIRM-Gen数据构建管道**：分为两个阶段。第一阶段（显式标准规划）：使用Qwen3-32B作为'规划器'，根据文本到图像提示生成详细的评分计划，将提示分解为细粒度评估维度。第二阶段（结构化分析评分）：使用Qwen3-VL-235B-A22B作为'评估器'，接收生成图像、原始提示和评分计划，按照计划逐步检查每个维度后给出最终分数。生成图像来自多种模型（Ovis-image、Z-image-turbo、Flux.1-dev等）以确保多样性。 3. **奖励模型训练**：基于FIRM-Edit-370K和FIRM-Gen-293K数据集，使用LLaMA-Factory在8×H200 GPU上对Qwen3-VL-8B-Instruct进行监督微调，得到FIRM-Edit-8B和FIRM-Gen-8B。 4. **FIRM-Bench基准构建**：构建807个精心策划的样本，包括301个编辑执行样本、256个编辑一致性样本和250个生成指令遵循样本。从标准基准采样提示，从开源模型收集图像，由人类专家评分，确保分数分布均匀。 5. **奖励策略设计**：对于编辑任务，提出CME奖励：$R_{CME} = \text{Execution} \times (0.6 + 0.4 \times \text{Consistency})$，将执行度作为必要条件。对于生成任务，提出QMA奖励：$R_{QMA} = \text{InsFollowing} \times (0.4 + 0.6 \times \text{Quality})$，在指令遵循达到高水平后强调图像质量。 6. **强化学习优化**：使用DiffusionNFT算法进行在线RL优化。编辑任务基于Qwen-Image-Edit-2509训练150步（2400样本），生成任务基于SD3.5-Medium训练600步。

技术新颖性

本文的技术新颖性体现在多个层面。首先，在数据构建方面，提出了'差异优先'和'计划后评分'两个创新管道，这与现有方法直接让MLLMs评分有本质区别。'差异优先'管道的洞察是：MLLMs在描述图像差异方面比直接评估编辑质量表现更好，因此将视觉比较问题转化为文本推理问题。'计划后评分'范式则通过显式分解评估标准，避免了MLLMs在处理复杂提示时的'注意力稀释'问题。其次，在奖励模型训练方面，本文首次创建了专门针对图像编辑和生成的高质量奖励数据集（FIRM-Edit-370K和FIRM-Gen-293K），并训练了任务特定的奖励模型。第三，在奖励策略设计方面，提出了乘法耦合的CME和QMA奖励公式，将竞争目标转化为互补关系。CME公式 $R = E \times (w_1 + w_2 \cdot C)$ 的创新在于：执行度E作为乘数，如果执行度低，无论一致性多高，总奖励都会受到抑制；同时一致性C作为加性项，在有意义的编辑基础上提供结构保真度的细化信号。第四，在评估方面，构建了FIRM-Bench基准，这是首个专门为编辑和生成评论家设计的全面人工标注基准。

**Figure 3**: Overview of the FIRM data curation pipelines

**Figure 8**: Reward Curve of Consistency (left) and Execution (right) under raw reward designs

实验结果

本文的实验结果表明FIRM框架在多个维度上取得了显著突破。在FIRM-Bench基准评估中，FIRM-Edit-8B在编辑任务上达到了0.53的执行MAE和0.73的一致性MAE，整体MAE为0.62，超越了GPT-5（0.67）和所有开源模型。FIRM-Gen-8B在生成任务上达到了0.45的简单MAE、0.57的困难MAE和0.51的整体MAE，超越了GPT-5（0.52）和所有开源模型。这些结果表明，即使参数量较小（8B），专门训练的奖励模型也能超越参数量大得多的通用模型（如235B的Qwen3-VL-235B）。在图像编辑性能方面，FIRM-Qwen-Edit在GEditBench上达到了7.84的新SOTA分数，比基础模型提升0.30分；在ImgEdit上达到4.42分（第二高），提升0.07分。值得注意的是，该模型仅使用2400个训练样本就达到了与使用27K样本的UniWorld-Qwen-Image-Edit相当的性能，突出了方法的效率。与使用通用Qwen3-VL-8B和Qwen3-VL-32B作为奖励模型相比，FIRM-Edit-8B提供了更稳健的性能提升。在图像生成性能方面，FIRM-SD3.5在GenEval上达到0.77（提升0.25），DPGBench上达到87.16（提升3.08），TIIF上达到77.12（提升6.95），UniGenBench-Short/Long上达到69.56/76.22（提升8.85/11.55）。这些结果超越了参数量更大的BAGEL和OmniGen2等模型。在复杂提示场景下，FIRM-Gen-8B的优势更加明显，表明其在引导复杂视觉场景生成方面的卓越能力。奖励策略消融实验表明，CME公式有效解决了奖励黑客问题。简单的线性加权（0.5×执行+0.5×一致性）导致严重奖励黑客：模型学会输出几乎与输入相同的图像，获得高一致性分数但执行分数极低。调整权重（0.6×执行+0.4×一致性）部分缓解问题但仍存在权衡。只有CME公式通过乘法耦合实现了稳定的奖励增长和优异的下游性能。

**Table 3**: Performance comparison on GEdit-Bench and ImgEdit

**Table 4**: Performance comparison on GenEval, DPG, TIIF and UniGenBench++

**Table 5**: Performance comparison of different reward formulations

**Table 6**: Sample counts across score levels for the FIRM datasets and benchmarks

**Figure 1**: Comparison of image editing results across different methods

**Figure 2**: Comparison of T2I generation results across different methods

**Figure 4**: Illustrative examples from FIRM-Bench

**Figure 6**: Generation RL reward curves of different reward models

查看结构化数据

任务	指标	本文	基线	提升
图像编辑奖励模型评估	整体MAE（越低越好）	0.62	GPT-5: 0.67, Qwen3-VL-235B: 0.81	比GPT-5降低7.5%，比最佳开源模型降低23.5%
图像生成奖励模型评估	整体MAE（越低越好）	0.51	GPT-5: 0.52, Qwen3-VL-32B: 0.54	比GPT-5降低1.9%，比最佳开源模型降低5.6%
图像编辑下游性能	GEditBench整体分数	7.84	基础模型: 7.54, RL+Qwen3VL-8B: 7.69	比基础模型提升4.0%，比通用奖励模型提升2.0%
图像生成下游性能	GenEval分数	0.77	基础模型: 0.52, RL+Qwen3VL-8B: 0.76	比基础模型提升48.1%，比通用奖励模型提升1.3%
图像生成下游性能	DPGBench分数	87.16	基础模型: 84.08, RL+Qwen3VL-8B: 86.87	比基础模型提升3.7%，比通用奖励模型提升0.3%
图像生成下游性能	TIIF分数	77.12	基础模型: 70.17, RL+Qwen3VL-8B: 75.99	比基础模型提升9.9%，比通用奖励模型提升1.5%
图像生成下游性能	UniGenBench-Long分数	76.22	基础模型: 64.67, RL+Qwen3VL-8B: 74.50	比基础模型提升17.9%，比通用奖励模型提升2.3%

局限与改进

尽管FIRM框架取得了显著成果，但仍存在一些局限性。首先，数据构建管道依赖于强大的MLLMs（如Qwen3-VL-235B-A22B）进行数据标注，这可能引入系统性偏差。如果这些模型在某些视觉模式上存在固有偏见，这些偏见可能会被传递到训练数据中。其次，奖励模型的泛化能力需要进一步验证。虽然FIRM-Bench涵盖了多种场景，但实际应用中的图像编辑和生成任务可能涉及更广泛的领域和风格，奖励模型在这些未见场景上的表现尚不确定。第三，本文的实验主要集中在特定的基线模型上（编辑任务使用Qwen-Image-Edit-2509，生成任务使用SD3.5-Medium），在不同架构和规模的模型上的有效性需要进一步验证。第四，CME和QMA奖励策略中的权重参数（如$w_1=0.6, w_2=0.4$）是通过实验确定的，缺乏理论指导，可能不是全局最优。第五，FIRM-Bench虽然全面，但样本量相对较小（807个），可能无法完全代表真实世界的分布。最后，本文的RL优化使用DiffusionNFT算法，其他RL算法（如DDPO、DPOK）与FIRM奖励模型的兼容性尚未探索。

独立分析的弱点

本文存在几个值得关注的弱点。首先，数据构建管道的成本较高：需要调用强大的MLLMs进行差异描述和评分，对于大规模数据集（如370K样本）来说计算开销显著。改进方向可以探索更高效的数据构建方法，例如使用较小的专门模型进行初步筛选，或者开发基于规则的自动化评估管道。其次，奖励模型可能过拟合到训练数据中的特定模式。FIRM-Edit-370K和FIRM-Gen-293K虽然来自多个数据源，但可能无法覆盖所有视觉风格和编辑类型。改进方向可以引入数据增强技术，或者设计课程学习策略逐步增加数据多样性。第三，CME和QMA奖励策略虽然有效解决了奖励黑客，但其乘法耦合形式可能过于刚性。在某些场景下，执行度和一致性（或指令遵循和图像质量）之间的关系可能不是简单的乘法关系。改进方向可以探索更灵活的奖励融合机制，例如基于注意力机制的自适应权重。第四，本文的评估主要依赖于自动指标（MAE）和下游任务性能，缺乏更细粒度的人类评估。改进方向可以设计更全面的人类评估协议，包括偏好测试、错误分析等。

未来方向

基于本文的研究成果，可以延伸出多个有前景的未来研究方向。首先，可以探索FIRM框架在其他生成任务上的应用，如视频生成、3D生成、音频生成等。这些任务同样面临奖励信号不可靠的问题，FIRM的'差异优先'和'计划后评分'管道可能具有普适性。其次，可以研究奖励模型的持续学习机制。随着新数据和新任务的出现，奖励模型需要不断更新以保持有效性。可以设计增量学习或元学习框架，使奖励模型能够快速适应新场景。第三，可以探索多模态奖励融合。当前FIRM分别处理编辑和生成任务，但实际应用中可能需要同时考虑多个维度（如美学质量、语义准确性、风格一致性等）。可以设计统一的奖励架构来整合这些维度。第四，可以研究奖励模型的可解释性。虽然FIRM-Gen管道提供了结构化评分计划，但奖励模型的内部决策过程仍然不透明。可以引入注意力可视化、特征归因等技术来提高可解释性。第五，可以探索FIRM与人类反馈的进一步整合。当前FIRM主要依赖自动构建的数据，但人类反馈可以提供更精细的指导。可以设计人机协作的数据构建和模型优化流程。

复现评估

本文在可复现性方面做出了积极承诺，声称所有数据集、模型和代码都将公开。具体来说，论文提供了项目页面（https://firm-reward.github.io/）、代码仓库（https://github.com/VisionXLab/FIRM-Reward）和Hugging Face集合（https://huggingface.co/collections/VisionXLab/firm-reward）。数据构建管道的详细提示词在附录中完整提供，这大大降低了复现门槛。然而，复现本文结果仍面临一些挑战：首先，需要大量计算资源——奖励模型训练使用8×H200 GPU，RL阶段使用16×H200 GPU，这对于大多数研究机构来说成本较高。其次，数据构建依赖于强大的商业MLLMs（如Qwen3-VL-235B-A22B），其可用性和成本可能影响复现。第三，虽然提供了训练提示词，但数据构建的具体参数（如采样策略、分数分布控制）可能需要仔细调整。总体而言，本文的可复现性较好，但需要显著的计算资源和工程努力。

论文图表

Figure 5: Editing RL reward curves of different reward models

该图展示了图像编辑RL训练过程中不同奖励模型的平均奖励曲线。横轴是训练步数（0-150步），纵轴是平均奖励分数。图中比较了三种奖励模型：Qwen3-VL-32B、Qwen3-VL-8B和FIRM-Edit-8B。曲线显示，FIRM-Edit-8B给出的奖励分数始终低于Qwen3-VL系列，表明通用MLLMs在评估编辑场景时经常忽略细微变化，导致人为高分。

这张图揭示了一个重要现象：通用MLLMs作为奖励模型时倾向于给出过于宽松的评分，而FIRM-Edit-8B提供了更严格、更准确的奖励信号。这对于理解为什么专门训练的奖励模型能引导更好的优化至关重要。

Figure 7: RL reward curves for the ablation of different reward calculation metrics

该图展示了不同奖励计算公式的RL训练曲线消融实验。横轴是训练步数（0-150步），纵轴是平均奖励分数。图中比较了四种方法：Edit-R1（使用Qwen2.5VL-32B的非CoT logits）、线性加权（0.5×执行+0.5×一致性）、调整权重（0.6×执行+0.4×一致性）、以及CME公式。曲线显示，只有CME公式实现了稳定一致的奖励增长，其他方法都出现了各种形式的性能退化或奖励黑客。

这张图是理解CME奖励策略有效性的关键证据。通过对比不同奖励公式的训练动态，读者可以直观理解为什么简单的线性加权会导致奖励黑客，以及CME的乘法耦合如何解决这一问题。