HP-Edit：面向图像编辑的人类偏好对齐后训练框架

用VLM奖励+Flow-GRPO后训练，让图像编辑更贴合人类审美。

前置知识

Flow Matching / Rectified Flow

Flow Matching 学习从噪声到数据的连续速度场。Rectified Flow 把 $x_t$ 定义为 $x_0$ 与 $x_1$ 的线性插值 $x_t=(1-t)x_0+tx_1$，模型 $v_\theta$ 拟合目标速度 $x_1-x_0$。

本文后训练所用 Flow-GRPO 直接建立在 Flow Matching 之上，需要理解其与 DDPM 的差别。

RLHF / DPO / GRPO

RLHF 用人类偏好训练奖励模型再优化策略；DPO 直接对偏好对做最大似然避免显式奖励；GRPO 对同 prompt 采 G 个结果，用组内相对奖励标准化得 $\hat{A}_i=(R_i-\mu)/\sigma$，目标带 clip 与 KL 约束。

HP-Edit 用 Flow-GRPO 而非 DPO 做后训练，理解组内优势是把握算法差异的关键。

LoRA 微调

LoRA 通过在原权重旁并联低秩分解矩阵 $\Delta W = BA$，$B\in\mathbb{R}^{d\times r}, A\in\mathbb{R}^{r\times k}$，$r\ll \min(d,k)$，仅训练这两块小矩阵即可让大模型适配下游任务，大幅降低显存与训练成本。

HP-Edit 只对 Qwen-Image-Edit-2509 训练 rank=32 的 LoRA，冻结原模型，明白这点才能理解训练成本。

指令式图像编辑

给定输入图像 A、自然语言指令 T 与编辑后图像 B 的三元组，训练扩散模型生成 B。SFT 范式是当前主流，但在审美、真实感等主观维度上数据噪声大、与人类偏好不一致。

HP-Edit 正是在该任务上做 RL 后训练，需要理解编辑任务的多样性（增删改背景、风格迁移、虚化等八类子任务奖励信号差异大）。

VLM 作为评估器/奖励模型

用视觉语言模型（如 Qwen3-VL、GPT-4o）替代人类对生成结果打分，配合精心设计的提示词与评分细则，使其打分逼近人类判断，从而以极低成本扩展偏好标注规模。

HP-Scorer 是 HP-Edit 的核心组件，必须了解 VLM 打分的偏置与对齐问题才能理解论文动机。

研究动机

指令式图像编辑的当前 SOTA（如 Qwen-Image-Edit-2509、FLUX.1-Kontext-Dev、BAGEL、Step1X-Edit）几乎全部基于大规模 SFT 数据微调，训练样本混合了卡通、合成图像与真实场景，难以稳定匹配真实用户审美；同时为得到偏好对齐数据，传统做法需要对每张图像、每条指令人工排序，成本极高——一篇典型偏好对标注需要数分钟，全量做 5 万条几乎不可能；此外，Diffusion-DPO、Flow-GRPO、Dance-GRPO 等 RL 方法在 T2I 任务上已被验证有效，但迁移到图像编辑仍存在任务异质性（增、删、换背景、风格化等八类子任务奖励信号差异大）和缺乏真实场景基准两大空白。在 RealPref-Bench 上 Qwen-Image-Edit-2509 整体 HP-score 仅 4.472，Bokeh、Relighting 等涉及深度与光照子任务普遍低于 4.0，揭示了高审美一致性目标尚未被现有模型满足。

本文的目标是提出一个面向真实场景图像编辑的人类偏好后训练框架 HP-Edit，把 SFT 后的扩散模型在保留编辑准确性的同时拉向人类审美。具体目标包括：(1) 设计一个 VLM 驱动的自动评分器 HP-Scorer，使其与人类 0-5 打分的 Pearson 相关系数不低于 0.85，从而替代昂贵的人工标注；(2) 构建 5 万级以上 RealPref-50K 偏好数据集，覆盖 8 类常见编辑任务与常见 MS-COCO 物体类别；(3) 在困难样本上做在线 GRPO 后训练，让 Qwen-Image-Edit-2509 在 RealPref-Bench 上整体 HP-score 提升不低于 0.15，并在 GEdit-Bench-EN 上同时达到 SOTA。

与已有工作不同的是，现有 RLHF/GRPO 工作多关注 T2I 文生图，统一用通用奖励（美学、文本对齐）训练，缺少任务感知的奖励模型；HP-Edit 第一个把 GRPO 真正落地到图像编辑，并抓住两个被忽视的杠杆：a）偏好数据的难度分布——观察到大量样本已被打满分 5，挤占训练 batch 的有效梯度，因而显式过滤满分样本；b）奖励模型的任务特异性——为每类编辑任务（Bokeh、Relighting、Color 等）单独设计带推理链的问题清单，让 VLM 在打分时走多轮检查。这两点是论文相对 Dance-GRPO、Flow-GRPO 的本质差异化。

核心方法

HP-Edit 整体走评分器-数据-训练三阶段流水线。直觉上，可以把它想成一位美术老师批改学生（预训练编辑模型）的画作：先用 VLM 学会按 0-5 评分标准打分；再让这位老师从海量作业里筛出有改进空间的硬题组成练习册；最后用 GRPO 让模型在这些难题上反复做、每做一次都用同一位老师打分、按相对优劣调参。技术上，Stage 1 用 50-100 条/任务的 (输入图 A、指令 T、编辑图 B、人类分数) 小集合，通过迭代优化任务感知评分提示词把 Qwen3-VL-32B-Instruct 打磨成 HP-Scorer；Stage 2 在 5 万量级真实图像上让预训练模型生成编辑结果，HP-Scorer 过滤掉得分 5 的样本得到 D†；Stage 3 把 D† 的指令作为 prompt，每条采样 G 张图，用 HP-Scorer 打分做组内优势，最终通过 Flow-GRPO 更新低秩适配器 LoRA。

HP-Edit 的核心创新在于任务感知的奖励信号 + 困难样本驱动的在线 RL。与 Diffusion-DPO 等依赖离线偏好对、容易过拟合 winner/loser 噪声的工作相比，HP-Edit 通过在线 GRPO 让模型在训练中持续探索，并由一个对齐人类 0-5 打分的 VLM 即时反馈。同时，作者发现对预训练强模型直接用全量数据做 RL 收益有限，因为大量样本已获满分 5，奖励天花板饱和，梯度几乎为零；显式过滤这些样本后，剩下的难例提供更有信息量的优势信号，使奖励曲线能稳定上扬。最后，不同于通用美学奖励，HP-Scorer 给每个子任务单独设计多轮评分清单（如 Bokeh 要求前景清晰+背景虚化+边缘无晕环+深度衰减合理），把主观审美拆成可检查的子问题，从而显著提升 VLM 与人类的相关性（Pearson 0.89）。

方法步骤详情

流程分三步。HP-Scorer 训练：对八类任务各收 50-100 条编辑三元组并人工 0-5 标尺打分；以基础提示词为起点，逐任务加 task-specific 问题迭代至与人类打分一致，最终用 Qwen3-VL-32B-Instruct。RealPref-50K 构造：从 Pixabay/LSDIR/DIV2K 收真实图像，VLM 自动生成指令并按 MS-COCO 类别平衡；Qwen-Image-Edit-2509 生成编辑结果，HP-Scorer 过滤掉 score=5 样本，得 55,795 条困难样本。Task-aware Flow-GRPO 后训练：冻结基座，仅训练 rank=32 LoRA（AdamW，$3\times10^{-4}$）；每条 prompt 采 G=8 张图，HP-Scorer 打分 $s$ 经 sigmoid $r=1/(1+e^{-\alpha s+\beta})$（$\alpha=2,\beta=5$）归一到 [0,1]；按组内均值/标准差算优势 $\hat{A}_i$，最大化带 clip 与 KL 约束的 GRPO 目标更新 LoRA。

技术新颖性

技术新颖性体现在三点：a）首次把 GRPO 与 VLM 奖励结合用于图像编辑而非文生图，并在 Flow Matching 上实现了确定性 ODE 到 SDE 的转换；b）提出困难样本筛选机制，用得分 5 过滤策略把奖励信号聚焦在有效区间，区别于直接全量训练的常规做法；c）任务感知评分提示词框架——为每类编辑任务定制结构化问题清单与评分细则，让通用 VLM 充当细粒度奖励模型，文中报告在 GEdit-Bench-EN 上与人类评分的 Pearson 相关系数达 0.89。这些设计组合在一起，使 HP-Edit 成为第一个在真实场景图像编辑上系统化完成评分对齐-数据构建-RL 后训练全链路的工作。

**Figure 2**: The overview of the proposed framework, HP-Edit, which consists of three stages: HP-Scorer, data pipeline and RL post-training.

**Figure 3**: The details of task and object distribution in RealPref-50K.

实验结果

RealPref-Bench 上 HP-Edit 把 Qwen-Image-Edit-2509 整体 HP-score 由 4.472 提升至 4.667（+0.195），八类任务全部排名第一，显著优于 Step1X-Edit（4.07）、BAGEL（3.65）。改进最大的是 Color Change（+0.392）、Bokeh（+0.380）、Relighting（+0.373），说明偏好对齐对深度、光照等物理合理性任务收益最大；Object Swap 因基数 4.781 几乎打平。GEdit-Bench-EN 上 HP-Edit 取得 G_SC 8.35 / G_PQ 8.54 / G_O 8.30，超过 Step1X-Edit 达 SOTA。消融显示 BaseData+BaseScorer 反而下降至 4.391，RealPref-50K+BaseScorer 升至 4.577，两者齐备才达 4.667。DPO 同子集对比（4.521/4.590/4.667）验证在线采样+任务感知奖励优于离线偏好对；LoRA rank=32 性价比最高。

**Table 1**: Quantitative comparison of HP-score produced on the proposed RealPref-Bench.

**Table 2**: Ablation Study of the HP-Edit on the RealPref-Bench.

**Table 3**: Performance of different methods on GEdit-Bench-EN.

**Figure 4**: Qualitative comparison on the RealPref-Bench across eight common editing tasks.

**Figure 5**: Reward curves of HP-Edit with different settings.

**Figure 6**: HP-score and user score on RealPref-Bench.

查看结构化数据

任务	指标	本文	基线	提升
整体 8 类编辑综合	RealPref-Bench HP-score (0-5)	4.667	Qwen-Image-Edit-2509 (4.472)	+0.195（+4.4%）
Object Addition	RealPref-Bench HP-score	4.91	Qwen-Image-Edit-2509 (4.81)	+0.10
Object Removal	RealPref-Bench HP-score	4.925	Qwen-Image-Edit-2509 (4.85)	+0.075
Object Swapping	RealPref-Bench HP-score	4.781	Qwen-Image-Edit-2509 (4.781)	持平
Background Replacement	RealPref-Bench HP-score	4.733	Qwen-Image-Edit-2509 (4.539)	+0.194
Color Change	RealPref-Bench HP-score	4.75	Qwen-Image-Edit-2509 (4.358)	+0.392（最大提升）
Bokeh	RealPref-Bench HP-score	4.545	Qwen-Image-Edit-2509 (4.165)	+0.380
Relighting	RealPref-Bench HP-score	3.913	Qwen-Image-Edit-2509 (3.54)	+0.373
Style Transfer	RealPref-Bench HP-score	4.776	Qwen-Image-Edit-2509 (4.734)	+0.042
GEdit-Bench-EN 背景保持 G_SC	GEdit 分数	8.35	Qwen-Image-Edit-2509 (8.15)	+0.20
GEdit-Bench-EN 整体质量 G_O	GEdit 分数	8.30	Qwen-Image-Edit-2509 (7.54)	+0.76

局限与改进

作者明确指出 HP-Edit 在 code-switching 或中英混合文本编辑（如把英文翻译成中文）上仍力不从心，主要受限于基座模型 Qwen-Image-Edit-2509 的多语种能力继承。我们的独立观察包括：(1) HP-Scorer 依赖外部 VLM（Qwen3-VL-32B），与人类 PCC=0.89 意味着仍有约 20% 解释方差未被覆盖，可能在边缘风格上把好图误筛掉；(2) RealPref-50K 过滤掉 5 分后剩 5 万样本，其中可能混入约 10% 假困难样本（基座本身已 5 分但 VLM 误判），引入噪声梯度；(3) 仅在 Qwen-Image-Edit-2509 上验证，FLUX.1-Kontext-Dev 上的迁移性未充分报告，难以判断任务感知奖励对所有 backbone 是否稳健；(4) Flow-GRPO 在线 SDE 采样显存压力大，论文未给出 FLOPs 与训练时长。

独立分析的弱点

独立观察到的可改进之处有四：a) HP-Scorer 的任务感知提示词目前是人工逐任务设计并迭代，工作量大、可扩展性弱，可让 VLM 自动从人类标注中反推出 checklist（即 prompt distillation）；b) 困难样本筛选只看分数阈值，可引入指令语义难度或模型预测熵作为额外维度，把奖励信号聚焦到真正困难且多样的样本上，并考虑对 5 分样本加一致性正则而非简单丢弃；c) 在线 GRPO 需要为每条 prompt 采 8 张图，可探索按子任务自适应 group size 与专家混合局部微调，让 Style Transfer 等已高分区不再浪费算力，把更多步数集中在 Relighting 等仍 <4.0 的弱项；d) 评测以 HP-Scorer 单一指标为锚，存在自循环风险——HP-Edit 优化目标就是 HP-Scorer，必然领先；外部指标（DreamBench++ 仅 +0.005-+0.006）收益有限，两类指标差异论文未充分讨论。

未来方向

作者明确提出未来要解决 code-switching / 混合语种文本编辑；可延伸方向包括：(1) 把任务感知奖励扩展到视频编辑或多轮交互式编辑，处理时序一致性；(2) 引入人类-in-the-loop 的主动学习，定期把 HP-Scorer 难判样本送回人工标注，迭代提升奖励模型；(3) 与 Diffusion-DPO、Dance-GRPO 混合 DPO+GRPO 等比较组合，进一步压缩偏好对齐的训练成本；(4) 把 0-5 标尺变成多维向量（如美学/真实感/指令遵循/局部一致/全局协调），让 GRPO 用多目标 Pareto 优化替代当前单标量奖励；(5) 探索小规模 SFT + 偏好 RL 的混合训练流程，避免后训练灾难性遗忘基座编辑能力。

复现评估

复现难度中等。论文承诺开源（代码、RealPref-50K 与 RealPref-Bench 都会发布），数据集来自 Pixabay/LSDIR/DIV2K 等公开来源，构建脚本明确，HP-Scorer 使用 Qwen3-VL-32B-Instruct（开源权重）或 GPT-4o（闭源但可商用）。训练侧仅对 Qwen-Image-Edit-2509 加 rank=32 的 LoRA，学习率 $3\times10^{-4}$、AdamW，Flow-GRPO 8 sample/group，硬件需求大致为多卡 A100/H800（在线 GRPO 每步要 8 次前向 + VLM 打分）；单卡训练非常困难。最大不确定性是 Flow-GRPO 在不同 Flow Matching 主干上的实现细节（ODE 到 SDE 转换、噪声调度）以及 Qwen3-VL-32B 部署显存；复现者需要熟悉 vLLM/SGLang 这类高吞吐推理框架以承载在线打分。代码与权重若如期开源，整体复现门槛在 2-3 周内可达。

HP-Edit：面向图像编辑的人类偏好对齐后训练框架 HP-Edit: A Human-Preference Post-Training Framework for Image Editing