先思考再评分：面向视觉生成的思考型奖励模型 Think Before You Score: Thinking Reward Model for Visual Generation
奖励模型先为每个案例自适应生成评分标准，再逐条核查并输出细粒度分数
前置知识
视觉奖励模型 (Visual Reward Model)
把生成结果的质量映射为分数或偏好判断的模型，是 RLHF 后训练的核心组件。视觉生成领域的奖励模型分两类：回归式（如 ImageReward 直接回归标量）和生成式（如 UnifiedReward、EditScore 用多模态大模型先生成评估文本再给分），评估方式又分点式（pointwise，逐个打分）和成对（pairwise，比较两个候选）。
TRM 本身就是一个生成式点式奖励模型，理解这个组件在视觉生成 RL 后训练中的位置（Flow-GRPO 的奖励来源）才能看懂论文动机与实验设计。
Bradley–Terry (BT) 偏好模型
把成对偏好转成概率的经典模型：候选 $i$ 被偏好的概率为 $M_{ij}=\sigma(s_i^+-s_j^-)$，训练目标是最大化被偏好候选胜出的似然。DPO、RLHF 中的奖励训练大多源自该框架，隐含假设是分差越大偏好越确定。
论文发现把 BT 目标直接用在点式分数上会因 $M_{ij}$ 对分差单调递增而导致分数极化，这正是提出 PD-GRPO 的出发点，必须理解 BT 的这一性质。
GRPO 与组相对优势
Group Relative Policy Optimization：对同一提示采样一组（group）响应，用组内奖励均值和标准差把每个响应的奖励标准化为优势 $A_k=(R_k-\mu_G)/(\sigma_G+\epsilon)$，替代价值网络，配合 PPO 式裁剪目标和 KL 正则更新策略。DeepSeek-R1 等广泛应用。
PD-GRPO 是在 GRPO 骨架上的改造：rollout 采样、组相对优势计算完全沿用，只在奖励构造环节引入双组成对信号，懂 GRPO 才能看清改了哪里。
点式 vs 成对评估的权衡
点式评估对每个候选独立打分，$G$ 个候选需 $G$ 次评估（线性成本），且两个候选可自然得到相同分；成对评估直接比较两候选，穷举需 $G(G-1)/2$ 次（平方成本），且判断受呈现顺序影响。论文测得 Qwen3.5-9B 做成对判断在顺序反转下不一致率高达 54.7%。
论文选择'点式推理接口 + 成对偏好监督'的组合正是基于这组权衡，附录 A.3.1 用顺序一致性和计算复杂度两方面论证了这一选择。
LoRA 参数高效微调
冻结原模型权重，只训练注入到各线性层的低秩分解矩阵 $W+\Delta W=W+BA$（$B\in\mathbb{R}^{d\times r}$，$A\in\mathbb{R}^{r\times k}$，秩 $r\ll d$），配合缩放因子 $\alpha/r$ 控制幅度，大幅降低显存与训练成本。
TRM 的 SFT 与 RL、以及所有下游生成模型的 Flow-GRPO 优化全部使用 LoRA（rank 32/64），复现时需要理解这些超参配置。
Flow-GRPO
把在线强化学习扩展到流匹配生成模型的方法：将确定性 ODE 采样转化为随机 SDE 采样以获得可计算的策略概率，再用组相对优势做策略优化。是当前扩散/流模型 RL 后训练的主流框架之一。
论文所有下游实验（BAGEL、FLUX.1-dev、SD3.5-M、Flux-Kontext、SenseNova-U1.5 等）都用 Flow-GRPO 优化、TRM 作为唯一奖励信号，是理解第 5.3 节实验的前提。
研究动机
视觉生成模型依靠去噪或流匹配目标预训练，只建模数据分布，无法显式刻画指令遵循、视觉一致性和感知质量等人类偏好，因此后训练普遍依赖以奖励模型为核心信号的强化学习。但现有视觉奖励模型（如 ImageReward、UnifiedReward、EditScore）把任务条件和候选输出直接映射为标量分数或偏好判断，评估标准完全隐式：一张图到底该检查哪些点、哪条要求被违反，无从知晓。而视觉评估本质上是多面且依赖实例的——同样是图像编辑，“把右侧床头灯换成闹钟”要检查旧灯是否移除、闹钟是否自然放置、左侧灯和床是否保留；而编辑人像时关注点则变成面部和手部是否畸形。即使引入推理的评分模型（RationalRewards 等）也只是给评分补充理由，仍未回答“这个案例究竟该评什么”这一根本问题。此外论文附录实测：小模型直接做成对判断在顺序反转下不一致率高达 54.7%（Qwen3.5-9B），这样的偏好判断直接用于策略优化会给同一对候选引入矛盾的奖励反馈。
本文的目标是本文的目标是构建一个践行“先思考再评分”的思考型奖励模型 TRM：给定任务条件与候选输出，模型先生成针对该案例的自适应评分标准，再逐条核查候选，最后聚合成 0–10 的点式分数。具体包括四个子目标：（1）用统一范式覆盖图像生成与图像编辑两类任务，共享“确定标准—逐条检查—维度汇总—打分”流程，仅第三维度随任务切换（生成用 Aesthetics、编辑用 Source Consistency）；（2）构建约 48K 高质量结构化标注数据（约 20K 生成 + 28K 编辑案例），通过两阶段人机协同标注提供评分标准、逐条判断与最终分数的完整监督；（3）通过冷启动 SFT + PD-GRPO 两阶段训练，在保持点式打分接口的同时利用成对偏好提升细粒度判别力，并解决 BT 目标的分数极化；（4）验证该奖励作为强化学习信号能持续改进 BAGEL、FLUX.1-dev、SD3.5-M、Flux2-Klein、Flux-Kontext、SenseNova-U1.5 等多种生成与编辑模型。
与已有工作不同的是，本文的独特切入角度有两层。第一层是范式层面：作者的关键观察是“评估什么”因任务和案例而异，但“如何推导和应用标准”这一过程可以跨任务共享，因此把评估显式建模为 $R \to J \to H \to s$——先生成案例自适应的评分标准 $R$（不是固定清单），再对每条标准做二元判断 $J$，汇总为维度级评估 $H$，最后输出分数 $s$。与已有方法的本质区别是：评估计划是在看到候选输出之后、形成判断之前动态实例化的。第二层是优化层面：作者发现直接用 Bradley–Terry 目标优化点式分数会因 $M_{ij}$ 对分差单调递增而导致分数极化——排序正确后目标仍持续拉大分差，在有界分数空间内把两端推向边界；于是提出 PD-GRPO，用指示函数式的边际奖励使目标在达到所需分差后不再提供继续扩大分差的激励，且成对信号只用于训练期奖励构造，推理时保持独立点式打分接口。
核心方法
TRM 的整体思路可以概括为“把人类评审专家的工作流程教给多模态大模型”。直觉上，靠谱的评审不会拿到图就凭整体印象打分，而是先根据任务要求和候选的具体情况列出检查清单，再逐条核对，最后综合证据给出分数。技术上，TRM 基于 Qwen3.5-9B 初始化，构建流程分四步。第一步构建多样化案例：从 EditScore、Edit-Compass、UniREdit-Bench、Qwen-Image-Bench、EvalMuse、T2I-CoReBench、AGIQA-3K 等来源筛选整理，并用不同能力级别的开源与闭源模型做 rollout 扩充输出多样性，得到约 48K 覆盖多任务、多来源、多难度、多失败模式的案例。第二步两阶段人机协同标注：第一阶段人类专家迭代打磨系统提示，教师模型（Gemini）生成案例自适应 rubric 并按覆盖性、原子性、冗余性、可验证性审核；第二阶段用已验证的 rubric 引导教师模型产出逐条判断和最终分数，再经专家校准。第三步冷启动 SFT：用三种互补格式（Rubric Generation、Rubric-based Scoring、Integrated Evaluation）在单阶段内联合训练，学到完整的 $R\to J\to H\to s$ 评估流程，得到 TRM (SFT)。第四步难度感知偏好对构建与 RL：按奖励分数差把偏好对分为易/中/难三层采样，得到约 4000 个高质量偏好对，用 PD-GRPO 做强化学习得到 TRM (RL)。两阶段均用 LoRA（rank 32、alpha 64）在 8 张 GPU 上训练。
核心创新点有两个。其一是 “Think Before You Score” 范式：把奖励建模从隐式的“条件+候选→分数”映射，改写为显式的“先定标准、再评分”过程。与 UnifiedReward、EditScore 等生成式奖励模型的本质区别在于，rubric 不是预设的固定维度清单，而是针对当前案例动态生成的评估计划——例如编辑任务“把右侧床头灯换成闹钟”会生成“R1: 右侧床头灯是否已移除”“R2: 闹钟是否自然融入床头柜”这类只有该案例才需要的原子判据，每条判据对应一个可验证的二元判断，使分数可追溯、可解释。其二是 PD-GRPO：BT 目标下 $M_{ij}=\sigma((s_i^+-s_j^- -m)/\tau)$ 随分差单调递增，正确排序后仍持续奖励更大的分差，导致有界分数空间内两端极化、分数失去校准（Figure 7 显示 BT 优化后分数堆积在两端）。PD-GRPO 把偏好监督改写为指示函数奖励——正组 rollout 的奖励为 $\mathbb{I}[s(y)-\mu^- > m]$，负组为 $\mathbb{I}[\mu^+ - s(y) > m]$，一旦与对侧组均值拉开足够边际，奖励即成为常数，不再有扩大分差的激励。这既利用了成对偏好的细粒度判别信号，又保住了点式推理接口：每个候选独立评估，成本随组大小线性增长，也不存在成对判断的顺序不一致问题。
方法步骤详情
方法完整步骤如下。（1）任务抽象：每个案例表示为 $x=(c,o)$，$c$ 是任务条件（生成的文本提示，或编辑的源图+指令），$o$ 是候选输出；奖励模型形式化为 $f_\theta(s_p, c, o) \to r$。（2）Rubric 生成：在三个高层维度下生成原子化案例自适应判据——生成任务用 Prompt Alignment / Technical Quality / Aesthetics，编辑任务用 Prompt Alignment（即指令遵循）/ Technical Quality / Source Consistency；对齐类按主体、属性、数量、空间关系、动作等拆解为原子可验证条目，质量/美学各 2–3 条，典型清单 8–14 条且全部正向表述。（3）逐条核查：对每条判据输出二元 Yes/No 判断（不确定记 0）。（4）维度汇总与打分：输出维度级理由 $H$，再综合清单判断与清单未覆盖的重要问题，按 0（完全不可用）/5（部分可用）/8（基本可用）锚点输出 0–10 终分，整体以结构化 JSON 输出。（5）SFT：约 48K 标注数据单阶段训练 2 epoch，学习率 $1\times10^{-5}$ 余弦调度，LoRA rank 32/alpha 64、视觉塔冻结，BF16 + DeepSpeed ZeRO-2，序列长 8192、8 卡有效批 64。（6）PD-GRPO：每个偏好对的两个候选各独立采样 $N=8$ 条点式评估（共 16 条 rollout），按 $r_{pref}(y)=\mathbb{I}[s(y)-\mu^->m]$（$y\in G^+$）与 $\mathbb{I}[\mu^+-s(y)>m]$（$y\in G^-$）构造奖励，分数先归一化，编辑任务 $m=0$、生成任务 $m=0.05$（因生成偏好对含更多近平局），另加 0.1 的格式奖励；再把 $2N$ 条 rollout 合并成组 $G$ 计算组相对优势 $A_k=(R_k-\mu_G)/(\sigma_G+\epsilon)$，用带 KL 的裁剪组相对目标更新，学习率生成 $2\times10^{-6}$、编辑 $5\times10^{-6}$，训练 3 epoch，vLLM 做 rollout 生成。
技术新颖性
技术新颖性体现在四处。（1）范式统一：不同于为单任务定制的 ImageReward（T2I 回归式）、EditReward/EditScore（TI2I），TRM 用“共享评估流程 + 案例自适应判据”统一 T2I 与 TI2I；Table 1 显示它是对比方法中唯一同时具备自适应 Rubric、细粒度点式验证与 RL 优化验证三者的模型。（2）Rubric 动态实例化：已有推理增强评分模型（RationalRewards 等）是“先推理后打分”，理由服务于既定评分；TRM 是“先定标准再打分”，标准先于判断生成并被显式监督——SFT 阶段单独设置了 Rubric Generation 与 Rubric-based Scoring 两种训练格式。（3）PD-GRPO 的奖励设计：用对侧组均值作参照的指示函数奖励，为成对监督给出响应级信用分配，同时避免了 BT 目标无内点最优导致的极化；这与 GRPO 系工作（把 GRPO 用于生成策略优化）互补——本文优化的是奖励模型自身的打分策略。（4）对下游 RL 适配性的系统论证：附录 A.3.1 从顺序一致性（Qwen3.5-9B 成对判断不一致率 54.7%，Qwen3-VL-8B 为 44.1%）和计算复杂度（点式 $O(G)$ 对比成对 $O(G^2)$）两方面论证了“点式接口 + 成对监督”这一组合的合理性，并给出异步奖励计算与前缀缓存的效率分析（理想流水线节省 $(K-1)\min(t_g,t_r)$）。
实验结果
核心发现分四块。（1）奖励建模性能：图像生成上，9B 的 TRM 在 GenAI-T2I/MMRB2-T2I 达到 71.2%/67.9% 的成对偏好准确率，从 Qwen3.5-9B 基线的 58.9%/59.4% 出发，SFT 提升 11.2/6.4 个点，PD-GRPO 再提升 1.1/2.1 个点；超过 GPT-4.1（60.5/65.8）和全部开源及专用奖励模型（HPSv3 70.8/60.2、UnifiedReward 67.9/59.8、RationalRewards 69.8/64.2），仅次于 Gemini 3 Pro（73.1/74.4）。图像编辑上 TRM (RL) 在 EditScore-ERB 三项指标 IF/VC/O 达 0.786/0.674/0.773（基线仅 0.440/0.308/0.401），MMRB2 58.2%、EditReward-ERB 71.3%、EditReward-Compass 0.640/0.660，全面超过 72B 专用模型 EditScore（0.635/0.586/0.703、53.3%、65.2%、0.623/0.626）和 8B 的 FIRM-Reward，IF 超过 GPT-5（0.777），但整体仍落后 Gemini 3.1 Pro（如 IF 0.877）。（2）下游生成 RL：TRM 引导 Flow-GRPO 后，BAGEL 的 TIIF-Long 提升 5.81 点至 81.43、GenEval 0.86→0.89；FLUX.1-dev 的 TIIF-Short/Long 分别 +6.76/+6.56、GenEval 0.66→0.73；SD3.5-M 的 GenEval 0.66→0.72、DPG-Bench 84.24→86.23。（3）下游编辑 RL：BAGEL 的 ImgEdit 3.37→3.91、GEdit-EN/CN 总分 6.95/6.98→7.57/7.64；强基线 SenseNova-U1.5 的 ImgEdit 4.30→4.52；覆盖 4B 到 9B 五个模型几乎全部指标为正增益。（4）消融与受控对比：同设定下 TRM 比 AlphaGRPO 在 TIIF-Short/Long 高 2.98/3.33 点；与 8 倍参数的 EditScore-72B 打平（ImgEdit 4.52 对 4.51、GEdit-EN 8.33 对 8.31），且训练至 300 步时 TRM 组内奖励标准差仅下降 14.9%，而 EditScore-72B 下降 50.5%，说明 TRM 能随策略进步持续提供有区分度的信号。tie-aware 协议下 TRM (RL) 达 68.4%/63.9%，平局率从基线的 40.9%/56.6% 降至 12.2%/20.7%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 图像生成奖励建模 (GenAI-T2I) | 成对偏好准确率，非平局 (%) | 71.2（TRM RL, 9B） | Qwen3.5-9B 基线 58.9；GPT-4.1 60.5；最优专用模型 HPSv3 70.8 | 较自身基线 +12.3 点，超 GPT-4.1 达 10.7 点，开源最佳 |
| 图像生成奖励建模 (MMRB2-T2I) | 成对偏好准确率，非平局 (%) | 67.9（TRM RL, 9B） | GPT-4.1 65.8；RationalRewards 64.2；Qwen3.5-9B 基线 59.4 | 超所有开源与专用奖励模型，超 GPT-4.1 2.1 点 |
| 图像编辑奖励建模 (EditScore-ERB) | Overall 准确率 (O) | 0.773（TRM RL, 9B） | EditScore-72B 0.703；GPT-5 0.755；Qwen3.5-9B 基线 0.401 | 9B 模型超 72B 专用奖励模型 7.0 个点，超 GPT-5 1.8 个点 |
| 图像编辑奖励建模 (EditReward-ERB) | 2-path 准确率 (%) | 71.3（TRM RL） | Qwen3.5-9B 基线 33.8；EditScore-72B 65.2；GPT-4.1 68.2 | 较基线 +37.5 点，超 EditScore-72B 6.1 点 |
| 文本生图 RL 优化 (BAGEL) | TIIF-Long | 81.43（+TRM-guided RL） | BAGEL 原始 75.62；AlphaGRPO 奖励 78.10 | +5.81 点；同设定比 AlphaGRPO 高 3.33 点 |
| 文本生图 RL 优化 (FLUX.1-dev) | TIIF-Short / GenEval | 77.60 / 0.73 | 70.84 / 0.66 | TIIF-Short +6.76 点，GenEval +0.07 |
| 图像编辑 RL 优化 (BAGEL) | ImgEdit G_O / GEdit-EN G_O | 3.91 / 7.57 | 3.37 / 6.95 | ImgEdit +0.54，GEdit-EN +0.62 |
| 图像编辑 RL 优化 (SenseNova-U1.5) | ImgEdit G_O | 4.52（TRM 9B 引导） | 基线 4.30；EditScore-72B 引导 4.51 | +0.22，以 1/8 参数量打平 72B 奖励模型引导的结果 |
局限与改进
作者承认或可从数据中读出的局限包括：（1）与最大的闭源模型仍有差距——Gemini 3 Pro 在生成两个基准上分别高出 1.9/6.5 个点，Gemini 3.1 Pro 在编辑 IF 指标上达 0.877（TRM 为 0.786），MMRB2 编辑榜上所有闭源模型（68.2–74.9）均高于 TRM 的 58.2；（2）监督信号依赖教师模型（Gemini）加人工校准，rubric 与分数质量受教师能力上限约束，教师偏差可能被 SFT 继承；（3）点式评分粒度有限，大量质量接近的候选对会得到相同分数，主表需剔除平局计算准确率（基线平局率高达 40.9%–56.6%）；（4）推理开销：思考型 MLLM 奖励每候选需生成长结构化评估，作者需借助 vLLM 异步计算与共享前缀缓存缓解（附录 A.3.2），在线 RL 中的奖励吞吐仍是瓶颈；（5）超参任务相关：边际 $m$ 编辑取 0、生成取 0.05，两个任务的 KL 系数相差一个数量级（0.04 对 0.003），迁移到新任务需重新调参；（6）训练数据部分来自与评测基准同源的来源（EvalMuse、Qwen-Image-Bench 等），存在一定基准混淆风险；（7）实验局限于静态图像，视频等时序生成的奖励建模未验证。
独立分析的弱点
独立分析的弱点与改进方向：（1）rubric 的“原子可验证”设计偏向可显式核对的对齐类要求，美学与技术质量各只有 2–3 条判据，连续的感知质量差异可能被 8–14 条二元判断的离散化压缩——可引入维度级连续子分数或分层评分粒度；（2）奖励黑客风险：下游 RL 只优化单一 TRM，清单式评分可能被策略钻空子（例如生成恰好满足清单关键词但整体不协调的图像），论文中的 RL 训练步数有限，更长训练下的稳健性未知——可集成多个异构奖励模型或加入对抗性红队评估；（3）最终分数对“清单未覆盖问题”的处理仅靠系统提示词约定（如缺失核心内容记 0 分），缺乏机制保证——可训练显式的覆盖度/不确定性加权模块；（4）PD-GRPO 的边际 $m$ 是任务级全局常数，未随偏好对难度自适应，作者提到“可按难度调整”但实验未做——可用分数差或难度预测器动态设定 $m$；（5）约 4K 偏好对的规模较小，且易/中/难子集对细粒度判别力的贡献未单独消融，hard 子集（分数差最小的对）是否是 PD-GRPO 收益的主要来源值得验证；（6）思考型奖励的推理延迟在在线 RL 中仍是实际瓶颈，可把完整思考过程蒸馏到小模型，或仅对奖励不确定的样本启用完整评估。
未来方向
未来研究方向：（1）作者在 Figure 2 中已勾勒“Beyond Images”的统一愿景，把同一范式扩展到 T2V、TI2V、V2V 等视频生成任务，需增加时序一致性维度并处理更长上下文；（2）把 rubric 级二元判断用作过程奖励（process reward），为下游 RL 提供维度级的细粒度优势估计，而不只是标量终分；（3）扩大 PD-GRPO 偏好数据的规模与难度覆盖，研究边际 $m$ 的自适应调度，并给分数极化现象以更严格的理论分析；（4）将 TRM 的结构化评估能力蒸馏到更小的奖励模型（如 2–4B），降低在线 RL 的奖励推理成本与部署门槛；（5）测试时扩展：对争议案例采样多条评估轨迹做自一致性投票或集成；（6）持续学习式的人机协同校准——随生成模型能力提升，滚动更新 rubric 标注管线以避免奖励模型过时；（7）建立针对清单式奖励模型的奖励黑客鲁棒性评测协议，量化“策略钻评分体系空子”的程度。
复现评估
复现评估：项目已开源（项目页 bxhsort.github.io/Thinking-Reward-Model，HuggingFace 模型集合 huggingface.co/collections/asdjghh/thinking-reward-model），基座 Qwen3.5-9B 为开源模型，训练细节非常完整：LoRA rank 32/alpha 64/dropout 0.05、视觉塔冻结、BF16 + DeepSpeed ZeRO-2、8 卡训练、ms-swift 框架、vLLM rollout，两套系统提示词全文刊载于附录 A.5。数据方面：SFT 约 48K 案例（20K 生成 + 28K 编辑，编辑侧精确 27,788 条）、RL 约 4K 偏好对（8K 候选）加 300 个困难验证对，来源多为公开基准（Edit-Compass、UniREdit-Bench、EvalMuse、AGIQA-3K、HPDv3++ 等），但标注管线依赖 Gemini 教师模型打分校准和人类专家审核，且过滤用了 Qwen3.5-397B-A17B；部分候选图来自闭源模型（Nano-Banana-Pro、Gemini 3.1 Flash Image Preview），可能不可再分发。下游 RL 复现需每模型 8 卡跑 Flow-GRPO（512×512、LoRA rank 64）。总体难度中等：拿到开源权重与评测协议后复现评测结果较直接，但从零重建标注管线需要可观的 API 预算和人工成本。
论文图表