面向视觉生成的统一个性化奖励模型 Unified Personalized Reward Model for Vision Generation
提出 UnifiedReward-Flex，通过上下文自适应层次化推理动态构建个性化奖励模型。
前置知识
Bradley-Terry 偏好模型
Bradley-Terry 模型是一种经典的成对比较模型，用于从两个候选项的相对偏好中学习打分函数。给定一对样本 $(x_i, x_j)$，模型学习一个标量奖励函数 $r(x)$，使得偏好样本获得更高分数，概率为 $P(x_i \succ x_j) = \sigma(r(x_i) - r(x_j))$。在视觉生成领域，这类模型（如 HPSv3、VideoReward）通过人类标注的偏好对训练一个全局评分函数，将多样化的偏好分布压缩为单一标量信号。
本文的核心批评之一就是 Bradley-Terry 模型隐式假设了单一的偏好分布，无法根据 prompt 和内容动态调整评估标准，理解这一点才能理解本文的动机。
VLM-as-a-Judge（视觉语言模型作为评判者）
近年来兴起的一种评估范式，利用强大的生成式视觉语言模型（如 GPT-5.2）直接对生成内容进行文本化评估和比较。与传统判别式打分器不同，VLM 可以输出多维度、文本化的评估理由，支持更丰富的反馈。现有方法如 UnifiedReward-Think 使用固定的评估清单（checklist），在所有输入上应用相同的评估标准。
本文将 UnifiedReward-Think 作为主要基线，其"固定评估清单"的局限性正是 UnifiedReward-Flex 要解决的问题。
Group Relative Policy Optimization (GRPO)
GRPO 是一种高效的强化学习优化算法，特别适合复杂推理任务。给定一个 prompt $c$，它采样一组 $G$ 个生成结果 $\{x_i^0\}_{i=1}^G$，计算组内相对优势 $\hat{A}_i = (R(x_i^0, c) - \mu_c) / \sigma_c$，其中 $\mu_c$ 和 $\sigma_c$ 分别是组内奖励的均值和标准差。通过裁剪代理目标和 KL 正则化来稳定训练。Pref-GRPO 进一步用成对偏好判断替代绝对奖励分数，以归一化胜率 $R(x_i^0, c) = \frac{1}{G-1}\sum_{j \neq i} \mathbb{1}[x_i^0 \succ x_j^0]$ 作为奖励信号。
本文将 UnifiedReward-Flex 集成到 Pref-GRPO 框架中，用于图像和视频生成的强化学习后训练，这是验证奖励模型实际效用的核心实验。
Direct Preference Optimization (DPO)
DPO 是一种无需在线采样的偏好优化方法，直接利用人类偏好数据训练策略模型。其损失函数为 $\mathcal{L}_{DPO}(\theta) = -\mathbb{E}[\log\sigma(\beta_{dpo}(\log\frac{\pi_\theta(y^+|x)}{\pi_{ref}(y^+|x)} - \log\frac{\pi_\theta(y^-|x)}{\pi_{ref}(y^-|x)}))]$，其中 $y^+$ 和 $y^-$ 分别为偏好和非偏好响应，$\pi_{ref}$ 为冻结的参考策略。相比 PPO，DPO 更稳定且计算效率更高。
本文在第二阶段训练中使用 DPO 进行推理感知的偏好对齐，不仅对齐最终决策，还对齐推理轨迹的质量，这是方法的关键创新之一。
研究动机
当前多模态奖励模型普遍采用"一刀切"（one-size-fits-all）的评估范式，存在两个根本性缺陷。第一，固定判别式打分器（如 CLIP、PickScore）和 Bradley-Terry 偏好模型（如 HPSv3、VideoReward）学习一个全局标量奖励函数，隐式假设所有 prompt 和视觉内容共享单一的偏好分布，导致奖励信号对内容特定的视觉线索不敏感。例如，一个强调叙事性的 prompt（如"一个孩子治愈受伤的麒麟"）和一个强调物理真实性的 prompt（如"两个 AI 模型格斗"）应该有不同的评估重点，但全局打分器无法区分这种差异。第二，VLM-as-a-Judge 方法（如 UnifiedReward-Think）虽然利用生成式 VLM 提供更丰富的文本评估，但仍遵循固定的评估清单，在所有输入上应用相同的评估标准。这导致系统性的偏好错位，奖励反馈无法捕捉内容特定的视觉线索和 prompt 意图。
本文的目标是本文的具体目标是构建一个统一的个性化奖励模型 UnifiedReward-Flex，使其能够像人类评估者一样进行上下文自适应的评估。具体来说，给定一个 prompt 和生成的视觉内容，模型应先解释语义意图并提取显著视觉证据，然后动态构建层次化评估计划——在预定义的粗粒度维度下实例化细粒度子标准，并在必要时引入新的高层评估维度。最终目标是为图像和视频生成提供更鲁棒、上下文感知的奖励信号，并通过 Pref-GRPO 框架验证其在下游生成质量提升上的实际效用。
与已有工作不同的是，本文的独特切入角度在于将奖励建模与灵活的上下文自适应推理耦合起来。与现有方法的本质区别是：不再使用固定评估标准，而是让模型根据每个具体实例的 prompt 意图和视觉证据，动态"编排"评估层次结构。这包括三个层面的创新：（1）层次化的评估结构设计——从预定义锚点维度出发，按需实例化子标准并扩展新维度；（2）从闭源 VLM 蒸馏结构化推理轨迹来初始化这种自适应行为；（3）使用推理感知的 DPO 对齐——不仅对齐最终偏好决策，还对齐推理轨迹的质量。这种"个性化评估"的思路直接模拟了人类评估者的工作方式：先理解任务意图，再选择性关注最相关的评估维度。
核心方法
UnifiedReward-Flex 的整体思路可以用一个比喻来理解：传统的奖励模型像一个用固定评分表打分的裁判，无论什么比赛都用同一套标准；而 UnifiedReward-Flex 像一个经验丰富的评委，会先理解比赛的性质，然后制定针对性的评分维度和权重。技术路线分为两大部分：（1）统一个性化奖励建模框架，包括上下文自适应推理过程设计和两阶段训练流水线（推理蒸馏 SFT + 推理感知 DPO）；（2）将个性化多维偏好奖励集成到 Pref-GRPO 框架中用于视觉生成的强化学习。具体来说，给定 prompt 和一对生成内容，模型首先解释语义意图并定位视觉证据，然后动态构建层次化评估——从三个预定义锚点维度（语义对齐、视觉质量、美学）出发，实例化 prompt 特定的子维度，并在必要时引入新的高层维度。每个维度下聚合子维度证据产生维度级胜者，最终综合所有维度决策得出总体胜者。
核心创新点是"上下文自适应的层次化评估编排"，与已有方法存在本质区别。现有 Bradley-Terry 模型学习全局标量函数，VLM-as-Judge 方法使用固定评估清单，而 UnifiedReward-Flex 动态构建评估层次结构。关键区别体现在三个层面：第一，评估维度不是固定的——模型从预定义锚点出发，根据 prompt 意图和视觉证据按需实例化细粒度子标准，当场景具有额外特征时自然引入新维度（如叙事交互、动作动力学）。第二，训练信号不仅对齐最终偏好决策，还对齐推理轨迹的质量——即使两个采样都得出正确结论，DPO 也会偏好推理更灵活、更贴合上下文的那个。第三，多维奖励设计——在 GRPO 中同时利用维度级胜率和整体胜率，通过超参数 $\alpha$ 平衡细粒度上下文推理与全局质量评估。
方法步骤详情
方法分为以下完整步骤：（1）输入定义：每个实例 $x_i = (p_i, v_i^{(0)}, v_i^{(1)})$ 包含文本 prompt $p_i$ 和一对候选视觉生成。（2）SFT 阶段——推理蒸馏：从闭源教师模型 GPT-5.2 蒸馏结构化推理轨迹 $y_{\mathcal{T}_i} = (\mathcal{H}_i, \mathcal{R}_i, \mathcal{W}_i)$，其中 $\mathcal{H}_i = \{(d_k, \mathcal{S}_{i,k})\}_{k=1}^{K_i}$ 为实例化的高层维度及子维度，$\mathcal{R}_i$ 为证据推理轨迹，$\mathcal{W}_i$ 为胜者标签。使用条件语言建模损失 $\mathcal{L}_{SFT}(\theta) = -\sum_i \log p_\theta(y_{\mathcal{T}_i} | x_i)$ 训练基础模型。（3）DPO 阶段——推理感知偏好对齐：从 SFT 模型采样两个候选评估 $y_i^{(a)}, y_i^{(b)}$，根据正确性构造偏好对——若仅一个正确则偏好正确的；若两个都正确则通过闭源评判模型比较推理轨迹质量。使用标准 DPO 损失优化，$\beta_{dpo}=0.1$。（4）GRPO 集成：对每个 prompt 采样 $G$ 个候选，沿 $D$ 个锚点维度进行成对比较，计算维度级胜率 $R_d$ 和整体胜率 $R_{overall}$，通过 $\hat{A}_i = \alpha \hat{A}_i^{dim} + (1-\alpha)\hat{A}_i^{overall}$（$\alpha=0.7$）组合优势用于策略更新。
技术新颖性
本文的技术新颖性体现在多个层面。首先，"动态评估层次编排"是一个全新的奖励建模范式——不是学习一个固定函数或遵循固定清单，而是让模型自主根据输入语义和视觉证据构建评估结构。这种能力在已有工作中从未被系统性地探索。其次，"推理感知的 DPO 对齐"是一个创新的训练策略——传统 DPO 只关注最终决策的正确性，而本文在两个采样都正确时，进一步通过推理轨迹质量进行偏好排序，这使得模型能够学习"如何更好地评估"而不仅仅是"评估对不对"。第三，"多维偏好奖励"的设计——将维度级胜率和整体胜率结合，既保留了细粒度上下文自适应评估的信号，又不失全局质量判断，$\alpha=0.7$ 的最优值表明两者都不可或缺。最后，整个系统是统一的——同一个模型同时支持图像和视频的个性化奖励评估，无需针对不同任务设计不同架构。
实验结果
实验结果全面验证了 UnifiedReward-Flex 的有效性。在奖励模型评估方面（Table 1），UnifiedReward-Flex 在所有基准上均取得最佳性能：图像生成在 GenAI-Bench 上达到 73.4（较 UnifiedReward-Think 的 72.3 提升 +1.1），在 MMRB2 上达到 69.2（较 66.0 提升 +3.2）；视频生成在 GenAI-Bench 上达到 82.5（较 80.3 提升 +2.2），在 MJBench 上达到 72.0（较 70.9 提升 +1.1）。在 FLUX.1-dev 的文本到图像 GRPO 实验中（Table 2），UniGenBench 整体语义一致性从基线的 59.39 提升至 73.95（+14.56），较 UnifiedReward-Think 的 68.89 也有 +5.06 的显著提升，改进广泛覆盖复合推理（Compound: 43.56→69.46）和逻辑推理（Logic.Reason.: 24.77→46.59）等高难度维度。在 Wan2.1-T2V-14B 的视频 GRPO 实验中（Table 4），Dynamic Degree 从 58.6 大幅提升至 70.8（+12.2），Spatial Relationship 从 72.6 提升至 80.8（+8.2），表明奖励信号显著增强了运动生成的丰富性和语义对齐。跨生成器鲁棒性实验（Tables 7-9）显示，在更强的 FLUX.2-klein-base-9B 和 Wan2.2-T2V-A14B 上同样获得一致改进。消融实验表明 DPO 对齐带来持续提升，即使在"两个采样都正确"的设定下仍有收益；$\alpha=0.7$ 在维度级和整体奖励之间达到最优平衡。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 图像奖励模型评估 | GenAI-Bench 准确率 | 73.4 | 72.3 (UnifiedReward-Think) | +1.1 |
| 图像奖励模型评估 | MMRB2 准确率 | 69.2 | 66.0 (UnifiedReward-Think) | +3.2 |
| 视频奖励模型评估 | GenAI-Bench 准确率 | 82.5 | 80.3 (UnifiedReward-Think) | +2.2 |
| 视频奖励模型评估 | MJBench 准确率 | 72.0 | 70.9 (UnifiedReward-Think) | +1.1 |
| 文本到图像生成 (FLUX.1-dev) | UniGenBench Overall | 73.95 | 59.39 (FLUX.1-dev 基线) | +14.56 |
| 文本到视频生成 (Wan2.1-T2V-14B) | VBench Dynamic Degree | 70.8 | 58.6 (Wan2.1 基线) | +12.2 |
| 文本到视频生成 (Wan2.1-T2V-14B) | VBench Spatial Relationship | 80.8 | 72.6 (Wan2.1 基线) | +8.2 |
局限与改进
本文存在以下局限性：（1）训练效率：如 Table 10 所示，UnifiedReward-Flex 在 FLUX.1-dev 上每步训练时间为 143 秒，较 PickScore 的 102 秒增加约 40%，较 UnifiedReward-Think 的 124 秒也有增加，这是因为上下文自适应推理需要动态实例化细粒度标准并可能引入新维度，计算开销不可避免。（2）对闭源模型的依赖：SFT 阶段的推理轨迹蒸馏和 DPO 阶段的轨迹质量评判均依赖 GPT-5.2 这一闭源模型，这不仅增加了数据构建成本，也限制了方法的完全可复现性。（3）评估维度设计的预定义性：虽然方法支持动态引入新维度，但三个锚点维度（语义对齐、视觉质量、美学）仍是人工预定义的，其选择可能影响评估的全面性。（4）α 超参数的敏感性：Table 5 显示 α 从 0.3 到 1.0 的性能差异约为 1-2 个百分点，虽然 α=0.7 表现最优，但最优值可能因任务和数据分布不同而变化，缺乏自适应调节机制。（5）论文未讨论在极端或对抗性 prompt 下的表现，例如故意模糊或矛盾的描述是否会导致评估层次结构的不稳定。
独立分析的弱点
从独立分析角度看，本文存在几个值得关注的弱点。首先，评估维度的动态扩展缺乏明确的停止机制——模型可以在需要时引入新的高层维度，但论文未讨论如何避免过度细化（over-segmentation），即在简单场景中引入不必要的维度可能反而增加噪声。改进方向可以是引入维度数量的自适应阈值或基于信息增益的维度选择机制。其次，DPO 阶段的推理轨迹质量评判完全依赖外部闭源模型，这引入了一个"谁来评判评判者"的递归问题——如果 GPT-5.2 本身的偏好判断存在偏差，这些偏差会通过 DPO 传播到训练好的模型中。改进方向可以是引入多评判者投票或人类标注的稀疏验证。第三，论文的实验集中在 FLUX 和 Wan 系列模型上，对于其他架构（如 Stable Diffusion 3、CogVideoX）的泛化性未被验证。第四，虽然论文声称模型支持 2B 到 32B 的不同规模，但 Table 6 显示 2B 模型在 MJBench 上仅 65.2，与 8B 的 72.0 差距明显，小模型的实际可用性存疑。
未来方向
基于本文的成果，可以从多个方向延伸未来研究。（1）自动化锚点维度设计：当前的三个预定义维度是人工选择的，未来可以探索让模型自动从数据中学习最优的锚点维度集合，甚至针对不同任务域（如艺术创作 vs. 写实摄影）自动适配不同的锚点。（2）多轮迭代评估：当前方法在单次推理中完成评估，未来可以探索多轮细化——先进行粗粒度筛选，再对候选对进行细粒度评估，以平衡效率和准确性。（3）跨模态统一：本文分别处理图像和视频，未来可以探索统一的评估框架覆盖 3D 生成、音频生成等更多模态。（4）人机协作评估：将 UnifiedReward-Flex 作为人类评估者的辅助工具，利用其层次化评估结构帮助人类更系统地比较生成结果。（5）奖励信号的可解释性：当前的层次化评估结构已经具有一定的可解释性，但如何将这些结构化反馈直接用于指导生成模型的改进（而非仅用于 RL 训练）是一个有价值的方向。（6）动态 α 自适应：根据每个实例的评估复杂度自动调整维度级和整体奖励的权重，取代当前的固定超参数。
复现评估
复现评估方面，本文提供了中等难度的复现条件。有利因素包括：代码和模型权重已开源（项目网站 codegoat24.github.io/UnifiedReward/flex），基础模型 UnifiedReward-Think-qwen3vl 也是公开的，评估基准（GenAI-Bench、MMRB2、UniGenBench、VBench）均为公开数据集。不利因素包括：SFT 和 DPO 阶段的推理轨迹蒸馏依赖 GPT-5.2 闭源模型，数据集 HPDv3（50K 图像对）和 VideoFeedback2（35K 视频对）需要自行获取和预处理，训练需要 32 张 NVIDIA H200 GPU，算力门槛较高。对于学术团队，可以考虑用开源 VLM（如 Qwen2.5-VL-72B）替代 GPT-5.2 进行蒸馏，但可能影响最终性能。总体而言，核心方法框架可复现，但完整的训练流水线需要显著的算力和闭源 API 访问。
论文图表
展示了 UnifiedReward-Flex 在 2B、4B、8B、32B 四种规模下的评估性能。性能随模型规模增大而平滑提升：图像 GenAI-Bench 从 70.3（2B）到 74.8（32B），视频 MJBench 从 65.2（2B）到 72.0（8B）。改进是渐进而非突变的，表明核心优势来自上下文自适应评估机制而非单纯模型规模。
证明了方法在不同模型规模下的有效性，并说明核心优势来自方法设计而非模型容量。
对比了不同奖励模型在 FLUX.1-dev 和 Wan2.1-T2V-14B 上的每步训练时间。PickScore（102s）和 HPSv3（103s）最高效，UnifiedReward-Think 为 124s，UnifiedReward-Flex 为 143s（图像）和 336s（视频），较基础方法增加约 15-40% 的计算开销。
量化了方法的计算成本，帮助读者评估实际部署的可行性。