通过将推理内化到分数分布中超越标量奖励

提出Z-Reward教师-学生框架，将推理增强的分数分布蒸馏到高效的学生奖励模型中

前置知识

奖励模型 (Reward Model)

奖励模型是生成模型对齐的核心组件，它提供偏好信号用于模型选择、数据策展和奖励引导优化。在文本到图像生成中，奖励模型评估生成图像的质量，通常输出一个标量分数表示图像与提示的对齐程度。传统的奖励模型如ImageReward、PickScore等基于CLIP编码器，输出确定性标量分数，虽然高效但压缩了标注者的不确定性和细粒度差异。

理解奖励模型的工作原理和局限性是读懂本文的基础，因为本文的核心贡献就是改进现有的奖励建模范式，解决标量奖励过度压缩不确定性的问题。

知识蒸馏 (Knowledge Distillation)

知识蒸馏是一种模型压缩技术，通过让小型学生模型学习大型教师模型的知识来提升学生模型的性能。传统的知识蒸馏通过让学生模型拟合教师模型的输出概率分布来实现，这种方法保留了教师模型的软标签所包含的类别间关系信息。在推理蒸馏的变体中，学生模型不仅学习输出，还学习教师模型的推理轨迹或解释。

本文的RISD方法正是知识蒸馏的一种创新应用，它不蒸馏推理文本本身，而是蒸馏推理条件下的分数分布，这是理解本文方法创新的关键。

策略梯度 (Policy Gradient)

策略梯度是强化学习中的一种方法，通过直接优化策略参数来最大化期望回报。其核心思想是：如果某个动作产生的回报高于平均水平，就增加该动作的概率；反之则降低。数学上，策略梯度定理表明梯度方向可以表示为回报与状态价值的乘积。GRPO (Group Relative Policy Optimization) 是策略梯度的一种变体，它对同组采样的奖励进行归一化来计算优势函数，减少方差。

本文的GDSO方法基于GRPO，理解策略梯度和GRPO的工作原理有助于理解教师模型的训练过程和优势函数的计算。

研究动机

现有的奖励建模范式存在根本性缺陷。标量、分数令牌和成对奖励模型将偏好压缩为单一值或比较，虽然高效但丢弃了标注者的不确定性和合理分数之间的细粒度差异。例如，在离散评分方案下，两张图像可能都得到分数4，尽管一张略低于4分边界，另一张略高于4分边界。基于推理的生成式奖励模型可以通过利用世界知识和显式理由提供更高质量的判断，但它们在推理时成本高昂，且文本推理或分数输出不太适合大规模部署和基于梯度的优化。显式分布建模可以直接表示不确定性，但它通常依赖于每个样本的重复标注，这在生产流水线中难以扩展。

本文的目标是本文的目标是解决视觉奖励建模的核心张力：高质量评分需要推理和不确定性感知，而可扩展的后训练需要快速、直接且可微分的奖励信号。具体来说，作者想要将推理密集的判断与高效的奖励部署解耦，使得奖励模型不需要复制教师如何推理，只需要复制推理教师如何判断。最终目标是创建一个紧凑的奖励模型，能够提供快速、稳定、校准且优化友好的分数，而无需在推理时暴露长推理链。

与已有工作不同的是，本文的独特切入角度是将奖励建模解耦为推理密集的教师阶段和高效的学生阶段。与现有的DEQA方法（依赖密集的人类分数分布进行直接监督，导致高昂的标注成本）和RewardDance方法（从直接监督学习分数分布，但其评分不是明确基于推理）不同，Z-Reward首先训练一个基于推理的大型VLM教师来推断校准的分数分布，然后将这种推理增强的分布蒸馏到一个紧凑的学生中，该学生直接输出分数而无需生成推理链。这种设计的关键洞察是：奖励模型不需要模仿教师的推理序列过程，而是可以直接内化教师的推理条件判断。

核心方法

Z-Reward框架采用教师-学生架构，将推理密集的判断任务与高效的奖励部署解耦。整体思路是：让大型教师VLM利用推理和世界知识推断出校准的分数分布，然后将这种推理条件下的分布蒸馏到紧凑的学生模型中，使学生能够直接预测分数而无需生成推理链。教师模型使用Group-wise Direct Score Optimization (GDSO)训练，它结合了来自分布期望的策略梯度奖励，以及对分数分布和分数差距的直接逐点和成对监督。学生模型使用Reasoning-Internalized Score Distillation (RISD)训练，它将教师的推理条件分数分布转移到紧凑的VLM中，而无需在推理时生成显式推理链。

Z-Reward的核心创新点在于将推理增强的判断与高效的奖励解耦。与现有的on-policy distillation (OPD)方法不同，OPD让学生模仿教师推理的序列过程，而Z-Reward让学生内化推理教师判断的结果。具体来说，教师生成推理轨迹$\rho$并预测分数分布$q_\theta(s|p, I, d, \rho)$，学生直接预测$q_\phi(s|p, I, d)$而不需要推理令牌。这种方法的关键洞察是：奖励模型部署的目标是提供快速、稳定、校准且优化友好的分数，而不是暴露长推理链。通过内化教师的推理条件分布，学生保留了教师的大部分奖励建模能力，同时避免了推理时的显式推理。

方法步骤详情

方法分为教师训练和学生蒸馏两个主要阶段。教师训练阶段：首先初始化教师策略$\pi_\theta$，然后进行迭代训练。在每个迭代中，首先设置参考模型$\pi_{ref} = \pi_\theta$。然后从标注数据中采样批次，包含获胜样本$x_w = (p, I_w, d)$和失败样本$x_l = (p, I_l, d)$及其真实评分$\hat{s}_w$和$\hat{s}_l$。对于$j \in \{w, l\}$，从策略采样$G$个输出$o_{j,i} = (\rho_{j,i}, a_{j,i})$，解码得到推理$\rho_{j,i}$、分数分布$q_{j,i}(s)$和期望分数$\mu_{j,i} = \sum_s s q_{j,i}(s)$。计算逐点奖励$r_{pt}^{j,i} = 1 - \frac{\mu_{j,i} - \hat{s}_j}{S_{max} - S_{min}}$和成对奖励$r_{pw}^{j,i} = 1 - \frac{1}{G(S_{max} - S_{min})}\sum_{k=1}^G |(\mu_{j,i} - \mu_{\bar{j},k}) - \Delta\hat{s}_{j,\bar{j}}|$。计算组相对优势$A_{j,i} = \frac{r_{j,i} - \text{mean}(\{r_k\}_{k=1}^G)}{\text{std}(\{r_k\}_{k=1}^G) + \epsilon}$。最终通过最小化$L_{GDSO} = L_{GRPO}(\{r_{j,i}\}) + \alpha_{pt} L_{pt}^{CE} + \alpha_{pw} L_{pw}$更新教师模型。学生蒸馏阶段：冻结教师策略，从蒸馏数据中采样批次。对于每个$(p, I, d)$，查询教师生成推理并解码$q_T(s|p, I, d, \rho_T)$，学生预测分布$q_\phi(s|p, I, d)$而不使用推理令牌。通过最小化$L_{RISD} = \mathbb{E}_{(p,I,d)} D_{KL}(q_T(s|p, I, d, \rho_T) \| q_\phi(s|p, I, d))$更新学生模型。最终学生分数为$\mu_\phi(p, I, d) = \sum_s s q_\phi(s|p, I, d)$。

技术新颖性

Z-Reward的技术新颖性体现在三个方面。首先，它引入了Group-wise Direct Score Optimization (GDSO)，这是一种新的教师优化方法，不仅使用策略梯度奖励，还直接监督分数分布和分数差距。与只将解析的分数视为奖励的GRPO不同，GDSO将解码的分数分布作为优化目标，从分布期望计算奖励，同时直接监督分数bin分布及其诱导的分数差距。其次，它开发了Reasoning-Internalized Score Distillation (RISD)，这是一种新的蒸馏方法，不是蒸馏推理文本，而是蒸馏推理条件下的分数分布。与序列级或理由蒸馏不同，RISD使用教师的推理条件分数分布作为软目标，让学生内化推理的分布效应。第三，它提出了一种新的奖励建模范式，将不确定性和推理意识与部署效率结合起来。教师学习隐式的、推理条件的分布，而学生将其内化到紧凑模型中用于直接评分和梯度反向传播。

**Figure 2**: Overview of Z-Reward compared with existing distributional reward modeling paradigms

**Figure 4**: Effect of reward computation from score distributions

实验结果

实验结果表明Z-Reward框架在奖励建模性能上表现优异。27B GDSO教师模型在内部标注的测试集上达到89.6%的人类偏好准确率(HPA)，在边际人类偏好准确率(针对人类分数差距大于0.5的成对)上达到98.85%。这一表现显著优于SFT基线(HPA 81.35%, 边际HPA 96.44%)、RewardDance(HPA 84.25%, 边际HPA 97.06%)和GRPO(HPA 86.04%, 边际HPA 98.27%)。更重要的是，9B RISD学生模型达到88.6%的HPA和98.01%的边际HPA，不仅优于OPD基线(HPA 83.11%, 边际HPA 96.43%)，还接近更大的27B教师模型。在分数校准方面，27B GDSO的PLCC为0.7620，SRCC为0.7132；9B RISD的PLCC为0.7391，SRCC为0.6882，均显著优于各自的基线方法。消融研究显示，从分数分布的期望计算奖励比从解析的文本分数计算奖励 consistently 提高 HPA 和边际 HPA。在将Z-Reward用作可优化奖励信号的验证中，使用Z-Reward引导的优化在四个优化维度（文本-图像对齐、真实感、美学和物理合理性）上都显示出稳定的奖励改进趋势。盲人类评估使用Good-Same-Bad (GSB)指标，与SFT基线相比，Z-Reward优化的模型实现了41.3%的净GSB改进，这证实了奖励模型的改进确实反映在人类判断中。此外，RISD在效率上也优于OPD和GDSO，后者平均需要约750个输出令牌，而RISD只需1个令牌返回分数，匹配SFT的解码成本。

**Table 1**: Comparison of reward modeling paradigms for visual generation

**Table 2**: Reward-model evaluation on the internally annotated test set

**Table 3**: Trajectory- vs. outcome-level distillation

**Figure 1**: Human preference accuracy for teacher optimization and student distillation

**Figure 5**: Validation reward trajectories during RL-based text-to-image optimization using Z-Reward

**Figure 6**: Qualitative comparisons between the SFT baseline and Z-Reward-guided optimization

查看结构化数据

任务	指标	本文	基线	提升
人类偏好准确率 (Human Preference Accuracy)	HPA	27B GDSO: 89.6%, 9B RISD: 88.6%	27B SFT: 81.35%, 27B RewardDance: 84.25%, 27B GRPO: 86.04%, 9B OPD: 83.11%	27B相比SFT提升8.25个百分点，9B RISD相比OPD提升5.49个百分点
边际人类偏好准确率 (Margin Human Preference Accuracy)	Margin HPA	27B GDSO: 98.85%, 9B RISD: 98.01%	27B SFT: 96.44%, 27B RewardDance: 97.06%, 27B GRPO: 98.27%, 9B OPD: 96.43%	27B相比SFT提升2.41个百分点，9B RISD相比OPD提升1.58个百分点
分数校准 - Pearson相关系数	PLCC	27B GDSO: 0.7620, 9B RISD: 0.7391	27B SFT: 0.6458, 27B RewardDance: 0.6667, 27B GRPO: 0.7200, 9B SFT: 0.5296	27B相比SFT提升0.1162，9B相比SFT提升0.2095
分数校准 - Spearman相关系数	SRCC	27B GDSO: 0.7132, 9B RISD: 0.6882	27B SFT: 0.5914, 27B RewardDance: 0.6207, 27B GRPO: 0.6832, 9B SFT: 0.4942	27B相比SFT提升0.1218，9B相比SFT提升0.1940
人类偏好净改进 (Good-Same-Bad指标)	Net GSB Improvement	41.3%	SFT基线	41.3%
推理效率 (输出令牌数)	Output Tokens	RISD: 1	OPD: ~750, GDSO: ~750	约750倍减少

局限与改进

作者指出的主要限制是当前教师训练目标的一个局限性：它将策略梯度奖励与直接监督式损失相结合，即方程(14)中的$\alpha_{pt}L_{pt}^{CE} + \alpha_{pw}L_{pw}$。这些监督项显著改善了分数校准和偏好指标，但它们可能偶尔使最终分数更多依赖于直接分数监督而不是生成的推理轨迹本身。在作者的实验中，这种推理与分数之间的弱耦合似乎是少数情况，而这些损失带来的指标增益是明确的。作者还提到推理-分数耦合问题，即直接监督项可能会削弱推理和最终分数之间的联系。此外，从技术实现角度观察，该方法依赖于大型VLM教师(27B)，这意味着训练和推理阶段仍然需要大量计算资源，虽然学生模型(9B)在部署时更高效，但整体训练成本仍然较高。

独立分析的弱点

独立分析的第一个弱点是方法的复杂性和训练成本。教师模型需要27B参数，且训练过程涉及多次迭代、组采样和复杂的损失函数组合，这需要大量的计算资源和调参经验。第二个弱点是对标注数据的依赖。虽然方法声称从可扩展的评分标准监督中学习，但仍需要高质量的人类标注数据来构建评分标准和示例文档，这可能限制该方法在新领域的快速应用。第三个弱点是推理-分数耦合的潜在问题。虽然作者认为这是少数情况，但在实际应用中，如果推理和分数之间的联系被削弱，可能会导致模型给出分数的理由不可信，这在需要解释性的场景中是个问题。改进方向包括：简化训练流程，探索更高效的教师-学生蒸馏方法；开发半监督或自监督的学习方案，减少对人工标注的依赖；加入显式的推理-分数一致性检查或对比监督，使教师在保持直接损失校准益处的同时，保持分数更紧密地基于其理由。

未来方向

作者提出的未来工作方向包括解决推理-分数耦合问题，添加显式的推理-分数一致性检查或对比监督，使教师保留直接损失的校准益处，同时保持分数更紧密地基于其理由。另一个方向是将方法泛化到所有序列到分数任务。虽然本文专注于图像生成的奖励建模，但提出的公式不绑定到特定的视觉领域。随着VLM的改进，VLM到分数模型可以自然地接受图像、视频或以文本为中心的输入，并将任意模型输出转换为与评分标准对齐的分数分布。未来可以扩展到统一的奖励建模，结合逐点分数分布、成对偏好和校准的分数差距在一个教师-学生系统中。基于成果的可延伸方向包括：将Z-Reward框架应用于视频生成和图像编辑任务；探索多模态统一的奖励模型，同时处理文本、图像、视频等多种模态；研究如何将分数分布与更复杂的优化框架结合，如多层优化或元学习。

复现评估

论文提供了项目页面https://srameo.github.io/projects/z-reward/，但没有在论文中明确说明代码和数据是否开源。从实验设置来看，教师模型使用Qwen3.5-27B，学生模型使用Qwen3.5-9B，这些是开放权重的模型，但具体的训练配置、超参数、数据预处理细节和评估代码的可用性需要访问项目页面才能确认。内部标注的数据集和评估数据集未公开，这可能限制独立复现。训练过程涉及多次迭代、组采样和复杂的损失函数，复现需要大量的GPU资源和时间。整体而言，复现难度中等偏高，需要访问内部数据和足够的计算资源。

通过将推理内化到分数分布中超越标量奖励 Beyond Scalar Rewards by Internalizing Reasoning into Score Distributions