← 返回 2026-09-29

扩散奖励模型 Diffusion Reward Models

Xiangyang Wang, Bingxiang He, Zeyuan Liu, Jiaze WangZiqing Qiao, Yuxin Zuo, Huan-ang Gao, Cheng Qian, Wenbin Zhang, Ran Li, Youbang Sun, Ning Ding, Yuanchun Shi, Zhiyuan Liu, Chaojun Xiao, Chun Yu 📅 2026-09-27 👍 28 2026-11-11 18:30
LLM对齐 RLHF 不确定性估计 奖励模型 扩散模型
arXiv HuggingFace PDF

用扩散Transformer头直接建模奖励分布，突破标量奖励模型的表达瓶颈

前置知识

奖励模型与RLHF

奖励模型（RM）是RLHF流水线中给「提示-响应」对打分的组件，为策略优化提供人类偏好信号。主流做法是判别式RM：用Bradley-Terry损失在偏好对上训练，对输入输出一个标量分数 $r(x,y)\in\mathbb{R}$，RLHF再用这个分数构造优化信号驱动PPO/GRPO等算法。奖励质量直接决定对齐效果还是退化成reward hacking。

本文质疑的正是「奖励必须是标量」这一默认设计，理解RM在RLHF中的位置才能明白替换奖励头意味着什么。

扩散模型（DDPM/DDIM）

扩散模型通过前向过程逐步给数据加高斯噪声 $r_t=\sqrt{\bar\alpha_t}r_0+\sqrt{1-\bar\alpha_t}\epsilon$，训练网络预测所加噪声，反向过程从纯噪声迭代去噪恢复数据。它能隐式表示任意连续密度且以多模态覆盖著称。DDIM是其加速采样版本，用更少的确定性步数完成去噪。

DRM把扩散去噪从图像域搬到奖励空间：去噪的「数据」是K维奖励向量，这是全文方法的核心机制。

Bradley-Terry偏好模型

BT模型假设人类选择服从 $P(y_w\succ y_l)=\sigma(r_w-r_l)$，即偏好概率由两个响应奖励差的sigmoid给出，由此导出损失 $\mathcal{L}=-\log\sigma(r_w-r_l)$。它只需要成对偏好标注而不需要绝对分数，是几乎所有判别式奖励模型的标准训练目标。

DRM的偏好训练体制是在扩散去噪得到的重构奖励 $\hat r_0$ 上施加BT损失，两种监督信号的叠加方式是理解训练目标的关键。

多模态分布

统计意义上的多模态指概率分布有多个峰（局部极大值），与多媒体无关。对同一「提示-响应」对，不同标注者可能因价值观或评分标准理解不同而给出截然不同但都合理的判断，真实奖励分布 $p(r|x,y)$ 因此呈多个分离的簇而非单峰钟形曲线。

论文的全部动机建立在此：高斯头构造上单峰，永远无法表达多峰结构，这正是扩散头的用武之地。

Classifier-Free Guidance（CFG）

提升条件生成质量的技巧：训练时以固定概率把条件输入替换为可学习的无条件向量，推理时同时预测无条件噪声 $\hat\epsilon_{uncond}$ 和条件噪声 $\hat\epsilon_{cond}$，再用 $\hat\epsilon=\hat\epsilon_{uncond}+\omega(\hat\epsilon_{cond}-\hat\epsilon_{uncond})$ 外推组合，系数 $\omega$ 控制条件约束强度。

DRM在训练和推理都用了CFG（$\omega=7$），这是扩散模型经验向奖励建模的直接迁移，不读扩散模型论文会看不懂推理算法。

研究动机

当前主导的奖励模型设计把每个提示-响应对的奖励压缩成一个点估计或固定参数族上的分布。判别式RM用Bradley–Terry损失回归标量分数，生成式RM通过下一词预测输出单一裁决，本质上都假设存在稳定的点值奖励 $r(x,y)\in\mathbb{R}$。参数化分布头同样受限：DPL和URM预测高斯均值-方差（构造上单峰），DPRM预测受分箱粒度限制的类别分布，QRM预测固定分位格（分位交叉、尾部不稳）；多目标RM则要求预定义属性模式再把属性向量门控塌缩。但人类偏好本质多模态：Anthropic-HH标注者间一致率仅约63%，HelpSteer2-Preference过滤后仍有显著rubric内分歧。重复标注数据分析（Table 4）更直接：HelpSteer2 helpfulness维度43.49%的样本评分极差≥2，28.20%出现分离簇，24.34%呈两极化；MultiPref整体维度45.64%出现对侧判断。把 $p(\mathbf{r}\mid x,y)$ 塌缩为标量会抹掉标注者分歧、不确定性和多模态结构，并在含隐含上下文的数据上退化为Borda计数规则，偏离风险中性期望效用。

本文的目标是本文的目标是构建一个不承诺任何输出分布族的奖励头，把奖励建模重铸为对条件密度 $p(\mathbf{r}\mid x,y)$ 的密度估计问题。具体要求有三层。其一，表达能力：输出分布可以任意多模态，能表达「同一响应可被多种方式合理评判」的现实结构，而不是被锁死在高斯、分位格或类别分布的形状里。其二，监督通用性：单一架构同时支持两种数据体制——$K>1$ 维的多属性回归（融合每个样本只标注部分属性的异构数据集，如ArmoRM聚合语料569K样本×19属性）和 $K=1$ 的成对偏好训练（分布式Bradley–Terry目标，如Tulu3混合273K偏好对）。其三，推理灵活性：采样 $N$ 个样本形成经验奖励分布，按下游任务需要聚合为标量（标准RLHF与Best-of-N）、方差（不确定性）或分位数（风险厌恶选择），并开辟现有RM不存在的「奖励轴」测试时扩展——固定响应上增加扩散采样数即可提高打分精度。

与已有工作不同的是，逃离标量瓶颈的既有尝试都是局部的，每一种都提前承诺了输出分布的具体形状：多目标RM需要固定的预定义属性模式；生成式和rubric裁判把建模负担转嫁给长文本推理，推理成本陡增却仍输出单一裁决；参数化分布头（高斯、类别、分位格）显式提交固定分布族，单峰或粒度受限。本文的独特切入是把奖励头整体换成扩散模型：扩散模型以迭代去噪隐式表示任意连续密度，其多模态覆盖能力早有文献支撑，恰好匹配人类偏好诱导的多模态奖励结构。架构上条件端用冻结LLM编码器最后一个token隐状态、输出端用轻量DiT去噪，两头解耦——既保留预训练语义先验，又把分布表达的自由度全部交给扩散头。这个「非参数分布奖励头」的定位在判别式、生成式、参数分布式三大范式之外开辟了第四条路线，且首次同时给出密度估计、双体制统一训练和奖励轴测试时扩展三个能力。

核心方法

DRM的直觉是：与其让网络一次性输出被锁死形状的分布参数，不如让小扩散模型从噪声中「画出」奖励样本，多次采样自然拼出完整的多模态分布。技术路线分三段。编码：提示 $x$ 与响应 $y$ 拼成单序列喂入冻结LLM（FsfairX-LLaMA3-RM-v0.1去掉标量值头），取最后token隐状态 $\mathbf{h}=\mathrm{Enc}(x,y)$ 作语义表示；编码离线预计算，把昂贵的语言表示学习与奖励分布建模解耦，显著降低训练成本。生成：轻量DiT奖励头 $\epsilon_\theta$（hidden 384、3块、6头、dropout 0.2）在条件 $\mathbf{h}$ 与时间步 $t$（自适应层归一化注入）下去噪高斯噪声，建模 $p_\theta(\mathbf{r}\mid\mathbf{h})$，$\mathbf{r}\in\mathbb{R}^K$；训练用DDPM前向加噪 $r_t=\sqrt{\bar\alpha_t}r_0+\sqrt{1-\bar\alpha_t}\epsilon$ 配MSE去噪损失，多属性用掩码版本只监督已标注维度，偏好对在重构的 $\hat r_0$ 上叠加BT损失。推理：DDIM 10步加CFG（$\omega=7$）采 $N=32$ 个样本形成经验分布，聚合为均值、方差或LCB等统计量，兼容标准RLHF与BoN协议。

核心创新是把奖励头的输出从「分布参数」换成「分布样本」。URM/QRM等参数分布模型用MLP单次前向输出高斯或分位格参数，形状预先锁死；DRM的DiT头不假设任何输出族，通过迭代去噪隐式定义任意连续条件密度，多模态覆盖是扩散模型的天然属性——Figure 5中争议样本上DRM输出多个分离峰，ArmoRM塌缩为一点，DeepSeek-GRM仅因解码温度呈尖锐单峰。第二是统一架构吃两种监督体制：$K>1$ 时用掩码去噪损失 $\mathcal{L}_{\text{denoise}}=\frac{1}{\|m\|_1}\|m\odot(\epsilon_\theta-\epsilon)\|^2$ 融合异构多属性语料；$K=1$ 时对去噪估计 $\hat r_0$ 施加分布式BT损失 $\mathcal{L}_{\text{BT}}=-\log\sigma(\hat r_0^{(w)}-\hat r_0^{(l)})$，配零中心、边距 $\Delta=1$ 的对称伪奖励保留去噪信号，总损失为两者加权（$\lambda_{\text{BT}}=0.5$）。第三，训练时以固定概率把 $\mathbf{h}$ 换成可学习无条件向量启用CFG，推理时获得独有的「奖励轴」测试时扩展——标量RM对同一响应永远输出同一分数，DRM则可通过增大采样数 $N$ 收紧分布估计，这是其他范式不存在的测试时自由度。

方法步骤详情

训练（Algorithm 1）：①对每个 $(x,y)$ 离线预计算冻结编码器最后token隐状态 $\mathbf{h}$；②构造目标——多属性数据带19维标签与掩码 $m\in\{0,1\}^K$（未标注维度不计损失），偏好对构造零中心、边距 $\Delta=1$ 的对称伪奖励；③采样时间步 $t$（$T=1000$，sqcos调度）与噪声 $\epsilon$，按DDPM前向公式加噪；④以概率 $p_{\text{drop}}$ 把 $\mathbf{h}$ 换成可学习无条件向量做CFG训练；⑤多属性用掩码MSE去噪损失，偏好对用 $\mathcal{L}_{\text{pair}}=\mathcal{L}_{\text{denoise}}+\lambda_{\text{BT}}\mathcal{L}_{\text{BT}}$（$\lambda_{\text{BT}}=0.5$），BT作用于重构的 $\hat r_0$。推理（Algorithm 2）：编码得 $\mathbf{h}$ 后采 $N=32$ 个样本，每个从 $\mathcal{N}(0,\mathbf{I})$ 出发经DDIM 10步去噪，每步按CFG公式组合无条件与条件噪声预测（$\omega=7$）；样本组成经验分布 $\hat P(\mathbf{r}\mid x,y)$ 后按需聚合：均值 $\bar r$（BoN/RLHF/基准评测）、runner-up超越概率 $\hat P(r_{\text{runner}}>r_{\text{top}})$（不确定性拒绝）或 $\text{LCB}_\lambda=\mu-\lambda\sigma$（$\lambda=0.4$，风险敏感排序）。

技术新颖性

技术新颖性体现在四个层面。范式层面：首次把扩散模型用作奖励头，把奖励建模形式化为非参数条件密度估计，与判别式（标量）、生成式（文本裁决）、参数分布式（固定族）三大范式并列成第四条路线，且一个头覆盖多属性回归与分布式BT两种目标。表达力层面：参数分布模型单次前向即可采样、成本低但形状受限，扩散头每样本需10步迭代，代价换来任意多模态表达能力——定性对比（Figure 5）直观显示只有DRM能恢复争议样本的分离峰结构。工程层面：奖励头仅384维3块DiT，骨干完全冻结且隐状态离线预计算，训练成本被大幅压缩，却以569K样本的训练规模达到与GPT-4o（67.7）接近的五基准平均分（66.2），性价比突出。测试时扩展层面：奖励轴是DRM独有的自由度——增加扩散采样数即可在不改变候选集的情况下收紧打分，RewardBench v2上单样本56.5%提升到32样本65.6%（+9.1点），标量RM或单前向参数RM均无类似杠杆。

Overview of DRM. A frozen encoder maps (x, y) to a hidden state h that conditions a Diffusion Reward Head modeling p(r | x, y).
Figure 1: Overview of DRM. A frozen encoder maps (x, y) to a hidden state h that conditions a Diffusion Reward Head modeling p(r | x, y).

实验结果

主基准（Table 1）：同数据同骨干下，DRM-Multi-8B五基准平均66.2，超过ArmoRM（62.3）与QRM-Llama3.1-8B-v2（64.1），最大增益在RMB Pairwise（78.0 vs 64.6，+13.4）；DRM-Pref-8B平均65.8，框架跨监督体制可迁移。与更大模型比，超过DeepSeek-GRM-27B（65.6），逼近Nemotron-70B（67.8）与GPT-4o（67.7）。RLHF（Table 3）：同一Tulu3-8B-SFT起点下，DRM-Multi在Arena-Hard v2达2.0（FsfairX 1.3、ArmoRM 1.0），MT-Bench 74.8（FsfairX 73.6）。分布有效性（Table 5）：HelpSteer2-Disagreements上Wasserstein距离helpfulness 0.804、correctness 0.846均最优，低于经验先验（1.030/1.019）、全局高斯（1.032/1.024）与点基线（1.032/0.995）；Figure 2显示人类分歧越大DRM多模态比例越高，helpfulness从37.6%升到55.5%再到63.2%。决策价值（Table 6/7）：覆盖率100%→70%时PPE Correctness平均+2.81（MATH +6.20），RMB四设置+4.56~+7.31。LCB聚合（Table 8）：$\lambda=0.4$ 时PPE BoN候选数2~32全为正增益，RMB最高+0.380。奖励轴（Figure 4）：RewardBench v2从1样本56.5%升至32样本65.6%。

Overall benchmark results of different reward models.
Table 1: Overall benchmark results of different reward models.
Configurations of the two DRM variants.
Table 2: Configurations of the two DRM variants.
Downstream RLHF performance with different reward models.
Table 3: Downstream RLHF performance with different reward models.
Structured disagreement in repeated human annotations on different datasets.
Table 4: Structured disagreement in repeated human annotations on different datasets.
Distributional distances to empirical human reward distributions on HelpSteer2-Disagreements.
Table 5: Distributional distances to empirical human reward distributions on HelpSteer2-Disagreements.
Selective prediction on PPE Correctness using DRM's distributional uncertainty.
Table 6: Selective prediction on PPE Correctness using DRM's distributional uncertainty.
Selective prediction results on RMB at different coverage levels.
Table 7: Selective prediction results on RMB at different coverage levels.
Risk-sensitive Best-of-N selection using lower confidence bound (LCB) aggregation.
Table 8: Risk-sensitive Best-of-N selection using lower confidence bound (LCB) aggregation.
DRM multimodal ratio increases with human disagreement.
Figure 2: DRM multimodal ratio increases with human disagreement.
Reward-axis scaling on RewardBench v2.
Figure 4: Reward-axis scaling on RewardBench v2.
Reward distributions of diffusion, discriminative, and generative reward models.
Figure 5: Reward distributions of diffusion, discriminative, and generative reward models.
查看结构化数据
任务指标本文基线提升
五基准平均（RewardBench v2/PPE/RMB/RM-Bench/JudgeBench） 平均准确率（%） DRM-Multi-8B：66.2 同数据同骨干ArmoRM 62.3；QRM-Llama3.1-8B-v2 64.1 +3.9 vs ArmoRM，+2.1 vs QRM
RMB Pairwise 偏好判断准确率（%） DRM-Multi-8B：78.0 ArmoRM 64.6；Skywork-Reward-Llama-3.1-8B-v0.2 66.6 +13.4 vs ArmoRM
RMB Best-of-N（Helpfulness/Harmlessness平衡性） 两维度平均分差 DRM两变体分差均<5分 多数RM单维度高另一维度明显偏低 多模态偏好同时编码，无单边偏科
RLHF下游（Arena-Hard v2） 胜率分 +DRM-Multi RLHF：2.0 +FsfairX RLHF 1.3；+ArmoRM RLHF 1.0 +0.7 vs 最强标量基线
RLHF下游（MT-Bench） 分项评分 +DRM-Multi RLHF：74.8 +FsfairX RLHF 73.6；+ArmoRM RLHF 71.5 +1.2 vs 最强标量基线
HelpSteer2-Disagreements分布拟合（helpfulness） Wasserstein距离（越低越好） DRM：0.804 经验先验1.030；全局高斯1.032；点基线1.032 降低约0.23（约22%）
奖励轴测试时扩展（RewardBench v2） 准确率（%），1→32个扩散样本 DRM-Multi-8B：56.5→65.6 标量RM无此自由度（分数不随N变化） +9.1点

局限与改进

作者承认两点局限：其一，训练规模小——DRM-Multi用ArmoRM聚合语料569K样本（19属性）、DRM-Pref用Tulu3混合273K偏好对，远低于工业级RM的千万级精选偏好，绝对性能尚不及最强开源标量RM（Skywork-Reward-V2-Qwen3-8B平均76.9，高出DRM约10分）；其二，实验固定单一8B骨干（FsfairX-LLaMA3-RM-v0.1）和固定数据规模，骨干尺寸、模型族与更大数据体制下的scaling规律未探索。作者还提醒DRM会继承训练数据偏差，可能给风格有说服力但事实错误或有害的输出打高分，无安全约束地用作优化目标会放大偏差或诱发reward hacking。我补充观察：扩散采样推理成本不可忽略，每响应需32样本×10步DDIM，比单前向标量头高约两个数量级，论文未给延迟对比；下游决策只消费均值、方差、LCB等低阶统计量，多模态簇结构尚未被决策规则直接利用；RewardBench v2上65.6仅属中游（低于URM 73.9、QRM-Gemma-2-27B 76.7），优势集中在RMB类偏好平衡测试，泛化边界有待界定。

独立分析的弱点

第一，推理成本与部署瓶颈：$N=32$ 样本×DDIM 10步意味着每响应约320次DiT前向，Best-of-N下再乘候选数，在线RLHF的rollout打分环节会首先承压；可蒸馏到1-4步去噪或做自适应采样（小 $N$ 粗估、方差大时追加）。第二，聚合过于保守：花大代价学出完整分布，下游却只用均值和 $\mu-\lambda\sigma$，多模态簇结构没有被决策规则消费——Table 5证明DRM拟合了人类评分分布，但RLHF和BoN环节簇信息被平均掉了；可设计模态感知聚合，簇间分歧超阈值触发人工审核。第三，伪奖励构造任意性：$\Delta=1$、零中心与 $\lambda_{\text{BT}}=0.5$ 均为手工设定，不同数据集最优配置未必相同，且伪奖励绝对刻度无物理意义，可按标注置信度自适应设边距或在两路梯度间做不确定性加权。第四，基准短板：RewardBench v2（65.6/65.7）明显低于URM（73.9）与QRM-Gemma-2-27B（76.7），扩散头并非全面占优，对分布偏移的鲁棒性存疑。第五，骨干冻结：分布表达上限受制于骨干隐状态质量，微调或加适配器可能提升但会破坏「训练极便宜」的核心卖点。

未来方向

作者明确指向的方向：跨骨干尺寸与模型族的scaling研究、更大训练数据规模下的行为刻画、以及带人工监督与安全约束的部署。基于成果可自然延伸的方向包括：其一，在线RLHF中的分布利用——用DRM方差动态调节KL惩罚系数或样本权重，把「不确定就少更新」机制化，避免在高不确定性区域强化错误信号；其二，主动学习与数据选择——用DRM分布与人工标注的分歧度（如Wasserstein距离或对侧判断概率）挑选最有信息量的样本送标注，提高偏好数据采集效率；其三，少步扩散蒸馏（DDIM压到1-4步或一致性模型）摊薄推理成本，让奖励轴扩展在实际部署中可行；其四，与多目标框架结合——19维属性空间上每个属性各是一个分布，可研究属性间联合结构与显式权衡（如helpfulness-harmlessness冲突的分布化表达）；其五，响应轴与奖励轴两级预算的联合最优分配；其六，把扩散头迁移到过程奖励模型（PRM）或数学、代码验证场景，检验其对「多种正确解法」这类天然多峰结构的表达能力，并为多模态奖励分布设计专门的下游决策规则。

复现评估

复现条件良好。开源情况：代码在GitHub thunlp/DRM，模型权重在HuggingFace Teburile/DRM；训练数据全部公开——ArmoRM聚合语料569K样本×19属性、Tulu3偏好混合273K对；评测的五个基准（RewardBench v2、PPE、RMB、RM-Bench、JudgeBench）均为公开基准，部分基线数值引自Liu et al. 2025a，其余按相同协议自评并注明。算力需求低是突出优点：骨干完全冻结且隐状态离线预计算，DiT头仅384维3块（参数量百万级），论文明确称训练成本被大幅压缩，单张高端GPU即可完成训练；推理需DDIM 10步×$N=32$ 采样，消费级显卡可承受。文档细节充分：附录B给出投影层、正弦时间步嵌入、条件融合与初始化，附录C给基准统计，附录D给超参搜索，附录G给RLHF设置（UltraFeedback提示、Tulu3-8B-SFT起点）。总体复现难度为入门到中等：训练本身轻量，主要工作量在五套基准评测协议与RLHF流水线的搭建。

论文图表

Figure 3: Best-of-N scaling curves on PPE Correctness, shown for the five-task average and each individual task.

PPE Correctness五个子任务及五任务平均上的Best-of-N曲线，对比DRM-Multi/Pref-8B与ArmoRM、FsfairX、DeepSeek-GRM-27B。两个DRM变体随候选数N增长精度单调上升且扩展性最佳；部分基线在大N处平台化甚至下降（高分选错答案的reward hacking趋势）。

展示响应轴测试时扩展能力，并揭示基线在大候选集下的失效模式，是DRM稳定性优势的关键证据。

Algorithm 1: Training of DRM

训练伪代码：mini-batch循环内离线编码取h、构造奖励目标与掩码m、以概率p_drop做CFG条件替换、采样t与ε按DDPM前向加噪、按数据类型计算L_denoise（多属性）或L_pair=L_denoise+λ_BT·L_BT（偏好对，BT作用于重构的r̂_0），最后更新ε_θ。

训练流程的形式化描述，是把掩码去噪与分布式BT两套目标落地的第一参考，配合Figure 1(a)阅读。

Algorithm 2: Inference of DRM

推理伪代码：编码得h后，N次循环从标准高斯噪声出发做DDIM迭代（S步），每步预测无条件与条件噪声并按ω做CFG组合，最终得到N个奖励样本组成经验分布，经聚合函数A(·)输出最终统计量。

推理与聚合的形式化描述，直接对应奖励轴测试时扩展的实现（调节N即可），配合Figure 1(b)阅读。

相似论文推荐

离散化奖励模型 🎯 71.8%
通过方向解耦对齐缓解扩散强化学习中的偏好模式坍塌 🎯 71.0%
GARDO：无需奖励作弊的扩散模型强化学习框架 🎯 71.0%
DiffusionART：扩散模型的高效、稳定与可扩展强化学习 🎯 70.7%
TDM-R1：用不可微奖励信号强化少步扩散模型 🎯 70.5%