← 返回 2026-06-26

离散化奖励模型 Discretizing Reward Models

Vijay Viswanathan, Shiqi Wang, Devamanyu Hazarika, Chirag Nagpal, Tongshuang Wu, Graham Neubig, Yuning Mao 📅 2026-06-19 👍 17 2026-07-13 08:37
RLHF 奖励模型 奖励黑客 强化学习 离散化
arXiv HuggingFace PDF

通过离散化奖励模型解决过度敏感问题，提升强化学习效果

前置知识

奖励模型（Reward Model）

奖励模型是在人类反馈强化学习（RLHF）中使用的模型，用于评估模型生成的回答质量。它通过学习人类偏好数据，为每个回答分配一个连续分数值，作为强化学习的奖励信号。训练方式包括基于成对偏好数据的Bradley-Terry模型，或直接基于标注分数的回归训练。最终目标是让奖励模型的评分与人类真实偏好尽可能一致。

本文核心研究对象是奖励模型，理解其工作原理和评估方式是读懂论文的基础。论文提出的过度敏感问题和离散化解决方案都建立在对奖励模型机制的深入分析之上。

奖励黑客（Reward Hacking）

奖励黑客是指智能体在强化学习过程中找到利用奖励模型缺陷的方法，通过生成看似高分但实际质量低劣的回答来最大化奖励，而不是真正提升任务能力。这种现象通常发生在奖励模型存在虚假关联或过度优化某些表面特征时。例如，模型可能学会使用华丽的辞藻或特定的句式来获得高奖励，而不是真正解决任务。

本文的核心动机之一就是解决奖励黑客问题。过度敏感的奖励模型容易被智能体利用，导致奖励黑客行为。论文的实验部分明确展示了离散化如何抑制对虚假奖励的过度优化。

蒙特卡洛Dropout（Monte Carlo Dropout）

蒙特卡洛Dropout是一种估计神经网络预测不确定性的方法。在推理时保留dropout层，对同一输入进行多次前向传播，得到多个输出预测。通过分析这些预测的统计特性（如均值和方差），可以估计模型对该预测的置信度。方差越大表示模型越不确定，这种方法近似贝叶斯神经网络的后验推断。

论文使用蒙特卡洛Dropout来估计奖励模型的预测方差，这是reward clustering算法的关键组件。方差估计用于判断两个奖励是否可能代表相同的质量等级，从而实现层次聚类。

研究动机

现有的奖励模型存在过度敏感的问题，它们会给质量相等的不同回答分配明显不同的分数。例如在图2的温网冠军问题上，对于六个正确答案（不同项目的冠军），Skywork V1模型的分数范围从-3.6到-19.3，ArmoRM的分数从0.031到0.084，尽管这些答案的实际效用相同。这种过度敏感性不是简单的噪声，而是可被学习利用的信号。论文在理论上证明，即使具有完美判别能力的奖励模型也可能高度过度敏感。在RewardBench 2数据集上，表现最好的模型在Ties子集上的特异性只有18.7%-42.4%，这意味着它们经常对等价回答给出不同评分。

本文的目标是本文的目标是提出一种能够减少奖励模型过度敏感性的方法，同时保持其对好坏回答的判别能力。具体来说，论文希望在不重新训练奖励模型的前提下，通过后处理的方式将连续的奖励分数离散化为有限的几个等级，使得质量相同的回答被分配相同的分数。这个目标需要解决两个相互冲突的需求：一方面要维持判别能力（区分好回答和坏回答的能力），另一方面要提高特异性（正确识别等价回答的能力）。

与已有工作不同的是，本文的独特切入点在于重新思考奖励模型的评估指标。传统评估关注准确率，这实际上隐含假设了任意两个回答之间都有明确的优劣关系。但作者指出这个假设是错误的，很多问题可以有多个同样正确的答案。论文将准确率分解为判别能力和特异性两个独立指标，并证明在连续奖励模型上这两个指标存在固有的权衡。与之前需要重新训练奖励模型的方法不同，本文提出训练无关的离散化算法，利用蒙特卡洛Dropout估计不确定性并通过聚类实现离散化，这是全新的解决思路。

核心方法

论文提出了reward clustering算法，将连续的奖励值离散化为有限的整数等级。整体思路是将离散化问题转化为一维聚类问题：首先估计每个奖励值的预测分布，然后根据这些分布之间的重叠程度判断哪些奖励值可能代表相同的质量等级，最后通过层次聚类将相似的奖励值归为一类并分配相同的离散奖励。直觉上，如果两个回答的奖励值在统计上难以区分（分布有显著重叠），那么它们很可能具有相同的实际效用，应该被赋予相同的奖励等级。

核心创新点在于利用奖励模型的预测不确定性来识别等价回答。传统方法直接使用奖励模型的点估计值，忽略了模型本身的不确定性。论文观察到，对于真正等价的回答，奖励模型应该给出相似的预测分布，即使它们的点估计值不同。通过蒙特卡洛Dropout估计每个奖励值的方差，可以计算两个奖励差异的概率分布。如果两个奖励值在给定阈值内的概率足够高，就认为它们可能属于同一个效用等级。这种方法的优势是完全训练无关，适用于任何神经网络奖励模型，不需要额外标注数据或重新训练。

方法步骤详情

reward clustering算法包含四个步骤：第一步，对于一批回答及其对应的奖励值，使用蒙特卡洛Dropout进行T次随机前向传播，对每个回答得到T个奖励样本。第二步，计算每个奖励的均值和方差，其中均值是所有样本的平均值，方差是样本方差。第三步，对每对奖励值，计算它们在阈值Delta内的概率，假设差异服从正态分布，均值是两个奖励均值之差，方差是两个奖励方差之和。这个概率可以通过标准正态分布的累积分布函数计算。第四步，使用完全链接层次聚类，基于上述概率构建距离度量，切分聚类树使得每个簇内任意两点的概率大于阈值p星，最后按照簇的平均奖励排序分配整数奖励。

技术新颖性

技术新颖性体现在三个方面：首先，论文从理论上证明了连续奖励模型的判别能力和特异性存在固有权衡，而这个权衡可以通过最优离散化同时优化，这一理论洞察是全新的。其次，提出的reward clustering算法是完全训练无关的，这与之前需要信息瓶颈训练、序数偏好标注或外部判断模型的方法有本质区别。最后，论文提出了新的评估指标体系，将传统的准确率分解为判别能力和特异性两个独立成分，更准确反映了奖励模型在强化学习中的实际表现，这一评估框架本身就有重要价值。

Discretization requires estimating regions of equivalent utility in reward space. Phi(u_i(a)) marks the mean reward within class of responses with equal utility. s_i is the spread of rewards corresponding to that utility class, given by r(y) = Phi(u(y)) + eta(y).
Figure 3: Discretization requires estimating regions of equivalent utility in reward space. Phi(u_i(a)) marks the mean reward within class of responses with equal utility. s_i is the spread of rewards corresponding to that utility class, given by r(y) = Phi(u(y)) + eta(y).

实验结果

论文的实验结果分为三个部分，每个部分都提供了关键发现。在RewardBench 2的Ties子集上，reward clustering在四个主流奖励模型上都提高了判别能力和特异性的平均值：Skywork V1从70.8%提升到74.9%，Skywork V2从71.7%提升到73.2%，GRM从69.2%显著提升到80.6%，ArmoRM从64.4%提升到70.7%。值得注意的是，GRM的提升最为明显，其特异性从41.4%大幅提升到78.5%。在模拟的混合奖励环境中，论文设计了90%-10%和80%-20%两种任务正确性奖励和虚假风格奖励的混合比例。实验显示，直接在80%-20%混合奖励上训练会导致模型过度使用模糊词汇（如possibly、maybe）来获取高奖励，而使用离散化奖励的模型则能够抑制这种行为并保持主要任务性能。在实际的多任务RL训练中，论文使用Llama-3.1-8B-Instruct在IFEval、MATH和GSM8K数据集上训练。使用低KL惩罚时，离散化在10个对比中有10个显著提升或保持，0个回退；使用高KL惩罚时，所有24个对比中离散化从未显著差于原始奖励。具体来说，在Skywork V1奖励下，GSM8K从77.0提升到84.4，IFEval从52.6提升到55.8；在GRM奖励下，GSM8K从68.5提升到76.2，MATH从39.5提升到45.9；在ArmoRM奖励下，IFEval从53.0提升到77.8。

Under our proposed new metrics on RewardBench 2, reward clustering improves the average of specificity and discriminative ability for every reward model. We use an equivalence tolerance of epsilon-hat = 0.10 in the normalized reward space for computing these metrics. On RewardBench 2's standard metrics, reward clustering increases the margin between chosen and rejected responses for 3 out of 4 models. The best method on each metric in each setting is bolded.
Table 1: Under our proposed new metrics on RewardBench 2, reward clustering improves the average of specificity and discriminative ability for every reward model. We use an equivalence tolerance of epsilon-hat = 0.10 in the normalized reward space for computing these metrics. On RewardBench 2's standard metrics, reward clustering increases the margin between chosen and rejected responses for 3 out of 4 models. The best method on each metric in each setting is bolded.
Discretization always significantly improves (10/24 comparisons greater than one standard deviation) or maintains efficacy (14/24 comparisons), with zero regressions (up to significance). Our base model, Llama-3.1-8B-Instruct, achieves 77.3 on GSM8K, 47.2 on MATH, and 77.5 on IFEval.
Table 2: Discretization always significantly improves (10/24 comparisons greater than one standard deviation) or maintains efficacy (14/24 comparisons), with zero regressions (up to significance). Our base model, Llama-3.1-8B-Instruct, achieves 77.3 on GSM8K, 47.2 on MATH, and 77.5 on IFEval.
Left - Policies trained via RL against mixed-effect reward models initially optimize task correctness well, but performance degrades with continued training. Means and standard deviations are reported over three runs. Right - Policies trained on an 80-20 mixture learn to heavily exploit the secondary reward (increasing hedging word usage); discretization curbs this overoptimization. Clipping performs well in the 90-10 setting where the reward is better-specified but proves disastrous in the 80-20 setting.
Figure 5: Left - Policies trained via RL against mixed-effect reward models initially optimize task correctness well, but performance degrades with continued training. Means and standard deviations are reported over three runs. Right - Policies trained on an 80-20 mixture learn to heavily exploit the secondary reward (increasing hedging word usage); discretization curbs this overoptimization. Clipping performs well in the 90-10 setting where the reward is better-specified but proves disastrous in the 80-20 setting.
查看结构化数据
任务指标本文基线提升
RewardBench 2 Ties子集 判别能力与特异性的平均值 74.9% (Skywork V1), 80.6% (GRM) 70.8% (Skywork V1), 69.2% (GRM) +4.1%, +11.4%
RewardBench 2 Ties子集 特异性 52.5% (Skywork V1), 78.5% (GRM) 42.4% (Skywork V1), 41.4% (GRM) +10.1%, +37.1%
GSM8K数学推理 准确率 (低KL惩罚) 84.4% (Skywork V1奖励) 77.0% +7.4%
IFEval指令遵循 准确率 (低KL惩罚) 77.8% (ArmoRM奖励) 53.0% +24.8%
MATH高级数学 准确率 (低KL惩罚) 49.6% (Skywork V1奖励) 48.0% +1.6%

局限与改进

作者承认了三个主要局限性。首先，虽然算法对模型类型假设很少，但实验仅限于语言模型，在其他领域的适用性尚待验证。其次，理论分析假设奖励模型是二元效用函数的线性函数加上噪声，且噪声在不同效用类别间具有恒定方差，这些简化假设可能不完全符合实际。最后，所有实验都使用同一个基础模型Llama-3.1-8B-Instruct和同一个RL算法GRPO，缺乏对不同模型和算法的广泛验证。此外，论文没有讨论离散化可能带来的学习速度下降问题，理论上过粗的离散化会减少学习信号的梯度信息，从而减缓训练过程。

独立分析的弱点

论文存在几个可以改进的方面。首先，reward clustering算法需要手动调整四个超参数：等价阈值Delta、合并概率阈值p星、dropout概率d和采样次数T。论文使用了小规模手工验证集来选择这些参数，但缺乏系统性的超参数敏感性分析，实际应用中可能需要针对每个新任务重新调参。其次，论文的理论分析假设奖励噪声服从均匀分布或高斯分布，但实际奖励模型的噪声分布可能更复杂，非独立或非对称，这会影响离散化效果。第三，离散化可能降低模型对细微质量差异的感知能力，在需要精细区分的场景下（如创意写作评估）可能效果不佳。最后，论文没有评估计算开销，虽然提到GRPO训练时间增加15%，但在大规模生产环境中的可扩展性有待验证。改进方向可以包括自动化超参数选择、更灵活的噪声模型建模、自适应离散化粒度以及更全面的开源实现。

未来方向

作者提出的未来研究方向包括扩展理论分析到多级效用函数，以及放宽恒定方差的假设。基于论文成果，可以延伸出多个研究方向：一是将reward clustering与其他奖励模型校准技术结合，如对比学习或因果推断，进一步提升鲁棒性；二是探索在在线强化学习场景中的动态离散化，根据训练进度自适应调整离散化粒度；三是研究离散化对多目标强化学习的影响，当存在多个冲突目标时如何平衡不同奖励信号的离散化；四是将方法扩展到其他模态，如图像生成或机器人控制中的奖励离散化；五是开发更全面的评估基准，不仅测量最终的策略性能，还要跟踪训练过程中的奖励黑客行为和样本效率。另一个有趣的方向是研究离散化与奖励模型可解释性的关系，离散后的奖励可能更容易被人类理解和验证。

复现评估

论文的可复现性评估：代码方面，作者使用了OpenRLHF库实现GRPO训练，reward clustering算法基于该库的reward model接口。实验在8个H100 GPU节点上使用Ray进行分布式训练，离散化使GRPO平均运行时间从每分钟64.3加减8.0个提示增加到55.8加减7.9个。数据方面，实验使用了公开数据集：RewardBench 2、allenai/RLVR-IFeval、allenai/RLVR-MATH、allenai/RLVR-GSM和WildChat，这些都可以公开获取。奖励模型使用了四个开源模型：Skywork V1/V2、GRM和ArmoRM。然而，论文没有提供完整的代码库和超参数配置，混合奖励环境的偏好数据集构建过程细节也不够详细。实验部分提到了使用13个手工标注的提示进行超参数验证，但这个验证集没有公开。总体而言，核心算法描述相对清晰，但完整复现所有实验可能需要额外的工作，特别是超参数选择和数据预处理部分。

论文图表

Reward models can be strong at discriminating good responses from bad yet have low specificity (i.e. high oversensitivity). Given classes of equal utility, we can have (a) perfect discrimination but poor specificity; (b) perfect specificity but poor discrimination; (c) perfect on both using discretization.
Figure 1: Reward models can be strong at discriminating good responses from bad yet have low specificity (i.e. high oversensitivity). Given classes of equal utility, we can have (a) perfect discrimination but poor specificity; (b) perfect specificity but poor discrimination; (c) perfect on both using discretization.

Figure 1通过三个示意图展示了奖励模型的判别能力和特异性之间的权衡关系。左图展示了一个能够完美区分好坏回答但对等价回答过度敏感的奖励模型，其判别能力强但特异性低；中图展示了一个对等价回答非常一致但无法区分好坏回答的奖励模型，其特异性强但判别能力弱；右图展示了通过离散化可以同时实现完美的判别能力和特异性。三个图都用横轴表示奖励值，纵轴表示回答质量等级，不同颜色的区域代表不同效用类别的回答分布。

这张图对理解论文的核心概念至关重要。它直观地解释了什么是判别能力和特异性（过度敏感的互补），以及为什么连续奖励模型在这两个指标之间存在权衡。更重要的是，它展示了离散化的理想效果：通过设置合适的阈值，可以同时优化两个指标，这正是论文的理论基础。没有这张图，读者很难直观理解论文提出的两个新指标及其关系。

We propose measuring reward models using their discriminative ability at distinguishing good responses from bad and their specificity at identifying equally-good responses. Leading RM's (Liu et al., 2024a; Wang et al., 2024) show strong discriminative ability but poor specificity.
Figure 2: We propose measuring reward models using their discriminative ability at distinguishing good responses from bad and their specificity at identifying equally-good responses. Leading RM's (Liu et al., 2024a; Wang et al., 2024) show strong discriminative ability but poor specificity.

Figure 2通过一个具体案例展示了奖励模型过度敏感的问题。案例问题是说出2019年温布尔登的一个冠军，表格列出了七个候选回答（六个正确的不同项目冠军和一个错误答案）的真实奖励、Skywork V1和ArmoRM两个奖励模型的评分，以及对应的判别能力和特异性指标。数据显示，对于六个正确答案，Skywork V1的评分从-3.6到-19.3，ArmoRM的评分从0.031到0.084，尽管它们的真实奖励都是1.0。表格底部计算了两个模型在容忍度epsilon等于3和epsilon等于0.008下的判别能力和特异性。

这是论文中最重要的实证证据之一，用真实数据验证了过度敏感问题的存在。这个案例非常具体且易于理解：温网冠军问题有多个正确答案，但奖励模型却给出了截然不同的分数。表格清楚地展示了传统高准确率奖励模型的缺陷，它们能区分好坏回答（判别能力83.3%-100%），但对等价回答的特异性却很低（18.7%-25%）。这直接支持了论文的核心论点。

Figure 4: On a real prompt from IFEval, we see that training directly on a reward containing both correct instruction-following rewards and spurious rewards (for linguistic hedging) leads the model to excessively optimize for hedged. In contrast, training on a discretized reward model leads to less hedging, and the model converges to a sensible response.

Figure 4对比了在混合奖励环境下使用原始奖励模型和离散化奖励模型的训练过程。谜题是容易进入但难以离开，你需要在那里但可能不想停留，我是什么，答案应该是赌场。在使用原始奖励模型时，模型在第32步回答我可能是一个赌场，可能是夜总会或酒吧，第64步和第112步的回答越来越长且模糊，充满可能、或许等模糊词汇。而在使用离散化奖励模型时，第32步就回答我是一个赌场，第64步和第112步保持相同的简洁答案，没有过度优化模糊风格。

这张图生动展示了奖励过度优化的具体表现和离散化的实际效果。通过真实的训练步骤对比，读者可以直观看到：原始奖励模型导致模型学会使用模糊词汇来获取高奖励，而离散化后的模型能够保持简洁正确的回答。这是论文实验部分最直观的证明，将抽象的理论问题转化为可见的行为差异。