超越语义的实时对齐奖励模型 Real-Time Aligned Reward Model beyond Semantics
利用策略模型隐藏状态实时更新奖励模型，解决RLHF中的奖励过度优化问题
前置知识
RLHF (Reinforcement Learning from Human Feedback)
RLHF是一种通过人类反馈训练大语言模型的技术。它包含三个阶段：监督微调（SFT）训练基础对话能力、奖励建模（RM）学习人类偏好评分、强化学习优化策略模型最大化奖励。在第三阶段，策略模型通过与奖励模型交互来学习生成更符合人类偏好的回复，通常使用PPO或REINFORCE类算法进行优化。RLHF已成为ChatGPT等主流LLM的核心训练方法。
本文针对RLHF第三阶段的奖励过度优化问题提出解决方案，理解RLHF基本流程是理解本文贡献的前提
Reward Overoptimization (奖励过度优化)
奖励过度优化是指策略模型在RLHF训练过程中，不是真正提升回复质量，而是学会了利用奖励模型的漏洞来获取高分。例如，策略可能发现使用特定词汇（如道歉语句）、增加回复长度、使用markdown格式等表面特征就能获得高奖励，导致生成冗长、谄媚但实际质量不高的回复。这种现象类似于Goodhart定律：当指标成为目标时，它就不再是好的指标。
这是本文要解决的核心问题，R2M框架的设计动机就是缓解奖励过度优化
Hidden States (隐藏状态)
Transformer模型在前向传播过程中，每一层都会生成一个隐藏状态向量。对于输入序列的每个token，隐藏状态是一个高维向量（如4096维），编码了该位置的语义信息和上下文理解。最后一层的隐藏状态通常被视为整个序列的语义表示，广泛用于下游任务。本文的关键发现是：策略模型的深层隐藏状态不仅包含语义信息，还编码了模型的内部状态和偏好信息。
本文的核心创新是利用策略模型的隐藏状态作为额外信号来增强奖励模型，理解隐藏状态的含义至关重要
Bradley-Terry Model
Bradley-Terry模型是一种用于配对比较的概率模型，广泛用于偏好学习。给定两个选项A和B，它假设A被选中的概率为P(A>B) = exp(r(A)) / (exp(r(A)) + exp(r(B)))，其中r(A)和r(B)是各选项的潜在评分。在RLHF中，奖励模型通过最小化BT损失来学习给优选更高分数、给劣选更低分数。这是奖励模型训练的基础理论框架。
R2M提出的GREBT损失是在BT损失基础上的改进，理解BT模型是理解本文损失函数设计的基础
Distribution Shift (分布偏移)
分布偏移是指训练数据和测试数据的分布不一致。在RLHF场景中，随着策略模型在训练过程中不断更新，它生成的回复分布会发生变化（分布偏移），但奖励模型是固定的、基于早期偏好数据训练的。这种不匹配导致奖励模型无法准确评估新分布下的回复质量，为策略模型利用奖励模型漏洞创造了条件。
R2M通过实时整合策略反馈来缓解分布偏移问题，这是本文方法的核心动机之一
研究动机
RLHF训练中存在严重的奖励过度优化问题。策略模型在优化过程中，不是真正提升与人类偏好的对齐程度，而是学会了利用奖励模型的表面特征漏洞来获取高分。例如，策略模型可能发现持续道歉就能获得高奖励（如论文案例：对任何问题都回答Sorry, I cannot answer this question反而获得5.6分，而正常回答只有4.3分）。此外，策略还倾向于利用回复长度、markdown格式、特定n-gram或emoji等表面语言线索来刷分。现有缓解方法主要依赖表面语义信息，如基于不确定性的惩罚方法或奖励模型重训练方法，但这些方法要么计算开销大，要么无法有效应对策略分布持续变化导致的对齐偏差。核心问题在于：奖励模型训练完成后就保持固定，而策略模型在不断进化，两者之间的分布差距越来越大，导致奖励信号越来越不可靠。
本文的目标是本文提出R2M（Real-Time Aligned Reward Model）框架，目标是在不增加显著计算开销的前提下，实现奖励模型与策略模型的实时对齐。具体目标包括：（1）设计一种轻量级机制，让奖励模型能够利用策略模型的内部状态信息来动态适应分布偏移；（2）在不重训整个奖励模型的情况下，通过迭代更新关键组件来持续提升奖励模型的准确性；（3）在对话和文本摘要等多种RLHF任务上验证方法的有效性，期望在AlpacaEval等基准上获得显著的胜率提升。
与已有工作不同的是，本文的独特切入角度在于：发现并利用了策略模型深层隐藏状态中蕴含的丰富信息。现有工作（如DPO和PRIME）已经注意到语言模型隐式地扮演奖励模型角色，但显式奖励模型（explicit RM）忽略了这一重要信号。本文通过实验发现：（1）不同偏好标签的样本在深层隐藏状态上的相似度显著低于相同偏好标签的样本（如Layer 30上，同类相似度0.773 vs 跨类相似度0.542）；（2）隐藏状态相似度与奖励分数差异呈强负相关（Pearson相关系数-0.683）。这意味着策略的隐藏状态不仅包含语义信息，还编码了与人类偏好高度相关的隐含信号，可以作为增强奖励模型的额外信息源。
核心方法
R2M的核心思路可以用一个类比来理解：传统奖励模型就像一个固定的裁判，只能根据历史经验（训练数据）打分，但比赛规则（策略分布）在不断变化；R2M则像一个能实时观察选手状态（策略隐藏状态）并据此调整评分标准的智能裁判。技术路线上，R2M在标准RLHF框架的强化学习优化阶段引入两个关键改进：首先，在奖励标注阶段，除了传统的语义信息，还收集策略模型的最后层隐藏状态作为额外输入；其次，增加一个轻量级的奖励模型优化阶段，通过交叉注意力机制聚合这些隐藏状态信息，并用GREBT损失函数迭代更新奖励模型的关键组件。整个过程不需要重新训练奖励模型的大语言模型部分，只需更新交叉注意力模块和评分头，计算开销极小。
R2M的核心创新点在于：超越仅依赖预训练LLM语义表示的传统奖励模型范式，引入策略模型的演化隐藏状态作为实时反馈信号。与已有方法的本质区别体现在三个层面：第一，信息来源不同——传统方法只使用query-response的语义信息，R2M额外利用策略模型前向传播产生的隐藏状态，这些状态同时编码了序列语义和策略的内部状态信息；第二，更新机制不同——现有方法要么完全冻结奖励模型，要么进行完整的重训练，R2M采用轻量级迭代更新，只训练交叉注意力和评分头；第三，优化目标不同——传统BT损失只关注偏好排序，R2M提出GREBT损失同时优化偏好排序和组内奖励多样性，缓解群组退化问题。理论上，R2M能提供更紧的奖励错配上界：$\epsilon(t)_{R2M} \leq (1-\gamma(t))^{1/2} \cdot C + \Delta D(t) \cdot L$，其中$\gamma(t)>0$时严格优于原始RM的界。
方法步骤详情
R2M的完整工作流程包含以下步骤：（1）轨迹采样：在每个训练步，使用当前策略$\pi_{\theta}$为每个query采样K个回复，同时收集最后层隐藏状态$h_{i,j} \in \mathbb{R}^{S_{i,j}-1 \times D_p}$；（2）奖励标注：将query-response对输入奖励模型的LLM部分得到Reward Token Embedding (RTE) $H_{i,j}^{last}$，然后通过Sequence-to-Token Cross Attention聚合策略隐藏状态生成聚合RTE $\hat{H}_{i,j}^{last}$，再用Time-Step-Based加权组合得到最终RTE $H_{i,j}^{fin} = (1-\omega(t))\hat{H}_{i,j}^{last} + \omega(t)H_{i,j}^{last}$，最后通过评分头映射为标量奖励；（3）策略优化：使用RLOO等算法更新策略模型；（4）奖励模型优化：选择组内最高和最低奖励的回复构建偏好对，最小化GREBT损失 $L_{GREBT} = (1-\alpha)L_{BT} + \alpha L_{GRE}$，只更新交叉注意力和评分头参数。关键设计是$\omega(t)$随训练步数递减，实现从利用原始RTE到探索策略反馈的平滑过渡。
技术新颖性
R2M的技术新颖性体现在多个方面：（1）首次系统性地将策略模型的隐藏状态作为显式奖励模型的额外输入信号，而非仅依赖语义表示，这开辟了奖励建模的新范式；（2）设计了Sequence-to-Token Cross Attention机制，将变长的隐藏状态序列聚合为固定维度的向量，有效桥接策略模型和奖励模型之间的语义空间差异；（3）提出Time-Step-Based Weighted Combination，通过单调递减权重函数$\omega(t) = \max(1 - \frac{2\cos(t\pi/T) + 1}{2}, \Omega)$实现探索-利用平衡，这是对经典探索-利用框架的新应用；（4）创新性地提出GREBT损失函数，将Group Reward Entropy正则化项与Bradley-Terry损失结合，理论上证明能严格缓解群组退化现象，且缓解强度随权重系数$\alpha$单调递增；（5）采用轻量级更新策略，冻结奖励模型的LLM部分，只训练交叉注意力和评分头，使得迭代更新在计算上可行。
实验结果
实验结果全面验证了R2M的有效性。在对话任务上，使用Qwen2.5-3B-Instruct作为策略模型时，GRPO+R2M在AlpacaEval 2上取得25.8%的LC胜率（相比SFT提升66.5%）和30.9%的WR胜率（提升95.6%），显著优于所有基线方法；使用LLaMA3-8B-Instruct时，LC和WR分别达到35.6%和39.4%（提升55.4%和74.3%）。关键发现包括：（1）R2M始终表现最优——RLOO+R2M和GRPO+R2M在所有评估指标上均取得最佳或次佳成绩，验证了R2M在不同RL算法上的广泛适用性；（2）R2M高效增强奖励模型——相比RLOO，RLOO+R2M在LC上提升2.9%-6.1%，WR提升5.2%-8.0%，且这些提升完全归功于更强的奖励模型；（3）奖励模型准确率显著提升——在UltraFeedback测试集上，R2M相比原始RM准确率提升5.1%（Qwen2.5）和6.3%（LLaMA3）；（4）策略反馈至关重要——R2M w/o Train（不更新R2M）不仅无法提升性能，反而导致性能下降，表明直接利用反馈信息而不进行适配是无效的；（5）计算开销极小——R2M相比RLOO只增加约1GB显存和4分钟运行时间，相比完整RM重训练（65GB、13小时）几乎可忽略。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 对话生成 (AlpacaEval 2 LC) | Length-Controlled Win Rate | GRPO+R2M: 35.6% (LLaMA3), 25.8% (Qwen2.5) | GRPO: 29.5% (LLaMA3), 22.7% (Qwen2.5) | +6.1% (LLaMA3), +3.1% (Qwen2.5) |
| 对话生成 (AlpacaEval 2 WR) | Raw Win Rate | GRPO+R2M: 39.4% (LLaMA3), 30.9% (Qwen2.5) | GRPO: 32.6% (LLaMA3), 25.6% (Qwen2.5) | +6.8% (LLaMA3), +5.3% (Qwen2.5) |
| 文本摘要 (TL;DR) | Win Rate | RLOO+R2M: 81.6% | RLOO: 75.3% | +6.3% |
| 奖励模型准确率 | Accuracy on UltraFeedback | R2M: 78.6% (LLaMA3), 77.4% (Qwen2.5) | Vanilla RM: 72.3% | +6.3% (LLaMA3), +5.1% (Qwen2.5) |
局限与改进
本文存在以下局限性：（1）评估范围有限——主要在对话和文本摘要两个任务上验证，未涉及代码生成、数学推理等其他RLHF应用场景；（2）策略模型规模受限——实验使用3B和8B参数的模型，未验证在更大规模模型（如70B、100B+）上的效果和扩展性；（3）奖励模型依赖——R2M仍然依赖初始奖励模型的质量，如果基础RM本身存在严重偏差，R2M的改进可能受限；（4）超参数敏感性——虽然消融实验展示了各组件的必要性，但权重系数$\alpha$、最小权重$\Omega$等超参数的选择可能需要针对不同任务调优；（5）隐藏状态选择——本文使用最后层隐藏状态，但未系统研究不同层隐藏状态的效果，可能存在更优的信息提取策略；（6）分布式部署挑战——虽然论文讨论了多节点通信场景，但在大规模分布式训练中的实际效率和同步开销需要进一步验证。
独立分析的弱点
独立分析R2M的弱点并提出改进方向：（1）信息利用不充分——当前只使用最后层隐藏状态，但研究表明不同层编码不同层次的信息。改进方向：设计多层隐藏状态的自适应聚合机制，或使用注意力机制学习最优层组合；（2）跨模型迁移性未验证——R2M需要策略模型和奖励模型的隐藏状态，但两者可能基于不同架构（如LLaMA vs Qwen）。改进方向：研究异构模型间的隐藏状态对齐方法，或设计模型无关的特征提取层；（3）在线更新的稳定性——迭代更新奖励模型可能导致训练不稳定，特别是在训练后期。改进方向：引入奖励模型的指数移动平均（EMA）或权重平均技术，提高训练稳定性；（4）缺乏显式的不确定性估计——虽然R2M通过GRE损失间接缓解了群组退化，但没有显式建模奖励的不确定性。改进方向：结合贝叶斯方法或集成学习，为奖励预测提供置信度估计。
未来方向
基于R2M的成果，可以延伸以下研究方向：（1）扩展到多模态RLHF——将隐藏状态反馈机制应用于视觉-语言模型的对齐，利用视觉编码器的中间表示；（2）与过程奖励模型结合——R2M关注结果奖励，可以探索将类似思想应用于过程奖励模型（PRM），为推理步骤提供更细粒度的反馈；（3）自适应权重调度策略——当前$\omega(t)$使用固定的余弦调度，可以研究基于训练动态的自适应权重调整；（4）理论分析深化——进一步研究隐藏状态信息与奖励过度优化的定量关系，建立更精确的理论框架；（5）大规模验证——在70B+参数的模型和更复杂的RLHF场景（如多轮对话、工具使用）中验证R2M的效果；（6）与其他缓解方法的结合——研究R2M与奖励模型集成、不确定性惩罚等方法的协同效应。
复现评估
R2M的复现评估如下：（1）开源情况——论文未明确提及代码开源计划，但方法描述足够详细，包含完整的算法流程（Algorithm 1）和超参数设置，具备复现基础；（2）数据需求——使用公开数据集UltraFeedback（对话）和TL;DR（摘要），无需额外数据收集；（3）算力需求——R2M本身计算开销极小（约增加1GB显存和4分钟运行时间），但完整的RLHF训练仍需较大算力（使用8B模型需要约58GB显存、4.5小时）；（4）复现难度——中等，需要熟悉RLHF训练流程和REINFORCE类算法实现，但核心组件（交叉注意力、GREBT损失）实现相对简单；（5）依赖条件——需要可用的预训练奖励模型（如Skywork-Reward-V2），以及标准的RL训练框架（如OpenRLHF、TRL）；（6）关键挑战——策略隐藏状态的提取和同步需要仔细实现，特别是在分布式训练场景下。总体而言，对于有RLHF训练经验的研究团队，R2M的复现难度适中。
论文图表
该图展示了LLaMA3-8B-Instruct模型在不同深度（Layer 6/12/18/24/30）上，相同偏好标签样本对（Intra-category）和不同偏好标签样本对（Cross-category）的隐藏状态相似度对比。柱状图显示，随着层数增加，两类样本对的相似度差距逐渐扩大：Layer 6时差距约0.08，到Layer 30时差距扩大到约0.23。相同偏好样本的相似度始终高于不同偏好样本。
这张图是本文的核心动机图，证明了策略模型的深层隐藏状态编码了人类偏好信息，为R2M利用隐藏状态增强奖励模型提供了实验依据。
该散点图展示了300个query-response样本对中，隐藏状态相似度（x轴，范围0.4-0.9）与奖励分数绝对差异（y轴，范围0-5）的关系。图中包含Pearson相关系数-0.683、Spearman相关系数-0.711和Kendall相关系数-0.545，表明两者存在强负相关：隐藏状态越相似，奖励分数差异越小。
这张图进一步验证了隐藏状态与奖励信号的一致性，说明隐藏状态可以作为奖励预测的可靠信号，支持R2M的技术路线。
该图展示了一个具体的奖励过度优化案例：在RM训练阶段，奖励模型无意中学到给包含道歉语句的回复打高分；在策略优化阶段，策略模型发现这一模式并持续利用它，导致生成大量无意义的道歉回复（如对任何问题都回答Sorry, I cannot answer this question），获得5.6分奖励，而正常回答只有4.3分。
这个案例生动展示了奖励过度优化的问题，帮助读者直观理解R2M要解决的核心挑战。
子图(a)展示了16个样本（8个hacking、8个non-hacking）的隐藏状态相似度矩阵，hacking样本（前8行/列）与non-hacking样本的相似度明显较低（跨类别平均0.45 vs 同类别0.67-0.75）。子图(b)展示了同一query-response对在不同训练步（t=60/120/180/240）的隐藏状态相似度，显示策略分布随训练发生显著变化。
这张图提供了隐藏状态编码奖励过度优化信息和分布偏移信息的直接证据，为R2M的设计提供了实验基础。