交替强化学习实现基于评分标准的奖励建模用于不可验证LLM后训练 Alternating Reinforcement Learning for Rubric-Based Reward Modeling in Non-Verifiable LLM Post-Training
Rubric-ARM通过交替强化学习联合优化评分标准生成器和判断器，提升LLM后训练效果
前置知识
奖励模型 (Reward Model)
奖励模型是LLM对齐中的核心组件，负责为模型输出分配标量分数或偏好标签，指导策略模型学习人类偏好。传统奖励模型通过预测标量分数来评估响应质量，但在创意写作、开放式指令遵循等不可验证领域，单一标量分数难以捕捉响应质量的多维度特性。Rubric-ARM提出基于评分标准的奖励建模方法，通过生成结构化评估标准来提升评估的透明度和准确性。
理解传统奖励模型的局限性是理解本文动机的关键，Rubric-ARM正是为了解决标量评分无法捕捉多维度响应质量的问题而提出
GRPO (Group Relative Policy Optimization)
GRPO是一种强化学习算法，通过组内相对比较来优化策略模型。在Rubric-ARM中，GRPO用于交替优化评分标准生成器和判断器：首先固定生成器更新判断器，然后固定判断器更新生成器。这种交替更新策略能够稳定训练过程，避免同时更新导致的非平稳性问题。GRPO通过蒙特卡洛采样估计梯度，使用组内相对优势来更新策略参数。
GRPO是Rubric-ARM训练算法的核心，理解其工作原理有助于把握方法的技术细节
评分标准 (Rubrics)
评分标准是结构化的评估准则，包含多个评估维度，每个维度针对响应质量的不同方面（如事实正确性、语气、呈现方式）。在Rubric-ARM中，评分标准被视为潜在动作（latent actions），通过强化学习来优化生成过程，使其能够为判断器提供更有区分力的评估框架。评分标准的质量直接影响下游策略模型的对齐效果。
评分标准是Rubric-ARM的核心创新点，理解其定义和作用对于把握论文贡献至关重要
交替优化 (Alternating Optimization)
交替优化是一种策略，将联合优化问题分解为两个子问题交替求解。在Rubric-ARM中，训练在两个阶段之间切换：(i) 固定评分标准生成器，优化判断器；(ii) 固定判断器，优化评分标准生成器。这种方法类似于EM算法，将评分标准视为潜在变量，通过交替的E步和M步来最大化期望正确性。理论分析表明，这种训练顺序能够降低梯度方差，提升训练稳定性。
交替优化是Rubric-ARM解决联合训练不稳定性的关键技术，理论分析部分对此进行了严格证明
非验证域 (Non-verifiable Domains)
非验证域指响应质量无法直接与地面真值验证的领域，如创意写作、开放式指令遵循、主观问答等。在这些领域中，传统的基于参考答案的评估方法失效，需要依赖人类偏好或LLM判断来评估响应质量。Rubric-ARM专门针对这类场景，通过评分标准化的评估方法来提升判断的准确性和可解释性。
理解非验证域的特殊性是理解本文应用场景的关键，Rubric-ARM的设计正是为了应对这类挑战性场景
研究动机
现有奖励模型在非验证域存在根本性局限。传统奖励模型预测标量分数，无法捕捉响应质量的多维度特性，例如创意写作中同时需要评估创意性、逻辑性、语言质量等多个维度。虽然基于评分标准的奖励建模方法已出现，但存在两个关键问题：(1) 依赖人工编写评分标准，成本高昂且难以扩展到大规模数据集；(2) 使用固定、冻结的模型进行评分标准生成和判断，无法适应目标域或偏好分布。更严重的是，现有方法将评分标准生成器和判断器作为独立模块分别训练，缺乏联合优化，导致评估信号次优。论文指出，现有方法在RewardBench Chat Hard等基准上表现不佳，例如Rubric-RM在该基准上仅达74.1%准确率。
本文的目标是本文提出Rubric-ARM框架，旨在通过交替强化学习联合优化评分标准生成器和判断器，使两个组件能够协同进化、相互增强。具体目标包括：(1) 将评分标准生成视为潜在动作，通过强化学习优化以最大化判断准确性；(2) 设计交替训练策略，缓解同时更新导致的非平稳性问题；(3) 在多个奖励建模基准上实现强性能，平均提升4.7%；(4) 提供有效的下游策略对齐信号，支持离线和在线强化学习设置。
与已有工作不同的是，Rubric-ARM的独特切入角度在于将评分标准视为潜在变量，通过类似EM算法的交替优化来联合学习。与现有方法的本质区别是：(1) 不依赖静态评分标准，而是学习生成适应特定提示和偏好分布的动态评分标准；(2) 不将评分标准生成器和判断器分别训练，而是通过共享的正确性目标进行联合优化；(3) 提出先训练判断器再训练评分标准生成器的顺序，理论分析证明这种顺序能够降低梯度方差。这种设计使得评分标准生成和判断能够相互促进，形成良性循环。
核心方法
Rubric-ARM的整体思路是将评分标准生成和判断建模为联合优化问题，通过交替强化学习实现两个组件的协同进化。直觉上，更好的评分标准能帮助判断器做出更准确的预测，而更准确的判断器能为评分标准生成器提供更清晰的学习信号。技术路线分为两个阶段：第一阶段通过SFT（监督微调）为两个组件提供基础能力，使用开源数据集（UltraFeedback、SkyWork、Magpie等）的合成评分标准和判断轨迹进行训练；第二阶段通过交替强化学习进行联合优化，训练在(i)固定生成器优化判断器和(ii)固定判断器优化生成器之间切换，使用GRPO算法更新策略参数。推理时，系统遵循两阶段流程：先生成评分标准，再基于评分标准进行判断。
Rubric-ARM的核心创新是将评分标准视为潜在动作（latent actions），通过类似EM算法的交替优化来联合学习。与现有方法的本质区别在于：(1) 现有方法如Rubric-RM仅使用SFT训练，无法直接优化偏好正确性；(2) 现有方法将评分标准生成器和判断器分别训练，缺乏联合优化；(3) Rubric-ARM通过交替RL使两个组件能够相互增强——判断器学习在给定评分标准下做出正确预测，评分标准生成器学习生成能帮助判断器恢复偏好信号的评估标准。理论分析表明，这种交替顺序能够降低梯度方差，提升训练稳定性。
方法步骤详情
Rubric-ARM的训练分为以下步骤：(1) SFT热身阶段：使用开源数据集（UltraFeedback、SkyWork、Magpie、Synthetic Instruction Following）的合成评分标准和判断轨迹，对评分标准生成器 \pi_r 和判断器 \pi_j 进行监督微调，训练目标为标准的下一个token预测目标。(2) 交替RL阶段：在每个迭代 t，首先采样评分标准 r_i^t 对所有训练实例，然后固定参数，使用GRPO更新判断器参数；接着固定更新后的判断器，使用GRPO更新评分标准生成器参数。(3) 策略模型后训练：使用训练好的评分标准生成器和判断器为策略模型提供偏好监督，支持DPO和在线RL两种设置。
技术新颖性
Rubric-ARM的技术新颖性体现在多个方面：(1) 首次提出通过强化学习联合优化评分标准和判断，将评分标准生成建模为潜在动作；(2) 设计了交替训练策略，理论分析证明先训练判断器再训练评分标准生成器能够降低梯度方差——Theorem 5.5证明了策略B（训练评分标准生成器）的梯度方差严格大于策略A（训练判断器）的期望条件方差；(3) 引入格式奖励来规范判断轨迹结构，防止退化行为；(4) 在推理时支持集成投票（voting@5），通过多数投票聚合5个独立判断器的结果；(5) 提供了与EM算法的理论连接，将评分标准视为潜在变量，判断器对应M步，评分标准生成器对应摊销E步。
实验结果
Rubric-ARM在多个基准上取得了显著性能提升。在奖励建模评估中，Rubric-ARM在RewardBench Chat达到89.4%，Chat Hard达到79.6%，FollowBench达到85.7%，PPE-IFEval达到70.8%，InfoBench达到86.1%，RM-Bench Chat达到69.2%，RewardBench2 Precise IF达到41.9%，Focus达到89.4%，HelpSteer3达到69.8%，平均性能达到74.8%，相比Rubric-RM的70.1%提升4.7个百分点。使用voting@5集成后，平均性能进一步提升至76.2%。在WritingPreferenceBench上，Rubric-ARM取得63.2%的最佳成绩，超越Rubric-RM（60.3%）和RM-R1-Qwen2.5-7B（59.8%），展示了良好的分布外泛化能力。在下游策略对齐实验中，使用Rubric-ARM训练的Qwen2.5-7B-Instruct在IFEval上达到80.4%（DPO）和80.8%（IterDPO），InfoBench达到83.7%和85.0%，Arena-Hard达到51.7%和53.4%，AlpacaEval达到42.5%和44.0%，WildBench达到53.7%和55.7%，均优于基线方法。在线RL设置中，GRPO with Rubric-ARM在IFEval、IFBench、AlpacaEval上的平均得分达到55.4%，显著高于GRPO with RM-R1的52.3%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RewardBench Chat | 准确率 (%) | 89.4 | Rubric-RM 88.2 | +1.2 |
| RewardBench Chat Hard | 准确率 (%) | 79.6 | Rubric-RM 74.1 | +5.5 |
| FollowBench | 准确率 (%) | 85.7 | Rubric-RM 76.1 | +9.6 |
| PPE-IFEval | 准确率 (%) | 70.8 | Rubric-RM 67.0 | +3.8 |
| InfoBench | 准确率 (%) | 86.1 | Rubric-RM 80.8 | +5.3 |
| RM-Bench Chat | 准确率 (%) | 69.2 | Rubric-RM 65.7 | +3.5 |
| RewardBench2 Precise IF | 准确率 (%) | 41.9 | Rubric-RM 34.4 | +7.5 |
| RewardBench2 Focus | 准确率 (%) | 89.4 | Rubric-RM 82.2 | +7.2 |
| HelpSteer3 | 准确率 (%) | 69.8 | Rubric-RM 67.0 | +2.8 |
| WritingPreferenceBench | 准确率 (%) | 63.2 | Rubric-RM 60.3 | +2.9 |
| IFEval (DPO) | 平均准确率 (%) | 80.4 | Rubric-RM 79.5 | +0.9 |
| IFEval (IterDPO) | 平均准确率 (%) | 80.8 | Rubric-RM 79.4 | +1.4 |
| InfoBench (IterDPO) | 平均准确率 (%) | 85.0 | Rubric-RM 83.3 | +1.7 |
| Arena-Hard (IterDPO) | 胜率 (%) | 58.9 | Rubric-RM 56.7 | +2.2 |
| WildBench (IterDPO) | WB Score | 55.7 | Rubric-RM 54.0 | +1.7 |
局限与改进
尽管Rubric-ARM取得了显著性能提升，但仍存在一些局限性：(1) 模型规模限制：当前实验基于Qwen-3-8B骨干，未探索更大规模模型（如14B、32B）的效果，论文中RM-R1-32B在部分基准上表现优于Rubric-ARM；(2) 训练效率：交替训练需要多次迭代，虽然推理效率较高（33.50s/100样本），但训练成本可能高于单阶段方法；(3) 评分标准生成质量：依赖SFT阶段的合成数据质量，如果初始评分标准质量不佳，可能影响后续RL训练效果；(4) 分布偏移：在WritingPreferenceBench等分布外基准上虽然表现良好，但仍与闭源API模型（如Gemini-2.5-Flash的78.5%）存在差距；(5) 理论假设：Theorem 5.5的证明依赖于Assumption 5.3的探索-梯度充分性条件，该条件在实践中是否总是满足需要进一步验证；(6) 集成开销：voting@5需要5次独立推理，增加了计算成本。
独立分析的弱点
Rubric-ARM存在以下可改进的弱点：(1) 评分标准生成器和判断器都使用相同规模的模型（Qwen-3-8B），可能存在能力瓶颈，可以探索使用更大规模的判断器或更小的生成器来平衡性能和效率；(2) 交替训练的轮数和时机是超参数，当前实验未提供敏感性分析，可以研究自适应交替策略；(3) 格式奖励的设计相对简单，可以探索更细粒度的结构化奖励；(4) 在线RL设置中仅使用GRPO算法，可以探索其他RL算法如PPO、REINFORCE++的效果；(5) 评分标准的粒度固定，可以研究动态调整标准数量的策略；(6) 未探索多轮对话或长文本生成场景下的效果。
未来方向
基于Rubric-ARM的成果，未来研究可以从以下方向展开：(1) 扩展到更大规模模型：探索在14B、32B甚至更大规模模型上的效果，研究模型规模与性能的关系；(2) 多模态扩展：将评分标准化的方法应用到多模态LLM，如图像生成、视频理解等领域的评估；(3) 自适应评分标准：研究根据任务复杂度动态调整评分标准数量和粒度的方法；(4) 在线学习：探索评分标准生成器和判断器在部署后持续学习的机制；(5) 人机协作：研究如何将人工评分标准与自动生成的评分标准结合，提升评估质量；(6) 可解释性增强：利用评分标准的结构化特性，开发更好的模型决策解释工具；(7) 跨语言应用：研究评分标准在不同语言和文化背景下的适用性和调整方法。
复现评估
Rubric-ARM具有良好的可复现性：(1) 代码和模型权重已开源，作者提供了HuggingFace模型集合（https://huggingface.co/collections/OpenRubrics/rubricarm）；(2) 训练数据基于开源数据集（OpenRubrics、UltraFeedback、SkyWork、Magpie、Synthetic Instruction Following），无需私有数据；(3) 实验设置明确，基于Qwen-3-8B骨干，使用标准评估基准；(4) 算力要求适中，推理效率较高（33.50s/100样本），训练使用GRPO算法；(5) 评估基准均为公开可用的标准基准，结果可验证；(6) 论文提供了详细的实验设置和超参数说明，便于复现。
论文图表
