超越长度扩展：协同广度与深度的生成式奖励模型 Beyond Length Scaling: Synergizing Breadth and Depth for Generative Reward Models
提出Mix-GRM框架，通过B-COT和D-COT双机制协同，在五个奖励基准上平均超越基线8.2%
前置知识
生成式奖励模型 (Generative Reward Model, GRM)
生成式奖励模型是一种范式转变的奖励建模方法，它不再像传统标量奖励模型那样直接输出一个数值分数，而是先生成一段显式的评估推理（rationale），然后再给出偏好判断（verdict）。形式上，给定输入三元组 $I = (x, y_A, y_B)$，GRM $M$ 生成输出序列 $(c, v) = M(y_A, y_B | x)$，其中 $c$ 是评估推理，$v$ 是偏好结论。这种设计的动机是将大语言模型中思维链（CoT）推理的强泛化能力迁移到奖励建模任务上。代表方法包括LLM-as-a-Judge范式以及通过RL训练的JudgeLRM、RM-R1等。
本文的核心贡献是在GRM框架内引入了双机制推理结构，理解GRM的基本定义和工作方式是理解本文创新点的前提。
思维链 (Chain-of-Thought, CoT)
思维链是一种推理范式，通过在生成最终答案之前先产生一系列中间推理步骤来增强模型的推理能力。在奖励模型中，CoT表现为评估模型在给出偏好判断前先显式地列出评估理由。近年来的研究趋势是通过扩展CoT的长度来提升性能——更长的推理链似乎能带来更可靠的评估。然而，本文指出这种「长度即一切」的观点忽略了不同推理结构的差异性效果：并行思维（parallel thinking）和顺序思维（sequential thinking）在不同任务类型上表现迥异。
本文的核心论点是CoT的质量比数量更重要——关键不在于CoT有多长，而在于其推理结构是否与任务需求匹配。
B-COT (Breadth-CoT, 广度思维链)
B-COT是本文提出的一种结构化推理机制，定义为不同评估原则的并行聚合。在主观偏好任务中，一个好的响应需要同时满足多个维度的因素（如语气、有用性、创造力），单一推理路径往往只关注最显眼的特征而忽略细微但重要的细节。B-COT通过独立采样多条推理路径，然后将其解析为结构化单元并进行合并去重，最终生成一个综合、无冗余的评估原则谱系。这个过程模拟了并行思维，有效扩展了模型的横向评估视野。
B-COT是本文双机制框架的两大支柱之一，理解其设计原理和工作方式是理解整个Mix-GRM方法的关键。
D-COT (Depth-CoT, 深度思维链)
D-COT是本文提出的另一种结构化推理机制，定义为通过扩展判断过程来确保实质性推理的健全性。与主观偏好任务不同，客观正确性任务（如数学证明、代码功能）依赖严格的逻辑约束。D-COT首先生成一个「推理轨迹」z——一个源自指令 x 的自解过程，显式勾勒出正确响应所需的最优解题路径。然后利用这个推理轨迹来重新生成每个评估单元的判断，使得判断成为推理轨迹的衍生。这种机制模拟了顺序思维，提供了演绎严谨性。
D-COT与B-COT形成互补的双机制结构，理解其设计逻辑才能理解本文「双解离」发现的重要性。
RLVR (Reinforcement Learning with Verifiable Rewards)
RLVR是一种强化学习范式，使用可验证的奖励信号来优化模型策略。在本文中，RLVR通过GRPO（Group Relative Policy Optimization）实现，奖励信号仅基于生成的偏好结论与真实标签的一致性：一致则奖励为正，否则为负一。值得注意的是，RLVR不使用任何显式的结构标签——它只告诉模型最终判断是否正确，而不告诉它应该使用哪种推理风格。本文发现，这种简单的奖励信号能够诱导模型自发地学会将正确的推理机制分配给正确的任务类型，起到「切换放大器」的作用。
RLVR是本文训练流程的第二阶段，也是发现「涌现极化」现象的关键实验设置。
Principle-Judgment-Verdict Schema (原则-判断-结论模式)
这是本文提出的模块化评估结构化方案，将原始的非结构化评估推理分解为原子化的三元组。其中每个单元包含一个离散的评估原则（如「指令遵循度」）、一个针对该原则的具体判断（如「响应B直接回答了用户的问题...」）和一个随后的子结论（如「B更好」）。通常每个样本包含3到5个这样的原子单元。这种原子化分解产生更清洁的学习信号，确保语法统一性，使得性能提升由思维机制而非表面风格模式驱动。
该模式是B-COT和D-COT合成的基础结构，理解它才能理解整个方法的数据处理流程。
研究动机
现有的生成式奖励模型（GRM）主要依赖简单的长度扩展来提升性能——通过增加CoT推理的长度来引入更多的评估信号，如细粒度特征或多视角评论。然而，这种策略存在根本性的局限。首先，已有的CoT研究表明，更长的CoT并不普遍保证性能提升；最优的结构偏置在不同领域之间存在显著差异。其次，现有方法通常采用静态的、任务无关的模板结构，忽略了不同推理机制的差异性效果。具体而言，在主观偏好任务中（如开放域对话），多维度的并行探索比深度推理更有效；而在客观正确性任务中（如数学计算），严格的顺序验证比横向覆盖更关键。现有方法将这两种截然不同的推理需求混为一谈，导致在某些任务类型上的性能受到严重制约。以Skywork-Reward-8B为例，它在RewardBench-v1上达到93.9%，但在RM-Bench上仅72.4%，说明单一机制难以全面覆盖所有任务类型。
本文的目标是本文的具体目标是设计一个名为Mix-GRM的框架，实现动态的混合推理机制，在统一的奖励建模框架内根据任务的本质需求自动选择最优的推理风格。具体而言，该框架需要完成三个目标：（1）建立B-COT和D-COT两种正交推理机制的合成管线；（2）通过SFT和RLVR训练实现机制自适应对齐；（3）在五个标准奖励基准上验证其有效性，并分析两种推理机制在不同任务领域的差异化效果。最终目标是证明，优化模型的思考方式比简单扩展书写长度对后训练效能更为关键。
与已有工作不同的是，本文的独特切入角度在于将焦点从「CoT有多长」转移到「CoT的结构是什么」。此前的研究（如RM-R1、FARE-8B）要么通过RL探索来激发长CoT能力，要么通过静态模板工程来扩展评估覆盖，但都未能系统性地研究推理结构与任务类型之间的匹配关系。本文借鉴了测试时扩展理论中并行思维与顺序思维的正交性概念，首次将这种区分正式引入奖励建模领域。这种视角转换的核心洞察是：推理机制本身构成了RL优化的瓶颈——如果CoT结构不适合目标任务，即使投入更多算力也无法突破性能天花板。Mix-GRM通过混合结构构建了一个更强大的推理基础，使得RL优化能够达到更高的上限。
核心方法
Mix-GRM的整体思路可以概括为「解构-重组-对齐」三阶段流水线。直觉上，现有的GRM就像一个只会一种写作风格的评审员——无论评审文学作品还是数学试卷，都用同样的方式写评审意见。本文的洞察是，优秀的评审员会根据评审对象调整策略：评审主观内容时会从多个维度全面扫描，评审客观内容时会深入验证每个逻辑步骤。技术路线如下：首先将原始的非结构化评估推理分解为原子化的「原则-判断-结论」三元组，建立模块化的标准单元；然后通过两条独立的合成路径，将这些单元重组为结构化的B-COT（用于偏好任务）和D-COT（用于正确性任务）；最后通过SFT在混合数据上初始化模型，再通过RLVR优化结论准确性，让模型自发学会为不同任务分配正确的推理机制。整个过程确保了最终的模型既具有评估广度，又具有验证深度。
本文的核心创新在于将推理机制的对齐作为提升GRM性能的主要杠杆，而非传统的数据扩展或算力扩展。与已有方法的本质区别体现在三个层面。第一，在数据层面，已有方法要么直接使用原始推理（如RM-R1），要么使用静态模板（如RubricRM），而本文通过模块化分解和双路径合成，创造了一个结构化且任务对齐的训练数据集。第二，在训练层面，已有方法通常采用单一的训练策略，而本文设计了SFT+RLVR的两阶段流程，其中RLVR阶段起到了「切换放大器」的作用——模型在只接收最终判断正确性反馈的条件下，自发学会了为不同任务分配不同的推理风格。第三，在理论层面，本文验证了一个关键假设：CoT结构本身构成了RL优化的瓶颈，混合结构不仅继承了各组件的优势，还构建了一个超越孤立机制固有局限的推理框架。
方法步骤详情
Mix-GRM的方法分为三个主要阶段。Stage I：模块化标准提取——利用LLM将原始评估推理 c 解析为结构化原子单元，每个样本通常包含3-5个原则-判断-结论三元组。Stage II：机制合成——(a) B-COT合成：通过独立采样N条推理路径（本文中N=2），解析为结构化模式，然后通过LLM合并去重变换生成综合的广度推理，同时过滤掉低频原则；(b) D-COT合成：首先生成推理轨迹z（源自指令x的自解过程），然后选择聚焦子集（通常不超过3个单元），通过推理引导判断重新生成每个单元的判断，将z直接注入首个单元，最终序列化为深度推理。Stage III：机制自适应对齐——首先在混合数据集上进行SFT（将B-COT分配给偏好实例，D-COT分配给正确性实例），然后通过GRPO进行RLVR优化，奖励信号为结论一致性（匹配则正奖励，否则为负一）。
技术新颖性
本文的技术新颖性体现在四个层面。第一，在推理结构设计层面，本文首次将测试时扩展理论中的并行思维与顺序思维区分正式引入奖励建模，提出了B-COT和D-COT两种正交推理机制。这种设计不同于简单的长度扩展或静态模板，它从认知科学的角度出发，认识到不同任务类型需要不同类型的思维过程。第二，在数据合成层面，本文提出了模块化分解+双路径合成的管线，通过原子化标准单元的重组来创造结构化训练数据。这种方法比直接使用原始推理或静态模板更加灵活和可控。第三，在训练策略层面，RLVR阶段的设计尤为精妙——模型仅接收最终判断正确性的反馈，不接收任何关于推理结构的显式指导，却能自发学会为不同任务分配最优推理风格。这种「涌现极化」现象表明，机制对齐不是人工设计的启发式规则，而是模型为最大化评估效能而发现的内在结构需求。第四，在理论洞察层面，本文证明了CoT结构本身构成RL优化的瓶颈——混合结构不仅继承各组件优势，还构建了超越孤立机制性能天花板的推理框架。
实验结果
本文的实验结果揭示了三个层次递进的核心发现。第一，Mix-GRM在五个标准奖励基准上建立了新的SOTA。在SFT阶段，仅用9K样本就达到了75.1%的平均准确率，超越了需要大规模RL训练的RM-R1-Instruct（+5.0%）和DeepSeek-GRM-16B（+9.9%），也超越了依赖复杂静态模板的RubricRM-8B（+0.4%）。经过RLVR阶段后，Mix-GRM进一步提升至79.4%，相比Base-GRM的76.9%高出2.5%。值得注意的是，RLVR对Mix-GRM的提升幅度（+4.3%）大于对Base-GRM的提升幅度（+3.6%），证实混合结构为RL优化提供了更强大的基础。第二，推理机制的效果存在严格的任务依赖性。B-COT在偏好领域平均提升1.1%但在正确性领域下降2.0%，D-COT在正确性领域提升0.6%但在偏好领域下降2.3%。这种「双解离」现象表明，简单扩展CoT长度并不保证普遍收益；原则扩展有助于多维度评估，但对深度推理没有内在优势。第三，RLVR充当切换放大器。尽管SFT训练数据完全按领域对齐，SFT后的模型在推理时仅达到73%的结构匹配率。令人惊讶的是，经过RLVR训练后，这一匹配率飙升至95%。这证实了模型超越了静态的SFT先验，在强化学习阶段自主学会了为每个领域选择和优化最有效的推理结构。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RewardBench v1 整体准确率 | Pairwise Accuracy (%) | Mix-GRM (RLVR): 91.8% | Skywork-Reward-8B: 93.9%, FARE-8B: 86.3% | 超越FARE-8B 5.5%，但略低于Skywork-Reward-8B 2.1% |
| RewardBench v2 整体准确率 | Pairwise Accuracy (%) | Mix-GRM (RLVR): 77.5% | Skywork-Reward-8B: 79.7%, FARE-8B: 73.4% | 超越FARE-8B 4.1%，仅次于Skywork-Reward-8B |
| RM-Bench 整体准确率 | Pairwise Accuracy (%) | Mix-GRM (RLVR): 82.7% | Skywork-Reward-8B: 72.4%, FARE-8B: 74.1% | 超越所有开源基线，领先FARE-8B 8.6% |
| 五个基准平均准确率 | Average Accuracy (%) | Mix-GRM (RLVR): 79.4% | Skywork-Reward-8B: 76.5%, FARE-8B: 75.9% | 超越最强开源基线Skywork-Reward 2.9%，平均超越开源RM 8.2% |
| DPO下游任务 - 指令遵循 | Win Rate (%) | Mix-GRM: 12.1% | FARE-8B: 12.0%, RubricRM-8B: 10.5% | 达到最高胜率，证明下游实用性 |
| Best-of-N 测试时扩展 - MATH | Accuracy (%) | Mix-GRM: 43.2% | RM-R1: 37.7%, FARE-8B: 35.2% | 超越RM-R1 5.5%，超越FARE-8B 8.0% |
局限与改进
作者在论文中坦诚地讨论了两个主要局限。第一，推理流形的粒度问题：本文框架成功捕捉了主观偏好与客观正确性之间的双解离，并将其识别为推理流形的主导轴。然而，这种二分法代表了对多样化对齐景观的粗粒度映射。现实世界的任务通常存在于连续谱上，或涉及将演绎严谨性与多维度细微差别交织在一起的混合需求。虽然本文证明模型的推理结构自发趋向这两个主要极点，但当前的分类可能只是更高维机制空间的低秩近似。第二，显式混合任务中的刚性问题：虽然本文分析证明RLVR诱导了向专业化推理极点的内在收敛，但这种涌现极化可能在遇到高度复杂的跨域场景时引入结构刚性。新兴应用（如Agent深度研究）越来越多地需要严格演绎逻辑和高质量风格化写作的显式动态融合，推理风格的自发锐化可能以牺牲这种通用灵活性为代价。此外，我认为还有几个值得关注的局限：实验仅在8B规模模型上验证，更大规模模型是否同样受益尚不清楚；B-COT合成需要多次独立采样，增加了数据准备的计算成本；论文未讨论在真实产品环境中如何动态判断任务属于偏好还是正确性类别。
独立分析的弱点
尽管本文在问题定义和实验设计上都很出色，但仍存在几个值得深入探讨的弱点。首先，偏好与正确性的二分法过于粗糙——现实中的任务往往兼具两种特性，例如代码评审既需要检查功能正确性（D-COT适合），又需要评估代码风格和可读性（B-COT适合）。改进方向：可以探索更细粒度的任务分类体系，或引入软路由机制，让模型为每个样本自适应地混合两种推理风格。其次，B-COT合成的合并去重步骤仅限于原则层面的去重，未涉及判断层面的质量控制——如果多条推理路径中存在矛盾的判断，合并后可能产生不一致的评估。改进方向：可以引入矛盾检测和消解机制。第三，D-COT依赖预先生成的推理轨迹z来引导判断重生成，但如果z本身包含错误，这些错误可能被传播到最终的深度推理中。改进方向：可以引入自一致性验证或多轨迹投票机制。第四，论文在Table 4中报告了token消耗分析，但未讨论实际的延迟影响——B-COT需要多次独立采样，D-COT需要额外的推理轨迹生成，在实时评估场景中的可行性可能受限。
未来方向
作者提出了两个明确的未来研究方向。第一，探索更细粒度的推理流形分类：当前的二分法（偏好vs正确性）是粗粒度的，未来可以研究更多维度的任务分类，以及更精细的机制分配策略。例如，可以探索「软路由」机制，让模型在推理过程中动态切换或混合不同的思维风格。第二，开发专用的混合切片基准：需要设计专门的基准来评估模型在需要同时满足风格和逻辑需求的混合任务上的表现。这将有助于理解当前机制极化策略的局限性。基于本文的成果，还可以延伸以下方向：（1）将Mix-GRM框架扩展到多模态评估场景（如图像生成质量评估）；（2）研究B-COT和D-COT在更大规模模型（如70B或120B）上的效果是否增强或减弱；（3）探索将模块化原则-判断-结论模式应用于其他推理任务（如法律文书分析、医疗诊断推理）；（4）研究RLVR阶段的涌现极化现象是否可以通过课程学习或其他训练策略来进一步强化。
复现评估
本文在复现性方面表现良好。作者在论文中明确声明合成数据和模型已发布在Hugging Face，代码已发布在Github。训练数据规模适中（SFT阶段9K样本，RLVR阶段21K样本），来源于5个公开数据集（HelpSteer3、Code-Preference、Math-DPO、WildGuard、OffsetBias），采样协议和统计分布在附录中有详细描述。基础模型Qwen3-8B-Base是公开可获取的。实验设置在附录Sec. A中有详细描述。token消耗分析（Table 4）显示三种推理风格的计算成本在同一数量级内（SFT token: 624-711, RLVR rollouts: 682-830, 推理token: 702-824），说明复现所需的算力是可承受的。不过需要注意：B-COT合成需要对每个样本进行N=2次独立采样和合并，这增加了一定的数据准备成本；RLVR阶段使用GRPO算法，需要一定的RL训练经验；五个评估基准的获取和评估流程也需要一定工作量。总体而言，对于具备基本算力和RL训练经验的研究团队，复现本文结果是完全可行的。
论文图表
