C2:基于二元偏好的可扩展评分标准增强奖励建模 C2: Scalable Rubric-Augmented Reward Modeling from Binary Preferences

整个 C2 流水线分三步。第一步是 rubric 配对合成(§4.1):对数据集 $\mathcal{D}=\{(x, y_A, y_B, l)\}$ 中的每条样本,先用 base model $M$ 作为 $M_v$,计算无标准下的偏好对数优势 $m_\varnothing = \log p_{M_v}(l|c) - \log p_{M_v}(\bar l|c)$;然后采样 $K=16$ 份 rubric,逐个计算 $m(r_k) = \log p_{M_v}(l|c, r_k) - \log p_{M_v}(\bar l|c, r_k)$;把那些 $m(r_k)>\max(0, m_\varnothing)$ 的归入 $\mathcal{R}^+$,把 $m(r_k)<\min(0, m_\varnothing)$ 的归入 $\mathcal{R}^-$,前者要求基线已经对的样本被 rubric 进一步抬高、或者基线错的样本被 rubric 翻转,后者反之;最后取 $r^+ = \arg\max_{r\in\mathcal{R}^+} m(r)$、$r^- = \arg\min_{r\in\mathcal{R}^-} m(r)$,如果两侧都为空就丢掉这条样本。第二步是生成器训练(§4.2):用 DPO 在 $\{(c, r^+, r^-)\}$ 上优化 $G_\phi$,让 $r^+$ 的对数概率显著高于 $r^-$。第三步是验证器训练(§4.3):把 $V_\theta$ 初始化为同一个 base model,用 GRPO 同时训两类任务——rubric-free 任务只要求输出 $\langle\text{analyze}\rangle\langle\text{answer}\rangle$,奖励 $R = w_f R_f + w_p R_p$;rubric-augmented 任务额外要求先输出 $\langle\text{rubric}\rangle\text{helpful/misleading}\langle\text{/rubric}\rangle$,奖励加一项 $R_r$ 鼓励 rubric 评估 $q$ 与合成标签一致,作者在验证集上选定 $(w_p, w_r, w_f) = (0.6, 0.3, 0.1)$。最终数据集 = 5000 条 rubric-free + 4903/4648 条 rubric-augmented(Tulu3/Qwen3 各一份有用、一份误导),合计 14,806 与 14,296 条,GRPO 训 1 epoch 与 Reasoning RM 训 3 epoch 的算力对齐。推理时(§4.4)走选择性流程:对每个 $c$ 采样 $r \sim G_\phi$,让 $V_\theta$ 给出 $q$ 与 $\hat l$,若 $q=\text{helpful}$ 则返回 $\hat l$,否则丢弃 $r$ 重做一次无标准推理。

技术新颖性主要体现在三点。1) 监督来源的反转:之前所有 rubric 增强方法都假设 rubric 来自'上游权威'(人类/32B 模型),C2 是第一个仅靠二元偏好就能用同源 base model 同时合成有用与误导 rubric 的方案,把所有外部标注成本归零。2) 显式的'信不信 rubric'决策:rubric-augmented 验证器在 prompt 层面被强制先输出 helpful/misleading 标签(见 Figure 9 模板),这与之前直接 'rubric + 答案' 端到端输出截然不同,使得选择性推理成为可能,也让验证器学到 epistemic vigilance。3) GRPO 与 DPO 的对偶使用:生成器走 DPO 是因为它的'输出质量'只能通过对比来体现——只有知道 $r^-$ 不好才能说 $r^+$ 好;验证器走 GRPO 是因为它需要产出可被规则化奖励评估的离散决策(格式、偏好、rubric 标签)。这两个选择的搭配不是任意的,正是 C2 把生成器与验证器绑定为'合作通信双方'的体现。

独立分析来看,C2 主要存在四个可改进的弱点。第一,'自举偏差放大'问题——contrastive rubric 标签完全由 base model 的 confidence shift 决定,如果 base verifier 自身对某种风格(冗长、格式漂亮等)有偏,那么 $r^+$ 就会倾向鼓励这种偏差的标准,$\mathcal{R}^+$ 与 $\mathcal{R}^-$ 的划分会随之偏移,改进方向是引入少量人类 rubric 或者在 DPO 目标中加入 style-control 约束。第二,'弱模型 false reject'问题——Figure 5a 显示在 9:1 高质量标准下,Tulu3-8B-SFT 上的 C2 略输 Reasoning RM,说明弱推理模型会把好标准也错判为 misleading,改进方向是在训练时对 helpful rubric 任务加大 $R_p$ 权重,或者引入一个 'abstain' 标签让验证器在不确定时退到加权融合而非二选一。第三,'推理开销翻倍'问题——平均 2.3× 的 latency 在生产部署中不可忽视,改进方向包括(a)用 1B–3B 小模型当 rubric generator、(b)把 rubric 评估与偏好判断合并到一次 GRPO rollout 里(目前是分开两次)、(c)用提前退出机制在 confidence 高时跳过标准评估。第四,'rubric 评估头独立训练成本'——C2 需要在 base model 上同时跑 DPO 训生成器 + GRPO 训验证器,作者用 8×A100 80G 完成,改进方向是参数共享——例如让生成器与验证器共享 backbone 但保留各自的 LoRA 头,这样 DPO 与 GRPO 训练可以并行,显存和墙钟时间都能减半。

作者提出的未来方向集中在两点:(1)把 C2 拓展到非二元偏好监督——例如用 Best-of-N 选择(附录 D.1)、Rejection Sampling(附录 D.2)、Edit-based 反馈(HelpSteer3),文中用 Qwen3-8B 在 GPQA-Diamond、MATH500、IFEval 等基准上做了初步验证,Best-of-16 在 GPQA-Diamond 上 C2 比 Reasoning RM 高 3.1 个点;(2)降低推理开销——通过更高效的标准生成或按需触发标准来推广到资源受限场景。基于成果,我认为还可以延伸出几个方向:一是把 selective inference 改造成 soft 形式,让验证器输出 helpful 概率 $p(q=\text{helpful})$ 并据此在 rubric-augmented 与 rubric-free 两个判分之间做加权融合,而不是硬切换,这能缓解 false reject;二是把'合作通信'类比进一步推进,引入多轮 protocol——生成器看到验证器上一轮评估后重新生成标准,模拟 Sperber et al. (2010) 提出的 ostensive-inferential 循环;三是把 C2 与 outcome-based RL 结合,在有可验证奖励的任务(Math/Code)上同时跑 rubric 增强和 ground-truth 校验;四是和 Open-Rubrics(Liu et al., 2025a)等开源 rubric 库做混合,看看能否用极少量高质量人类 rubric 把 C2 的 ceiling 再推高。

复现评估整体良好:作者承诺代码开源在 https://github.com/asahi-research/C2,论文中给出了完整的 prompt 模板(rubric 生成 Figure 7、rubric-free 验证 Figure 8、rubric-augmented 验证 Figure 9、rubric 质量评估 Figure 10)。所有训练超参在 Table 4(GRPO,Verifier)、Table 5(DPO,Rubric Generator)中明列,关键决策如 $(w_p, w_r, w_f) = (0.6, 0.3, 0.1)$ 的搜索空间与选参过程也在 Appendix C.2 给出。训练数据是公开的 UltraFeedback 5000 条,合成后数据集大小 Tulu3 14,806 / Qwen3 14,296 条,所有 base model(Tulu3-8B-SFT、Qwen3-8B)与裁判模型(GPT-5、GPT-4o、GPT-4.1)也都是公开/可获取的。算力方面,作者声明全部实验在 8× A100 80GB 上完成,主要瓶颈是 GRPO 8-rollout 的 verifier 训练(1 epoch)以及 C2 推理的 2.3× token。复现难度中等偏下:数据/代码/超参齐全,但 GRPO 训练对 vLLM 版本和 trl 库敏感,加上 DPO 与 GRPO 的 reward 函数需要自行实现(Appendix C.1),对不熟悉 RL 训练栈的研究者来说有一定门槛。值得注意的是,论文中提到 Reasoning RM 用 3 epoch、C2 用 1 epoch 是有意对齐算力,如果简单复现时直接跑 3 epoch C2,可能会让论文报告的对比失真。