← 返回 2026-04-15

You Only Judge Once: 一次前向传播即可完成多响应奖励建模 You Only Judge Once: Multi-response Reward Modeling in a Single Forward Pass

Yinuo Yang, Zixian Ma, Manasi Ganti, Jieyu Zhang, Ranjay Krishna 📅 2026-04-13 👍 12 2026-07-13 08:36
GRPO N-way排名 判别式RM 多模态偏好学习 奖励模型 视觉-语言模型
arXiv HuggingFace PDF

多响应判别式奖励模型:一次前向同时评N个候选,实现N×加速与SOTA精度。

前置知识

奖励模型 (RM) 与 Bradley-Terry (BT) 损失

RLHF中的核心模块,为每个 (输入, 输出) 输出标量分数。BT损失 $\mathcal{L}_{\rm BT}=-\log\sigma(r(x,y_w)-r(x,y_l))$ 把成对偏好转化为分数差,假设奖励差与人类偏好成单调关系。

本文把BT从两次独立前向重写为一次联合前向+交叉熵。理解BT才能看懂为什么cross-entropy能等价于N-way偏好学习。

判别式 RM vs. 生成式 Judge

判别式RM用VLM+value head直接输出标量分数,无需自回归生成,推理快但不可解释。生成式Judge让VLM自回归生成verdict或thinking trace再解析偏好,灵活可解释但延迟高。

本文属于判别式RM范式,但通过N个候选拼接一次前向获得类生成式Judge的对比推理能力,理解两者权衡是读懂motivation的关键。

LoRA (Low-Rank Adaptation)

参数高效微调方法,在原始权重旁并联两个低秩矩阵 $W'=W+BA$,秩 $r\ll d$。训练时只更新 $A,B$,原始 $W$ 冻结,显存与计算量大幅下降。

本文对Molmo2-4B做LoRA (rank 64, alpha 16) 微调,只更新语言模型部分,vision tower冻结。不理解LoRA就看不出为何单卡H100即可完成实验。

GRPO (Group Relative Policy Optimization)

PPO的简化变体:对每个prompt采样N个rollout,使用组内相对优势 $\hat A_i=(r_i-\text{mean}(\mathbf{r}))/\text{std}(\mathbf{r})$,无需独立value network,对奖励的组内区分度非常敏感。

本文第二大贡献是把多响应RM用于GRPO,验证对比性奖励信号比独立绝对奖励在RL训练中更稳定,直接解释GRPO奖励曲线差异。

因果注意力掩码 (Causal Attention Mask)

Transformer自注意力中,把未来位置的score置为 $-\infty$,强制每个位置只attend到自身及之前。本文把N个响应按分隔符拼接成单序列,让 $y_i$ 隐式attend到所有 $y_j, j<i$ 与prompt。

这是本文最巧妙的工程点:复用causal mask实现N-way对比,无需新设计cross-response attention。如果不理解causal mask就看不到对比性表征学习机制。

偏好图去噪 (PGED)

众包pairwise标注存在循环不一致 (A>B、B>C、C>A)。PGED把per-annotator graph聚合成ensemble graph,greedy cycle removal得到DAG,topological sort得到一致N-way ranking。

MR2Bench-Video的N-way ranking不是直接标注,而是从94K pairwise用PGED反推。不理解反推过程会低估bench construction的工程量。

研究动机

多模态奖励模型是当前RLHF/GRPO管线中的核心组件,但现有范式存在效率与表达力的两难。生成式Judge (例如R1-Reward、MM-RLHF-Reward、LLaVA-Critic) 借助VLM自回归生成verdict或chain-of-thought,灵活可解释,但文本解码带来显著延迟,且上下文长度增长时推理成本线性上升。判别式RM (例如IXC-2.5-Reward、Skywork-VL-Reward) 通过在VLM顶部接一个线性/MLP value head直接输出标量分数,避免了文本解码开销,但要求对每个候选响应分别做一次前向,无法直接对比候选。在多模态场景中,视觉token往往占据序列长度的绝大部分,若要对N个候选评分,视觉前缀需要被重复计算N次,造成巨大浪费;此外独立评分使模型无法像生成式Judge那样看A和B再决定谁更好,在best-of-N采样、listwise reranking、GRPO等需要N-way比较的场景下表现受限。

本文的目标是本文目标是设计一个判别式多模态奖励模型,既保留判别式RM的效率优势,又获得类生成式Judge的对比推理能力:具体而言,作者希望用一个前向传播同时为N个候选响应打出标量分数,实现最高 $N\times$ 的wall-clock加速和FLOPs降低,并在六个多模态奖励基准 (含两个新提出的N-way基准) 上取得开源模型中的SOTA。同时,作者希望验证对比性奖励信号在GRPO策略优化中比独立绝对奖励更稳定、更有信息量,从而在下游开放式生成任务 (WildVision、LLaVA-Bench、MMHal) 上获得更大的提升。

与已有工作不同的是，现有判别式RM的架构选择隐含一个未加审视的假设——一次前向只能评一个响应。作者的核心切入角度是把这个假设打破:在Transformer的causal attention mask下,把N个响应按分隔符 `<|resp sep|>` 拼接为单序列,让每个响应自然attend到所有前置响应,复用causal mask机制实现隐式对比,既不需要新设计cross-response attention,也不需要自回归解码。在评测侧,作者注意到所有现有视频奖励基准 (VL-RewardBench、Multimodal RewardBench、MM-RLHF RewardBench、VideoRewardBench) 都只支持pairwise偏好,无法直接评估N-way listwise能力,因此提出MR2Bench-Image (240 prompts × 8模型全排序) 与MR2Bench-Video (495 questions × 19模型,从94K众包pairwise用PGED去噪得到DAG) 两个新基准,从评测侧把multi-response打分这件此前无法验证的事情变得可量化。

核心方法

YOJO的核心思想是一次前向评N个响应:给定多模态输入 $x$ 与N个候选 $\{y_1, \dots, y_N\}$,把整段文本连同特殊分隔符 `<|resp sep|>` 拼接为单序列 $s = [x; y_1; \text{<|resp sep|>}; y_2; \dots; y_N]$,送入VLM一次得到所有token的隐藏态 $H \in \mathbb{R}^{L \times d}$。在causal mask下,每个 $y_i$ 末端token天然聚合了它自己和所有前置响应的语义,作为响应表征 $h_i = H_{e_i}$,再过两层MLP value head得到标量 $r_i$。训练时用cross-entropy $\mathcal{L}=-\log\frac{\exp(r_{\rm best})}{\sum_i\exp(r_i)}$ 优化, $N=2$ 时退化为BT,兼容pairwise与listwise数据。用Molmo2-4B ($d=2560$) + LoRA rank 64,3个epoch,单张H100 80GB即可完成。

本文的核心创新是把一次前向评N个响应作为架构级约束,在不引入新参数、不改变causal mask的前提下让对比推理自然涌现。它与已有方法的本质区别有三层:(1)与single-response判别式RM (IXC-2.5-Reward、Skywork-VL-Reward) 相比,本方法不重复计算视觉前缀,N个响应共享一次visual encoding,直接对比候选而非孤立评分;(2)与生成式Judge (R1-Reward、MM-RLHF-Reward、LLaVA-Critic) 相比,本方法无需自回归文本解码,延迟与候选数 $N$ 几乎无关,代价是不能生成自然语言rationale;(3)与同期工作YOFO (Zhang et al., 2026) 相比,本方法聚焦多响应排序 (multi-response ranking),而YOFO聚焦多准则评估 (multi-criterion evaluation for recommendation),应用场景互补。

方法步骤详情

方法分五步。第一步序列拼接:把prompt与N个候选用 `<|resp sep|>` 连接为单序列, `<|resp sep|>` 注册为VLM词表唯一special token。第二步VLM前向:整段送入Molmo2-4B,只更新LoRA (rank 64, alpha 16),vision tower冻结,得隐藏态 $H \in \mathbb{R}^{L \times d}$。第三步响应表征:取每个 $y_i$ 末token位置 $e_i$ 的隐藏态 $h_i=H_{e_i}$,causal mask下 $h_i$ 已看过 prompt与所有前置响应。第四步value head: $r_i=w_2^\top \sigma(W_1 h_i+b_1)+b_2$,SiLU激活,隐藏维度 $h=1024$。第五步cross-entropy训练: $\mathcal{L}=-\log\frac{\exp(r_{\rm best})}{\sum_i\exp(r_i)}$, $N=2$ 时与BT一致,统一pairwise与listwise数据。训练时随机打乱响应顺序防位置偏置。

技术新颖性

技术新颖性体现在四方面。第一,把causal mask扩展为N-way对比工具:传统causal mask被理解为防止看到未来的语言建模约束,本文巧妙地利用它让 $y_i$ 隐式attend到所有 $y_j, j 暴力scale的价值。

实验结果

实验分三轴。**轴1: 精度**。Molmo2-4B multi-response RM在6基准上71.2%平均,超所有开源基线 (R1-Reward 66.5%、IXC-2.5 61.4%、InternVL3-78B 65.1%),与闭源GPT-5 (69.5%)、Claude-Sonnet-4.5 (67.7%) 相比也具竞争力。VL-RB 82.2% (+10.8 over R1-Reward),MM-RLHF 92.4% (+10.6 over InternVL3-78B);MR2Bench-Image 62.5%、MR2Bench-Video 50.7% (best-of-4)。**轴2: 效率**。 $N=2$ 时1.9×延迟+1.8× FLOPs降低, $N=4$ 时最高3.9×延迟+4.0× FLOPs (video)。**轴3: GRPO**。WildVision +5.6、LLaVA-Bench +4.6、MMHal +0.27,24标准基准性能不变;Single-RM仅WildVision +1.2、LLaVA-Bench -0.8。

Main results on multimodal reward benchmarks. Our Molmo2-4B RM (4B) achieves the highest average across all open-source models, outperforming larger generative and discriminative baselines. VL-RB: VL-RewardBench (macro pairwise acc.); MM-RB: Multimodal RewardBench (pairwise acc.); MMRLHF: MM-RLHF RewardBench (pairwise acc.); MR2B-I: MR2Bench-Image (best-of-4 acc.); VRB: VideoRewardBench (macro pairwise acc.); MR2B-V: MR2Bench-Video (best-of-4 acc.).
Table 1: Main results on multimodal reward benchmarks. Our Molmo2-4B RM (4B) achieves the highest average across all open-source models, outperforming larger generative and discriminative baselines. VL-RB: VL-RewardBench (macro pairwise acc.); MM-RB: Multimodal RewardBench (pairwise acc.); MMRLHF: MM-RLHF RewardBench (pairwise acc.); MR2B-I: MR2Bench-Image (best-of-4 acc.); VRB: VideoRewardBench (macro pairwise acc.); MR2B-V: MR2Bench-Video (best-of-4 acc.).
Multi-response vs. single-response scoring. Multi-response CE outperforms single-response BT on average, with a large gap on Molmo2-4B (64.8% vs. 54.0%).
Table 2: Multi-response vs. single-response scoring. Multi-response CE outperforms single-response BT on average, with a large gap on Molmo2-4B (64.8% vs. 54.0%).
GRPO on open-ended generation. Multi-RM substantially improves three open-ended benchmarks, while Single-RM shows little gains and even hurts LLaVA-Bench.
Table 3: GRPO on open-ended generation. Multi-RM substantially improves three open-ended benchmarks, while Single-RM shows little gains and even hurts LLaVA-Bench.
GRPO on standard benchmarks. Multi-RM preserves performance across all 24 standard image and video benchmarks, while Single-RM degrades on several.
Table 4: GRPO on standard benchmarks. Multi-RM preserves performance across all 24 standard image and video benchmarks, while Single-RM degrades on several.
Inference efficiency of multi-response vs. single-response scoring on Molmo2-4B (single NVIDIA H100 80 GB GPU). Per-sample latency and FLOPs grouped by N and modality, achieving up to 3.9× latency and 4.0× FLOPs reduction when N = 4.
Figure 2: Inference efficiency of multi-response vs. single-response scoring on Molmo2-4B (single NVIDIA H100 80 GB GPU). Per-sample latency and FLOPs grouped by N and modality, achieving up to 3.9× latency and 4.0× FLOPs reduction when N = 4.
Efficiency gain scales linearly with N. Plot of latency and FLOPs as N varies. Multi-response cost stays nearly constant while single-response cost grows linearly.
Figure 3: Efficiency gain scales linearly with N. Plot of latency and FLOPs as N varies. Multi-response cost stays nearly constant while single-response cost grows linearly.
Validation reward during GRPO training. The multi-response RM provides a steadily increasing reward signal, while the single-response RM's reward is unstable. The y-axis scales differ because the two reward models produce differently scaled outputs.
Figure 4: Validation reward during GRPO training. The multi-response RM provides a steadily increasing reward signal, while the single-response RM's reward is unstable. The y-axis scales differ because the two reward models produce differently scaled outputs.
查看结构化数据
任务指标本文基线提升
VL-RewardBench (VL-RB) 宏观成对准确率 (macro pairwise accuracy) 82.2% (Molmo2-4B multi-response RM, 4B) R1-Reward 71.4%, IXC-2.5-Reward 70.0%, Skywork-VL-Reward 69.0%, Qwen3-VL-32B 67.1%, GPT-5 75.0% 比最强开源判别式RM (IXC-2.5-Reward 70.0%) 高+12.2,比最强生成式RM (R1-Reward 71.4%) 高+10.8,比闭源GPT-5高+7.2,刷新该基准开源SOTA
MM-RLHF RewardBench (MMRLHF) 成对准确率 (pairwise accuracy) 92.4% (Molmo2-4B multi-response RM, 4B) InternVL3-78B 81.8%, Qwen2.5-VL-7B 77.6%, R1-Reward 80.6% 比InternVL3-78B高+10.6,比R1-Reward高+11.8,大幅领先所有基线,是表1中相对优势最大的项目
MR2Bench-Image (新提出, 240 prompts × 8模型全排序) best-of-4 准确率 62.5% (Molmo2-4B multi-response RM, 4B) GPT-5 87.1%, Qwen3-VL-32B 60.8%, InternVL3-78B 65.0%, IXC-2.5-Reward 55.0%, R1-Reward 58.8% 在所有7B以下模型中取得最高分;比InternVL3-78B低-2.5但模型规模小20倍,比IXC-2.5-Reward高+7.5
MR2Bench-Video (新提出, 495 questions × 19模型, 94K pairwise反推) best-of-4 准确率 50.7% (Molmo2-4B multi-response RM, 4B) GPT-5 50.1%, Qwen3-VL-32B 49.9%, Gemini-2.5-Pro 49.7%, IXC-2.5-Reward 48.7%, R1-Reward 44.9% 在所有开源模型中领先,且略高于闭源GPT-5 (50.1%),证明multi-response设计在视频偏好评估上的强泛化
VideoRewardBench (VRB) 宏观成对准确率 (macro pairwise accuracy) 66.3% (Molmo2-4B multi-response RM, 4B) GPT-5 68.2%, Qwen3-VL-32B 65.8%, Qwen3-VL-4B 64.9%, IXC-2.5-Reward 57.1% 在4B规模下达到接近闭源GPT-5的水平,比Qwen3-VL-32B高+0.5,显著超过其他7B-8B判别式RM
Multimodal RewardBench (MM-RB) 成对准确率 (pairwise accuracy) 73.2% (Molmo2-4B multi-response RM, 4B) R1-Reward 82.2%, InternVL3-78B 75.7%, Claude-Sonnet-4.5 78.2%, Qwen3-VL-32B 79.0% 落后于生成式R1-Reward (-9.0) 与更大规模VLM,但仍超过多数开源7B判别式RM (IXC-2.5 66.6%, Skywork-VL 74.2%)
GRPO开放式生成 (WildVision win rate) win rate (%) 60.2% (Molmo2-4B + GRPO multi-RM) Molmo2-4B base 54.6%, Molmo2-4B + GRPO single-RM 55.8% 比base提升+5.6,比single-RM提升+4.4,验证多响应RM的奖励信号对开放式生成更有信息量
GRPO开放式生成 (LLaVA-Bench) 分数 97.0 (Molmo2-4B + GRPO multi-RM) Molmo2-4B base 92.4, Molmo2-4B + GRPO single-RM 91.6 比base提升+4.6,比single-RM提升+5.4;同时single-RM相对base还下降-0.8,显示单响应RM对开放式生成甚至有害
GRPO开放式生成 (MMHal) MMHal score (1-5) 4.25 (Molmo2-4B + GRPO multi-RM) Molmo2-4B base 3.98, Molmo2-4B + GRPO single-RM 4.17 比base提升+0.27,比single-RM提升+0.08
推理效率 (image N=4) latency / FLOPs per sample 约2.0× 延迟加速, 2.3× FLOPs降低 single-response BT RM (1× 基准) 在 $N=4$ 图像场景下,multi-response用约一半的延迟和40%多的FLOPs达到更高精度
推理效率 (video N=4) latency / FLOPs per sample 3.9× 延迟加速, 4.0× FLOPs降低 single-response BT RM (1× 基准) 在 $N=4$ 视频场景下,multi-response接近理论极限 $N\times = 4\times$,因为视频token占据绝大部分序列,共享视觉前缀的收益最大

局限与改进

作者在文末Limitations坦诚三点:(1) MR2Bench-Video上最强模型仅50.7% best-of-4,说明视频偏好评估仍是开放难题;(2) 实验只测到 $N=4$,更大 $N$ 的scaling未知;(3) 不能给出自然语言rationale,影响可解释性部署。我补充四点观察:(4) 论文没报告batch size > 1、variable $N$ 混合负载下的实测延迟,Figure 2/3加速比是per-sample换算;(5) GRPO实验只在50K prompt上训500步,远少于完整RLHF规模 (通常1M+),validation reward单调上升的稳定性需要更大规模验证;(6) MR2Bench-Image的240 prompts来自单一VLM playground,可能存在平台特定的用户分布偏差;(7) 训练数据35.1%是listwise ($N>2$),但没详细分析listwise与pairwise数据贡献占比,无法判断N-way训练信号是否真必需。

独立分析的弱点

独立审视后,以下弱点值得改进。第一, $N$ 必须预先固定,序列长度随 $N$ 线性增长, $N=16$ 或更长时易触达24,576 token上限;改进方向是分段前向+缓存视觉前缀,或稀疏attention/滑动窗口,降低上下文复杂度。第二, value head只有两层MLP,作者没测试更深的value head或per-position专门head,改进方向是引入位置感知head或扩成小transformer。第三,实验只在4B backbone (Molmo2-4B、Qwen3-VL-4B) 上做,更大规模是否保持领先以及scaling law随 $N$ 如何变化未给出经验规律;改进方向是补充 $N\in\{2,4,8,16\}$ × backbone size $\in\{1B,4B,8B,32B\}$ 交叉实验。第四,GRPO下游评估缺长horizon reasoning与safety alignment。第五,MR2Bench-Video的ground-truth用PGED反推,与真实listwise偏好可能存在系统性偏差,作者没用小规模直接标注做对照验证。

未来方向

作者在Conclusion暗示三个延伸方向:把single-pass judging推广到任意 $N$、与RL更深度结合、扩展benchmark覆盖。我提出四条值得研究的方向:(1) 把multi-response RM与DPO / SimPO / KTO等无RM的偏好学习方法结合,或开发DPO-style的contrastive multi-response objective完全绕过value head;(2) 利用causal mask中间层hidden state做chain-of-thought式可解释偏好分析,抽取每个 $y_i$ 末端token的attention map可视化它主要attend了哪些前置响应;(3) 把multi-response思想扩展到非偏好任务,例如multi-document QA中一次前向同时答K个问题、multi-turn dialogue中一次评分整段对话;(4) 与Speculative Decoding、Early-exit、Token Merging等加速技术结合。

复现评估

复现评估分四方面。**开源情况**:正文未声明代码、权重、数据集开源,只给项目主页 https://yo-judge-once.github.io/,目前完整复现需自行实现。**数据可获得性**: MR2Bench-Image (240×8) 与 MR2Bench-Video (495×19) 可能随论文一起发布;训练用的436K偏好样本来自10个公开数据集 (Table 11),大部分可下载,部分需申请。**算力需求**: 训练在单张H100 80GB上完成3 epoch LoRA fine-tuning (rank 64, alpha 16, lr=1e-4, batch 64, max length 24,576),显存压力主要来自长序列attention;GRPO下游在Molmo2-4B上做500步全参微调需更大显存。**复现难度**: 技术栈涉及VLM微调+自定义value head+特殊token注册+causal mask工程细节,难度中上;若开源,中等实验室2-4周可复现核心数字,否则需2-3个月从头实现。

论文图表

Comparison of reward model architectures. Left: Single-Response discriminative RM scores each (x, yi) pair independently via separate forward passes. Center: Generative RM prompts a VLM to output a preference distribution p(I | x, y1, y2) autoregressively. Right: Our Multi-Response discriminative RM concatenates all N candidates into a single sequence (x, y1, y2, . . . , yN) and uses a multi-response scoring head to produce scores for all candidates in one forward pass.
Figure 1: Comparison of reward model architectures. Left: Single-Response discriminative RM scores each (x, yi) pair independently via separate forward passes. Center: Generative RM prompts a VLM to output a preference distribution p(I | x, y1, y2) autoregressively. Right: Our Multi-Response discriminative RM concatenates all N candidates into a single sequence (x, y1, y2, . . . , yN) and uses a multi-response scoring head to produce scores for all candidates in one forward pass.

对比三种奖励模型架构:左侧是单响应判别式RM,对每个 (输入, 响应) 对分别用线性head输出标量分数,需要N次前向;中间是生成式Judge,用VLM自回归生成verdict (例如The answer is [[1]] because...),再从中解析偏好分布;右侧是本文的multi-response RM,把所有N个候选用分隔符拼为单序列,经过多个并列的scoring head一次得到所有分数。

这是理解本文motivation最关键的一图,清晰展示出multi-response方法在判别式RM效率与生成式Judge对比能力之间的折中位置。没有这张图就很难看出作者声称的既快又能对比具体意味着什么架构变化。