RewardVerse:面向视频奖励建模的评分细则引导策略优化 RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling

第一步,种子 rubric 自进化(离线):每维 30 个偏好对上,Gemini-3.1-Pro 执行 Propose→Verify→Revise 循环——起草能解释 $y_w\succ y_l$ 的候选 rubric,用其给两视频打分,仅当恢复人类偏好(预测与人工分差 ≤0.5)才接受,否则按错位反馈修订,最多 5 轮;通过者经 Jaccard 0.85 两级去重,MCR2 采样压缩为 $M=5$ 条构成 $R^\star_d$。第二步,Stage 1 打分器热身:固定种子 rubric,每个三元组采 $G=8$ 个样本对,奖励 $R_1=r_{\text{pref}}+\beta_{\text{fmt}}(r_{\text{fmt}}(a_w)+r_{\text{fmt}}(a_l))$,其中 $r_{\text{pref}}=\sigma(S_g(y_w\mid R^\star_d)-S_g(y_l\mid R^\star_d))$;组内标准化优势广播至两补全全部 token,做带裁剪与 KL 的 GRPO;同时加人类边际校准损失 $\mathcal{L}_{\text{cal}}=\frac{1}{S_{\max}-S_{\min}}(S(y_w)-S(y_l)-\hat{\Delta}_{s_{w,l}})$($\hat{\Delta}$ 为人工分差,区间 $[0,4]$),总目标 $\mathcal{L}_{\text{stage1}}=\mathcal{L}^{(1)}_{\text{GRPO}}+\lambda_{\text{cal}}\mathcal{L}_{\text{cal}}$。第三步,Stage 2 联合优化:生成器采 $G=8$ 个动态 rubric,每条按诱导分差得 $R_2=r_{\text{pref}}+\beta r_{\text{fmt}}+\lambda r_{\text{align}}$($r_{\text{align}}$ 为与种子主题的 BGE-M3 余弦相似度,$r_{\text{fmt}}$ 查 JSON 合法且权重和为 1),做 rubric 级 GRPO;打分器只受 $\mathcal{L}_{\text{scorer}}=\frac{1}{G}\sum_g\mathcal{L}_{\text{cal}}(\theta\mid\hat{R}_g)$ 驱动且不回传过 rubric;总目标 $\mathcal{L}_{\text{stage2}}=\mathcal{L}^{(2)}_{\text{GRPO}}+\alpha(t)\mathcal{L}_{\text{scorer}}$,$\alpha(t)$ 第 20 步激活、20→30 步线性升至 0.4。训练用 AdamW lr $2\times10^{-6}$、KL 0.1、bf16 + ZeRO-3、8×H20,两阶段各 1 epoch(约 60 步),按验证宏 PLCC 选 Stage 2 第 45 步 checkpoint。

技术新颖性体现在四个层面。其一,范式层面:据作者所知,这是首次把 rubric-as-reward 引入视频奖励建模,且与 LLM 域工作的定位不同——那里 rubric 多作为对文本补全的评判标准,这里 rubric 是点态视频分数的结构化中间表示,瓶颈本身随查询动态生成并被 RL 优化。其二,结构层面:候选无关(不看视频)的 rubric 生成是一个巧妙的信息流约束,它把'标准制定'从被评对象的影响中隔离出来,从源头上杜绝了生成器与被评视频之间的合谋偏置,同时保留了按维度和提示定制标准的灵活性。其三,解码层面:soft-logits 多主题期望读出与 rubric 的组合(V3 协议)是被消融实验筛出的唯一同时满足零解析失败(自然语言整数格式失败率 46.7%-53.3%)、连续标量输出、100% 成对可区分的配置,这一'协议工程'本身就有独立参考价值。其四,优化层面:两阶段课程(先定锚再放开生成)+ 非对称信号(生成器吃组相对奖励、打分器吃人类边际校准)直接针对'从零联合学习生成与打分严重欠定'和'打分器靠拉大分差作弊'两个失败模式设计,消融证实去掉任一阶段 PLCC 分别掉 0.099 和 0.074。层级化 rubric(主题-提示两级)也比平铺 rubric 多贡献 0.033 PLCC。

独立来看,该方法有几处值得推敲。第一,校准只到聚合层级:$\mathcal{L}_{\text{cal}}$ 只约束 $S(y_w)-S(y_l)$ 与人类边际之差,五个主题分各自可能失真,可解释性因此打折——改进方向是引入主题级弱监督,例如让教师模型对单主题打分做蒸馏,或在偏好对上增加'哪条主题贡献了偏好'的归因标注。第二,$r_{\text{align}}$ 用 BGE-M3 文本余弦把生成主题往种子主题上拉,可能压制生成器探索新评估角度,长期使 rubric 趋于保守——可改为自适应权重 $\lambda$ 或仅对前若干步施加,把对齐项当课程而非永久缰绳。第三,与种子 rubric 的'记忆'风险:自进化的 Verify 步用的是同一批 30 个训练对,种子可能隐式拟合了这批对的特性,导致 Stage 1 的校准在该批对上虚高——应引入 held-out 对验证种子质量。第四,超参较多且互相耦合(偏好温度 1.5、格式门 0.55、$\alpha(t)$ 调度、score-side KL 0.005/0.015 等),迁移到其他骨干或维度体系时需要重调,削弱了'数据高效'的宣称——可研究这些系数的敏感性曲线或自动化调参。第五,评估覆盖面:Elo 式成对一致性只在 VGRB 上验证,缺少 MJ-Video-30k 等更多外部基准;且 16 维中每维测试样本约 60 余个(1K 总量),低维方差的置信区间值得关注。第六,推理成本在在线 RL 中会被放大:每个 rollout 都要生成 rubric 加五主题打分,虽然单视频只多 0.3 秒,但乘以 RL 海量 rollout 后仍可观,可探索同提示批内共享 rubric 缓存。

作者在附录中给出的方向包括:换用更强的 MLLM 骨干以抬高效果上限、直接做主题级分数校准、扩大训练与下游 RL 规模、以及 rubric 引导的 CoT 打分——作者对最后一点有清晰定位:rubric 在打分前定义'该检查什么'(不看视频),CoT 在打分时总结'看到了什么'(看视频),两者正交且互补,生成的 rubric 可以反过来引导 CoT 打分器。在此基础上,我认为还有几条可延伸的线:其一,rubric 记忆库与演化——把历史查询上验证有效的主题沉淀为可检索库,新查询先检索再改写,减少对种子质量的依赖;其二,对抗式 rubric 更新——当下游生成模型学会讨好现有 rubric 后,周期性地依据'reward hacking 样本'修订主题与权重,形成生成器与评估标准的协同进化;其三,多 rubric 集成与测试时扩展——同一查询采多套 rubric 打分取加权共识,用推理时算力换校准精度;其四,把候选无关 rubric 生成推广到图像、音频、3D 等其他生成模态,该范式与模态本质上无关;其五,理论侧工作——形式化分析'结构化瓶颈对分数方差与校准误差的影响',解释为什么插入 rubric 能稳定扩大 82.6% 的标准差而不放大提示敏感性。

复现条件总体友好。代码、模型与项目页已在 GitHub 开源(https://github.com/2kxx/RewardVerse),骨干 Qwen2.5-VL-7B 是开源权重;训练数据为 EvalVerse 体系下 16 维 × 30 对共 480 个人工偏好对,外加约 1K 点态测试样本,人工标注是主要的人力成本;两阶段训练各 1 epoch、约 60 步,共 8 张 NVIDIA H20、bf16 + DeepSpeed ZeRO-3,属于中等规模实验室可负担的算力,附录 Table 14 给出了完整超参(学习率 $2\times10^{-6}$、$G=8$、KL 0.1、偏好温度 1.5 等)。主要风险点有二:一是种子 rubric 自进化依赖 Gemini-3.1-Pro 闭源 API,有费用且有输出随机性,好在 prompt 模板(A.4.1)完整公开,可换用其他前沿 MLLM 近似复现;二是 EvalVerse 测试集与基准细节需要向作者团队的工作对齐,维度定义(Table 11)虽已公开,但逐维人类标注的分差目标 $\hat{\Delta}$ 质量会直接影响校准损失的效果。整体难度评级中低:方法组件(GRPO、soft-logits 读出、JSON 模式解码)都有成熟开源实现,真正的门槛在 8 卡算力与 480 对高质量偏好标注。