多模态过程奖励模型的训练数据效率研究

提出BIS评分筛选MPRM训练rollout，10%数据即可匹配全量性能

前置知识

过程奖励模型（Process Reward Model, PRM）

PRM是一种对推理过程中每一步进行评分的监督模型，而非仅对最终答案给出判断。在多模态推理场景中，多模态PRM（MPRM）对视觉推理的每个中间步骤进行评分，提供细粒度的过程监督信号。MPRM通过在每个推理步骤后附加特殊标记，训练模型预测该步骤是否正确的概率（'Yes'或'No'），从而实现步骤级别的过程监督。

本文的核心研究对象就是MPRM的训练数据效率，理解PRM的基本工作原理是理解本文动机和方法的基础。

蒙特卡洛估计（Monte Carlo Estimation）

在MPRM训练中，蒙特卡洛方法通过从每个推理步骤出发进行N次独立采样（如N=16），统计有多少次采样能到达正确答案，从而估计该步骤的正确性概率。例如，如果16次采样中有3次成功，则MC分数为3/16=0.1875。标准二值化规则将MC分数>0的步骤标记为正标签（正确），否则为负标签（错误）。

MC分数是本文方法的核心信号来源。BIS评分仅依赖已有的MC信号，理解MC估计的工作原理和噪声特性对于理解本文的理论分析和方法设计至关重要。

教师-学生框架（Teacher-Student Framework）

本文采用的理论抽象框架。教师模型代表理想的MPRM，知道每步的真实正确性；学生模型是实际训练的MPRM，从带噪声的MC标注中学习。在该框架下，教师的参数为最优参数$w^*$，学生通过最小化逻辑损失从MC标注中学习。该框架将MPRM训练问题形式化为带噪声标签的逻辑回归问题。

这是本文理论分析的核心框架，用于解释数据冗余现象和推导信息性梯度的条件，支撑BIS方法的理论依据。

标签噪声（Label Noise）

在MC标注中，由于采样数量有限（N=16），部分步骤虽然被标记为正标签（MC>0），但实际上可能只有极少数采样成功，这些步骤本质上更接近负标签但被误标。本文将这种噪声建模为对称标签翻转噪声：真实标签以概率$\eta$被翻转。低MC正标签步骤的等效噪声率$\eta_{eff}$较高，产生类似标签翻转的效果。

标签噪声是理解MPRM训练冗余的关键。本文理论表明MPRM训练主要受限于梯度噪声而非数据不足，而低MC正标签步骤是噪声的主要来源。

非渐近SGD分析（Non-asymptotic SGD Analysis）

对随机梯度下降算法在有限步数内的收敛性分析。本文使用Bach & Moulines (2013)的结果，得到逻辑回归SGD的超额风险上界：$E[L(w_T)] - L(w^*) \lesssim C_{data} N_{eff}^{-1/2} + C_{opt} T^{-1/2}$，其中第一项是数据复杂度项（随有效样本量$N_{eff}$衰减），第二项是优化误差项（随更新步数$T$衰减）。

该理论结果直接解释了为什么随机子采样MPRM训练数据后性能下降有限，以及为什么BIS选择策略能以更少数据达到全量性能。

研究动机

多模态过程奖励模型（MPRM）的训练依赖大规模蒙特卡洛标注数据集，如VisualPRM400K-v1.1包含565K个rollout和3.17M个标注步骤，计算成本极高。然而，本文的初步实验发现MPRM训练存在严重的数据冗余：随机子采样训练数据时，性能随采样比例$\rho$快速饱和，即使丢弃大部分rollout也仅导致性能轻微下降。具体而言，Random-25%（仅保留25%数据）在单轮训练下的micro-F1仅比Full-Data低约1.75个百分点，表明现有MC标注数据集包含大量冗余信息。更关键的是，通过不同策略选择的25%子集表现差异显著：包含混合正负步骤的子集（Mixed-25%）优于仅选择低MC分数步骤的子集（Low-MC-25%），后者虽然错误步骤比例更高（12.57% vs 3.61%），但性能反而更差。这表明单纯增加负样本曝光或减少数据量都不够，需要更精细的数据选择策略。

本文的目标是本文的具体目标是研究MPRM训练的数据效率瓶颈，即MPRM性能如何随rollout预算变化，以及如何选择信息量最大的训练子集以保持全量数据性能。作者希望找到一种仅依赖已有MC信号、无需额外模型调用或标注成本的数据选择方法，使MPRM能以极小比例的训练数据达到甚至超越全量训练的效果。

与已有工作不同的是，本文的独特切入角度在于：从理论和实证两个层面揭示MPRM训练冗余的根本原因，并提出基于信息量的数据选择方法。与以往侧重改进监督管道或训练框架的MPRM研究不同，本文采用事后rollout选择策略，不引入额外监督或计算。更重要的是，本文通过教师-学生框架形式化分析，揭示了信息性梯度依赖两个关键因素：正负步骤的标签混合度和正步骤标签的可靠性（平均MC分数），并据此设计了平衡信息分数（BIS）。这种理论驱动的方法设计是本文与启发式数据选择方法的本质区别。

核心方法

本文方法的核心思路是：MPRM训练冗余源于低质量rollout（要么全正/全负缺少对比，要么正标签不可靠）稀释了有效梯度信号。作者首先通过教师-学生框架理论分析，证明信息性梯度更新依赖于两个乘性耦合因素：标签混合度（追踪教师不确定性）和标签可靠性（反映MC标注噪声水平）。基于这一洞察，作者提出平衡信息分数（BIS），对每个rollout计算混合度$p_{pos}(1-p_{pos})$和可靠性$R(x)$的加权和，然后按BIS降序排列，从每个数据源中选择前$\rho$比例的rollout组成训练子集。整个方法完全基于已有的MC信号，无需额外的模型调用或人工标注。

本文的核心创新在于揭示并形式化了MPRM训练中'混合但可靠'原则。与已有方法的本质区别体现在三个层面：第一，理论层面，本文证明了MPRM训练主要受限于梯度噪声而非数据不足，这解释了为什么随机子采样后性能下降有限；第二，方法层面，BIS同时考虑混合度和可靠性两个正交维度，而非单独优化其中一个；第三，实用性层面，BIS仅使用数据集中已有的MC信号，无需额外计算成本。具体而言，标签混合度$p_{pos}(1-p_{pos})$是教师不确定性$\bar{q}_x(1-\bar{q}_x)$的$O(1/n)$有偏估计，反映rollout中正负步骤的比例平衡；可靠性$R(x)$是正步骤平均MC分数，低MC正标签步骤的等效噪声率$\eta_{eff}$较高，通过Beta-Binomial模型可证明其单调递减性。两者的乘性耦合决定了rollout的信息量。

方法步骤详情

本文方法包含以下步骤：（1）数据准备：使用VisualPRM400K-v1.1数据集，每个rollout包含$n$个推理步骤，每步有MC分数$s_j \in [0,1]$，根据标准二值化规则$y_j = \mathbb{I}[s_j > 0]$分配硬标签；（2）计算正步骤比例$p_{pos}(x) = \frac{1}{n}\sum_{j=1}^{n} y_j$，用于量化标签混合度；（3）计算可靠性度量$R(x)$：当$n_{pos} > 0$时$R(x) = \frac{1}{n_{pos}}\sum_{j:y_j=1} s_j$，当$n_{pos} = 0$时$R(x) = 1$；（4）计算BIS分数：$BIS(x) = p_{pos}(x)(1-p_{pos}(x)) + \alpha R(x)$，其中$\alpha > 0$是平滑常数；（5）数据选择：在每个源数据集内按BIS降序排列，保留前$\rho$比例的rollout；（6）连接所有源数据集的选定rollout组成训练子集；（7）使用与全量训练相同的训练协议对选定子集进行单轮微调。

技术新颖性

本文的技术新颖性体现在多个方面。首先，在理论贡献上，本文首次将MPRM训练形式化为教师-学生框架，通过非渐近SGD分析证明MPRM训练瓶颈在于梯度噪声而非数据不足，这是一个重要的理论洞察。其次，本文推导出标签混合度$p_{pos}(1-p_{pos})$是教师不确定性$q^*(\phi)(1-q^*(\phi))$的有偏估计（误差$O(1/n)$），并证明低MC正标签步骤的等效噪声率$\eta_{eff}(k)$严格递减，这两个理论结果共同支撑BIS的设计。第三，BIS方法本身简洁优雅：仅依赖已有MC信号，无需额外模型调用，是首个将理论分析直接转化为实用数据选择规则的MPRM研究。第四，实验发现BIS在低预算区间优势最大，且BIS-10%即可匹配全量性能，这意味着95.5%的计算成本可以被节省。

**Figure 3**: Distributions of the reliability term R(x) (left) and mixture term p(x)(1 - p(x)) (right) on VisualPRM400K-v1.1, comparing all rollouts and the BIS-25% subset.

实验结果

本文的核心发现可从多个维度总结。首先，MPRM训练存在严重数据冗余：随机子采样时性能快速饱和，Random-25%在单轮训练下micro-F1仅比Full-Data低约1.75个百分点（InternVL2.5-8B：63.37% vs 65.12%），即使训练4轮（匹配全量更新次数）差距也保持温和。其次，BIS方法在所有测试比例下均优于随机子采样：在InternVL2.5-8B上，BIS-10%达到65.46% micro-F1，比Random-10%的62.86%高出2.60个百分点，与Full-Data的65.12%基本持平；在Qwen2.5-VL-7B上，BIS在极低预算区间优势更大，BIS-5%比Random-5%高出10.88个百分点（64.42% vs 53.54%）。第三，BIS在最佳N重排序任务中也表现优异：在InternVL2.5-8B上，MPRM_{BIS-25%}在MM-K12上达到41.00（比基础模型+7.87），在MathVista上达到59.00（+6.23），均优于MPRM_{Full-Data}和MPRM_{Random-25%}。第四，消融实验表明混合度和可靠性缺一不可：仅用混合度的Mixed-25%比BIS低0.76个百分点，仅用可靠性的Reliable-25%低2.71个百分点。第五，BIS的分布分析显示它偏好中等可靠性（R(x)约0.2-0.6）的rollout，而非简单最大化可靠性，这体现了混合度和可靠性的联合优化。

**Table 1**: Dataset statistics for different training-set settings.

**Table 2**: Overall micro-F1 and per-source macro-F1 on VisualProcessBench for full-data training and sub-sampled rollouts under different keep ratios rho.

**Table 3**: Best-of-N evaluation on four benchmarks with MPRM reranking trained on different training sets.

**Table 4**: Ablations of BIS under a 25% rollout budget.

**Table 5**: Sensitivity of BIS to the smoothing constant alpha under a fixed 25% rollout budget.

**Figure 1**: Overall micro-F1 on VisualProcessBench using InternVL2.5-8B trained via full training set or different subsets.

查看结构化数据

任务	指标	本文	基线	提升
VisualProcessBench 整体micro-F1（InternVL2.5-8B）	micro-F1 (%)	BIS-10%: 65.46%	Random-10%: 62.86%, Full-Data: 65.12%	BIS-10%比Random-10%高2.60个百分点，与Full-Data持平（+0.34）
VisualProcessBench 整体micro-F1（Qwen2.5-VL-7B）	micro-F1 (%)	BIS-5%: 64.42%, BIS-10%: 64.63%, BIS-25%: 65.53%	Random-5%: 53.54%, Random-10%: 61.99%, Full-Data: 65.57%	BIS-5%比Random-5%高10.88个百分点，BIS-25%匹配Full-Data
Best-of-N重排序 MM-K12（InternVL2.5-8B）	准确率 (%)	MPRM_{BIS-25%}: 41.00	基础模型: 33.13, MPRM_{Full-Data}: 39.00, MPRM_{Random-25%}: 39.40	比基础模型+7.87，比MPRM_{Full-Data}+2.00
Best-of-N重排序 OlympiadBench（InternVL2.5-8B）	准确率 (%)	MPRM_{BIS-25%}: 12.67	基础模型: 8.65, MPRM_{Full-Data}: 12.00, MPRM_{Random-25%}: 11.33	比基础模型+4.02，比MPRM_{Full-Data}+0.67
Best-of-N重排序 MathVerse（InternVL2.5-8B）	准确率 (%)	MPRM_{BIS-25%}: 40.89	基础模型: 35.31, MPRM_{Full-Data}: 39.41, MPRM_{Random-25%}: 39.41	比基础模型+5.58，比MPRM_{Full-Data}+1.48
Best-of-N重排序 MathVista（InternVL2.5-8B）	准确率 (%)	MPRM_{BIS-25%}: 59.00	基础模型: 52.77, MPRM_{Full-Data}: 57.50, MPRM_{Random-25%}: 58.20	比基础模型+6.23，比MPRM_{Full-Data}+1.50

局限与改进

本文存在以下局限性。首先，实验仅在两个骨干模型（InternVL2.5-8B和Qwen2.5-VL-7B，均为7-8B参数规模）上验证，未测试更大规模的MPRM（如70B+），BIS的优势能否迁移到更大模型尚不确定。其次，所有实验采用单轮微调协议，作者在初步实验中发现Random-25%在4轮训练后略有过拟合，但未深入分析BIS子集在多轮训练下的行为。第三，评估主要依赖VisualProcessBench单一基准，虽然包含5个子源，但在其他推理基准上的泛化性有待验证。第四，理论分析基于线性教师-学生假设和逻辑回归，真实MPRM架构更复杂，理论结论的适用范围可能受限。第五，VisualPRM400K-v1.1中混合rollout（同时包含正负步骤）仅占7.67%，这意味着BIS的选择空间有限，在混合rollout更少的数据集上BIS可能面临选择瓶颈。第六，BIS中的平滑常数$\alpha$需要调优，虽然作者展示了$\alpha=0.05$附近较稳定，但不同数据分布可能需要不同值。

独立分析的弱点

本文的独立弱点分析如下。首先，BIS的可靠性度量$R(x)$仅考虑正步骤的平均MC分数，未区分MC分数的方差：两个rollout可能有相同的平均MC分数，但一个MC分数分布均匀、另一个集中在低分区域，后者可能包含更多噪声步骤。改进方向：引入MC分数的方差或熵作为额外信号。其次，BIS的混合度项$p_{pos}(1-p_{pos})$对全正或全负rollout赋予零权重，但这可能排除一些有价值的纯正或纯负rollout（如特别困难或特别简单的问题）。改进方向：引入问题难度感知的选择机制。第三，BIS在不同数据源上使用统一的$\rho$比例，但不同源的数据质量可能差异很大。改进方向：允许源级别的自适应选择比例。第四，BIS仅在离线数据选择中验证，未探索在线训练过程中的动态选择策略。改进方向：在RLHF训练过程中动态调整BIS选择。第五，理论分析中的对称标签噪声假设可能过于简化，真实MC噪声可能与问题难度、模型能力等因素相关。改进方向：发展更精细的噪声模型。

未来方向

本文及作者提出的未来研究方向包括以下几个方面。第一，将BIS原则应用于在线RLHF训练：当前方法仅处理离线数据选择，但在PPO等在线算法中，BIS可以动态指导rollout选择，可能带来更大收益。第二，探索问题难度感知的数据选择：当前BIS不考虑问题难度，但困难问题的MC估计噪声可能更大，需要不同策略。第三，将BIS扩展到更大规模MPRM：在70B+模型上验证BIS的数据效率优势，以及在不同架构（如纯语言PRM）上的适用性。第四，发展理论分析：将线性教师-学生框架扩展到非线性模型，以及分析BIS在多轮训练下的收敛行为。第五，结合课程学习：BIS可以作为课程学习的一部分，先用高BIS数据训练，再逐步引入低BIS数据。第六，应用于其他过程监督场景：如代码生成验证、数学证明步骤检查等。第七，探索自动化$\alpha$选择：开发根据数据分布自动确定平滑常数的方法。

复现评估

本文的复现性评估如下。作者承诺将代码发布为'Balanced-Info-MPRM'项目。数据方面，VisualPRM400K-v1.1是公开数据集（565K rollouts，3.17M标注步骤），评估基准VisualProcessBench也是公开的（包含MathVision、MathVerse、MMMU、DynaMath、WeMath五个子源）。骨干模型InternVL2.5-8B和Qwen2.5-VL-7B均为开源模型。方法本身计算开销低：BIS仅需对rollout进行评分和排序，无需额外模型调用。训练协议清晰：单轮微调，学习率和batch size按比例缩放。作者提供了数据集统计（Table 1）、$\alpha$敏感性分析（Table 5）和完整训练细节（Appendix C）。复现难度较低，主要挑战在于：需要约565K rollouts的存储空间，以及7-8B模型的微调算力（但BIS-10%仅需55个训练步骤，计算量大幅降低）。总体而言，只要代码公开且依赖明确，本文应可被完全复现。

多模态过程奖励模型的训练数据效率研究 Training Data Efficiency in Multimodal Process Reward Models