带学习可靠性的过程奖励

用Beta分布同时预测推理步骤的成功概率与可靠性

前置知识

Beta分布

定义在[0,1]区间的连续分布，由两个形状参数$\alpha,\beta$控制，常作为Bernoulli/Binomial的共轭先验，能自然表达对概率本身的不确定性。

BETAPRM的核心是把前缀的成功概率建模为Beta信念，用均值$\mu$给奖励、浓度$\kappa$给可靠性，必须先理解其参数含义。

Binomial分布

描述$n$次独立Bernoulli试验中成功次数的分布，参数为单次成功概率$p$，均值$np$、方差$np(1-p)$。

蒙特卡洛的$K$次成功/$N$次试验本身是Binomial样本，这正是Beta-Binomial共轭关系的统计起点。

过程奖励模型PRM

对推理链中每个中间步骤打分的判别模型，输出该步正确性概率；相比只看最终答案的ORM能提供更细粒度反馈。

整篇工作是对PRM输出形式的扩展与改造，必须先理解PRM如何被训练和使用。

Best-of-N推理

用采样器生成N个候选解，再由奖励模型挑选最优的一种测试时计算放大策略，N越大一般准确率越高，是test-time scaling最简单直接的实例之一。

论文提出的ACA正是针对Best-of-N做自适应计算分配，必须先理解其完整流程。

LCB/UCB置信界

在多臂老虎机和选择问题中，用估计的下界LCB和上界UCB来量化每个选项估计的不确定性，从而判断当前最优候选是否应被信任。

ACA的早停判据直接基于候选之间LCB与UCB的比较，需要先理解这个统计直觉。

研究动机

现有PRM对每个推理步骤只输出一个标量分数（例如正确概率），下游方法如Best-of-N选择或RL策略优化，只能把这种本身有噪声的标量当作可靠决策信号。这种单点接口存在两个根本问题：第一，标量奖励无法反映预测本身的不确定性——一个看起来正确的步骤是否真能引向正确答案，本身就带有不确定性；第二，训练时使用的$K/N$是有限次蒙特卡洛采样的有噪声估计，标准做法把$K/N$当作真值回归，强迫模型去拟合样本噪声。在Best-of-N设置中，每个问题被分配同样的采样预算，但不同问题难度差异巨大，常在已找到可靠答案后还继续生成，造成巨大浪费。

本文的目标是本文提出统一解决方案，让PRM同时输出奖励和可靠性，即分布式的PRM。具体地，作者提出BETAPRM，对每个推理前缀输出一个Beta信念：均值$\mu_t$表示该前缀引向正确答案的预测概率，浓度$\kappa_t$表示该预测的可信度。模型用Beta-Binomial似然直接从$K$成功/$N$次试验的计数上学习，而非回归到带噪的$K/N$。作者还展示了该信号的具体下游应用——自适应计算分配ACA：在Best-of-N中用可靠性判据提前停止，或对不确定前缀进行修复重采样。

与已有工作不同的是，现有方法通常只在PRM之外修补不确定性，例如多采样投票、显式calibration、instance-specific采样预算等。这些方法要么把不确定性当作与奖励正交的第二通道，要么仍依赖带噪的标量分数做决策。本文的关键切入角度是：把可靠性作为PRM输出的一等公民，用Beta-Binomial训练目标把奖励与可靠性耦合在一起学习。模型在训练阶段就学会何时该自信，而不是在推理阶段再用后处理手段估计，从而下游算法可直接消费可靠性信号，无需再训练独立校准器。

核心方法

方法整体由两部分组成：(1) BETAPRM作为新的PRM训练范式，(2) ACA作为该PRM在Best-of-N上的应用。直觉上，作者希望PRM对每个步骤回答两个问题：这一步有多可能正确？我有多确定这个估计？为此，BETAPRM在每个$$标记处同时预测$\mu_t$和$\kappa_t$：$\mu_t$通过奖励token (Yes/No)的softmax得到以保持与标准PRM兼容；$\kappa_t$通过一个轻量线性头加softplus得到，二者合成Beta$(\alpha,\beta)$信念。训练目标是Beta-Binomial负对数似然，让该Beta信念能解释观察到的$K_t$次成功，外加正则项校准浓度。ACA部分把可靠性转化为风险调整分数$\mu_t-\lambda\sigma_t$，再用LCB/UCB做早停，用不确定性指导截断点修复前缀，从而在保证准确率的同时大幅降低token消耗。

与已有方法的本质区别在于训练目标和可靠性表示的耦合方式。标准PRM把蒙特卡洛比例$K_t/N$当作软标签做交叉熵回归，相当于让模型拟合一个有噪声的有限样本估计；其他不确定性方法要么在PRM之外用投票或集成估计，要么只用$\mu(1-\mu)$作代理不确定性。BETAPRM则用Beta-Binomial共轭结构，把$K_t$和$N$整体作为计数观测，让模型同时学$\mu$和$\kappa$，并通过$\kappa$显式控制该步预测的可信度。$\kappa$是被显式监督的，不是从$\mu$事后推导的代理量，从而提供真正可消费的可靠性信号。

方法步骤详情

具体步骤：(1) 每个步骤后插入$$标记，PRM在隐藏状态$h_t$上分两路输出：Yes/No token的softmax给$\mu_t$，轻量线性头加softplus再夹$\kappa_{min}$下界给$\kappa_t$。(2) 由$\alpha_t=\mu_t\kappa_t$、$\beta_t=(1-\mu_t)\kappa_t$得Beta信念。(3) 训练用Beta-Binomial负对数似然让信念解释$K_t$次成功观测。(4) 正则项$\mathcal{L}_{reg}=\frac{\lambda_{reg}}{|P|}\sum_{t}|sg(\mu_t)-K_t/N|\cdot\kappa_t$，stop-gradient保证只校准$\kappa$。(5) 推理时$\sigma_t=\sqrt{\mu_t(1-\mu_t)/(\kappa_t+1)}$用于风险调整排序候选。(6) ACA按小批采、用LCB/UCB判据早停，不满足时从UCB最高候选找最早$\mu_t-\lambda\sigma_t<p_{bad}$步骤截断重采。

技术新颖性

技术新颖性体现在四点：第一，把PRM输出从标量扩展为$(\mu,\kappa)$二元组，用Beta-Binomial共轭结构统一奖励学习与可靠性学习两个目标，避免独立校准器的级联误差。第二，正则项设计通过对$\mu$加stop-gradient，让分歧度乘以浓度的loss只作用在$\kappa$上，避免它退化成另一种软标签回归，表3消融验证其贡献+1.02点。第三，把可靠性信号直接接入测试时分配策略，ACA的早停和修复都明确由$\sigma_t$驱动而非启发式。第四，方法天然兼容现有PRM接口，$\mu$仍是Yes的概率，可作为即插即用的训练目标替换。

**Figure 2**: Intuition of Beta-Binomial supervision

**Figure 3**: Overview of Adaptive Computation Allocation (ACA)

实验结果

核心发现分四组。表1显示BETAPRM在4个backbone×4个benchmark共16格中全面超过标准PRM，平均提升+1.29到+3.37点，其中InternVL2.5-8B平均从+4.58升到+7.95相对增益最显著。表2显示BETAPRM在VisualProcessBench上保持与标准PRM相当的步骤级错误检测能力（整体微F1在61.85-62.91之间），说明分布化训练没牺牲分类能力。表3消融证实$\mathcal{L}_{reg}$贡献了+1.02点的平均增益。表4是ACA主结果：在Best-of-16上限下，InternVL2.5-8B节省16.76%-33.57% token且准确率略有提升（MathVision 25.00→26.32、MathVerse 45.58节省33.57%）。表5进一步证明：去掉可靠性只用$\mu$做ACA虽然token最少但准确率明显下降（InternVL2.5-8B MathVision仅21.38），而用$\sigma_t=\sqrt{\mu(1-\mu)}$代理不确定性虽比纯$\mu$好但仍差于学到的$\kappa$信号。

**Table 1**: PRM-guided Best-of-16 final-answer accuracy

**Table 2**: Step-level error detection on VisualProcessBench

**Table 3**: Ablation of the auxiliary evidence regularizer on InternVL2.5-8B

**Table 4**: ACA improves the accuracy–token tradeoff in PRM-guided Best-of-16

**Table 5**: ACA ablation under a Best-of-16 budget

**Figure 4**: Training dynamics of the learned concentration $\kappa_t$

查看结构化数据

任务	指标	本文	基线	提升
PRM-guided Best-of-16 on InternVL3-14B	MathVision/OlympiadBench/MathVerse/MathVista 准确率均值提升	+9.04 (25.66/16.67/46.35/62.30)	+7.75 (标准PRM)	+1.29
PRM-guided Best-of-16 on InternVL2.5-8B	四基准平均提升	+7.95 (25.66/15.33/44.31/61.30)	+4.58 (标准PRM)	+3.37
PRM-guided Best-of-16 on Qwen2.5-VL-7B	四基准平均提升	+9.11 (24.34/17.33/45.99/63.60)	+6.45 (标准PRM)	+2.66
VisualProcessBench step-level error detection	Overall Micro-F1	60.97-62.91 (BETAPRM跨四个backbone)	60.69-62.23 (标准PRM)	基本持平或略优，未牺牲错误检测能力
ACA Token Reduction on InternVL2.5-8B	相对Vanilla BoN的token节省百分比	MathVerse节省33.57%、MathVision节省30.24%、MathVista节省30.14%、OlympiadBench节省16.76%	Vanilla Best-of-16 (无节省)	token最多减少33.57%且准确率持平或更高
Auxiliary Evidence Regularizer 消融	InternVL2.5-8B四基准平均准确率	36.65 (含$\mathcal{L}_{reg}$)	35.63 (去掉$\mathcal{L}_{reg}$)	+1.02

局限与改进

作者没有专门一节列局限性，但可从实验中观察到：(1) 评估集中在视觉-数学推理（VisualPRM400K数据集），对纯文本推理或代码、对话等领域的可迁移性未验证。(2) Beta-Binomial目标假设$K|N$来自i.i.d.蒙特卡洛，但实际policy sampling可能受解码策略影响而相关性较高。(3) ACA在最大预算$N=16$下做了分批，但批大小$n_0$、阈值$p_{bad}$、惩罚系数$\lambda$、$c_{stop}$等超参对性能敏感，论文未给出系统调参过程。(4) 学到的$\kappa$只在InternVL2.5-8B和Qwen2.5-VL-7B上验证了ACA，未在其他两个backbone上做ACA实验。(5) ACA依赖明确的步骤切分，对自由形式生成的非结构化解可能不适用。(6) 标准差$\sigma_t=\sqrt{\mu_t(1-\mu_t)/(\kappa_t+1)}$在$\kappa_t$很小时会让惩罚项放大导致不稳定，需要$\kappa_{min}$下界兜底。

独立分析的弱点

独立分析的几点弱点：(1) 正则项用$|sg(\mu_t)-K_t/N|$作分歧度量，但$K_t/N$本身是噪声估计，stop-gradient并不能完全阻断它对$\kappa$的偏置——若$K_t/N$系统性偏离真实$q_t$（如policy偏差），$\kappa$也会被错校准。改进方向：换成交叉验证式或bootstrap式的可靠分歧度。(2) ACA早停判据LCB(y*)$>$max UCB假设候选分独立，但同一前缀的不同rollout相关性高，可能高估UCB的乐观度；改进方向：在UCB中加相关性感知的修正项或用paired bootstrap。(3) 修复策略用最早的低质步骤作截断点，但低质不一定是最关键的错误，可能修无害的小错而错过真正改变结果的步骤；改进方向：结合step-level错误检测（如VisualProcessBench分数）做多因素截断。(4) $\kappa$完全由线性头从$h_t$回归得到，没有把prompt请估计置信度显式注入，$\kappa$的可解释性受限；改进方向：设计显式prompt或自监督任务让$\kappa$对人类友好。

未来方向

作者在结论中暗示的方向包括：将BETAPRM推广到非视觉-数学推理（代码、对话、科学问答），把可靠性信号接入RL策略训练而非仅Best-of-N选择，以及与其他不确定性方法（ensemble、conformal prediction）结合。基于结果可延伸的方向有：(1) 把ACA的批式早停和不确定修复扩展到tree-search和self-consistency等更复杂测试时策略；(2) 用学到的$\kappa$做主动学习，挑选PRM最有信心但真实标签会修正的样本做下一轮微调；(3) 研究$\kappa$在out-of-distribution输入上是否提供更可靠的弃权信号，从而构建知道不知道的PRM；(4) 把$\kappa$蒸馏回PRM输出本身（例如在$$后增加一个置信token），让推理系统直接读到可靠性而无需额外前向；(5) 把Beta-Binomial训练目标与RL的KL约束结合，让policy探索自动避开发散区域。

复现评估

复现难度评估：作者承诺开源代码（GitHub链接 https://github.com/JinyuanLi0012/Beta-Binomial-PRM）并使用公开数据集VisualPRM400K-v1.1（HuggingFace），训练数据包含$K$成功/$N=16$次试验的计数标注，无需自行采样。模型基于4个公开多模态backbone（InternVL2.5/3-8B、InternVL3-14B、Qwen2.5-VL-7B）做轻量改造（仅增加$\kappa$头），主要计算量在微调。算力需求参考附录A未在主文给出，但每个8B模型微调加4 benchmark上跑Best-of-16通常需8×A100 80G规模；14B模型需更大显存。超参$\lambda_{reg}$、$c_{stop}$、$p_{bad}$、$\lambda$需在附录A中查找。评测候选池由InternVL2.5-8B生成并由作者提供，便于公平对比。

带学习可靠性的过程奖励 Process Rewards with Learned Reliability