无监督过程奖励模型 Unsupervised Process Reward Models
无需标注或真值验证，用LLM下一token概率自蒸馏训练过程奖励模型
前置知识
过程奖励模型 (Process Reward Model, PRM)
PRM对轨迹 $\tau=(x,y_1,...,y_T)$ 的每步 $y_t$ 输出正确性分布 $r_\theta(c_t|\tau_{\le t})$，$c_t\in\{0,1\}$ 标识对错并定位首个错误步 $j_{gt}$。相比ORM，PRM提供密集步骤级监督更精细引导推理，但需昂贵逐步标注。
本文目标是训练PRM，必须先理解PRM输出步骤级正确性而非整条答案评分，才能看懂评分函数与训练目标。
LLM-as-a-Judge 与下一token概率评分
LLM-as-a-Judge用大模型当裁判打分，常见做法是采样显式判词再解析为离散分数。本文用更底层信号：直接读取LLM对标记token(如'+'/'−')的下一token概率 $p$ 组合成连续评分函数 $S$，避免采样判词的随机性。
uPRM的核心评分 $S(j;s)$ 完全建立在LLM下一token概率上，不懂这一范式就读不懂为何无需标注也能定义训练信号。
测试时扩展 (Test-Time Scaling, TTS)
TTS指推理时投入更多算力提升性能。常见策略：Best-of-N生成N个答案用奖励模型选最优；Beam Search在搜索树节点剪枝；DVTS构建多棵独立搜索树增多样性；majority voting选最频繁答案(无需奖励模型)。
TTS是评估uPRM作为验证器价值的主要场景，Figure 1和Table 2都在BoN/DVTS框架下对比，必须熟悉才能理解6.9%提升的含义。
奖励黑客 (Reward Hacking)
强化学习中策略 $\pi$ 学会钻奖励模型的空子，沿投机模式刷高分而非真正提升推理质量，导致训练后期崩溃。PRM做奖励源时尤为常见，min-form信用分配等算法手段只能延缓而非消除。
第5.3节RL的关键发现是uPRM比监督PRM更抗reward hacking，理解这一概念才能体会Table 3中标†行和sPRM崩溃的含义。
LoRA 与 PRM 参数化
LoRA冻结骨干权重、只训练注入的低秩矩阵 $A,B$，大幅降低可训练参数。本文把 $r_\theta$ 经LoRA作用在Qwen2.5-14B-Instruct，每步后插可训练[*]token，用2层ReLU MLP把隐藏态 $z_t$ 映射为2维logit，softmax得步骤正确性概率。
PRM与评分用同一个LLM，且训练用自定义actor-critic梯度估计器，理解LoRA参数化与[*]token设计才能看懂 $r_\theta$ 的输入输出接口。
研究动机
现有PRM需要人工逐步骤标注推理轨迹，成本高昂且难以规模化。为降低标注负担，Math-Shepherd等方法用蒙特卡洛rollout从最终答案的真值反推步骤标签，隐式PRM则直接从outcome奖励学习，但这些方法仍严重依赖真值最终答案或外部验证器，且蒙特卡洛估计计算开销巨大，限制了在数学之外领域的普适性。与此同时，LLM-as-a-Judge虽能免人工做离线评估，但通常只采样显式判词、用于模型选择，没有转化为可训练的监督信号。在ProcessBench、MATH-500等推理基准上，监督PRM仍受限于标注质量与领域覆盖，且在强化学习中极易被reward hacking击穿——PURE等框架虽用min-form信用分配延缓hacking，但作者明确指出'单独依赖PRM奖励时reward hacking不可避免'，使得步骤级监督难以稳定落地。
本文的目标是本文目标是在完全无监督的设定下训练过程奖励模型uPRM：既不需要任何逐步骤人工标注，也不需要最终答案的真值验证。具体地，作者希望仅利用PRM800K数据集中的推理轨迹本身(不含任何正确性标签)，通过定义一个源自LLM下一token概率的评分函数 $S$，把大模型的隐式判断能力蒸馏成一个专用、轻量、可独立推理的PRM，并证明这种uPRM在三个维度上都有实用价值：在ProcessBench上精确定位首个错误步、在测试时扩展中作为验证器引导推理、在强化学习中作为稳定奖励信号。
与已有工作不同的是，本文的独特切入角度是发现'LLM的下一token概率本身就隐含了对推理步骤正确性的判断'。区别于以往LLM-as-a-Judge需要采样显式判词、也区别于Math-Shepherd需要真值答案做蒙特卡洛，作者构造把推理步骤与'+/−'正确性标记交错穿插的序列，直接读取LLM对标记token的概率，并把多条轨迹拼成batch联合评分以利用in-context learning获得更可靠的判断，再用强化学习把这一联合评分蒸馏成专用PRM。这是一种自训练路线：PRM与评分用同一个LLM，把LLM的评判能力蒸馏进自身。
核心方法
整体思路是'先用LLM当裁判定义无标注的步骤正确性评分，再用RL把这个评分蒸馏成轻量PRM'。直觉上，预训练LLM读到一个穿插了正确性标记的推理轨迹时，它给这些标记分配的概率反映了它对步骤对错的隐式判断。技术路线分三步：第一步定义单条轨迹评分函数 $S(j;s)$，其中 $j$ 是候选首个错误步位置；第二步把多条轨迹的标记序列拼接到一起定义联合评分 $S(j_{1:N};s_{1:N})$，让每条轨迹把前面的轨迹当in-context例子，利用batched evaluation提升判断可靠性；第三步用LoRA把PRM $r_\theta$ 参数化在同一LLM上，以熵正则化的RL目标最大化联合评分，把LLM的评判能力蒸馏成专用PRM，推理时无需任何上下文。
核心创新是用'LLM对交错正确性标记的下一token概率'来无监督地定义步骤正确性的评分函数，并把它转化为RL优化目标。本质区别有三：其一，不像监督PRM需要真值标签 $j_{gt}$，也不像Math-Shepherd/implicit PRM需要真值最终答案，uPRM完全零标注零验证；其二，不是像传统LLM-as-a-Judge采样显式判词再解析成离散分数，而是直接读取raw下一token概率并重归一化到 $\{+,−\}$ 构成连续评分；其三，通过把多条轨迹拼成batch联合评分，把LLM的in-context learning能力变成自监督信号，再用actor-critic式的RL蒸馏进专用PRM，构成自训练。
方法步骤详情
第一步构造标记序列：对轨迹 $\tau=(x,y_1,...,y_T)$ 和候选首个错误步 $j$，把 $y_1..y_{j-1}$ 标'+'、$y_j$ 标'−'得 $s(\tau,j)$，$j=T+1$ 时全标'+'。第二步单条评分 $S(j;s)=1[j\le T]\log p_-+\sum_{t<j}\log p_+$，$p_\pm$ 是LLM对'+/−'重归一化的下一token概率。第三步联合评分：把N条序列拼成 $s_{1:N}$ 联合打分，第n条的 $p_\pm$ 以前n−1条作in-context上下文，得分取平均。第四步PRM参数化：每步后插[*]token，$r_\theta$ 用LoRA作用在Qwen2.5-14B-Instruct，[*]处隐藏态经2层ReLU MLP输出2维logit，softmax得步骤正确性概率。第五步训练：最大化熵正则目标 $\max_\theta E[S+\gamma H(p_\theta)]$，$\gamma$ 防收敛，用自定义actor-critic估计器8卡H200约5.5h。第六步推理：uPRM独立处理每条轨迹，无需上下文。
技术新颖性
技术新颖性体现在四点。第一，首次提出完全无监督的PRM训练方法，消除了对步骤标注和真值答案的双重依赖，把PRM扩展到新领域/新模型族的边际成本降到接近零。第二，评分函数直接基于raw下一token概率而非采样判词，是一种新的LLM-as-a-Judge实例化，且把离线评估指标转化为RL优化目标提供直接监督。第三，joint scoring利用batched/in-context learning让LLM判断更可靠，并针对'所有轨迹共享同一标签 $j$ 时评分虚高'的失效模式设计了简单校正(附录A)。第四，PRM与评分共享同一LLM构成自训练，且用自定义actor-critic梯度估计器把RL训练成本压到与监督SFT(4.25h)相近的5.5h，额外开销可忽略；同时设计了principled trajectory packing策略最大化GPU利用率并稳定信噪比，使 $N$ 不再是需手调的超参。
实验结果
实验在三个维度验证uPRM。第一是ProcessBench首个错误步定位F1：uPRM在GSM8K/MATH/OlympiadBench/Omni-MATH达58.3/52.6/42.7/39.8，比同基座LLM-as-a-Judge(49.8/42.8/29.4/26.6)各高+8.5/+9.8/+13.3/+13.2。第二是测试时扩展：Llama-3.2-1B-Instruct平均准确率从1候选14.6%升到256候选31.7%(+17.1%)；DVTS+uPRM比majority voting高6.9%；Best-of-8(Qwen2.5-Math-7B)上uPRM均分60.1，与Skywork 60.8、Math-Shepherd 60.4等监督PRM持平，距pass@8上界69.1约9分。第三是RL(Table 3)：Math-1.5B用uPRM比VR高约4分；Math-7B用uPRM达82.9/37.9/42.1超VR；最关键是sPRM(同架构监督训练)在Math-7B上<50步崩溃、1.5B上数百步崩溃，而uPRM全程无reward hacking。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ProcessBench 首个错误步定位 | F1 (错误轨迹准确率与正确轨迹准确率的调和平均) | uPRM: GSM8K 58.3 / MATH 52.6 / OlympiadBench 42.7 / Omni-MATH 39.8 | LLM-as-a-Judge (同Qwen2.5-14B-Instruct基座): 49.8 / 42.8 / 29.4 / 26.6 | 分别 +8.5 / +9.8 / +13.3 / +13.2，最难的OlympiadBench与Omni-MATH各提升约13% |
| 测试时扩展 (DVTS / Best-of-N) — 小模型scaling | 三基准平均准确率 (随生成数从1增到256) | DVTS+uPRM 在 Llama-3.2-1B-Instruct 上达31.7%(256候选) | majority voting 基线；1候选时仅14.6% | 比1候选 +17.1%；DVTS+uPRM 比 majority voting 高6.9%(Llama-3.2-1B)、4.4%(Qwen2.5-1.5B) |
| Best-of-8 (Qwen2.5-Math-7B-Instruct生成) | MATH-500/Minerva/OlympiadBench 三项平均准确率 | uPRM 平均 60.1 (86.5/46.7/47.1) | 监督PRM: Skywork 60.8, Math-Shepherd-7B 60.4, Qwen2.5-Math-PRM-7B 60.6, 同架构sPRM 60.0; pass@8上界69.1 | 无监督uPRM与最强监督PRM持平，证明无需标注即可媲美监督训练 |
| 强化学习训练 (Qwen2.5-Math-7B / RLOO+PURE) | MATH-500/Minerva/OlympiadBench 准确率 | uPRM: 82.9 / 37.9 / 42.1 (全程无reward hacking) | VR(verifiable reward): 80.1 / 35.9 / 41.8; sPRM 因迅速崩溃无法评估 | uPRM比VR均高约+2~3分，且比监督sPRM在稳定性上有质的差异 |
| 强化学习训练 (Qwen2.5-Math-1.5B) | MATH-500/Minerva/OlympiadBench 准确率 | uPRM: 73.5 / 31.8 / 36.6 | VR: 70.0 / 26.0 / 33.5; sPRM(崩溃前) 74.7 / 27.8 / 35.0 | 比VR均分高约+4分，与作者声称的'4-point average gain'一致 |
局限与改进
作者承认两点：其一，joint scoring要求评分LLM同时具备足够长的上下文窗口来处理拼接的batch、以及足够强的能力产生有意义的正确性判断，这限制了基座模型的选择(本文只能用Qwen2.5-14B-Instruct这一级别)；其二，uPRM在reward hacking上的鲁棒性虽被实验证实，但其精确来源尚未完全刻画(作者在附录D.3.1做了初步分析)。我自己观察到：uPRM在ProcessBench绝对F1仍落后SOTA监督PRM，作者也承认'error localization精度不足但下游效用相当'，说明评分函数的判断天花板受限于基座LLM本身；自训练范式(评分与PRM同LLM)意味着若基座LLM在某领域判断力弱，uPRM无法超越它，跨域泛化存疑；joint scoring的in-context失效模式(所有轨迹共享标签 $j$ 时评分虚高)虽用附录A校正缓解，但校正偏启发式，鲁棒性未经大规模验证。
独立分析的弱点
独立分析有五个弱点。第一，自蒸馏天花板：uPRM评分来自Qwen2.5-14B-Instruct本身，PRM能力被基座LLM判断力上界锁定，在基座不擅长的非数学推理(代码、科学、Agent)上评分质量存疑，改进方向是解耦评分LLM与PRM骨干——用更强模型提供评分、小模型当PRM骨干。第二，in-context失效模式：batched joint scoring在所有轨迹共享同一标签 $j$ 时评分虚高，附录A校正偏启发式，改进方向是设计更原理性的去偏目标。第三，只验证了数学推理：所有基准全是数学，代码、多轮对话、Agent未测，改进方向是迁移到这些领域。第四，计算成本仍需8卡H200+5.5h+自定义actor-critic估计器，对小团队不友好。第五，RL鲁棒性来源未充分解释，附录D.3.1只是定性分析，改进方向是用可控实验隔离熵正则 $\gamma$、评分分布、轨迹多样性的影响。
未来方向
作者明确提出的方向是解耦评分LLM与PRM骨干，以缓解对基座模型上下文长度与能力的依赖，并随着开源LLM能力增长自然放宽这些约束；同时把reward hacking鲁棒性的精确机理留给社区。基于成果可延伸的方向有四：(1)把joint scoring推广到更一般的'多实例联合评判'框架，例如对代码用多测试用例联合、对Agent用多轨迹rollout联合，验证in-context reliability的普适性；(2)探索自训练与主动学习的结合——用uPRM筛选它不确定的轨迹，定向请求更强模型给少量标注再回灌，形成'几乎无监督+少量校准'的混合范式；(3)把uPRM嵌入迭代RLHF/RLAIF流水线，作为廉价密集奖励源替代昂贵的人类逐步标注；(4)研究评分函数失效模式(如共享标签 $j$ 虚高)的原理性修复，以及熵正则 $\gamma$ 的自适应调度而非固定值。
复现评估
复现评估分四方面。开源情况：论文未在正文给出uPRM自身代码/权重链接，仅引用PURE框架(github.com/CJReinforce/PURE)，uPRM是否开源未声明，完整复现需自行实现自定义actor-critic梯度估计器与trajectory packing，工程门槛高。数据可获得性：PRM800K、ProcessBench、MATH-500、MinervaMath、OlympiadBench均公开，Qwen2.5-14B-Instruct开源，外部依赖充分。算力需求：8卡H200训练约5.5小时(监督SFT基线4.25h)，开销与监督训练同量级，但需实现自定义RL训练循环、joint scoring前向、actor-critic梯度估计，单卡或小集群难在合理时间完成。复现难度：核心算法细节放附录B/C，正文给出目标函数与关键超参但梯度推导需读附录；评分函数的in-context校正(附录A)对复现F1数字可能关键。综合看，有充足算力与RL工程经验的团队可复现核心结论，但完全复刻所有seed与数字有难度。
论文图表
