Perceval：以感知为中心的Process Reward Model提升视觉语言模型 Improving Vision-language Models with Perception-centric Process Reward Models
Perceval：感知级PRM实现token级优势重分配
前置知识
Vision-Language Model (VLM)
以视觉编码器（如ViT）嵌入图像v，与大语言模型串接解码文本输出pi_theta(o|q,v)，用于多模态推理、问答与图表理解。
本文的研究对象就是Qwen2.5-VL系列的VLM，需要理解图像-文本对齐与推理链的耦合机制才能读懂动机。
GRPO (Group Relative Policy Optimization)
对同一prompt采样G个响应，按组内归一化计算序列级优势A_i=(R_i-mean)/std，与截断代理目标共同优化策略。
Perceval直接修改GRPO的目标函数，把标量优势A_i替换为带掩码的token级优势A'_{i,t}，必须先理解原始公式。
Process Reward Model (PRM)
对推理链中每个中间步骤输出奖励或判断的奖励模型，比仅奖励最终结果的ORM更易定位中间错误，但标注成本高。
Perceval本质是面向感知步骤的PRM，需要把握其与传统标量RMs在反馈粒度上的根本差异。
Token-level Advantage Rescaling
在策略梯度中为不同token差异化地调整优势值A'_{i,t}，使对幻觉span的惩罚得以定向传播，本质是per-token的细粒度信用分配。
Perceval的核心创新就在于通过二值掩码M_i把序列级优势A_i改写成per-token优势，是PRM信号注入RL的关键，也是理解其抗reward hacking原因的基础。
研究动机
视觉语言模型（VLM）在多步视觉推理中容易产生幻觉，插入不存在物体或错误空间关系，例如把白车旁的蓝卡车答成在左侧。然而当前主流的强化学习策略RLVR（如DeepSeek-R1启发的GRPO）只用整条响应末尾的outcome-level奖励R_i做组内归一化，整段所有token共享同一个序列级优势A_hat_i，使得究竟哪一个token该为最终正确/错误负责完全无法区分，陷入sparse-reward困境。论文给出的典型证据是：在Qwen2.5-VL-3B + GRPO上，V*位置感知子任务仅69.73%，远低于人类水平；进一步用后续PRM检查训练曲线（图2）发现，按pass率衡量基线在策略优化后仍大量出现幻觉，序列级监督显然过粗。
本文的目标是本文希望在RLVR框架下引入一个感知中心的过程奖励模型PERCEVAL，给出可解释、可定位到具体token级别的细粒度监督信号，从而：(1) 训练时把对幻觉span的惩罚直接传到对应token，提升credit assignment精度；(2) 推理时支持一种截断-再生（Truncate-Regenerate）的测试时缩放，让模型自行纠正感知错误；(3) 不破坏通用数学/图表推理能力的前提下，让基础VLM在感知重任务（视觉搜索V*）上追平甚至超过需要工具的SoTA方法（如DeepEyes 91.30）。
与已有工作不同的是，以往针对VLM的PRM（Math-Shepherd、Vision-Math等）大多针对数学步骤的逻辑校验，自动检查成本高且对纯感知型断言无能为力；通用多模态奖励模型（InternLM-XComposer2.5-Reward）又只输出一个标量，依然是outcome-level。Perceval的独特切入点是：把视觉推理步骤归约为可与图像原子级对齐的perceptual claim（物体、属性、空间关系），由强LLM（如Gemini-2.5-Pro）自动标注image-text misalignment，再用SFT训练PRM专门识别错误span，并把它的输出作为token级掩码注入GRPO优势函数。
核心方法
Perceval的设计思路是"先直觉后技术"：VLM在长CoT中容易幻觉，不如让外部模型把响应拆分成可与像素对齐的claim并逐条核验，再把核验结果作为细粒度反馈。具体技术路线分三层：(1) 训练一个感知型PRM，输入是⟨image v, query q, response o⟩三元组，输出一个结构化验证V，列出含感知错误的子串；(2) 在RL训练阶段把PRM识别出的错误span映射为二值token掩码M_i，调制GRPO的优势函数得到A'_{i,t} = A_i - alpha·m_{i,t}·|A_i|；(3) 在推理阶段执行Truncate-then-Regenerate循环，截断错误前缀后让策略模型重写，直到不再检测到新错误或达到最大轮次k。
Perceval和已有方法本质的区别在于它把"过程奖励"从"给步骤打分"转换为"给具体子串贴错误标签"。传统标量RMs把整段响应折叠成一个分数，policy极易通过格式化投机取巧（reward hacking）；Perceval只输出错误span的位置，由调用方决定如何施加惩罚，因此难以被直接骗过。如图1所示，它的输出同时承担训练时的细粒度梯度信号和推理时的可操作纠错建议，这种"一处定义、两处复用"在现有VL-PRM研究中尚未看到。
方法步骤详情
步骤分四块。(1) PRM数据构建四阶段流水线：query从视觉搜索数据集(DeepEyes V*、SophiaVL-R1)采样，rollout用Qwen2.5-VL-7B生成带幻觉响应，标注用Gemini-2.5-Pro逐条claim核验，最终SFT训练PRM backbone。(2) 推理用think-then-answer：先在`think`内分析claim与图像一致性，再在`answer`内返回Python list列出错误span原文。(3) 训练时把PRM输出用精确字符串匹配定位token区间[jk,lk]，构造二值掩码mi,t，按 $\hat{A}'_{i,t} := \hat{A}_i - \alpha \cdot m_{i,t} \cdot |\hat{A}_i|$ 调制GRPO中的A_hat。(4) 测试时Truncate-Regenerate循环：截掉首个错误前缀后让模型续写，最多迭代k次；变体Truncate-Thinking插入反思提示引导自检后再生。
技术新颖性
技术新颖性体现在三个层面。第一，把perceptual claim这一细粒度文本单元引入PRM，比按句切分的step-level PRM更符合"原子级可验证"原则，自动标注成本低且语义对齐强。第二，token级优势重分配公式保留了原始A_hat的符号和大小，仅对幻觉span做对称缩放——A_hat>0时缩小正向信号，A_hat<0时放大约束——避免了完全重写RMs的脆弱性。第三，通过条件式启用PRM（仅感知数据）证明感知微调具备capability transfer效应，这种"以感知换推理"的杠杆作用在VLM-R1、PixelReasoner等以工具为核心的系统中难以观察到。
实验结果
在8个多模态基准上Perceval在3B/7B双规模稳定超GRPO。3B+本文：V*attr 86.95→93.04(k=4)，V*all 85.34→87.96，MathVision 23.36→26.32，ChartQA 83.32→86.48，视觉搜索平均+约4%、数学图表+约3%、感知重推理+约1%。7B+本文：V*pos 82.89→86.84，V*all 84.29→86.39，MathVision 27.96→30.92，BLINK 53.55→54.49。推理时缩放(Table 2)：Truncate策略在k=4/8/16下都优于Major Voting，k=16时V*all达89.53 vs 85.86。alpha消融(Table 3)：alpha=0.1最优，V*=83.25；过小(0.03)信号不足，过大(0.3)过度惩罚子串内良词，性能退化到V*=78.53。奖励黑客测试(图2)：Perceval识别的幻觉比例先降后稳，证明policy没学会欺骗PRM。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| V* attr/pos/all (3B) | 准确率% | 93.04 / 77.63 / 87.96 (k=4 Truncate) | 86.95 / 76.32 / 85.34 (Major Voting) | +6.09 / +1.31 / +2.62 |
| V* all (7B) | 准确率% | 86.39 | 84.29 (GRPO) | +2.10 |
| BLINK (3B/7B) | 准确率% | 48.75 / 54.49 | 49.13 / 53.55 | -0.38 / +0.94 |
| MMStar (3B/7B) | 准确率% | 55.8 / 63.8 | 55.3 / 62.0 | +0.5 / +1.8 |
| MME-RealWorld (3B/7B) | 准确率% | 47.6 / 50.0 | 46.8 / 49.5 | +0.8 / +0.5 |
| RealWorldQA (3B/7B) | 准确率% | 64.9 / 67.4 | 62.1 / 66.4 | +2.8 / +1.0 |
| MathVision (3B/7B) | 准确率% | 26.32 / 30.92 | 23.36 / 27.96 | +2.96 / +2.96 |
| MathVista (3B/7B) | 准确率% | 65.6 / 72.0 | 65.1 / 71.7 | +0.5 / +0.3 |
| ChartQA (3B/7B) | relaxed acc% | 86.48 / 84.44 | 83.32 / 85.16 | +3.16 / -0.72 |
局限与改进
作者承认的局限主要集中在：(1) Perceval高度依赖Gemini-2.5-Pro这类闭源强模型做自动标注，再迁移到Qwen2.5-VL，跨模型信号传递可能存在偏差；(2) 实验只在Qwen2.5-VL系列上验证，对InternVL、LLaVA-OneVision等其它VLM的迁移性未测；(3) 精确字符串匹配错误子串的策略对同义改写、插入空格等鲁棒性差，alpha=0.3子句实验已显示过度惩罚问题；(4) BLINK在3B上出现-0.38的轻微回退，提示细粒度惩罚在某些感知任务上可能反而抑制了正确token的更新。自己观察到的局限：(a) 训练数据中感知任务占多数却缺少更细粒度的领域适配，模型在图表（ChartQA 7B -0.72）和空间关系（V*pos k=4 +1.31有限）上仍有提升空间；(b) Truncate-Regenerate循环k≤16、每次都要再调一次VLM，时间成本是major voting的k倍，但论文未报告端到端延迟；(c) 推理时引入强干预会引入新的失败模式（截到错误前缀后模型可能复读），需要更多故障分析。
独立分析的弱点
独立分析弱点：(1) 错误定位依赖精确字符串匹配，policy改写"dark brown"时匹配失败，整段监督失效；可改用soft span match或token级logits重叠检测。(2) 训练数据以视觉搜索为主，数学数据仍用裸GRPO，alpha=0.1并未对数学任务调参，3B ChartQA -0.72因感知PRM对图表场景误识别过多；改进方向是按任务自适应alpha。(3) Truncate循环k=4→16仅+1.57(87.96→89.53)，说明部分错误无法被截断-再生修复，需引入反思信号或外部视觉工具二次核验。(4) 闭源标注模型不可复现，数据他人无法重建；换成Qwen2.5-VL-72B标注是否同样有效是开放问题。(5) PRM本身错误率(FP/FN)未做量化分析，可能低估policy对PRM噪声的敏感度。
未来方向
作者在结论中提到PRM训练数据和框架均可推广到任意细粒度监督场景，并强调capability transfer值得进一步探索。基于成果可延伸的方向包括：(1) 把感知型PRM拓展到多模态Agent，让tool-use决策也获得token级reward；(2) 把Perceval的输出从Python list升级为更丰富的结构化critique（坐标、对象级mask），与segmentation模型联合训练以实现像素级grounding；(3) 用Perceval作为RLHF数据filter，只保留被PRM标错的样本做DPO，去除对闭源标注模型的依赖；(4) 把感知PRM与online rollout结合，使PRM也能被持续更新，避免policy and PRM drift；(5) 借助alpha的非平稳调度（先小后大或课程式）替代固定alpha=0.1，可能进一步突破性能上限。
复现评估
复现友好度中等偏低。作者承诺开源代码与数据（github.com/RUCAIBox/Perceval），但闭源Gemini-2.5-Pro作为标注器导致数据无法端到端复现——这意味着要复现就得自找替代标注模型（如Qwen2.5-VL-72B），误差会传导到PRM backbone。算力方面，Qwen2.5-VL-3B/7B PRM各需要跑一次完整SFT，policy阶段需要一次RLVR with PRM（条件启用），还要做k=4/8/16多轮的Truncate-Regenerate推理——粗略估计需8×A100级别的多日训练，单卡复现困难。代码已开源、alpha=0.1等关键超参明确，但PRM自动标注prompt和Truncate模板未在正文披露，复现仍需对照GitHub。整体难度对一般研究者偏高。
论文图表