VeriFine：面向具身推理自我提升的验证规模化框架 VeriFine: Scaling Verification for Self-Improvement in Embodied Reasoning
策略、训练课程与裁判共进化，规模化验证能力驱动具身推理持续自我提升。
前置知识
LLM-as-a-Judge（裁判模型）
用一个（通常更强的）模型来评估另一个模型输出的质量。裁判可以输出单一总分，也可以输出结构化的多维评分。本文的关键区分是参考式裁判（需要人工标注的标准答案做比对）与无参考裁判（直接从原始上下文判断）。无参考裁判不需要昂贵的参考标注，因此可以在海量数据上规模化使用。
VeriFine 的整个框架建立在无参考 rubric 裁判之上，它是策略优化的奖励来源、训练课程的选择依据和人类校准的接口，读懂裁判设计才能理解双循环如何闭环。
奖励劫持（Reward Hacking）与验证边界
当奖励模型（裁判）自身不完美时，被优化的策略会学会钻奖励函数的空子——输出在裁判处得分很高但实际质量很差。论文把裁判能有效分辨好坏输出的能力范围称为有效验证边界：一旦策略逼近或越过这条边界，奖励信号开始失真，训练可能不升反降。
验证边界正是触发裁判提升循环的依据：策略改进停滞且裁判奖励与真实性能脱钩时，说明当前裁判到边界了，需要人类介入校准。
GRPO 与强化微调（RFT）
GRPO（Group Relative Policy Optimization）是一种策略梯度强化学习算法：对每个提示采样一组（本文 K=16 个）候选输出，用组内相对优势代替价值网络来估计优势函数，配合 KL 散度正则防止策略偏离参考策略太远。用强化学习在可验证奖励之外（如模型打分）微调大模型的做法统称强化微调 RFT。
驾驶推理实验用 GRPO 把裁判总分直接当作奖励来优化 8B 策略模型，理解组采样与 KL 正则才能看懂实验设置和公式。
Rubric（评分量表）
把抽象的好/坏判断拆解为一组明确的评分维度和判定标准。本文的驾驶 rubric 包含五个二元维度：动作匹配、安全性、视觉接地（声称是否有可见证据支撑）、要素完备性、因果解释，每个维度打 0/1 分后按加权规则聚合成总分。结构化维度让裁判的每次判断可诊断、可修正、可校准。
共主动校准的粒度就是单个 rubric 维度：人类可以只修正某一个维度的判定标准，agent 再迭代修订 rubric，这是整个裁判进化机制的载体。
教师-学生蒸馏
让一个强大但昂贵的教师模型生成标注，再训练一个小型学生模型去模仿教师的输出，从而在推理时以极低成本获得接近教师的能力。本文中 Claude Opus 5 作为教师按 rubric 打分，其标注被蒸馏进 Qwen3-VL 2B 的分类头学生，推理延迟从 20.92 秒/样本降到 0.07 秒/样本（约 300 倍加速）。
GRPO 训练需要高频调用裁判打分，前沿 VLM 教师根本负担不起；师生分工是让整个自我提升循环在算力上可行的关键工程设计。
课程学习与自适应数据选择
不用随机抽样的方式训练，而是根据学习者的当前状态挑选最有价值的数据：优先练习薄弱环节，同时过滤掉不可靠或已完全掌握的样本。随着学习者进步，课程需要动态更新，否则训练分布会被已解决的样本主导，学习信号枯竭。
策略提升循环的核心就是把裁判诊断出的失败模式翻译成数据选择规则，从 40 万候选池中选出 2.5 万条高价值课程，这是论文消融实验证明收益最大的组件之一。
研究动机
自我提升范式中，策略每次更新都会暴露新的失败模式，而绝大多数现有系统依赖固定不变的裁判模型。当策略性能逼近甚至超过裁判的有效验证边界时，优化反馈开始失真，论文指出这会引发奖励劫持、分布漂移甚至性能退化；同时静态训练集中已被策略解决的样本占比越来越高，可用的学习信号迅速枯竭。这一问题在具身推理中尤其尖锐：可靠的评估必须同时覆盖空间接地（声称是否来自可见证据）、时序理解、因果推理与安全决策。现有驾驶推理评估器大多依赖受限的问答格式和昂贵的人工参考标注，例如 LingoJudge 只把候选推理与人类文本比对、完全不使用视觉信息；机器人侧的裁判模型则主要评估轨迹质量或任务完成度而非推理本身。对自由形式具身推理的直接、免参考验证基本处于空白，参考式评估既难以规模化，又对标注噪声高度敏感。
本文的目标是本文要回答的核心问题是：如何规模化验证，使裁判、训练课程与策略三者共进化、持续把性能边界往外推。具体目标分三层。其一，构建一个无参考的 rubric 裁判 VeriFine-Judge，直接从物理上下文评估自由形式推理，输出总体分、结构化诊断分和解释，摆脱对人工参考推理的依赖。其二，设计策略提升循环（PIL）：用裁判诊断反复出现的失败模式、构建自适应课程并优化策略，全程无需人工干预。其三，设计裁判提升循环（JIL）：当改进进入平台期、验证成为瓶颈时，只对信息量大的失败案例选择性发起人类查询，通过共主动校准精炼裁判，再让新裁判指导下一轮数据选择与策略优化。作者要求该框架同时适用于驾驶推理（GRPO 强化微调）与机器人导航（监督微调）两种任务与优化方式，以证明其通用性。
与已有工作不同的是，独特的切入角度在于把验证本身当作需要规模化的对象，而非一个孤立的评分器。已有工作要么只改进策略、要么只改进裁判的某个单一角色，没有把自适应数据选择、策略优化、裁判演化与选择性人类校准闭成一个反馈环。VeriFine 的三个差异化设计：第一，无参考 rubric 裁判——具身决策存在多个合理未来，裁判可以直接依据物理上下文给有接地、安全但不同于人类记录行为的输出加分，天然规避参考标注噪声；第二，把人类指导建模为共主动校准（coactive calibration），人不被当作无误的神谕，人机围绕分歧案例迭代澄清，共同收敛到物理推理的客观 rubric，人类此前的评分甚至可以被修正；第三，教师-学生蒸馏架构，解决前沿 VLM 裁判太贵太慢、无法支撑大规模强化微调的现实约束。
核心方法
直觉上像运动员与教练共同成长：教练（裁判）指出运动员（策略）的短板并挑选训练科目（课程），当教练判断力跟不上运动员水平时，再请资深专家（人类）帮教练校准眼光，之后继续训练。技术上，VeriFine 把系统形式化为策略 $\pi_{\theta_t}$、裁判 $J_{\varphi_t}$ 与候选数据池 $\mathcal{U}$ 的迭代共进化：策略提升循环执行 $\mathcal{D}_t=\mathrm{CurriculumSelect}(\mathcal{U},\pi_{\theta_t},J_{\varphi_t})$ 与 $\theta_{t+1}=\mathrm{PolicyUpdate}(\theta_t,\mathcal{D}_t,J_{\varphi_t})$；裁判对每个样本输出三元组 $(s_i, \mathbf{z}_i, e_i)$，即总分、结构化诊断分与评估解释。裁判采用教师-学生设计：Claude Opus 5 作为教师，与人类共校准 rubric，其评估能力再蒸馏到 Qwen3-VL 2B 分类头学生，以支撑强化微调中的高频奖励计算。当锚定评估集上的改进进入平台期且裁判-性能差异 $G_t$ 变大时，触发裁判提升循环，选择性采集人类指导并更新裁判，然后进入下一轮，如此往复。
核心创新有三点。第一，验证基板（verification substrate）：无参考 rubric 裁判被当作连接策略优化、课程构建与人类指导的共享接口，同一个裁判既提供 GRPO 奖励又决定训练集成员资格，这使失败模式到数据选择再到策略更新、再到新失败模式的链条能首尾衔接成飞轮。第二，共主动校准：与把人类标注当 ground truth 的传统做法相反，人类专家先对裁判评分做粗校准，agent 随后自主提出、评估并选择 rubric 修订；当对齐增益停滞时才把分歧案例连同诊断分与解释呈给人类，人类可以确认评估、修正单个维度、澄清模糊标准、甚至修改自己此前的打分，双方反复暴露分歧直至收敛到共享的隐式 rubric。第三，边界检测触发器：用固定参考式锚定评估集监控策略，滑动平均进度 $\Delta P_t$ 小说明改进停滞，$G_t$ 大说明裁判奖励已不再对应真实性能提升，以此精准决定何时才需要人类介入，把人工成本压到最低。
方法步骤详情
完整流程分七步。第一步，在冻结的专家校验锚定集 $\mathcal{P}$（驾驶 2,134 条，独立测试集 2,772 条）上让当前策略生成推理与动作。第二步，裁判输出结构化评估 $\mathcal{E}_t=\{(x_i,\hat{y}_i,s_i,\mathbf{z}_i)\}$，agent 跨场景与 rubric 维度聚合，区分系统性错误与孤立失败。第三步，把失败模式翻译成基于目标质量、可学习性与类别的排序规则，从 40 万候选池选出 2.5 万条课程（导航每轮保留 1.3 万条）。第四步，策略优化：驾驶用 GRPO，奖励为裁判总分减 $\beta D_{\mathrm{KL}}$ 正则（每次 32 提示 $\times$ 16 rollouts，共 2,700 步，学习率 $1\times10^{-5}$，KL 系数 0.02，20 个 H100 节点）；导航用 SFT，裁判分只决定训练集成员资格，最小化 $-\mathbb{E}[\log \pi_\theta(y_i^\star|x_i)]$。第五步，每 150 步在 $\mathcal{P}$ 上做边界检查（窗口 $K=4$，阈值 0.5）。第六步，触发后从新策略 rollout 构建查询集 $\mathcal{H}_t$（刻意保留正负样本以标定决策边界），累积为 $\mathcal{J}_t=\mathcal{J}_{t-1}\cup\mathcal{H}_t$，人类粗校准后 agent 迭代修订 rubric（每轮至多 20 个版本），只在当前批次提升且不回退旧案例时接受修订。第七步，把新 rubric 下教师标注的 3.5 万样本蒸馏进学生裁判，进入下一轮。驾驶 rubric 用五个二元维度 $z=(z^{\mathrm{match}}, z^{\mathrm{safe}}, z^{\mathrm{ground}}, z^{\mathrm{complete}}, z^{\mathrm{causal}})$：动作分带硬门控，$z^{\mathrm{match}}=0$ 时 $A^{\mathrm{Driving}}=0$，否则 $A=\frac{1}{2}(z^{\mathrm{match}}+z^{\mathrm{safe}})$；组件分 $C=\frac{1}{3}(z^{\mathrm{ground}}+z^{\mathrm{complete}}+z^{\mathrm{causal}})$；总分 $s=0.6A+0.4C$。导航 rubric 为 $s=z^{\mathrm{safe}}(0.6z^{\mathrm{goal}}+0.4C)$，不安全动作直接清零。
技术新颖性
技术新颖性体现在四个层面。其一，共进化问题设定本身：已有的策略-裁判共同改进工作多停留在交替训练，VeriFine 把训练课程也纳入循环，并用固定每策略训练预算、相同基座初始化的系统级协议证明收益来自验证与课程的协同而非额外算力。其二，聚合函数编码任务先验：驾驶用动作匹配硬门控防止答非所问却得高分，同时保留组件分以区分看懂了但动作错的情况；导航用安全乘法门控体现安全是不可协商的前提，这种不对称设计直接来自具身任务的结构差异。其三，师生分工的工程洞见：消融显示分类头加 rubric 子分数的学生（$r=0.82$，0.07 秒/样本）显著优于生成式输出（相关性仅多 0.01 却有 5 倍以上延迟），PAI-AV 具身预训练最多带来 8% 的相关性提升，说明物理世界先验对裁判学习有实质价值。其四，实证发现无参考裁判比参考式更适合具身评估：它能认可与记录行为不同但合理安全的替代未来，RF 评估口径下相对增益 22.2% 高于 RB 口径的 18.2%。
实验结果
驾驶推理主实验经三轮自提升后：在固定参考式评估器下策略推理分从 60.56 升至 71.61（相对提升 18.2%），在最终无参考评估器下从 68.05 升至 83.13（提升 22.2%），同时取得最低的 minADE6 1.029 米与 ADE 2.117 米（基座为 1.049/2.139），而训练中并无任何动作奖励。表 1 消融显示：随机课程加 LingoJudge 奖励仅 63.45 分；换用 VeriFine-Judge-RB 兼任课程与奖励裁判达 67.70；无参考裁判的第一轮已达 67.30，与最强参考式配置相当，第三轮超出最强参考式基线 5.8%。表 2 课程消融中，固定每轮奖励裁判，judge 引导选择比随机选择分别提升 14.6%、8.1%、4.5%（R1 至 R3）。裁判侧：教师与人类的 Pearson 相关从 0.55 升至 0.85，MAE 从 0.25 降至 0.13；最终学生 $r=0.82$、MAE 0.17，与参考式 VeriFine-Judge-RB（0.82/0.16）相当、显著优于 LingoJudge（0.65/0.23）；固定 Opus 5 骨干时共主动校准把相关性从 0.67 提到 0.85，证明收益来自校准而非换更强的骨干。验证边界扩展的直接证据：R1 学生在第一轮测试子集上 $r=0.72$，但在后来的挑战性子集上骤降至 0.07，R2 校准后回升到 0.74；R3 在累积集上把汇总相关性从 0.71 提到 0.82。测试时扩展实验用独立策略在 401 个场景各生成 6 个候选，预算为 6 时最终裁判选出人类评分 78.6 的输出，优于 R2 裁判与 LingoJudge、接近参考式裁判，说明进化后的验证能力可泛化到训练循环之外。机器人导航（SFT 设定）中策略推理分从 68.09 提升到 77.59（+14%），裁判-人类相关性接近 0.85，定性案例显示策略修正了转向、目标理解与停止决策。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 驾驶推理策略（参考式评估器） | Reasoning Score (RB) | 71.61（三轮自提升后） | 60.56（基座策略） | +18.2% |
| 驾驶推理策略（无参考评估器） | Reasoning Score (RF) | 83.13 | 68.05（基座策略） | +22.2% |
| 驾驶推理裁判与人类对齐 | Pearson r / MAE | 0.82 / 0.17（学生），0.85 / 0.13（教师） | 0.65 / 0.23（LingoJudge） | 相关性 +0.17，误差 -0.06 |
| 驾驶推理课程选择消融（R1） | Reasoning Score (RB) | 67.30（judge 引导选择） | 58.71（随机选择） | +14.6% |
| 驾驶轨迹预测精度 | minADE6 / ADE (m) | 1.029 / 2.117 | 1.049 / 2.139（基座策略） | 两项指标均为全场最低 |
| 测试时扩展候选选择（6 选 1） | 被选候选的人类评分 | 78.6（最终裁判，401 场景） | 随机选择、LingoJudge、R2 裁判均更低 | 接近人类 oracle 与参考式裁判上限 |
| 机器人导航策略（SFT） | Reasoning Score | 77.59 | 68.09（初始策略） | +14% |
局限与改进
作者承认的局限有三条：策略评估集固定不变，虽保证了跨轮可比的锚点，但无法随策略失败分布演化提供越来越有信息量的失败发现信号；框架仍依赖推理标注数据，无参考裁判虽能在训练中过滤低质量样本，策略评估所用的参考推理仍需人工校验；共主动校准虽已把人类专长固化进 rubric、减少重复查询，但例行的人类指导仍然不可省略。我自己的观察补充：其一，主实验数据是 200 万段跨 25 个国家的内部驾驶数据集，外界无法复现完整闭环；其二，裁判测试集仅 732 条，且由参与校准流程的同一批专家体系构建，存在一定的循环性风险；其三，驾驶评估是对离线片段的推理打分，并未验证策略在闭环驾驶中的真实行为改善，ADE/minADE6 也只是开环轨迹指标；其四，rubric 维度（驾驶 5 个、导航 4 个二元项）由人工手写，迁移到全新任务需要重新设计；其五，触发判据依赖固定的 DeBERTa 交叉编码器评估器，这个锚点自身的上限未被讨论。
独立分析的弱点
第一，二元 rubric 粒度过粗：$z^{\mathrm{safe}}$ 只有 0/1 两档，减速 5 米与减速 50 米的安全性差别无法体现，难以区分险情等级。改进方向是引入多级或连续子分数，或在门控内叠加严重度权重。第二，学生裁判蒸馏自单一教师（Opus 5），教师的系统性偏见会被继承并放大进奖励信号，长期自我提升可能出现裁判与策略的共谋漂移；可引入多教师交叉标注、分歧加权或不确定性校准来缓解。第三，人类校准样本量很小（$\mathcal{H}_1$ 433 条、$\mathcal{H}_2$ 179 条），覆盖的失败模式有限，遇到分布外场景时裁判可能自信地出错；可结合主动学习与不确定性估计扩大查询覆盖。第四，评估是离线开环的：推理分提高不等于闭环驾驶更安全，论文未报告闭环碰撞率或接管率，应在仿真闭环中验证端到端行为。第五，系统复杂度高：两个循环、教师 API、学生蒸馏、锚定评估器与 GRPO 集群并存，组件间的误差传播和责任定位困难，缺乏对哪一环出了问题的诊断工具。第六，边界检测的超参（窗口 $K=4$、阈值 0.5、每 150 步检查一次）为手工设定，跨任务与跨数据分布的鲁棒性存疑，可考虑自适应阈值或统计检验。
未来方向
作者提出三个方向：引入随策略与裁判共同演化的自适应策略评估集，同时保留固定测试集用于可比报告；联合进化一个推理标注器，利用结构化裁判反馈生成并精炼参考推理，摆脱对人工校验参考的依赖；把人类修正、指令与 rubric 修订蒸馏成可复用的指导模型，最终实现无需常规人工介入的持续裁判改进。基于本文成果还可进一步延伸：把共主动校准迁移到闭环仿真与真实机器人在线学习，让验证直接约束行为安全；扩展到多智能体交互场景（如会车与协商），rubric 需加入社交合理性维度；探索 rubric 的自动生成与剪枝，降低跨任务迁移的人力成本；把验证边界检测加选择性人类查询的机制抽象为通用自提升协议，应用于代码生成、医疗问答等非充分验证领域；从理论上刻画裁判与策略共进化的收敛性与奖励劫持的渐近风险上界。
复现评估
复现难度：高。核心障碍是数据与部分模型闭源：200 万段跨 25 国的内部驾驶推理数据集、专家校验的锚定与测试集、教师模型 Claude Opus 5（API 付费）以及内部 PAI-AV 预训练权重均不对外。算力门槛也不低：驾驶 GRPO 在 20 个 H100 节点上训练 2,700 步，参考式裁判在约 50 万参考-候选对上训练用了 16 张 H100，学生裁判训练需 8 张 H100 和 3.5 万教师标注样本。可以复现的部分：机器人导航实验基于公开的 VLNVerse 仿真基准与开源的 Qwen3-VL 2B，策略评估/测试集仅 182/220 条、裁判集 281 条，规模小、成本低；LingoQA、DeBERTa-v3、GRPO 等组件均已开源；论文提及项目网站但正文未给出代码开源承诺。总体而言，导航分支有望以中等成本复现，而驾驶主结果在缺乏内部数据的情况下基本只能做定性复现或以公开数据集近似替代。
论文图表