TOPReward：利用 Token 概率作为机器人零样本奖励的隐式信号 TOPReward: Token Probabilities as Hidden Zero-Shot Rewards for Robotics
从 VLM 的 token 概率中提取隐式任务进度信号，实现零样本机器人奖励估计
前置知识
视觉语言动作模型 (VLA)
VLA 是一类将视觉感知、语言理解和动作生成统一到单一框架中的机器人策略模型。典型代表包括 OpenVLA、π0 等，它们通过大规模预训练学会将视觉观测和语言指令映射为机器人动作序列。VLA 的核心能力在于从互联网规模的视觉-语言数据中学习通用的世界知识，然后迁移到机器人操控任务中。然而，仅靠行为克隆（模仿学习）往往难以达到真正泛化的性能，因此研究者开始探索用强化学习（RL）来进一步微调这些模型。
本文的核心贡献就是为 VLA 模型提供一种零样本的奖励信号，使其能够通过 RL 进一步优化，而无需人工设计奖励函数。
过程奖励模型 (Process Reward Model)
过程奖励模型是一种为机器人任务提供密集、逐步反馈的学习模型。与稀疏的成功/失败二元奖励不同，过程奖励模型估计任务在每个时间步的完成进度（progress），产生一个随时间单调递增的值函数信号。这使得强化学习算法能够获得更丰富的训练信号，显著提高样本效率。现有方法如 RoboReward 和 RoboDopamine 通过在大规模机器人数据集上微调 VLM 来训练这类模型，但需要大量领域特定数据。
TOPReward 本质上就是一个零样本的过程奖励模型，它不需要任何训练数据就能估计任务进度，这是对现有需要大量标注数据的方法的根本性突破。
Value-Order Correlation (VOC)
VOC 是衡量进度估计质量的标准指标，定义为预测值序列与视频帧时间顺序之间的 Spearman 秩相关系数。VOC 的取值范围为 [-1, 1]，其中 1 表示预测顺序与真实时间顺序完全一致，-1 表示完全相反。该指标只关注预测值的相对排序而非绝对数值，因此即使预测值的绝对范围不同，只要时间上的单调性保持良好就能获得高分。VOC 是当前评估零样本进度估计方法的主要基准指标。
本文的核心实验结果都是以 VOC 为主要指标报告的，理解 VOC 的含义对于解读实验数据至关重要。
Token 概率与对数概率
在自回归语言模型中，给定前文上下文，模型会对词汇表中每个 token 输出一个概率分布。Token 概率 p(token | context) 反映了模型对该 token 在当前上下文中出现可能性的估计。对数概率 log p(token | context) 是概率的对数值，范围为负无穷到零，值越大（越接近 0）表示模型越确信该 token 是正确的下一个输出。NLP 研究已经表明，模型的内部 token 概率往往比其生成的文本更能反映模型对事实的真实置信度。
TOPReward 的核心创新就是利用 VLM 对 True token 的对数概率作为奖励信号，而不是让模型以文本形式输出进度数值。
优势加权行为克隆 (Advantage-Weighted Regression, AWR)
AWR 是一种离线策略强化学习方法，其核心思想是根据每个状态-动作对的优势值（advantage）来加权行为克隆的损失函数。优势值衡量的是某个动作相对于平均水平的好坏程度：好的动作获得更高的权重，差的动作获得更低的权重。这种方法的优势在于简单且稳定，不需要在线交互。
本文使用 TOPReward 计算的优势值来进行 AWR 微调，在 6 个真实机器人任务上验证了该奖励信号的实际价值。
研究动机
当前机器人强化学习面临一个核心瓶颈：真实世界中的奖励信号极其稀疏且获取成本高昂。传统方法依赖人工设计的奖励函数，每个任务都需要单独设计，难以规模化，且在分布偏移下表现脆弱。为解决这一问题，研究社区转向开发通用的过程奖励模型，通过微调 VLM 来预测任务进度。然而，这些方法仍然存在严重局限：RoboDopamine 需要在 3400+ 小时的操作数据上训练奖励模型，且迁移到新任务时仍需额外的示范数据；RoboReward 在不同机器人平台和视角之间存在明显的性能差距，泛化能力有限。更关键的是，GVL（当前最先进的免训练方法）在开源 VLM 上几乎完全失效——在 Qwen3-VL-8B 上仅获得 0.194 的 VOC，在 Molmo2-8B 上更是接近零甚至为负值，而在 Gemini 等闭源模型上却能达到 0.541。这导致研究者普遍认为开源 VLM 不适合机器人奖励建模。
本文的目标是本文的目标是证明开源 VLM 完全具备作为零样本奖励模型的潜力，关键在于找到正确的信号提取方式。具体而言，作者希望：（1）设计一种不依赖文本生成的进度估计方法，绕开 VLM 在数值输出上的校准问题；（2）在 130+ 个真实机器人任务和多个机器人平台上验证该方法的零样本泛化能力；（3）将该奖励信号成功应用于下游任务，包括成功检测和策略微调，证明其实际价值。量化目标是在开源 VLM 上实现与闭源模型可比甚至更优的 VOC 分数。
与已有工作不同的是，本文的独特切入角度在于一个深刻的观察：开源 VLM 在 GVL 上失败的原因不是缺乏视频理解能力，而是文本输出的表示瓶颈。LLM 在生成精确数值时存在众所周知的校准问题，指令遵循能力也参差不齐。但这些模型的内部表征——token 概率分布——可能已经隐含了对任务完成度的准确估计。TOPReward 抓住了这个被忽视的点：与其要求模型用文字表达它知道什么，不如直接读取它内心的概率分布来获取信号。这一视角将问题从「如何让模型更好地生成数值」转变为「如何从模型的内部状态中提取已有知识」。
核心方法
TOPReward 的核心直觉可以用一个类比理解：想象你在问一个专家「这个任务完成了吗？」，与其听他用语言描述一个百分比数字（可能不准确），不如观察他在回答「是」或「否」时的犹豫程度——如果他非常确信地说「是」，说明任务确实完成了；如果他在「是」和「否」之间犹豫不决，说明任务可能只完成了一部分。技术上，TOPReward 向 VLM 展示一段机器人轨迹视频和对应的任务指令，然后提问「上述视频展示的机器人操作轨迹是否完成了以下任务？」，并计算模型对 True token 的对数概率作为奖励信号。通过在轨迹的不同前缀位置重复这一过程，可以得到一条随时间单调递增的进度曲线。整个方法完全不需要额外训练或微调。
TOPReward 与 GVL 等已有方法的本质区别在于信号提取方式。GVL 要求 VLM 以文本形式输出 0 到 1 之间的进度数值，这需要模型同时具备强大的指令遵循能力和精确的数值生成能力——而这恰恰是开源 VLM 的短板。TOPReward 则完全绕开了文本生成过程，直接从模型的内部 token 概率分布中提取信号。具体来说，它构造一个二元判断任务（True/False），然后读取模型对 True token 的概率。这个概率值天然地反映了模型认为当前轨迹前缀完成任务的置信度。选择 True 而非其他 token 是因为实验表明它在成功和失败轨迹之间具有最大的绝对概率差异。这种方法的优雅之处在于：它不需要模型「说出」它知道什么，而是直接「读取」它知道什么。
方法步骤详情
TOPReward 的完整流程如下。第一步，给定一个任务指令 x 和一段视频轨迹（按时间顺序排列的帧），构造一个 prompt，包含视频标记、任务指令描述以及判断提示「上述陈述是否为 True」。第二步，在轨迹的 K 个均匀间隔的前缀位置分别进行前向传播，计算对数概率 r_t = log p(True | context)，其中 context 表示视频条件化的文本上下文。这需要 K 次模型前向传播。第三步，使用 min-max 归一化将奖励映射到 [0, 1] 范围：s_tk = (r_tk - min r) / (max r - min r + epsilon)，得到每条轨迹内部可比较的进度估计。第四步，当需要逐步密集奖励时，计算进度增量 delta_tk = clip(tau * exp(s_tk - s_tk-1), min=0, max=delta_max)，其中 tau 是缩放因子用于控制好动作和坏动作之间的权重差异，delta_max 是最大允许奖励以防止模型过度关注少数动作。
技术新颖性
TOPReward 的技术新颖性体现在三个层面。首先，在方法论层面，它是第一个将 VLM 的 token 概率作为机器人任务奖励信号的工作，将 NLP 中关于「模型内部状态比生成文本更可靠」的发现创造性地应用到机器人奖励建模中。其次，在问题建模层面，它将进度估计从「数值生成」问题重新定义为「二元判断 + 概率读取」问题，从根本上规避了 LLM 数值生成不准确的已知缺陷。第三，在实践层面，它揭示了一个反直觉的发现：开源 VLM 其实已经具备了足够的视频理解能力来做进度估计，只是之前的提取方式（文本输出）掩盖了这一能力。此外，作者还发现不使用 chat template 能显著提升性能（Qwen3-VL-8B 上提升约 47%），这表明进度估计任务与模型的下一词预测预训练目标更加对齐。
实验结果
TOPReward 在多个维度上展示了卓越的零样本进度估计能力。在 Open X-Embodiment 数据集（39 个数据集，每个 20 条轨迹，共 780 条）上，Qwen3-VL-8B 版本的 TOPReward 达到 0.857 的平均 VOC，相比 GVL 的 0.194 提升了 +0.663；Molmo2-8B 版本达到 0.417，相比 GVL 的 -0.016 提升了 +0.433。在本文新提出的 ManiRewardBench 基准（113 个任务，497 条轨迹，4 个机器人平台）上，Qwen3-VL-8B 的 TOPReward 在所有四个数据集上都取得了 0.942 到 0.954 的高度一致的 VOC 分数，而 GVL 在同一模型上的表现仅为 0.164 到 0.544，且在 Molmo2-8B 上接近零或为负。在成功检测任务中，将 TOPReward 用作二元分类器（使用最后 3 个采样帧的平均对数概率），Qwen3-VL-8B 的 ROC-AUC 达到 0.654，而 GVL 仅为 0.519（接近随机水平），提升了 +0.135。在真实世界部署中，使用 TOPReward 进行优势加权行为克隆在 6 个 SO-100 操控任务上一致性地超越标准行为克隆，其中 Place doll in box 任务从 BC 的 7/10 成功率提升到 10/10，Pick up cube 同样从 7/10 提升到 10/10，Stack red cube on green cube 从 1 提升到 6.33。在 Gemini-2.5-Pro 上，TOPReward 的表现（0.433）低于 GVL（0.541），消融实验表明这是由于 Gemini API 强制使用 chat template 导致的，而非方法本身的缺陷。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Open X-Embodiment (39数据集, Qwen3-VL-8B) | Mean VOC | 0.857 | GVL: 0.194 | +0.663 |
| Open X-Embodiment (39数据集, Molmo2-8B) | Mean VOC | 0.417 | GVL: -0.016 | +0.433 |
| ManiRewardBench (113任务, Qwen3-VL-8B) | Mean VOC | 0.947 | GVL: ~0.3 | +0.65 |
| ManiRewardBench (113任务, Molmo2-8B) | Mean VOC | 0.616 | GVL: ~0.0 | +0.6 |
| 成功检测 (Qwen3-VL-8B) | ROC-AUC | 0.654 | GVL: 0.519 | +0.135 |
| Place doll in box (SO-100) | Partial Success (max 10) | 10 | BC: 7 | +3 |
| Pick up cube (SO-100) | Partial Success (max 10) | 10 | BC: 7 | +3 |
| Stack red cube on green cube (SO-100) | Partial Success (max 10) | 6.33 | BC: 1 | +5.33 |
局限与改进
本文存在几个值得深入讨论的局限性。首先，TOPReward 继承了底层 VLM 的视觉感知缺陷：对于需要精细空间推理的任务（如精确对齐或小物体操控），当模型无法在视觉上区分中间状态时，进度估计会产生噪声。其次，min-max 归一化是逐条轨迹进行的，这意味着不同轨迹之间的绝对进度值无法直接比较——一条完成 30% 的轨迹和一条完成 80% 的轨迹经过归一化后可能看起来一样好。虽然成功检测实验表明整个轨迹的绝对概率可以用于跨轨迹的质量比较，但逐步的绝对比较仍然受限。第三，在 Gemini-2.5-Pro 上的性能下降暴露了方法对 prompt 格式的敏感性——chat template 会使 Qwen3-VL-8B 的 VOC 下降约 47%，Molmo2-8B 下降约 20%。这意味着在实际部署中需要仔细调优 prompt 格式。最后，ManiRewardBench 的数据集是受控访问的，这在一定程度上限制了独立研究者复现和比较结果的能力。
独立分析的弱点
从独立分析的角度，TOPReward 存在以下几个值得关注的弱点。第一，进度增量的计算引入了两个超参数 tau 和 delta_max，论文中固定使用 tau=2.0 和 delta_max=2.0，但未讨论这些超参数对不同任务的敏感性。在复杂长周期任务中，固定的缩放因子可能导致奖励信号的动态范围不够灵活。改进方向是自适应地根据轨迹长度和任务复杂度调整这些参数。第二，该方法需要对每条轨迹进行 K 次前向传播，计算成本与采样的前缀数量线性相关。对于需要实时奖励的在线 RL 场景，这可能成为瓶颈。可以通过自适应采样策略（在进度变化大的区域加密采样）来降低计算量。第三，选择 True 作为完成 token 是基于经验观察的，但不同 VLM 的词表结构可能不同，True 不一定总是单个 token 或最优选择。一个更鲁棒的方案是自动搜索最优的完成 token 或使用多个 token 的加权组合。第四，方法对视觉上相似但语义不同的中间状态缺乏区分能力，例如机器人手在目标物体附近但尚未抓住的场景，可能需要结合更细粒度的空间推理能力。
未来方向
基于 TOPReward 的成果，有几个有前景的未来研究方向。首先，作者提出的方向是利用更强大的视频 VLM 骨干——随着开源视频理解模型的持续进步（如 Qwen3-VL 的后续版本），TOPReward 的性能应该会自动提升，这是一个免费午餐式的优势。其次，可以将 TOPReward 与在线 RL 结合，实现实时的策略优化闭环，而不仅限于离线 AWR。第三，概率信号的天然校准特性使其非常适合用于多任务学习中的课程设计——可以根据进度估计的置信度自动选择最适合当前策略水平的训练任务。第四，TOPReward 的思想可以扩展到其他需要评估状态质量的场景，如视频理解中的事件检测、自动驾驶中的场景评估等。最后，将该方法与视觉 grounding 技术结合，可能解决当前方法在精细空间推理任务上的局限。
复现评估
从复现角度来看，TOPReward 具有中等的复现难度。有利的方面：（1）核心方法非常简洁，只需对预训练 VLM 进行前向传播并读取 token 概率，不需要额外训练或微调；（2）使用的 VLM 骨干（Qwen3-VL-8B、Molmo2-8B）都是开源的，可以直接下载使用；（3）实验中使用了公开的 Open X-Embodiment 数据集进行评估，该数据集广泛可用；（4）论文提供了足够详细的方法描述，包括 prompt 模板、归一化公式和密集奖励构造方式。不利的方面：（1）ManiRewardBench 基准数据集是受控访问的，需要通过评估协议申请，这限制了在该基准上的独立验证；（2）对 Gemini 的评估依赖闭源 API，且 API 的行为（如强制 chat template）可能随时间变化；（3）需要一定的 GPU 资源来运行 8B 参数的 VLM 推理，但相比训练奖励模型的方法算力需求已经大幅降低。总体而言，对于有 ML 工程经验的研究者，在已有 VLM 基础设施上复现核心结果应该在 1 到 2 天内可以完成。
论文图表
