从被动观察到主动评论者：强化学习激发机器人操作的过程推理 From Passive Observer to Active Critic: Reinforcement Learning Elicits Process Reasoning for Robotic Manipulation
用强化学习将视频MLLM转变为主动评论者，实现机器人任务进度精确估计和零样本故障检测
前置知识
多模态大语言模型（MLLM）
MLLM是能够同时理解和处理多种模态信息（如文本、图像、视频）的大型语言模型。它们通过将视觉编码器（如CLIP、ViT）与语言模型（如LLaMA、GPT）相结合，实现跨模态的理解和推理能力。在机器人领域，MLLM可以理解视觉指令、分析环境状态，并生成相应的操作建议。
本文的核心是基于视频MLLM构建过程监督系统，需要理解MLLM如何处理视觉-语言联合表征，以及如何通过特定训练范式（如SFT、RL）增强其推理能力。
稀疏奖励与密集奖励
在强化学习中，稀疏奖励指只在任务完成时提供反馈（如成功+1、失败0），中间步骤没有指导信号；密集奖励则为每个时间步骤提供细粒度的反馈（如距离目标的距离）。在机器人操作中，稀疏奖励容易定义但学习效率低，密集奖励学习效率高但设计困难，通常需要访问真实状态信息。
本文研究的问题正是如何自动生成密集奖励信号来指导机器人长时序任务的学习，这是机器人强化学习的核心瓶颈之一。
思维链（Chain-of-Thought, CoT）
CoT是一种推理方法，要求模型显式地展示其思考过程，从输入逐步推导到最终答案。例如，不直接回答'小明有几只苹果'，而是先说明'初始有3只，吃掉1只，收到2只，所以还剩4只'。CoT能够提高复杂推理任务的准确性，使推理过程可解释、可验证。
本文的核心创新是利用强化学习激发视频MLLM生成显式的思维链，从而提高任务进度估计的准确性和可解释性，使模型从'观察者'转变为'评论者'。
分组相对策略优化（GRPO）
GRPO是PPO（Proximal Policy Optimization）的一种变体，不需要单独训练价值函数critic来估计基线，而是通过采样一组输出来利用组内统计信息（均值、标准差）计算相对优势。这种方法降低了计算开销，特别适合大模型微调。优点是内存效率高，不需要维护价值网络；缺点是依赖采样质量，组内方差大时可能不稳定。
本文采用GRPO作为强化学习算法来激发思维链生成，因为视频MLLM内存消耗大，维护额外价值网络的代价过高，GRPO为这一场景提供了高效的解决方案。
Sim-to-Real迁移
Sim-to-Real指在仿真环境中训练机器人策略，然后将其迁移到真实世界中应用。由于仿真和现实之间存在物理特性差异、传感器噪声、视觉域偏移等差距，直接迁移通常会导致性能显著下降。常用的迁移方法包括域随机化、域适应、元学习等。
本文在Real Humanoid真实人形机器人环境中评估模型的泛化能力，这是一个极具挑战的跨域迁移场景，验证了方法在真实世界中的有效性和鲁棒性。
研究动机
当前视频多模态大语言模型在机器人过程监督中存在根本性缺陷。尽管这些模型在视频描述和问答方面表现出色，但它们主要作为被动的'观察者'，擅长描述正在发生的事情，却缺乏评估任务进展所需的严格定量推理能力。大多数现有方法通过监督微调将进度估计视为标准的回归或分类问题，这导致模型被优化为识别和描述正在发生的事件，而不是测量当前状态与最终任务目标之间的实际距离。这些'观察者'是脆弱的：它们无法泛化到未见过的物体，无法解释其预测，最重要的是，经常因为视觉轨迹与成功运动相似而给失败的尝试分配高的进度分数。具体来说，在AgiBot、BEHAVIOR、RoboTwin等环境中，72B参数的通用MLLM（如Qwen2.5-VL-72B）的平均相对准确度（MRA）仅为73.80，在真实人形机器人环境中甚至下降到62.29。
本文的目标是本文的核心目标是构建一个能够进行严格过程推理的机器人过程监督系统，将视频MLLM从被动的'观察者'转变为主动的'评论者'。具体而言，目标是开发一个框架，使其能够：1）精确估计长时序机器人操作任务中的连续进度，2）解释其推理过程并提供可解释的进度评估，3）泛化到未见过的任务、物体和环境，包括从仿真到真实世界的跨域迁移，4）零样本检测任务执行失败。量化目标是在平均相对准确度（MRA）上显著超越现有方法，同时在故障检测任务上达到超越闭源模型（如OpenAI o1、GPT-4o）的性能。
与已有工作不同的是，本文的独特切入点在于重新定义了视频MLLM在机器人过程监督中的角色，从'识别正在发生什么'转向'评估任务进行得如何'。与现有依赖参考演示（如VLAC、Robo-Dopamine、PROGRESSLM）的方法不同，本文不需要任何预定义的演示轨迹，而是通过激发模型显式的过程推理链来理解任务语义。更重要的是，本文提出了结构化时间输入策略，通过在初始状态和当前状态图像之间明确锚定视频序列，为推理任务提供了清晰的视觉边界条件。这种设计将推理任务从通用时间感知转换为结构化状态对齐验证，利用基础MLLM的语言泛化能力处理不同的评估标准。这一视角转变不仅解决了现有方法在泛化性和可解释性方面的局限，还为自动化奖励信号生成开辟了新路径。
核心方法
PRIMO R1的整体框架采用两阶段训练范式：首先是监督微调（SFT）阶段，使用116k带思维链标注的样本建立基础推理能力；其次是强化学习（RL）阶段，使用182k样本通过分组相对策略优化（GRPO）激发显式的过程推理。输入结构包括四个关键变量：初始状态图像I_init（捕获执行前的环境）、过程视频序列V_seq = {v_1, v_2, ..., v_T}（表示时间状态转换）、当前状态图像I_curr（反映最新观察结果）和语言指令I（指定任务目标）。输出是0到100之间的标量进度指示器y，其中y=0表示初始状态，y=100表示成功状态。模型通过生成显式的思维链C（包含规划、观察、推理三个模块），然后输出最终的进度估计ŷ。强化学习优化目标最大化期望奖励R(ŷ, y_gt)，该奖励仅基于最终预测的准确性计算，这种结构依赖激励策略自组织中间推理C以准确对齐边界状态I_init和I_curr之间的时间转换V_seq。
核心创新点体现在三个方面：1）角色转变，从被动观察到主动评论，通过强化学习激发显式思维链生成，使模型能够自我纠正并解释其预测；2）结构化时间输入策略，通过明确锚定初始状态和当前状态图像，为连续视频序列提供清晰的边界条件，将推理任务从通用时间感知转换为结构化状态对齐验证；3）奖励设计，采用组合奖励函数R = r_fmt + r_acc，其中格式奖励强制模型生成结构化思维链（包含、、三个模块），精度奖励采用有界线性衰减函数，确保密集反馈用于数值推理。这种设计使模型能够理解任务语义，而非简单匹配视觉模式，从而实现更强的泛化能力。与现有依赖参考演示的方法（如VLAC、PROGRESSLM）不同，本文的方法不需要任何预定义的演示轨迹，而是通过语言指令建立目标与执行逻辑之间的结构连接。
方法步骤详情
方法步骤分为三个主要阶段：1）监督微调（SFT）阶段，使用PRIMO-R1-CoT-116k数据集（包含AgiBot、BEHAVIOR、RoboTwin等环境的48,276个轨迹片段，子任务复杂度从1到16步）进行训练。每个样本包含初始状态图像、过程视频序列、当前状态图像、语言指令以及思维链标注。模型学习生成包含三个模块的推理过程：规划模块将高级语义目标分解为线性执行计划，观察模块离散化连续视觉输入并验证部分级对象状态变化，推理模块执行状态对齐。2）强化学习（RL）阶段，使用PRIMO-R1-182k数据集（182,000个样本）进行GRPO训练。对于每个任务元组(I_init, V_seq, I_curr, I)，从策略π_θ_old采样一组G个输出{o_1, o_2, ..., o_G}，每个输出o_i包含推理链C_i和最终进度估计ŷ_i。GRPO通过归一化奖励r_i相对于组分布{r_1, ..., r_G}来计算优势A_i = (r_i - mean({r_1, ..., r_G})) / (std({r_1, ..., r_G}) + ε)。3）推理阶段，输入相同四元组结构，模型生成思维链并输出进度估计。思维链的三个模块协同工作：规划模块建立参考拓扑，观察模块提取特定动态变量，推理模块执行状态对齐并识别精确执行边界，最终通过计算已验证执行步骤与完整参考计划的比例来形成数值预测。
技术新颖性
技术新颖性体现在多个维度：1）范式创新，首次将'R1范式'从静态视觉推理和动态时序定位扩展到机器人过程监督，将任务完成度指标转化为结果奖励来激发可验证、自我纠正的推理路径。2）架构创新，提出三模态输入配置（I_init + V_seq + I_curr），通过明确边界状态建模解决长时序任务中的细节丢失问题。实验表明，与纯时间序列V_seq相比，这种配置在BEHAVIOR数据集上将MAE从34.85降低到22.73，Acc@10从18.33提升到31.83。3）训练策略创新，证明SFT+RL的协同效应：SFT建立基础推理格式（MRA从67.46提升到79.35），RL则增强泛化能力（特别是在跨环境设置中，从67.30提升到72.32）。4）跨任务泛化，优化连续进度推理内在构建了离散故障检测所需的时间上下文表示，在RoboFail基准测试中达到67.0%准确率，超越闭源模型OpenAI o1（61.0%）和GPT-4o（63.0%）。这一发现建立了连续推理和离散验证之间的功能关系，为未来自主策略学习提供了新的奖励信号生成路径。
实验结果
实验结果在四个评估环境（AgiBot、BEHAVIOR、RoboTwin、Real Humanoid）中全面展示了PRIMO R1的优势。在任务进度估计方面，PRIMO R1实现了平均相对准确度（MRA）82.90和平均绝对误差（MAE）15.52，超越所有开源基线。值得注意的是，尽管基于7B参数基础模型，PRIMO R1超越了大规模Qwen2.5-VL-72B模型（平均MRA 73.80）9.10个绝对百分点，并将平均MAE从约27-29降低到15.52（约50%错误率降低）。细粒度误差分析显示，在最终执行阶段（80-100%），基线模型出现严重误差峰值和幻觉，而PRIMO R1在所有阶段保持一致的低错误率。这证明显式过程推理有效防止模型基于轨迹末端的表面视觉相似性过早幻觉任务完成。在Sim-to-Real迁移方面，在未见且高度非结构化的'Real Humanoid'环境中，通用MLLM和视频模型经历严重性能下降（如Qwen2.5-VL-7B下降到56.46 MRA），而PRIMO R1保持强劲的72.32 MRA。消融研究验证了三模态输入配置的必要性：仅使用当前状态I_curr产生最高误差（平均MAE 59.50），仅使用时间序列V_seq降低到36.61，但完整的I_init + V_seq + I_curr配置在BEHAVIOR长时序数据集上达到最佳MAE 22.73。训练动态分析显示，三模态配置比纯时间序列基线加速收敛并达到更高最优奖励，同时将奖励标准差从约0.4降低到约0.2，确保更稳定的优化轨迹。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Task Progress Estimation (Average MRA) | Mean Relative Accuracy (MRA, higher is better) | 82.90 | 73.80 (Qwen2.5-VL-72B) | +9.10 absolute points, 12.3% relative improvement |
| Task Progress Estimation (Average MAE) | Mean Absolute Error (MAE, lower is better) | 15.52 | 27-29 (Specialized baselines) | ~50% error reduction |
| Failure Detection on RoboFail | Accuracy (%) | 67.0% | 61.0% (OpenAI o1), 63.0% (GPT-4o) | +6.0% over OpenAI o1, +4.0% over GPT-4o |
| Sim-to-Real Generalization (Real Humanoid MRA) | Mean Relative Accuracy (MRA, higher is better) | 72.32 | 56.46 (Qwen2.5-VL-7B) | +15.86 absolute points, 28.1% relative improvement |
| In-Domain Performance (BEHAVIOR MRA) | Mean Relative Accuracy (MRA, higher is better) | 87.08 | 69.91 (Qwen2.5-VL-7B) | +17.17 absolute points, 24.6% relative improvement |
| AgiBot Environment MAE | Mean Absolute Error (MAE, lower is better) | 12.33 | 22.56 (Qwen2.5-VL-7B) | -10.23 absolute error reduction, 45.4% relative improvement |
| Cross-Environment Generalization (Real Humanoid) | Mean Relative Accuracy (MRA, higher is better) | 72.32 | 67.30 (SFT-only) | +5.02 absolute points from RL enhancement |
| Final Stage Error Reduction (80-100% progress) | Mean Absolute Error (MAE, lower is better) | Consistently low across all stages | Severe error spikes and hallucinations | Effective mitigation of hallucination in final execution phase |
局限与改进
作者在论文中承认了一些局限性。首先，方法依赖于高分辨率视频输入（256×28×28像素），在计算资源受限的环境中可能不可行。其次，强化学习阶段需要大量的采样（每步32个rollouts，每组8个生成），训练成本较高。第三，当前架构专注于单一agent的操作场景，对于多agent协作任务的扩展性尚未验证。第四，思维链生成虽然提高了可解释性，但增加了推理延迟（平均0.62秒，相比快速基线如Robobrain 7B的0.50秒略有增加）。此外，作者观察到单独使用RL而不经过SFT（RL-only）会产生次优结果（平均MRA 76.72），表明模型难以从头开始自主发现正确的输出格式和结构推理路径。从更广泛的角度看，方法仍然假设初始状态和当前状态图像是可用的，这在某些实时应用中可能不现实。另外，当前的任务进度估计主要集中在视觉轨迹分析上，对于触觉反馈、力传感器等其他模态的整合尚未探索，这些模态对于精确的进度估计可能是关键的。
独立分析的弱点
独立分析显示该方法的几个潜在弱点。首先，计算开销仍然较大：尽管GRPO避免了价值函数网络的内存开销，但强化学习阶段需要大量采样和生成，在资源受限环境中的部署可能受限。改进方向是探索更高效的采样策略（如重要性采样）或蒸馏技术，将大模型的知识转移到小模型。其次，实时性能的权衡：虽然推理延迟0.62秒与快速基线竞争，但思维链生成本质上增加了计算开销，对于需要高频反馈的实时控制（如力控、精细操作）可能不足。可以通过剪枝思维链、提前终止或并行生成来缓解。第三，多模态整合有限：当前方法主要依赖视觉信息，对于触觉、力觉、本体感觉等机器人感知模态的整合不足。未来的改进方向是设计统一的多模态融合架构，充分利用机器人的丰富传感器信息。第四，任务类型局限：当前主要针对顺序任务（如折叠、清洁、分拣），对于并行任务、条件分支任务、循环任务的泛化能力尚未充分验证。可以通过扩展数据集和增强推理模板来覆盖更复杂的任务类型。第五，环境交互缺乏：当前方法是纯观察性的，不与环境交互进行主动信息收集。未来可以结合主动感知，让模型主动选择观察角度或进行试探性操作来减少不确定性。最后，长时序记忆瓶颈：对于超长任务（数百步），当前16-32帧的采样可能丢失关键信息，需要层次化记忆或外部记忆机制。
未来方向
作者提出的未来工作方向包括：1）将PRIMO R1整合到端到端的策略学习框架中，利用生成的密集奖励信号训练底层策略，形成完整的监督闭环；2）扩展到更复杂的场景，如多agent协作、人机协作、动态环境适应；3）探索更高效的训练算法，如离线强化学习、模仿学习与强化学习的结合；4）整合更多的感知模态（触觉、力觉、音频）以提高进度估计的鲁棒性。基于本文成果的可延伸方向包括：1）层次化推理架构，将长时序任务分解为多层次的子目标和子子目标，提高可扩展性；2）自适应帧采样策略，根据任务复杂度和动态变化动态调整采样密度，平衡信息保留和计算效率；3）不确定性量化，为进度估计提供置信区间，使下游策略能够根据不确定性调整行为；4）跨任务知识迁移，通过元学习或任务嵌入实现快速适应新任务；5）在线学习和持续改进，使模型能够在执行过程中根据反馈持续更新其内部模型和推理策略；6）可解释性增强，不仅生成思维链，还提供可视化的状态对齐和关键决策点标识，帮助人类理解和调试系统行为；7）安全性和鲁棒性分析，系统研究模型对抗攻击的脆弱性、分布外行为的检测和缓解策略。
复现评估
论文提供了较为详细的复现信息。实验在配备8个NVIDIA A100（80GB）GPU的计算节点上进行，SFT和RL训练的详细超参数配置分别列在表8和表9中，包括学习率（1.0e-6）、批次大小（SFT全局批次64，RL每设备批次1）、优化策略（adamw）等。训练阶段视频序列限制在最大16帧，帧分辨率128×28×28像素；推理阶段视频长度维持在32帧，帧分辨率提升到256×28×28像素以捕获更精细的视觉细节。数据集统计（表5）详细列出了各环境的任务数量、原始视频数量、子任务复杂度范围和最终处理样本数量，总计150个任务、32,868个原始视频、326,453个处理样本。训练动态（图7）展示了GRPO在不同输入模态下的收敛曲线和奖励方差。然而，论文未明确说明代码和模型权重的开源计划，也未提供推理脚本和数据处理代码的获取方式，这增加了完整复现的难度。对于缺乏同等硬件资源的研究者，复现成本可能较高（需要8张A100 80GB GPU约数天训练时间）。
论文图表
