面向对象的残差强化学习用于零样本仿真到现实VLA增强 Object-Centric Residual RL for Zero-Shot Sim-to-Real VLA Enhancement

方法分为三个完整阶段。阶段1：成对仿真/现实VLA构建。标准VLA微调在真实机器人上收集30次遥操作示教，训练真实VLA $\pi_{VLA}^{real}$。本文扩展这个流程，将相同的遥操作动作在仿真环境（MuJoCo）中重放，渲染平行的仿真数据集，训练仿真VLA $\pi_{VLA}^{sim}$。由于两个VLA由相同的遥操作动作监督，尽管看到不同视觉领域，但学习到对齐的动作分布。阶段2：以对象为中心的残差RL训练。观察空间定义为$s_t = [s_{obj}^t, s_{prop}^t, a_{base}^t]$，其中$s_{obj}^t$是任务相关对象的6-DoF姿态（位置和方向），$s_{prop}^t$是本体感知状态，$a_{base}^t$是从VLA动作块读取的当前基础动作。对于多对象任务（如Stack Cube），所有任务相关对象的姿态被拼接。鲁棒训练包括两个增强：首先，每时间步对姿态分量添加分层均匀采样噪声，位置噪声$\epsilon_p$的每个分量独立从$U(-\tilde{\sigma}_p, \tilde{\sigma}_p)$采样，其中$\tilde{\sigma}_p \sim U(0, \sigma_p^{max})$每时间步重采样，方向噪声$\epsilon_q$类似；其次，以概率$\rho_{drop}$将整个对象姿态向量置零，强制策略仅使用本体感知和基础动作学习降级策略。使用TD3算法训练残差策略，每$H=16$步查询冻结的$\pi_{VLA}^{sim}$生成$H$长度动作块$A_k = \pi_{VLA}^{sim}(o_{img}^{kH}, s_{prop}^{kH}, l)$，读取当前基础动作$a_{base}^t = A_k[t \mod H]$，组合动作为$a_t = a_{base}^t \oplus \pi_{res}^{sim}(s_t)$。阶段3：零样本真实世界部署。部署时$\pi_{VLA}^{real}$和$\pi_{res}^{sim}$都冻结，无需进一步训练。基础动作类似读取，组合动作相同。每时间步额外咨询姿态估计器的跟踪置信度$c_t$：当$c_t$低于阈值$\tau_c=0.5$时，将姿态输入置零以触发训练期间学习的dropout降级。姿态估计在跟踪模式下异步运行（约18ms每帧），残差actor前向传播不到1ms，最小计算开销。

技术新颖性体现在多个方面。首先，领域不变观察空间设计将仿真到现实迁移问题重新表述：不是对齐分布，而是选择在两个领域都一致的表示。这种设计与传统域随机化、教师-学生蒸馏等方法正交，完全避开了视觉域差距。其次，成对VLA训练通过遥操作重放对齐动作分布，使得仿真中学习的残差策略可以直接应用于真实VLA，而无需蒸馏。第三，鲁棒训练设计结合分层姿态噪声和置信度门控dropout，将训练时的随机dropout与部署时的系统性dropout连接起来，使策略对姿态估计失败具有鲁棒性。第四，该框架支持VLA自我改进：残差校正策略的成功真实机器人rollout可以跨任务聚合，重新训练单个多任务VLA，产生更高质量的训练数据而无需额外远程操作。最后，该方法轻量高效（2层MLP，单次前向传播约0.06ms），计算开销可忽略，且与VLA架构无关（在GR00T-N1.5和$\pi_{0.5}$上都有效）。

独立分析的弱点包括：姿态估计失败模式多样，包括位置偏移、姿态漂移、遮挡导致丢失、错误对象检测（如锁定到反射），这些都会导致残差在错误方向校正。虽然置信度门控dropout提供一定保护，但高置信度错误姿态仍可能通过，引入多假设姿态估计或VLM语义验证可改善。仅支持人工指定任务相关对象，扩展到开放世界需要自动对象识别，可从VLA注意力图或语言指令解析提取。方法假设基础VLA的行为在仿真和现实中一致，如果基础VLA在某种特定真实世界条件下失败而在仿真中不失败，残差策略可能无法校正。仅在离散任务上评估，连续任务或长期操作可能需要更复杂的状态表示。姿态估计的准确性限制了可达到的精度，对于需要亚毫米精度的任务（如精密装配），可能需要更高分辨率传感或触觉反馈。仿真环境构建仍需要测量真实对象尺寸和工作空间布局，虽然不需要视觉真实感，但对于新任务仍有一定工程开销。

作者提出的未来方向包括：基于记忆的姿态估计可以缓解全遮挡或严重杂乱下的失败；从VLA注意力图自动识别任务相关对象，扩展到开放世界设置；将方法扩展到需要更高精度的场景，使用更高分辨率传感或触觉反馈。基于成果可延伸的方向包括：将姿态观察空间扩展到其他领域不变表示（如深度、法线、语义分割），进一步增强迁移能力；探索更复杂的残差架构（如分层残差、条件残差）以处理更复杂的任务失败模式；将方法应用到更多机器人平台（如移动操作、双臂机器人）和更多任务类型（如柔性操作、工具使用）；研究残差RL与其他VLA改进技术（如从执行经验学习）的协同效应；开发自动管道，用于新任务的仿真环境构建、残差训练和部署，减少人工工程开销；探索使用学习到的残差行为来指导基础VLA的初始训练，形成端到端的改进循环；研究如何将残差策略本身泛化到新任务，减少每任务训练需求。

复现评估方面，论文提供了项目页面和详细的附录。仿真环境在MuJoCo中构建，对象维度和工作空间布局从真实设置测量，不需要视觉真实感，因为仿真和真实VLA分开训练且残差策略不观察图像。每个对象使用测量的主尺寸建模为简单几何原语。使用的基线VLA（GR00T-N1.5和$\pi_{0.5}$）是开源的，可以在真实和仿真数据上微调。残差策略架构是2层MLP（512单元actor，1024单元critic隐藏层），使用Adam优化器，单次前向传播约0.06ms在GPU上。姿态估计使用FoundationPose + SAM2，跟踪模式下约18ms每帧。训练超参数在附录A.5中详细列出，包括学习率、L2正则化、折扣因子、批大小、episode长度、离线采样分数、critic预热步数等。每个任务使用30次遥操作示教进行VLA微调，残差RL训练在MuJoCo中进行。然而，论文没有明确说明是否开源代码或预训练模型，真实机器人实验需要FR3机器人和FoundationPose+SAM2姿态估计设置，这些可能不是所有实验室都能获得。总体而言，仿真部分应该可以复现，真实机器人验证需要特定硬件设置。