基于强化学习的仿真-真实协同训练框架 RL-Co：突破 VLA 模型的模仿学习瓶颈 RLinf-Co: Reinforcement Learning-Based Sim-Real Co-Training for VLA Models
RL+仿真交互+真实SFT锚定，提升VLA模型真实部署成功率
前置知识
Vision-Language-Action (VLA) 模型
VLA 模型是一类将视觉观测、语言指令和动作生成统一到单一策略框架中的机器人基础模型。它接收 RGB 图像和自然语言任务描述作为输入，直接输出机器人末端执行器的动作序列。典型的 VLA 模型包括 OpenVLA（基于 next-token prediction）和 π0.5（基于 flow matching）。这类模型通常在大规模机器人演示数据上预训练，然后通过监督微调（SFT）适配到具体任务。
本文的核心研究对象就是 VLA 模型的后训练方法，理解 VLA 的架构和训练范式是理解本文动机和方法的基础。
监督微调 (SFT, Supervised Fine-Tuning)
SFT 是一种通过最小化模型预测动作与专家演示动作之间的差异来优化策略的方法。给定专家数据集 $D_T = \{(\tau^{(i)}, l^{(i)})\}_{i=1}^N$，SFT 损失为 $\mathcal{L}_{SFT}(\theta) = \mathbb{E}_{(\tau,l) \sim D_T, t \sim \text{Unif}}[\ell_{SFT}(\hat{a}_{t:t+h-1}, a_{t:t+h-1})]$。它是 VLA 模型最常用的后训练方式，但存在协变量偏移和闭环误差累积的问题。
SFT 是本文提出的两阶段框架的第一阶段核心，也是论文对比的主要基线方法之一。理解 SFT 的局限性才能理解为何需要引入 RL。
强化学习后训练 (RL Post-Training)
RL 后训练是指在预训练或 SFT 初始化的基础上，通过与环境的闭环交互和奖励反馈进一步优化策略。其目标是最大化期望折扣回报 $\pi^* = \arg\max_{\pi_\theta} \mathbb{E}_{\pi_\theta, P}[\sum_{t=0}^{\infty} \gamma^t R(s_t, l)]$。近年来 RL 后训练被用于提升 VLA 模型的任务成功率和泛化能力，但通常只在单一部署域内操作。
本文的核心创新就是在仿真环境中使用 RL 后训练，同时用真实数据锚定策略，这是连接仿真交互和真实部署的关键桥梁。
仿真-真实协同训练 (Sim-Real Co-Training)
协同训练是一种将仿真数据和真实数据混合用于模型训练的策略。传统方法通常采用 SFT 方式混合两类数据：$\mathcal{L}_{SFT}(\theta) = \alpha \mathcal{L}_{SFT}(\theta; D_{sim}) + (1-\alpha) \mathcal{L}_{SFT}(\theta; D_{real})$，其中 $\alpha \in [0,1]$ 控制仿真数据的贡献比例。这种方法将仿真视为静态演示数据源，无法利用仿真环境的闭环交互能力。
本文指出传统 SFT 协同训练的局限性，并提出用 RL 替代 SFT 来利用仿真交互，这是论文的核心创新。
域随机化 (Domain Randomization)
域随机化是一种通过在训练时大幅改变仿真环境的视觉和物理参数（如纹理、光照、物体材质等）来缩小仿真-真实差距的技术。它迫使策略学习对这些变化不敏感的表征，从而提高零样本迁移能力。但过度随机化可能导致策略过于保守，且仍难以完全弥合视觉差距。
论文在消融实验中将域随机化作为视觉多样性基线进行对比，证明 RL-Co 的收益不仅来自视觉多样性。
灾难性遗忘 (Catastrophic Forgetting)
灾难性遗忘是指神经网络在学习新任务时会覆盖之前学到的知识的现象。在 sim-to-real 场景中，策略在仿真环境进行 RL 训练时可能会遗忘真实世界的行为先验，导致真实部署性能下降。常见的缓解方法包括添加正则化项、使用经验回放等。
RL-Co 的核心设计之一就是在仿真 RL 训练时添加真实数据 SFT 正则化来防止灾难性遗忘，这是方法有效性的关键机制。
研究动机
当前 VLA 模型在真实机器人部署中面临严重的数据瓶颈问题。尽管大规模机器人演示和视觉-语言先验支持了高效的监督微调，但仅靠有限的真实演示数据微调出的策略在新场景、物体变化和闭环执行偏移下表现脆弱（如 OpenVLA 在真实世界仅 SFT 时，四个任务平均成功率仅 16.5%）。收集更多真实数据可以改善这一问题，但速度慢、成本高且难以扩展——每个任务仅收集 20-50 条专家演示就需要大量人工遥操作时间。仿真虽然能以低成本扩展训练环境和交互数据，但现有的仿真-真实协同训练方法大多依赖监督微调（SFT），将仿真视为静态演示数据源，无法利用大规模闭环交互来提升策略。实验表明，即使 SFT 协同训练能带来一定提升（OpenVLA 平均从 16.5% 提升到 40.0%），其收益仍然有限且不稳定。
本文的目标是本文提出一个基于强化学习的仿真-真实协同训练框架 RL-Co，目标是将仿真从静态数据源转变为交互式后训练来源，同时保持真实世界的部署能力。具体而言，RL-Co 旨在：（1）通过仿真环境中的 RL 闭环交互扩展策略的行为能力，超越静态模仿学习的性能上限；（2）通过真实数据锚定防止仿真 RL 训练导致的域漂移和灾难性遗忘；（3）减少对真实演示数据的需求量，提供一条更高效的真实机器人部署路径。最终目标是在有限真实数据和不完美仿真的条件下，实现比纯真实 SFT 和 SFT 协同训练更高的真实世界成功率、更强的泛化能力和更好的数据效率。
与已有工作不同的是，本文的独特切入角度在于将「仿真交互」和「真实锚定」这两个原本分离的概念统一到一个两阶段框架中。现有工作通常要么在单一域内进行 RL 后训练（仅仿真或仅真实），要么通过 SFT 混合仿真和真实数据但不利用闭环交互。RL-Co 的关键洞察是：仿真最有价值的不是它能生成多少演示数据，而是它能提供安全、低成本的闭环试错交互环境；而真实数据最有价值的不是作为额外的模仿目标，而是作为跨域锚点防止策略在仿真 RL 中漂移。这一视角使得 RL-Co 能够同时获得 RL 的探索性改进和 SFT 的稳定性保障，填补了「利用仿真交互提升真实部署」这一技术空白。
核心方法
RL-Co 的整体思路可以用一个直觉来理解：想象一个学徒先通过观察师傅（真实演示）和视频教程（仿真演示）学习基本技能（第一阶段 SFT），然后在安全的练习场（仿真环境）中通过反复试错来精进技艺，同时定期回顾师傅的示范以防走偏（第二阶段 RL + 真实锚定）。技术路线上，RL-Co 遵循两阶段设计：第一阶段在真实和仿真演示数据上进行联合 SFT 以初始化策略；第二阶段在仿真环境中进行 RL 训练以扩展策略能力，同时添加真实数据上的辅助 SFT 损失来锚定策略更新。总损失函数为 $\mathcal{L}_{total} = \mathcal{L}_{RL} + \beta \mathcal{L}_{SFT}(\theta; D_{real})$，其中 RL 项驱动探索性改进，SFT 项保持真实世界行为。
RL-Co 的核心创新在于用 RL 替代 SFT 来利用仿真数据，同时引入真实数据作为跨域正则化器。与已有方法的本质区别体现在三个方面：首先，传统 SFT 协同训练将仿真视为静态数据源，而 RL-Co 通过 RL 让策略在仿真中进行主动探索和试错交互；其次，现有 RL 后训练方法通常在单一域内操作或依赖零样本迁移，而 RL-Co 明确地在仿真 RL 更新中锚定真实数据分布；第三，与 RialTo 风格的先训练仿真专家再蒸馏的管线不同，RL-Co 直接在 VLA 策略本身上进行 RL 更新，避免了专家蒸馏的信息损失。实验表明，RialTo 风格蒸馏达到 75.0% 成功率，而 RL-Co 达到 81.3%，证明直接 RL 更新优于间接蒸馏。
方法步骤详情
RL-Co 的具体步骤如下。第一阶段（SFT 协同训练初始化）：从预训练 VLA 策略出发，在真实数据集 $D_{real}$（每任务 20-50 条遥操作演示）和仿真数据集 $D_{sim}$（每任务 1000 条 MimicGen 生成轨迹）上进行联合 SFT。训练时以概率 $\alpha$ 从 $D_{sim}$ 采样、以概率 $1-\alpha$ 从 $D_{real}$ 采样。这一阶段让策略同时获得真实世界任务知识和仿真环境的初步能力。第二阶段（真实正则化 RL 协同训练）：在仿真环境中进行 RL 训练，每次策略更新由 RL 损失驱动（鼓励探索和最大化任务奖励），同时添加真实数据上的 SFT 损失作为正则化项。RL 项让策略利用大规模仿真交互探索多样化行为，SFT 项通过锚定真实演示来缓解灾难性遗忘。对于 OpenVLA，采用 Liu et al. 的 RL 微调协议加真实正则化；对于 π0.5，使用 ReinFlow 实现的 RLinf 框架。
技术新颖性
RL-Co 的技术新颖性体现在多个层面。首先，在方法论层面，这是首个将 RL 交互式仿真训练与真实数据锚定统一到 VLA 后训练框架中的工作，打破了「仿真等于静态数据源」的传统范式。其次，在损失函数设计上，简洁的 $\mathcal{L}_{total} = \mathcal{L}_{RL} + \beta \mathcal{L}_{SFT}(\theta; D_{real})$ 形式兼容多种 RL 微调算法，具有很强的通用性。第三，在实验发现上，论文揭示了两个关键机制：SFT 初始化不是可选的加速手段而是必要条件——没有 SFT 初始化的单阶段 RL 协同训练在数百万步交互后仍接近零成功率；两个阶段都需要真实数据监督——移除任一阶段的真实 SFT 都会导致性能显著下降。第四，在跨架构验证上，RL-Co 在 next-token prediction（OpenVLA）和 flow matching（π0.5）两类 VLA 架构上均有效，表明方法不依赖于特定的模型结构。
实验结果
论文在四个桌面操作任务（Pick and Place、Push Cube via Instruction、Open Drawer、Close Drawer）和两个 VLA 架构（OpenVLA、π0.5）上进行了全面评估。核心发现包括：（1）RL-Co 在所有任务和架构上均显著优于真实 SFT 和 SFT 协同训练基线。OpenVLA 上，RL-Co 平均成功率达 64.0%，相比真实 SFT 的 16.5% 提升了约 48 个百分点，相比 SFT 协同训练的 40.0% 提升了约 24 个百分点。π0.5 上，RL-Co 平均成功率达 66.2%，相比真实 SFT 的 26.7% 提升了约 40 个百分点，相比 SFT 协同训练的 45.9% 提升了约 20 个百分点。（2）在泛化能力方面，RL-Co 在未见物体和未见状态下保持最强性能和最小性能下降。在 π0.5 的 Pick and Place 任务上，RL-Co 在未见物体条件下达到 55.0%，而真实 SFT 仅为 25.0%。（3）与更强的视觉多样性基线对比，重度域随机化零样本迁移仅达 10.9%，Cosmos 视频增强达 67.2%，而 RL-Co 达 81.3%，证明收益不仅来自视觉多样性。（4）在数据效率方面，RL-Co 用更少的真实演示就能达到与 SFT 方法用更多数据相当的性能。在 Open Drawer 任务上，RL-Co 用 50 条真实演示即可超越 SFT 协同训练用 200 条演示的效果。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Pick and Place (OpenVLA) | 真实世界成功率 (%) | 58.8 ± 10.0 | SFT 协同训练 23.4 ± 4.7 / 真实 SFT 6.3 | 相比 SFT 协同训练 +35.4pp，相比真实 SFT +52.5pp |
| Push Cube (OpenVLA) | 真实世界成功率 (%) | 68.3 ± 11.7 | SFT 协同训练 51.7 ± 5.0 / 真实 SFT 20.0 | 相比 SFT 协同训练 +16.6pp，相比真实 SFT +48.3pp |
| Open Drawer (OpenVLA) | 真实世界成功率 (%) | 35.0 ± 15.0 | SFT 协同训练 0.0 / 真实 SFT 0.0 | 从 0% 提升到 35.0%，实现了从无到有的突破 |
| Close Drawer (OpenVLA) | 真实世界成功率 (%) | 95.0 ± 5.0 | SFT 协同训练 85.0 ± 5.0 / 真实 SFT 10.0 | 相比 SFT 协同训练 +10.0pp，相比真实 SFT +85.0pp |
| Pick and Place (π0.5) | 真实世界成功率 (%) | 81.3 ± 9.4 | SFT 协同训练 68.8 ± 9.4 / 真实 SFT 71.9 | 相比 SFT 协同训练 +12.5pp，相比真实 SFT +9.4pp |
| Push Cube (π0.5) | 真实世界成功率 (%) | 18.4 ± 1.7 | SFT 协同训练 10.0 ± 3.3 / 真实 SFT 0.0 | 相比 SFT 协同训练 +8.4pp，相比真实 SFT +18.4pp |
| Open Drawer (π0.5) | 真实世界成功率 (%) | 65.0 ± 5.0 | SFT 协同训练 10.0 / 真实 SFT 0.0 | 相比 SFT 协同训练 +55.0pp，从 0% 提升到 65.0% |
| Close Drawer (π0.5) | 真实世界成功率 (%) | 100.0 ± 0.0 | SFT 协同训练 95.0 ± 5.0 / 真实 SFT 35.0 | 相比 SFT 协同训练 +5.0pp，相比真实 SFT +65.0pp |
| Peg Insertion (π0.5, 灵巧操作) | 真实世界成功率 (%) | 42.5 | SFT 协同训练 32.5 | +10.0pp，验证了在更精密任务上的有效性 |
| Pick and Place 泛化 (π0.5, 未见物体) | 真实世界成功率 (%) | 55.0 | SFT 协同训练 40.0 / 真实 SFT 25.0 | 相比 SFT 协同训练 +15.0pp，性能下降最小 |
局限与改进
论文在局限性部分坦诚地指出了几个问题，结合作者的自我评估和进一步观察可以总结如下。首先，研究仅聚焦于桌面操作任务和单一机器人实体（Franka Emika Panda），未探索异构仿真-真实设置或多机器人系统。其次，尽管 RL-Co 显著提升了真实世界成功率，但性能仍未达到 100%——在最具挑战性的 Open Drawer (OpenVLA) 任务上仅为 35.0%，Push Cube (π0.5) 也仅 18.4%，说明方法仍有较大改进空间。第三，论文未探索更长时域任务（当前任务均为短时域操作），对于需要多步推理和长期规划的复杂任务，RL-Co 的有效性有待验证。第四，实验中仿真与真实仅在任务层面保持一致，允许视觉和动力学差异，但未系统研究不同仿真保真度对 RL-Co 性能的影响。第五，消融实验中部分基线（如单阶段 RL、RialTo 蒸馏）仅评估一次而无标准差，统计可靠性有待加强。此外，RL-Co 需要在仿真环境中设计奖励函数，这在复杂任务中可能非平凡。
独立分析的弱点
尽管 RL-Co 取得了显著成果，但仍存在几个值得关注的弱点。第一，奖励函数设计依赖人工：论文中每个任务都需要精心设计的密集奖励（如 Pick and Place 的抓取-放置两阶段奖励、Push Cube 的到达-推动奖励等），这限制了方法的可扩展性。改进方向是引入自动奖励学习或基于大语言模型的奖励生成。第二，仿真数据生成依赖 MimicGen 和真实轨迹作为种子，需要额外的真实演示来启动仿真数据生成管线。可以探索完全无真实种子的仿真数据生成方法。第三，超参数敏感性：消融实验显示协同训练比例和正则化权重对性能有显著影响，且最优值因任务而异（如 Pick and Place 的 beta=1.0 vs Close Drawer 的 beta=0.1），缺乏自适应调参机制。第四，缺少与更多最新方法的对比，如 RLHF 风格的偏好学习、基于世界模型的方法等。第五，仿真-真实相关性分析显示相关性不完美，说明仿真成功并不能完全预测真实成功，检查点选择策略仍有改进空间。
未来方向
论文和基于成果可延伸的未来研究方向包括：（1）扩展到更多样化的任务和更长时域操作，如多步装配、厨房操作等需要长期规划的场景；（2）探索异构仿真-真实设置，包括不同的机器人实体和传感器配置；（3）开发更高效的仿真-真实 RL 方法，如改进对齐度以减少域差距、使用更先进的 RL 算法提升样本效率；（4）将 RL-Co 扩展到多任务和多模态设置，一个策略同时处理多种操作任务；（5）研究自动化的奖励函数设计，减少人工工程负担；（6）探索仿真保真度与 RL-Co 收益的关系，确定「足够好」的仿真标准；（7）结合视觉表征学习进一步缩小仿真-真实视觉差距；（8）将框架应用于移动操作、双臂协作等更复杂的机器人系统。
复现评估
论文在复现性方面提供了较好的支持。代码已在 HuggingFace 和 GitHub 上开源。论文详细描述了实验设置，包括：真实世界采集 20-50 条遥操作演示、仿真中使用 MimicGen 生成每任务 1000 条轨迹、具体的超参数设置（Table 6 列出了所有任务和模型的详细超参数）、Franka 控制器的系统辨识方法（将仿真 TCP 轨迹与真实轨迹的误差控制在约 2cm 以内）。ManiSkill 仿真环境也是开源的。然而，复现仍有一定门槛：需要真实 Franka 机器人硬件、RGB 相机和遥操作设备；RL 训练需要大量 GPU 算力（论文未报告具体训练时间）；奖励函数设计需要针对每个任务定制；MimicGen 管线在 ManiSkill 中的实现细节（如轨迹裁剪策略）可能需要额外调试。总体而言，有硬件条件的实验室可以在合理时间内复现核心结果。
论文图表
