EXIMO：VLM 引导的 VLA 策略探索 EXIMO: VLM Guided Exploration of VLA Policies
用VLM编排VLA探索采集新任务数据，再经蒸馏与残差RL高效微调
前置知识
VLA（视觉-语言-动作模型）
VLA 是在视觉-语言模型基础上接入动作输出头的机器人基础模型，输入相机图像与自然语言指令，直接输出机器人动作。本文使用的 GROD（Gemini Robotics On-Device）3B 版本基于 PaliGemma 骨干加扩散策略头，在 ALOHA 机器人上用遥操作数据以行为克隆训练，能把语言指令实时映射为双臂动作。
本文的全部研究对象就是如何微调这样一个 VLA，理解它的输入输出形式、扩散动作头与语言条件接口是读懂方法的前提。
遥操作与大规模行为克隆（LBC）
遥操作由人类操作员远程控制机器人，录制（状态、指令、动作）轨迹；行为克隆（BC）用监督学习训练策略模仿这些动作，LBC 指用海量遥操作数据训练数十亿参数的大模型。它比 RL 样本效率高得多，但每个新任务都要重新采集数百小时人工数据，且泛化局限于遥操作数据分布。
EXIMO 的动机正是摆脱对遥操作数据的依赖，而 Imitate 阶段的 SFT 复用了与原始 BC 完全相同的训练目标，理解 BC 是理解微调细节的基础。
残差强化学习（Residual RL）
残差 RL 保留一个基策略 $\pi_{VLA}$，额外训练一个小残差策略输出修正量 $\Delta a$，实际执行 $a = a_{VLA} + \Delta a$。RL 只需学习修正量而非完整动作，把长视野探索问题缩小为局部微调，缓解了 VLA 这类带扩散动作头的大模型难以直接做 RL 的问题。
EXIMO 的 Optimize 阶段完全建立在残差 RL 之上，残差 MDP 的状态与转移定义是方法部分的关键技术细节。
MPO 算法
MPO（Maximum a Posteriori Policy Optimization，Abdolmaleki et al. 2018）是一种离策略策略梯度强化学习算法：先通过 critic 评估动作价值，再在 KL 约束下最大化策略期望改进来更新策略，对高维连续控制稳定，被 DeepMind 广泛用于机器人学习。
论文明确选择 MPO 来训练残差控制器，了解它有助于理解 Optimize 阶段的训练实现与稳定性来源。
监督微调（SFT）与蒸馏
SFT 指在预训练模型上用标注好的（输入、输出）数据对继续做监督训练。蒸馏指把一个更强但更慢的教师系统（此处为 VLM 编排策略）的行为压缩进学生模型（VLA），使学生单独部署时就能复现教师的能力而无需教师在场。
Imitate 阶段的本质就是用 VLM 编排产生的成功轨迹对 VLA 做蒸馏式 SFT，这是全文最核心的技巧，也是实验结论成立的关键。
动作分块（Action Chunking）
动作分块指策略一次预测未来 $K$ 步动作序列 $a_{0:K-1}$ 而非单步动作，可缓解误差累积、提高控制平滑度，是 ACT、π0、GROD 等扩散/transformer 策略的标准做法。论文脚注 3 指出 SFT 时实际训练目标是动作块而非单个动作。
它解释了为什么 VLA 难以直接做 RL（块输出+扩散隐式分布），也正是作者采用残差 RL 而非直接策略梯度微调的原因之一。
研究动机
当前最先进的机器人操作策略几乎都用大规模行为克隆训练：先由人类遥操作员采集海量（状态、语言指令、动作）数据，再让数十亿参数的视觉-语言-动作（VLA）模型模仿这些动作。这条路线虽然推动了领域进步，但每换一个新任务就要重新录制数百小时昂贵的人工遥操作数据；替代方案强化学习（RL）虽能让机器人自主采集数据并在游戏、四足运动等有高速仿真器的领域大获成功，却以样本效率低下著称，在需要串联多个技能的长视野任务上探索尤其困难，难以直接用于真实世界。更麻烦的是，SOTA VLA 体量巨大且动作分布由扩散过程隐式定义，直接做 RL 极具挑战。实际表现为：GROD 在训练分布内的任务（如“put the banana in the bowl”）成功率很高，但遇到需要语义推理或技能组合的目标（如“把猴子爱吃的水果放进碗”“把香蕉和青柠放进碗”）性能就大幅下跌，而靠遥操作覆盖所有可能任务根本不可行。
本文的目标是本文的具体目标是：给定一个只会原子技能（如 pick、place）的预训练语言条件 VLA 策略，以及只用自然语言描述的新任务目标和一个地面真值成功检测器，在不增加任何遥操作时间的前提下，样本高效地把该 VLA 微调到能完成新的长视野、组合性、推理密集型任务。理想的微调结果需要同时满足三点：评估时摆脱 VLM、低延迟独立运行；成功率超过直接对基础 VLA 做 RL 微调的方案；也超过评估时保留 VLM 编排的方案。作者在 ALOHA 仿真平台上用 22 个不同的操作任务验证这一目标，每个任务评估 1000 个 episode，并在 RL 对比中跑满 2.5×10^7 环境步、5 个随机种子。
与已有工作不同的是，已有工作的切入角度各有局限：LLM/VLM 高层规划器（SayCan、Huang et al. 等）把大模型生成的计划接地为可执行动作，需要额外提供机器人 API 描述、技能成功概率或用掩码 LLM 转换来解决接地（grounding）问题；Dalal et al. 2024 用 LLM 分解长视野任务但要从头训练视觉 RL 策略，不涉及 SOTA VLA；Ankile et al. 2025 只用残差 RL 微调 BC 策略，没有语义引导的探索；Shi et al. 2025 联合训练 VLM+VLA 做指令分解但聚焦架构而非微调。EXIMO 的独特之处在于三重组合：利用最新 VLA（GROD）本身能直接听懂自然语言这一事实，让 VLM 直接输出子指令、彻底绕开接地问题；再把 VLM 编排的成功轨迹蒸馏回 VLA，部署时不再需要 VLM；最后叠加残差离策略 RL。“编排—蒸馏—优化”的完整流水线是此前任何单一工作都没有的。
核心方法
直觉上，VLA 和 VLM 的能力恰好互补：GROD 这类 VLA 掌握高质量的物理原子技能（抓、放），但缺乏“猴子爱吃香蕉”这类世界知识与长视野任务分解能力；Gemini 这类 VLM 拥有丰富的语义知识，却无法直接生成机器人动作。EXIMO 的整体思路就是让 VLM 当“大脑”、VLA 当“小脑”，闭环采集新任务数据，再把数据中体现的能力蒸馏回 VLA。技术路线分三阶段：Explore 阶段用 VLM 编排 VLA 采集数据并只过滤保留成功轨迹；Imitate 阶段用这些轨迹以原始行为克隆目标对 VLA 做监督微调（SFT），且条件从 VLM 子指令换回原任务目标；Optimize 阶段在 SFT 后的 VLA 上叠加残差离策略 RL（MPO）进一步打磨。三阶段层层递进，前一段的输出就是后一段的输入。
核心创新有两个层面。第一是把 VLM 当作可闭环调用的编排策略：在时刻 $t$，VLM 观测状态历史 $s_{\le t}$ 与任务目标 $g$，输出子目标 $g_t \sim \pi_{VLM}(\cdot|s_{\le t}, g)$，由能直接理解自然语言的 VLA 执行。因为 GROD 本身就是语言条件策略，VLM 的自然语言输出无需任何接地转换，这与 SayCan 等需要技能先验或 API 描述的传统 LLM 规划器有本质区别。第二个关键技巧在 Imitate 阶段：SFT 时并不保留 VLM 给出的子指令 $g_t$，而是用原始任务目标 $g$ 作为条件来预测动作，等于把 VLM 的多步分解知识“编译”进单一策略。实验证明这一步不仅消除了部署时的 VLM 延迟，性能甚至反超保留 VLM 编排的系统（GROD+SFT 优于 GROD+VLM-Orchestration），说明过滤后的高质量数据加上蒸馏本身还带来了额外收益。
方法步骤详情
Explore：以 3B 版 GROD（Gemini Robotics On-Device，PaliGemma 骨干+扩散动作头）为初始策略。VLM（Gemini）收到环境图像序列与任务描述，在 块分析场景后在 块输出下一条自然语言指令（图 2 示例覆盖时间步 0/50/100/150/200），VLA 执行 $a \sim \pi_{VLA}(\cdot|s, g_t)$；episode 结束查询地面真值成功信号，只保留成功轨迹入缓冲。Imitate：取出 $(s, g, a)$ 三元组，沿用原始行为克隆目标做梯度下降，预测动作块 $a_{0:K-1}$，条件统一改为任务目标 $g$。Optimize：残差策略 $\Delta a \sim \pi_{ref}(\cdot|s, g, a_{VLA})$，执行 $a = a_{VLA}+\Delta a$；残差 MDP 状态 $x=(s, a_{VLA})$，转移 $s' \sim T(\cdot|s, a_{VLA}+\Delta a)$；用 MPO 最大化稀疏奖励 $J=\mathbb{E}[\sum_t \gamma^t \mathbb{1}_{s_t\in Success(g)}]$。
技术新颖性
技术新颖性体现在四点。其一，语义引导的对象是 SOTA VLA 而非从头训练的策略：以往 LLM 引导探索的工作（Dalal et al. 2024）仍需训练视觉 RL 策略并解决接地问题，本文借 GROD 的语言接口完全免接地，VLM 输出即可执行。其二，“过滤后蒸馏”的设计：只用成功的编排轨迹、且把条件从子指令换回原任务目标，使 VLA 学到的是任务级映射而非子指令跟随；实验显示蒸馏后的策略超过编排系统本身，证明这不是简单模仿而是能力内化。其三，与 Ankile et al. 2025 的纯残差 RL 相比，本文证明先做 VLM 数据 SFT 能让 RL 起点大幅提高、收敛值更高，即便给基线更多环境步也追不上——把“探索难”从昂贵的 RL 侧转移到了几乎零边际成本的 VLM 侧。其四，作者把整个流程解读为 VLA 的自蒸馏式后训练（post-training），为 VLA 如何在不加遥操作的情况下获得新技能提供了新范式。
实验结果
实验在 ALOHA 仿真平台 22 个操作任务上进行（图 3、5 编号 T2-T23，涵盖盘碗入架、香蕉入碗推理、笔/工具入收纳架及左右手与推理变体），每任务评估 1000 episodes。探索阶段（图 3）：VLM 编排使 GROD 成功率显著上升且 time-to-success 基本不变，长视野任务（T22 PlateBowlOnRack）与推理任务（T3 BananaInBowl-Reasoning）提升最明显，episode 长度大幅缩短、数据采集更高效。蒸馏阶段：GROD+SFT 大幅超越基础模型，甚至反超带 VLM 编排的系统本身。优化阶段（图 4，20 任务平均、5 seeds、两个标准误）：两模型均做残差 RL（MPO），环境步最多到 $2.5\times10^7$；GROD+SFT+RL 起点更高、收敛值更高，基础 GROD+RL 即使多跑环境步补偿编排数据采集也追不上，time-to-success 同样如此。图 5 显示 RL 后 GROD+SFT+RL 在全部任务上一致领先，若干任务仅 SFT 就胜过 RL 微调过的基础 VLA。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALOHA 仿真 22 个操作任务（探索阶段对比，图 3） | 成功率、time-to-success、episode 长度（每任务 1000 episodes） | GROD+VLM 编排：成功率显著提升，time-to-success 与裸模型相近，episode 长度明显更短 | 裸 GROD（无编排） | 长视野任务（PlateBowlOnRack）与推理任务（BananaInBowl-Reasoning）提升最显著，数据采集步数更省 |
| 同一任务套件（蒸馏对比，图 3） | 成功率 | GROD+SFT：在编排成功轨迹上监督微调后 | GROD+VLM-Orchestration 与裸 GROD | SFT 后大幅超越基础模型，且超过保留 VLM 编排的系统本身 |
| 20 个任务平均（RL 对比，图 4） | 平均成功率与 time-to-success，5 seeds，最多 2.5×10^7 环境步 | GROD+SFT+RL（残差 MPO） | GROD+RL（多跑环境步补偿编排数据）与 GROD+SFT | 起点更高、收敛值更高；基线即使加补偿步数也无法追平，time-to-success 同步改善 |
局限与改进
作者明确承认的局限是整个流程依赖地面真值成功检测器：这在仿真里理所当然，搬到真机就是硬门槛，他们提出未来用 VLM 兼任成功检测。此外我观察到几点：第一，实验全部在 ALOHA 仿真中完成，虽然 GROD 本身训练覆盖真机，但论文未报告真机上的编排与微调结果，VLM 的延迟、成本与鲁棒性在真实部署中未经验证；第二，Explore 阶段每个 episode 需要 VLM 反复看图生成指令（图 2 中每 50 步更新一次），推理开销随任务长度线性增长，且失败 episode 的全部算力被丢弃、只保留成功数据；第三，任务必须能分解为 VLA 已掌握的原子技能，若子任务本身超出 VLA 能力，编排也无能为力；第四，Optimize 阶段仍是极稀疏的 0/1 成功奖励，其可行性完全依赖 SFT 后策略已有非零成功率；第五，论文结果以曲线图呈现、未附数值表格，跨方法的精确数字对比不便。
独立分析的弱点
独立分析几个弱点。其一，成功过滤器只看 episode 结束时的结果信号，会把“失败但有信息量”的轨迹全部丢弃，也没有利用部分进展（比如拿到了物体但没放好）；可改进为用 VLM 给稠密进度打分或做 advantage 加权的轨迹加权。其二，VLM 闭环粒度受限：图 2 显示每 50 步才更新一次指令，若 VLA 中途卡死或把场景搞乱，纠错要等到下一次截图；可引入失败检测触发即时重规划。其三，SFT 只学成功轨迹会造成分布收窄，策略对失败区域缺乏不确定性度量，RL 阶段残差 $\Delta a$ 可能把动作推到危险区域，且论文未对 $\Delta a$ 施加幅度约束；可加入保守正则、残差裁剪或基于集成的风险估计。其四，每个新任务仍要完整重跑编排+SFT+RL，任务间知识不共享；可探索多任务联合 SFT 或把编排数据积累为可复用数据集。其五，方法依赖任务可用语言清晰描述且存在可自动判定的成功条件，对开放性目标（无明确完成判据）不适用。
未来方向
作者提出的方向包括：用 VLM 替代地面真值成功检测器、兼任奖励模型；让 VLM 通过“撤销任务”（undo the task）指挥机器人完成环境重置，从而对可逆任务构建完全自主的学习闭环（编排+奖励+重置一体化）；以及把 Explore+Imitate 扩展为 on-policy 蒸馏（引用 Hübotter et al. 2026、Shenfeld et al. 2026），不再局限于离策略地复用探索轨迹。基于本文成果还可以延伸：把流水线搬到真实 ALOHA 硬件并研究 VLM 调用频率与成功率的成本-收益曲线；把 22 个任务的编排数据汇总做跨任务多目标 SFT，检验组合技能能否迁移到新任务；把残差 RL 换成与扩散动作头更兼容的算法（如扩散策略的 advantage 加权蒸馏）；在编排提示中引入外部知识检索，更好处理“猴子爱吃的水果”这类开放词汇目标。
复现评估
复现难度中等偏高。论文是 Google DeepMind 技术报告（arXiv 2608.19891v1），文中未见官方代码或数据开源声明。核心依赖有三块：初始策略是 3B 版 Gemini Robotics On-Device（GROD），基于 PaliGemma 加扩散动作头、面向 ALOHA 平台，为 Google 官方模型但获取渠道与许可可能受限；编排器是 Gemini VLM，需 API 调用，图 9 给出完整编排提示词、图 2 展示了 / 输出格式，提示工程可复刻；环境是 ALOHA 仿真任务套件，22 个任务全名在表 1 列出，仿真环境本身开源。Optimize 阶段用 MPO 做残差离策略 RL，图 4 表明需 5 个随机种子、每种子最多约 $2.5\times10^7$ 环境步，采样与训练算力开销可观。总体上，若能拿到 GROD 权重与 Gemini 配额，仿真复现可行；真机复现还需自备成功检测器。
论文图表
