Green-VLA：面向通用机器人的分阶段视觉-语言-动作模型 Green-VLA: Staged Vision-Language-Action Model for Generalist Robots
五阶段课程学习的VLA框架，统一多具身动作空间，配合RL对齐实现人形机器人通用操控
前置知识
Vision-Language-Action (VLA) 模型
VLA模型是将视觉感知、语言理解和机器人动作生成统一在一个端到端框架中的基础模型。它接收多模态输入（RGB图像、本体感觉状态、自然语言指令），直接输出机器人控制动作。与传统的感知-规划-控制流水线不同，VLA试图在一个模型中完成从“看到什么”到“做什么”的全部映射，目标是构建能执行多样化、长时程任务的通用机器人策略。代表性工作包括π0、Gemini Robotics、GR00T N1等。
Green-VLA是一个VLA框架，理解VLA的基本范式（多模态输入→统一动作输出）是读懂本文的前提。
Flow Matching（流匹配）
Flow Matching是一种生成模型方法，用于学习从简单源分布（如高斯噪声）到目标分布的连续变换。核心思想是训练一个速度场神经网络 $u_\theta(\psi_t(x), t)$，使得通过求解ODE $\frac{d}{dt}\psi_t(x) = u_\theta(\psi_t(x), t)$ 可以将源分布的样本逐步变换为目标分布的样本。在机器人控制中，flow matching用于从噪声生成动作序列，相比扩散模型具有更快的推理速度和更稳定的训练。
Green-VLA的核心动作生成模块采用flow matching，理解其工作原理对于理解模型如何从噪声产生连续动作至关重要。
行为克隆 (Behavior Cloning, BC)
行为克隆是最基础的模仿学习方法，通过最小化策略输出与专家演示之间的均方误差来训练策略：$\mathcal{L}_{BC} = \mathbb{E}_{(s,a)\sim\mathcal{D}} \|\pi_\theta(s) - a\|^2$。BC的优势是简单直接，但存在复合误差问题——随着决策链增长，小误差会累积放大。更关键的是，BC只能学习演示中展示的行为，无法从失败中学习或优化长时程目标，这被称为BC饱和问题。
论文指出BC是当前VLA训练的主要范式但存在饱和问题，这是Green-VLA引入RL对齐阶段（R2）的核心动机。
具身适应 (Embodiment Adaptation)
具身适应是指将一个在多种机器人上预训练的通用策略，针对特定机器人平台（如特定的人形机器人）进行微调的过程。不同机器人具有不同的自由度数量、动作空间维度、传感器配置和运动学结构。具身适应的关键挑战是如何在保持通用知识的同时，让策略适应目标机器人的特定控制需求。
Green-VLA的R1阶段专门进行具身适应，论文展示了从通用预训练到特定平台微调的收益，是框架的核心组成部分。
隐式Q学习 (Implicit Q-Learning, IQL)
IQL是一种离线强化学习算法，通过训练一个值函数 $V_\psi(s)$ 和Q函数 $Q_\theta(s,a)$ 来避免对未见过的动作进行价值估计。其核心是使用expectile回归来估计值函数：$\mathcal{L}_V(\psi) = \mathbb{E}_{(s,a)} L_\tau^2(Q_\hat{\theta}(s,a) - V_\psi(s))$，其中 $L_\tau^2(u) = |\tau - 1(u<0)|u^2$。这使得IQL能平滑地从离线数据过渡到在线微调，避免了Q值过估计问题。
Green-VLA的R2阶段使用IQL来训练critic，理解IQL的工作原理有助于理解RL对齐阶段如何优化策略。
研究动机
当前VLA模型在实际部署中面临三大核心挑战。首先是数据异构性问题：机器人数据集在观测方式、动作空间和采样率上差异巨大，直接混合训练会导致模型学习到冲突的目标。论文指出，即使同一个机器人也可能以不同的控制参数化方式（关节空间力矩、关节位置、笛卡尔末端执行器增量等）记录数据，导致策略同时被要求匹配语义不同但维度重叠的目标。其次是数据质量问题：轨迹存在抖动、模糊帧、不一致执行和低场景多样性，现有方法缺乏系统性的质量评估和过滤机制。第三是BC饱和问题：行为克隆 $\mathcal{L}_{BC} = \mathbb{E} \|\pi_\theta(s) - a\|^2$ 快速饱和，无法将策略对齐到长时程目标和任务级奖励，导致模型脆弱、跨具身泛化差。
本文的目标是Green-VLA的具体目标是构建一个分阶段的VLA训练框架，通过数据质量对齐、统一动作空间和强化学习精炼三大支柱，在使用远少于竞争对手的数据量（约3000小时对比π0的超过10000小时）的条件下，实现跨多种具身的通用操控能力。具体而言，框架需要：(1) 自动过滤和对齐异构机器人数据；(2) 在不产生冲突梯度的前提下实现多具身联合训练；(3) 通过RL对齐突破BC饱和，提升长时程任务成功率和鲁棒性；(4) 在人形机器人上实现32自由度的全身协调控制。
与已有工作不同的是，本文的独特切入角度在于“分阶段课程学习+统一语义动作空间”的组合。与π0等方法主要依赖数据规模不同，Green-VLA强调质量对齐——通过DataQA流水线系统性地评估和过滤数据质量，并通过光流对齐统一不同数据集的执行速度。与简单地将异构动作填充到统一维度的朴素方法不同，Green-VLA设计了带有语义槽位的统一动作空间，每个索引范围在所有机器人上具有一致的物理含义，并使用掩码损失消除填充带来的伪梯度。更重要的是，论文认识到BC的局限性，引入了基于IQL的轨迹优化和基于源分布优化的两阶段RL对齐，这在VLA领域是相对少见的做法。
核心方法
Green-VLA的训练可以类比为一个“从通才到专家”的教育过程。就像培养一个全能运动员，先让他广泛接触各种运动（L0-L1：网络预训练建立通用身体素质），再学习各种运动的共同技能（R0：多具身预训练建立通用操控能力），然后专攻某个项目（R1：具身特化），最后通过高强度实战训练达到竞技水平（R2：RL对齐）。技术路线上，模型基于约5B参数的统一Transformer架构，使用Qwen3-VL-4B-Instruct作为视觉-语言骨干网络，配合专门的flow matching动作专家。训练分五个阶段逐步推进：L0基础VLM→L1多模态物理理解→R0多具身机器人预训练→R1具身特化微调→R2强化学习对齐。每个阶段解决前一阶段的特定瓶颈：L1丰富语义理解，R0捕获通用操控先验，R1高效适应目标平台，R2注入基于奖励的对齐以提升鲁棒性。
Green-VLA最核心的创新是“统一语义动作空间”设计，它从根本上解决了多具身联合训练中的冲突梯度问题。朴素方法将所有机器人的动作填充到最大维度空间 $\tilde{\mathcal{A}} = \mathbb{R}^{d_{max}}$，但当两个具身 $e_1, e_2$ 使用重叠坐标但语义不同时，最优解会平均不兼容的目标，导致策略学习“我在哪个数据集”的捷径而非跨具身的鲁棒结构。Green-VLA定义了一个64维的统一动作空间 $\mathcal{A}_u \subset \mathbb{R}^{64}$，每个索引范围具有固定的语义含义（手臂关节、笛卡尔位置、夹爪状态、底盘运动等），并通过映射函数 $\Phi_e: \mathcal{A}_e \to \mathcal{A}_u$ 将各具身的原生动作映射到对应槽位。训练使用掩码BC损失 $\mathcal{L}_{uni}(\theta) = \mathbb{E}[m_e \odot (\pi_\theta(x_t^e, c^e) - \Phi_e(a_t^e))^2]$，其中 $m_e$ 是有效维度的二进制掩码，关键在于不对未使用维度计算损失——这彻底消除了填充带来的伪梯度，使得在一个动作空间上的训练不会破坏其他动作空间的语义。
方法步骤详情
Green-VLA的训练分为五个递进阶段，每个阶段的输入、操作和输出如下。L0（基础VLM）：加载预训练的Qwen3-VL-4B-Instruct模型作为视觉-语言骨干，此时模型尚未接触任何机器人动作数据。L1（多模态物理理解）：使用2400万条非机器人网络样本进行预训练，包括通用VQA、指向预测、边界框预测、像素级轨迹预测、多视角VQA等任务，目的是让模型获得物理世界常识和空间推理能力。R0（通用机器人预训练）：在L1基础上，使用超过3000小时的多具身机器人数据进行训练。数据经过DataQA流水线过滤（抖动J、清晰度S、多样性D、状态方差σ²），并通过光流对齐统一执行速度。使用平衡到目标的采样策略 $W_i(t) = w_i^{\alpha_t} / \sum_j w_j^{\alpha_t}$，从均匀分布逐渐过渡到目标分布。R1（具身特化）：使用目标具身的高质量数据集进行微调。对于人形机器人，原始48小时数据通过镜像翻转和时间反转增强到167小时。R2（RL对齐）：采用两种方法：(1) 基于IQL的轨迹优化——训练critic估计状态-动作对的价值，用梯度 $a \leftarrow a + \eta \frac{\nabla_a Q(s,a)}{\|\nabla_a Q(s,a)\|}$ 优化轨迹，验证后加入训练集；(2) 源分布优化——训练小型actor网络生成优化的噪声输入，替代标准高斯分布。
技术新颖性
Green-VLA在技术上有多处新颖性。第一，统一语义动作空间设计避免了朴素填充的冲突梯度问题，通过掩码损失和控制类型提示实现了真正的跨具身正迁移。第二，光流对齐机制使用光流幅度作为视觉运动代理，通过单调三次样条插值统一不同数据集的执行速度——例如Bridge和Fractal因采集频率低而光流大，需密化动作点；AgiBot DexHand因采集频率高且运动慢而需降采样。第三，速度条件调制 $\hat{h}_t = \gamma(v)\tilde{h}_t + \beta(v)$ 让同一模型在推理时可控地切换精细/粗糙控制模式。第四，两阶段RL对齐方案（轨迹优化+源分布优化）避免了直接对flow matching模型进行策略梯度更新的不稳定性问题，保持基础模型权重不变。第五，Joint Prediction Module通过2D指向预测→3D提升→逆运动学的流水线为未见物体提供目标点引导，无需额外训练即可处理分布外物体。
实验结果
Green-VLA在多个基准和真实机器人上展示了全面的实验验证。在ALOHA双臂桌面清洁任务上，仅使用R0阶段（无任何任务特定微调）的Green-VLA就大幅超越了所有基线：平均成功率69.5%，远高于AgiBot GO-1的38.4%、π0的35.6%、GR00T N1的33.2%和WALL-OSS的12.1%。执行效率同样领先——Green-VLA平均1分35秒完成清洁，而π0需要2分59秒，GR00T N1和WALL-OSS超过5分钟。这证明了多具身预训练带来的强泛化能力。在SimplerEnv Google Robot基准上，Green-VLA(R1)使用Qwen3-VL-4B骨干达到71.8%的平均成功率，超过π0的42.6%和π0.5的53.6%，接近当前最佳EO-1的69.8%。在WidowX基准上，Green-VLA(R2)达到80.5%的平均成功率，其中Qwen3-VL-4B R2版本在勺子任务上80.2%、方块70.8%、茄子94.8%、胡萝卜76.1%。在电商货架拣选任务中，JPM引导模块的效果尤为显著：对于分布外物体，无引导时仅10.2%成功率，加入JPM引导后提升到62.3%；在域内SKU级别任务上，从36.7%跃升至95.4%。在人形机器人上，Green-VLA控制32自由度的全身协调控制，平均任务成功率约90%，其中拾取98%、放入篮子100%、从篮子取出99%、递物给用户87%、完整桌面清洁84%。RL对齐(R2)阶段在WidowX上将R1的55.2%提升到79.1%（绝对提升24%），在CALVIN ABC→D上也显著提升了平均链长(ACL)。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALOHA双臂桌面清洁（单物品拾取） | 平均成功率(%) | 69.5 (Green-VLA R0) | 38.4 (AgiBot GO-1) / 35.6 (π0) / 33.2 (GR00T N1) | 绝对提升31.1%（对比最强基线AgiBot GO-1） |
| ALOHA双臂桌面清洁 | 平均完成时间 | 1m35s (Green-VLA R0) | 3m57s (AgiBot GO-1) / 2m59s (π0) / >5m (GR00T N1) | 时间减少60-70% |
| SimplerEnv Google Robot | 平均成功率(%) | 71.8 (Green-VLA R1, Qwen3-VL-4B) | 69.8 (EO-1) / 63.8 (X-VLA) / 53.6 (π0.5) | 超过EO-1约2%，超过X-VLA约8% |
| SimplerEnv WidowX | 平均成功率(%) | 80.5 (Green-VLA R2, Qwen3-VL-4B) | 72.7 (EO-1) / 73.2 (DB-MemVLA) / 65.6 (X-VLA) | 超过EO-1约8%，超过DB-MemVLA约7% |
| 电商货架拣选（域内SKU） | Top-1成功率(%) | 95.4 (Green-VLA + JPM guidance) | 36.7 (Green-VLA无引导) | 相对提升160% |
| 电商货架拣选（分布外） | Top-1成功率(%) | 72.8 (Green-VLA + JPM guidance) | 10.2 (Green-VLA无引导) | 相对提升614% |
| WidowX R1→R2 RL对齐 | 平均成功率(%) | 79.1 (Green-VLA R2, PaliGemma 3B) | 55.2 (Green-VLA R1, PaliGemma 3B) | 绝对提升23.9% |
| 人形机器人综合任务 | 平均成功率(%) | ~90 (Green-VLA R1) | N/A（首个报告完整人形评估的VLA） | N/A |
局限与改进
论文承认了若干局限性。首先，性能依赖于重定向(retargeting)的保真度——将异构源机器人的动作映射到目标人形机器人时，简单的语义对应（如夹爪开合→灵巧手抓取）可能丢失精细的力控和接触信息。其次，数据集仍然存在偏差——尽管使用了12个数据集，但某些具身类型（如灵巧手操作）的覆盖仍然不足，原始人形数据仅48小时，通过增强到167小时仍远少于其他具身。第三，速度条件调制的速度因子v目前是推理时的手动超参数，尚未实现自动化——论文提到未来可用高层VLA自动设置。第四，模型规模约5B参数，在VLA领域属于中等规模，对于更复杂的推理任务可能不够。第五，JPM引导模块依赖深度估计和相机标定的质量，在动态环境中可能不稳定。此外，我的观察是：论文在SimplerEnv上的评估使用了较短的episode长度，这可能掩盖了长时程失败；CALVIN基准上使用了不同的动作空间（非统一动作空间），这限制了跨基准的直接比较；多语言支持目前仅为未来工作。
独立分析的弱点
基于对论文的深入分析，我识别出以下几个弱点和改进方向。第一，统一动作空间的64维设计是固定且人工定义的，对于未来可能出现的新动作模态（如触觉反馈、力控制信号）缺乏可扩展性。改进方向是设计可学习的语义槽位分配机制，让模型自动发现最优的动作空间分解。第二，DataQA的质量评估指标（抖动、清晰度、多样性、方差）都是启发式的，无法捕捉任务级别的数据质量——例如一条轨迹可能在技术上“高质量”但在任务策略上次优。改进方向是引入基于任务成功率的数据质量评分，或使用学习的奖励模型来评估演示质量。第三，RL对齐阶段的轨迹优化需要在环境中实际执行优化后的轨迹进行验证，这在真实机器人上成本高昂。可以探索基于世界模型的离线验证，或使用更高效的off-policy RL方法减少环境交互需求。第四，JPM引导模块与主策略是解耦的——先由VLM预测目标点，再引导flow matching，这种两阶段方式可能导致信息丢失。改进方向是将目标点预测直接整合到flow matching过程中，实现端到端的引导。
未来方向
论文明确提出了三个未来方向。第一，多语言指令跟随（英语、俄语等）将提升全球部署的包容性和数据效率。第二，添加轻量级推理模块用于任务分解，同时保持低延迟控制——这可以结合链式思维规划的优势与实时执行的能力。第三，集成具身记忆和轨迹回放，进一步提升长时程家务或工业任务的性能。基于论文成果，还可以延伸出更多方向：(1) 将速度条件调制与自动规划器结合，实现推理时的自适应时间尺度切换；(2) 将源分布优化方法推广到其他生成模型架构（如扩散策略），验证其普适性；(3) 探索在线学习——在部署过程中持续收集数据并进行增量R2对齐，实现持续改进；(4) 将人形机器人的全身控制从上半身扩展到全身（包括腿部行走），实现移动操控。
复现评估
论文提供了代码仓库https://github.com/greenvla/GreenVLA和项目页面https://greenvla.github.io/，这对于复现是有利的。模型使用Qwen3-VL-4B-Instruct（开源）作为骨干网络，flow matching动作专家的具体架构虽有描述但细节（如层数、隐藏维度）需查看代码。数据方面，R0阶段使用的大部分数据来自开源数据集（AgibotWorld、DROID、Galaxea、Bridge等），但自采集的Green Humanoid数据集（48小时）和ALOHA any_pick数据集（11.2小时）可能不公开。算力需求方面，R0训练使用64块H100 GPU超过10^5步，这对大多数研究机构来说成本高昂——以H100约30美元/小时计算，仅R0阶段的GPU成本就可能超过数十万美元。R2阶段的RL对齐需要在真实机器人或模拟器中进行交互，进一步增加了复现难度。总体而言，框架设计是可复现的（分阶段训练、统一动作空间、DataQA流水线），但完整的复现需要显著的算力和机器人硬件资源。对于资源有限的团队，建议从R0预训练权重出发进行R1/R2微调，或在模拟器（如CALVIN）上验证核心想法。
论文图表
