Qwen-VLA：跨任务、环境和机器人形态的统一视觉-语言-行动建模 Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments
统一多任务多机器人的视觉-语言-行动模型，通过DiT解码器和具身感知prompt实现泛化。
前置知识
Diffusion Transformer (DiT)
DiT是扩散模型和Transformer的结合体，将扩散过程的去噪步骤建模为Transformer的操作。具体来说，给定一个包含噪声的动作序列，DiT通过self-attention机制逐步去噪，最终生成清晰的动作序列。与传统的扩散模型使用U-Net架构不同，DiT完全依赖Transformer的注意力机制来捕捉序列中的长程依赖关系。在flow-matching框架下，DiT学习预测速度场$v_\theta(Y_\tau, \tau | \cdot)$，然后通过Euler积分从纯噪声$Y_1$恢复到清晰动作$Y_0$。这种架构特别适合生成高维、连续的动作序列，因为它可以自然地处理动作之间的时间连贯性和复杂的跨步依赖。
Qwen-VLA的核心创新之一就是使用基于DiT的flow-matching动作解码器来生成精确的连续机器人动作。理解DiT的工作原理对于掌握本文的动作生成方法至关重要，因为这是连接高层语言指令和底层机器人控制的关键组件。
Flow Matching
Flow Matching是一种比传统扩散模型更简单、更高效的生成建模方法。其核心思想是学习从高斯噪声分布到目标分布的概率路径。具体来说，给定一个干净的目标$Y_0$和纯噪声$Y_1 \sim \mathcal{N}(0, I)$，我们构建线性插值$Y_\tau = (1-\tau)Y_0 + \tau Y_1$，其中$\tau \in [0, 1]$是时间步。模型学习预测条件速度场$v_\theta(Y_\tau, \tau | \text{条件})$，即$Y_1 - Y_0$。推理时，从$Y_1$开始，通过几步Euler积分向$\tau = 0$方向积分得到最终动作：$Y_{\tau - \epsilon} = Y_\tau - \epsilon \cdot v_\theta(Y_\tau, \tau | \text{条件})$。相比扩散模型，flow-matching的训练目标更简单（不需要复杂的噪声调度），推理步骤更少（通常只需10步以内），因此非常适合需要低延迟的实时机器人控制场景。
Qwen-VLA使用flow-matching作为动作生成的目标函数，而不是传统的扩散模型或MSE回归。理解flow-matching的原理对于理解本文如何在生成质量和推理效率之间取得平衡非常重要，这也是模型能够实现实时控制的关键技术选择。
具身感知Prompt条件化
具身感知prompt条件化是Qwen-VLA实现跨机器人平台泛化的关键设计。每个训练样本都会在输入前添加一个文本提示，描述当前的机器人平台、手臂配置、控制惯例、控制频率和预测视野。模板为"The robot is {robot_tag} with {single arm / dual arms}[, waist][, and mobile base]. The control frequency is {FPS} Hz. Please predict the next {chunk_size} control actions to execute the following task: {ori_instruction}." 这个提示作为模型了解平台特定控制语义的唯一接口，使得同一个DiT解码器可以处理不同的控制模式、动作维度和时间视野，而不需要改变模型架构。例如，对于WidowX机器人，提示会说"The robot is WidowX with single arm. The control frequency is 20 Hz. Please predict the next 16 control actions..."，而对于ALOHA双臂机器人，提示会说明是"dual arms"和相应的动作空间。
这是本文最核心的创新之一，使得单一模型能够在多个机器人平台间泛化。理解这一机制对于理解Qwen-VLA如何实现"统一建模"的目标至关重要，也是与传统为每个机器人平台训练独立模型方法的本质区别。
研究动机
现有的具身智能系统通常针对狭窄的任务族、机器人形态或评估设置进行专门化训练。操控模型通常针对桌面操作或灵巧控制进行训练，导航模型则围绕室内环境中的航点或动作预测进行设计。这种碎片化限制了跨任务、环境和形态的迁移能力。具体来说，不同的机器人任务需要不同格式的输出：机器人操控可能需要预测末端执行器位姿（3D位置+旋转）、关节位置、夹爪状态或灵巧手配置；导航可能需要预测航点或离散移动决策；人类第一人称演示则提供手腕和手部轨迹而非机器人控制信号。这些任务在观测格式、控制频率、预测视野、动作维度和评估协议上也各不相同。例如，桌面操作可能在20Hz下预测7自由度的末端执行器动作，而导航任务可能以2Hz预测相对位移$\Delta x, \Delta y, \Delta \theta$。这种表面上的异质性使得人们倾向于为每种任务和平台设计专门的模型。
本文的目标是本文的具体目标是构建一个统一的视觉-语言-行动模型，能够处理异构的具身决策问题，包括机器人操控、视觉-语言导航、轨迹预测和人类第一人称动作建模。这个模型应该在多个任务族、环境和机器人形态之间实现泛化，而不需要为每个平台设计专门的架构或输出头。具体来说，模型应该能够在训练时接触多种机器人平台（如WidowX、Franka Panda、ALOHA等），在推理时通过简单的文本提示就能适应新的机器人形态，同时保持或超过专门模型在各自任务上的性能。这个统一框架应该能够吸收来自操控、导航、人类演示和视觉-语言推理的监督信号，并支持可迁移的视觉接地、空间推理和连续动作生成。
与已有工作不同的是，本文的独特切入角度是从计算结构的共性出发，而非任务表面的差异性。尽管操控、导航和轨迹预测在输出格式和评估协议上看起来不同，但它们共享一个共同的计算结构：具身智能体必须基于视觉观测、语言指令和具身特定约束，然后预测在物理和语义上与任务对齐的未来动作或轨迹。基于这一观察，本文将这些问题统一在一个共享的行动-轨迹预测框架中。另一个创新角度是从"压缩"的视角看待动作学习：原始动作轨迹是密集、高频且依赖于平台的（例如单个操控episode可能包含数千个跨越数十个自由度的关节位置值），而底层的任务意图却可以紧凑地由语言指令（如"pick up the red cup"）和指定机器人平台的具身提示捕获。这种描述只需要少量token，存在巨大的维度差距。本文将T2A预训练阶段设计为学习这种从压缩描述到完整动作信号的"解压缩"映射，这是与传统方法显著不同的训练策略。
核心方法
Qwen-VLA的整体架构分为两个主要组件：视觉-语言骨干网络和flow-matching动作专家。骨干网络采用Qwen3.5-4B，这是一个原生多模态模型，通过早期视觉-语言融合进行训练，即ViT产生的视觉token通过空间合并后直接交织到文本token流中，实现图像、视频和语言的统一处理。动作专家是一个基于DiT的flow-matching策略，用于预测跨越机器人和人类具身数据的精确动作。它将VLM隐藏状态与噪声动作块连接成一个序列，通过AdaLN时间步调节的联合自注意力进行处理。训练采用四阶段方法：(I) Text-to-Action DiT预训练（T2A），冻结VLM，只用文本和具身提示训练DiT；(II) 持续预训练（CPT），解冻两个模块，在异构混合数据上训练；(III) 监督微调（SFT），分为多任务SFT和真实机器人SFT两个平行分支；(IV) 强化学习（RL），在SimplerEnv中用稀疏二元成功奖励优化策略，产生最终模型Qwen-VLA-Instruct。这个渐进式训练方法弥合了离散的视觉-语言token和连续动作轨迹之间的差距。
核心创新点有三个方面：首先，将操控、导航、第一人称动作建模和轨迹预测统一在共享的行动-轨迹预测框架中，而不是为每种任务设计不同的输出头或特定架构。这意味着操控动作、导航航点和人类第一人称运动都在同一个共享的行动-轨迹空间中表示，允许单一模型从多样化的具身数据集中学习监督。其次，引入具身感知prompt条件化，通过在每个训练样本前添加机器人特定的文本描述（包括平台、臂配置、控制惯例、控制频率和预测视野），使单一模型支持多个机器人平台。这个提示作为模型了解平台特定控制语义的唯一接口，使得同一个DiT解码器可以处理不同的控制模式，而不需要改变模型架构。第三，设计了渐进式训练配方，包括动作预训练（T2A）、多模态持续预训练（CPT）、监督微调（SFT）和强化学习（RL）。特别是T2A阶段，通过在引入视觉输入之前冻结VLM并训练DiT重建语言条件下的动作，建立了一个结构化的动作先验，避免了视觉捷径，使解码器学习从语言到动作的可靠映射。
方法步骤详情
方法的完整流程包括以下步骤：步骤1：输入准备。给定时间步$t$，模型接收视觉上下文$o_t$（可能包括一个或多个图像帧、视频观测或历史窗口）、语言指令$x$、具身描述$e$和可选的任务标识符$z$。具身描述$e$遵循固定模板，描述机器人平台、臂配置、控制频率和预测视野，例如"The robot is WidowX with single arm. The control frequency is 20 Hz. Please predict the next 16 control actions to execute the following task: pick up the red cup."。步骤2：视觉-语言理解。VLM骨干网络处理图像和文本输入，包括具身提示和任务指令，输出隐藏状态序列。对于多视图数据集，每个图像都被包装在视图特定的边界token中（如$<|ego_start|>\langle \text{image} \rangle<|ego_end|>$），使VLM能够形成视图感知表示。步骤3：动作生成。DiT动作专家接收VLM隐藏状态和噪声动作块$Y_\tau$（其中$\tau$是flow-matching时间步），通过AdaLN时间步调节的联合自注意力处理，预测条件速度场$v_\theta(Y_\tau, \tau | o_t, x, e, z)$。动作专家包含约1.15B参数，由16个DiT块（每个70.8M）和几个MLP投影层组成。步骤4：动作解码。推理时，通过几步Euler积分从$\tau=1$到$\tau=0$生成动作序列：$Y_{\tau - \epsilon} = Y_\tau - \epsilon \cdot v_\theta(Y_\tau, \tau | o_t, x, e, z)$。默认情况下使用10步积分，产生低延迟的实时控制。步骤5：执行与反馈。生成的动作块（长度$H=16$）被发送到机器人执行，然后循环回到步骤1，直到任务完成。在闭环控制中，环境反馈可以包括新的视觉观测和奖励信号，用于后续的RL优化。
技术新颖性
技术新颖性体现在多个方面：(1) 统一表示：不同于现有方法为操控和导航设计不同的输出空间，Qwen-VLA将操纵动作、导航航点和人类第一人称运动统一在共享的行动-轨迹预测空间中。所有控制信号都表示为$Y \in \mathbb{R}^{H \times K}$的张量，其中$H$是固定的预测视野，$K$是共享的通道维度。每个控制模式使用$c \leq K$个通道，有效值放在前$c$个维度，剩余$K-c$个维度用零填充，通过每通道二进制掩码$M \in \{0,1\}^{H \times K}$记录哪些通道携带有效信号。(2) 具身感知prompt条件化：这是第一个通过纯文本接口实现跨机器人平台泛化的VLA模型，不需要为每个平台设计专门的架构或输出头。不同数据集保留其原生控制惯例，通过具身提示和数据特定归一化来指定。(3) 渐进式训练：特别是T2A阶段的创新，从压缩视角看待动作学习，使解码器在视觉接地之前建立语言索引的动作先验。这是与传统方法（直接从视觉-动作对训练）的本质区别。(4) Flow-matching for actions：虽然flow-matching在图像生成中很流行，但本文是第一个将其应用于机器人动作生成的大规模工作，相比扩散模型提供了更好的效率-质量权衡。
实验结果
实验结果表明，Qwen-VLA在多个基准测试中取得了SOTA性能，同时作为一个统一模型能够泛化到多种任务、环境和机器人形态。在机器人操控方面，Qwen-VLA-Instruct在LIBERO上达到97.9%，与最佳专家模型相当；在RoboCasa-GR1上达到56.7%，超过了π0.5（37.0%）、GR00T N1.6（49.9%）和Being-H0.5（53.3%）；在Simpler-WidowX上达到73.7%，超过了专家基线包括StarVLA-OFT（64.6%）；在RoboTwin-Easy/Hard上分别达到86.1%/87.2%，超过了之前最佳的专家ABot-M0（86.0%/85.0%）。这些结果证明联合多具身训练不会牺牲任务特定性能，甚至在几个基准中，通用模型超过了专门模型。在真实机器人ALOHA上，Qwen-VLA-aloha-w/pretrain在域内任务上达到83.6%的平均成功率，在OOD任务上达到76.9%的平均成功率，显著超过了π0.5（71.6%域内，41.5% OOD）。在视觉-语言导航方面，Qwen-VLA-Instruct在R2R Val-Unseen上达到69.0%的Oracle Success率和57.5%的Success Rate，超过StreamVLN 4.8和0.6个百分点；在更具挑战性的RxR Val-Unseen上，它在SR（59.6%）和SPL（47.8）上领先所有基线。在OOD评估方面，SimplerEnv-OOD上的结果表明，Qwen-VLA-Instruct平均成功率为32.0%，显著超过π0.5（12.6%），特别是在位置泛化任务上优势明显（MoveRight: 33.3% vs. 0.0%，PlaceNear: 39.6% vs. 0.0%）。在动态操纵DOMINO基准上，Qwen-VLA-Instruct在零样本设置下达到26.6%的SR和39.5的MS，超过了所有显式为动态操纵微调的基线，包括PUMA（17.2% SR, 35.0 MS）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 机器人操控-LIBERO | Success Rate | 97.9% | π0.5 (97.6%) | +0.3% |
| 机器人操控-RoboCasa-GR1 | Success Rate | 56.7% | π0.5 (37.0%) | +19.7% |
| 机器人操控-Simpler-WidowX | Success Rate | 73.7% | StarVLA-OFT (64.6%) | +9.1% |
| 机器人操控-RoboTwin-Easy | Success Rate | 86.1% | ABot-M0 (86.0%) | +0.1% |
| 机器人操控-RoboTwin-Hard | Success Rate | 87.2% | ABot-M0 (85.0%) | +2.2% |
| 真实机器人-ALOHA域内 | Average Success Rate | 83.6% | π0.5 (71.6%) | +12.0% |
| 真实机器人-ALOHA OOD | Average Success Rate | 76.9% | π0.5 (41.5%) | +35.4% |
| 视觉-语言导航-R2R Val-Unseen | Oracle Success Rate | 69.0% | StreamVLN (64.2%) | +4.8% |
| 视觉-语言导航-RxR Val-Unseen | Success Rate | 59.6% | StreamVLN (52.9%) | +6.7% |
| 动态操纵-DOMINO零样本 | Success Rate | 26.6% | PUMA (17.2%, 专门微调) | +9.4% |
局限与改进
作者承认的局限性包括：首先，具身动作数据仍然远小于视觉-语言预训练数据，限制了在长尾物体、环境、具身和接触丰富交互方面的鲁棒性。其次，跨视觉-语言理解、导航和动作生成的联合训练引入了优化权衡。虽然面向动作的训练改善了策略学习，但它可能轻微回归一些纯视觉-语言和导航评估，表明需要更好的目标平衡、数据课程和模块化专门化。第三，当前的评估仍然是短视界和基准驱动的，长时间、易失败的真实世界部署仍然是一个开放的挑战。基于观察，额外的局限性包括：模型主要依赖视觉观测，而没有充分利用力觉、触觉和本体感觉信号，这对于精细操作任务可能很重要；模型虽然能够处理多种机器人平台，但对于具有完全不同动力学特性的泛化能力尚未充分验证；当前的训练仍然需要大量的演示数据，对于新任务或新环境的快速适应能力有限；模型在处理长时界任务时的规划和记忆能力仍然有限，因为当前的动作块预测是局部且有限的（$H=16$步）。
独立分析的弱点
Qwen-VLA的几个主要弱点需要在未来的工作中解决。第一个弱点是对长尾物体和环境的鲁棒性不足。由于训练数据仍然有限，模型可能在遇到训练集中的长尾物体配置、光照条件或环境布局时表现不佳。改进方向是增加更大规模、更多样的数据收集，包括通过自主探索、仿真和sim-to-real迁移来覆盖更广泛的场景。第二个弱点是接触丰富交互能力的局限。当前模型主要处理抓取和放置等非接触操作，对于需要精确力控制的任务（如穿针、装配）可能表现不佳。改进方向是引入力觉和触觉传感器作为额外的输入模态，并收集包含接触丰富操作的数据。第三个弱点是长时界规划和记忆能力的局限。当前模型使用固定长度的动作块（$H=16$步），没有显式的记忆机制，难以处理需要长时间规划和失败恢复的复杂任务。改进方向是引入episodic memory、世界模型和分层规划，使智能体能够跟踪状态、分解任务、从失败中恢复并预测行动后果。第四个弱点是优化目标之间的权衡。视觉-语言损失和动作损失可能在梯度上存在冲突，导致一些任务性能下降。改进方向是设计更好的目标平衡策略、数据课程和模块化专门化，例如使用专家混合架构为不同任务族维护专门的子网络。
未来方向
作者提出的未来方向包括：通过自主收集、仿真和sim-to-real迁移扩大真实世界交互数据规模，对于提高鲁棒性至关重要。大规模人类视频，包括第一人称和第三人称视角，可以提供超越机器人演示的物理先验和时间抽象。未来的模型应该整合长时界规划、episodic memory和世界建模，使智能体能够跟踪状态、分解任务、从失败中恢复并预测行动后果。最后，更丰富的物理反馈（如力觉、触觉和本体感觉信号）与仿真和真实世界的大规模强化学习相结合，可能进一步弥合语言接地具身理解与可靠控制之间的差距。基于本文成果，其他可延伸的未来研究方向包括：探索更高效的动作表示方法，例如潜在空间中的离散动作或分层动作抽象；研究跨机器人迁移的元学习方法，使模型能够快速适应新的机器人平台；开发更具解释性的具身推理方法，使模型能够解释其动作选择的原因；探索具身感知与主动感知的结合，使智能体能够主动获取信息以改善决策；以及研究更安全的强化学习方法，使模型能够在真实世界中进行在线学习而不会造成危险。
复现评估
本文的复现性评估需要考虑多个方面。在开源情况方面，论文提供了模型架构和训练方法的详细描述，但截至论文发表时，代码和模型权重尚未完全公开。这与其他近期的大规模VLA工作类似，可能涉及商业考虑或模型安全性的担忧。在数据方面，训练数据集极其庞大且多样，包含了多个公开数据集（如RobotSet、Galaxea、AgiBot World、DROID、BridgeData V2、Ego4D、EPIC-KITCHENS等）以及专有的内部数据。虽然公开数据集可以重新获取，但专有数据和合成数据（如通过ROBOINF生成的8M轨迹）的复现将相当困难。在算力需求方面，训练Qwen-VLA需要大量的计算资源，包括用于预训练和微调的多GPU集群。考虑到模型的规模（Qwen3.5-4B骨干+1.15B DiT解码器）和训练数据的量级，完整复现训练过程可能需要数千GPU小时的计算资源。在难度方面，复现训练过程的主要挑战包括：(1) 收集和整合多个异构数据集，处理不同的数据格式和归一化策略；(2) 实现四阶段训练配方，特别是T2A阶段的特殊设计；(3) 调优flow-matching的时间步分布和其他超参数；(4) 在仿真环境中进行RL训练，需要稳定的仿真服务器和策略优化客户端架构。对于研究社区，一个更可行的复现路径是使用预训练模型在下游任务上进行微调和评估，这可以在相对较小的计算预算下完成。
论文图表
