Xiaomi-Robotics-0：面向实时执行的开源视觉-语言-动作模型 Xiaomi-Robotics-0: An Open-Sourced Vision-Language-Action Model with Real-Time Execution
小米开源4.7B参数VLA模型，Λ-掩码异步推理实现80ms实时机器人控制
前置知识
Vision-Language-Action (VLA) 模型
VLA模型是在预训练视觉语言模型（VLM）基础上扩展而来的端到端机器人策略学习框架。它接收视觉观测图像和自然语言指令作为输入，直接输出机器人关节动作序列，无需传统的感知-规划-控制分阶段管线。典型架构如OpenVLA、π0等将VLM与动作生成模块结合，利用大规模视觉语言预训练中获得的语义理解能力来泛化到多样化的机器人任务。VLA的核心优势在于跨具身体（cross-embodiment）泛化能力——同一模型可以控制不同形态的机器人执行不同任务。
本文的Xiaomi-Robotics-0就是一个VLA模型，理解VLA的基本范式是理解本文技术贡献的前提，尤其是VLA如何在保留VLM视觉语言能力的同时获得动作生成能力这一核心矛盾。
Diffusion Transformer (DiT) 与 Flow Matching
DiT是将扩散模型的去噪过程用Transformer架构实现的生成模型。Flow Matching是一种训练扩散生成模型的方法，定义了一条从噪声分布到目标分布的概率流路径。具体地，给定干净动作 $a_{t:t+T}$ 和随机噪声 $\epsilon \sim \mathcal{N}(0, I)$，带噪动作定义为 $\tilde{a}^\tau_{t:t+T} = \tau a_{t:t+T} + (1-\tau)\epsilon$，其中 $\tau \in [0, 0.999]$ 是流匹配时间步。模型学习预测速度场 $v_\theta$ 来匹配真实速度场 $u$，训练目标为 $\mathcal{L}(\theta) = \|v_\theta - u\|^2_2$。相比传统扩散模型的逐步去噪，Flow Matching提供了更平滑的生成路径。
本文使用DiT作为动作生成器，通过Flow Matching训练来生成多步动作块（action chunk），这是模型输出端的核心技术组件，理解其工作原理对于理解整个推理流程至关重要。
Action Chunk（动作块）与异步执行
Action Chunk是指VLA模型一次推理生成的连续多步动作序列，长度通常为T步（本文中T=10到30）。同步执行模式下，机器人执行完一个chunk后等待下一次推理完成才继续；异步执行模式下，机器人在执行当前chunk剩余动作的同时并行触发下一次推理，从而消除推理延迟导致的暂停。异步执行面临的核心挑战是连续推理产生的chunk之间必须保持一致性，否则会导致不连续的抖动运动，甚至将机器人推离训练分布。
异步执行是本文的核心贡献之一——如何在保持动作连续性的同时避免策略学习中的捷径问题。理解action chunk和异步执行的挑战是理解Λ-shape注意力掩码等技术创新动机的关键。
Mixture-of-Transformers (MoT) 架构
MoT是一种多模态Transformer架构，允许不同模态（如视觉、语言、动作）使用不同的处理路径或参数，同时通过共享的注意力机制进行跨模态交互。在本文中，MoT架构由一个预训练VLM（Qwen3-VL-4B-Instruct）和一个DiT组成，VLM负责处理视觉和语言输入并输出KV缓存，DiT接收这些KV缓存以及机器人本体感知状态和带噪动作来生成动作。这种设计使得VLM可以被冻结作为多模态条件提供器，而DiT专注于动作生成。
MoT架构是本文模型的骨架设计，理解VLM和DiT如何协作——尤其是VLM的KV缓存如何条件化DiT的动作生成——是理解模型整体工作原理的关键。
Λ-shape注意力掩码
Λ-shape注意力掩码是一种特殊的注意力模式，其形状类似希腊字母Λ（lambda）。在本文的后训练阶段，DiT接收前一次推理的动作前缀（clean action prefix）和当前待生成的带噪动作。Λ掩码的设计是：紧接动作前缀的带噪动作token可以关注前缀token以实现平滑过渡，但后续时间步的带噪动作token则不能关注前缀token，被迫关注视觉和语言信号。同时，所有带噪动作token都可以关注VLM KV缓存、sink token和状态token。此外，带噪动作token的RoPE位置索引加了偏移量10以区分于干净前缀token。
Λ-shape注意力掩码是本文解决异步执行中动作前缀导致策略学习捷径问题的核心创新，直接关系到模型在实时机器人部署中的表现。
研究动机
现有VLA模型虽然在泛化能力和性能上表现优异，但面临一个关键的实际部署难题：由于参数量巨大（通常达数十亿级别），推理延迟不可忽视。以同步执行策略部署时，机器人在等待下一次推理完成期间必须暂停，导致动作不连续和低吞吐量。以异步执行策略部署时，虽然机器人可以在推理期间继续执行，但已有的方法（如Training-Time RTC）通过将前一次推理的动作前缀条件化到当前推理中来保证连续性。然而，这种条件化机制引入了一个严重问题：策略学习可以走捷径——后续时间步的动作预测简单地复制动作前缀，而不是真正关注视觉观测和语言指令，导致策略反应性下降。在Towel Folding任务中，这种捷径学习的具体表现是：当机器人在甩动过程中意外抓住毛巾多层时，策略会陷入重复循环，反复执行相同的甩动动作而无法自我纠正，因为前缀的动作被简单地复制了。
本文的目标是本文的目标是开发一个兼顾高性能和快速流畅实时执行的VLA模型。具体而言，模型需要在三个层面达标：一是在仿真基准测试中达到最先进水平，证明其动作生成能力；二是在消费级GPU（如RTX 4090）上实现低延迟推理（约80ms），使得异步执行成为可能；三是在真实机器人双臂操作任务中实现高成功率和高吞吐量，证明实时部署的可行性。同时，模型需要在大规模机器人轨迹和视觉语言数据的联合训练中保留底层VLM的视觉语言能力，避免灾难性遗忘。
与已有工作不同的是，本文的独特切入角度在于从训练和部署两个层面系统性地解决异步执行中的动作一致性问题。在训练层面，本文提出用Λ-shape注意力掩码替代传统的因果注意力掩码，使得后续时间步的动作生成不能依赖动作前缀而被迫关注视觉和语言信号，从根本上避免了捷径学习。在部署层面，本文精心对齐连续推理产生的动作块的时间步，确保实时执行的无缝衔接。这种「训练时打破捷径+部署时对齐时间步」的双管齐下策略，是区别于已有工作的核心差异。此外，本文在预训练阶段采用两步策略——先联合训练VLM获得动作能力，再冻结VLM训练DiT——在保留VLM能力和获得动作能力之间取得了良好平衡。
核心方法
Xiaomi-Robotics-0的整体技术路线可以分为三个阶段：预训练、后训练和部署。预训练分为两步：第一步将VLM与动作预测能力联合训练，第二步冻结VLM并训练DiT动作生成器。后训练将模型适配到特定机器人和任务，引入异步执行的训练技术。部署时采用精心设计的异步执行策略确保连续性。直觉上，这就像先让一个语言专家学会看图说话（VLM预训练），然后教它同时学会操控机器人（第一步预训练），接着专门训练一个动作专家来高效生成动作（第二步预训练），最后针对具体任务微调并优化执行节奏（后训练和部署）。模型总参数量为4.7B，其中VLM为Qwen3-VL-4B-Instruct，DiT为16层Transformer。整个预训练数据规模约为200M时间步的机器人轨迹数据和80M+的视觉语言样本。
本文的核心创新是Λ-shape注意力掩码及其配套技术，用于解决异步执行中动作前缀导致的捷径学习问题。已有的Training-Time RTC方法通过将前一次推理的动作前缀（$\Delta t_c$ 步）拼接到当前带噪动作之前来保证连续性，但这允许后续时间步的带噪动作通过因果注意力直接复制前缀，形成学习捷径。本文的Λ掩码从根本上打破了这种捷径：紧接前缀的带噪动作可以关注前缀（确保过渡平滑），但后续时间步的带噪动作被禁止关注前缀，被迫关注VLM KV缓存中的视觉和语言信息（确保反应性）。此外，本文给带噪动作token的RoPE位置索引加了偏移量10，使模型能区分干净前缀和带噪动作。在训练时，$\Delta t_c$ 从 $\{0, 1, \cdots, 6\}$ 中采样，并对Flow Matching损失进行动态重加权，优先处理预测偏差较大的样本。这些技术的组合使得异步执行既能保持动作连续性，又能维持策略对环境变化的反应性。
方法步骤详情
方法分为以下步骤：（1）数据准备：收集约200M时间步的机器人轨迹数据（来源包括DROID、MolmoAct等开源数据集以及自采的338小时Lego Disassembly和400小时Towel Folding数据），以及超过80M样本的视觉语言数据（涵盖视觉定位、VQA、图像描述、具身推理四个任务）。（2）预训练第一步：将VLM与动作预测联合训练。VLM输入观测图像 $o_t$、语言指令 $l$ 和本体感知状态 $s_t$（经MLP编码），在序列末尾追加T个可学习动作token $[A_1], \ldots, [A_T]$ 和一个分数token $[S]$，同时预测N个动作chunk候选及其分数。采用Choice Policies的winner-takes-all策略，仅对L1距离最小的候选进行反向传播。视觉语言数据和机器人轨迹数据的采样比为1:6。（3）预训练第二步：冻结VLM，从头训练16层DiT。DiT接收VLM最后16层的KV缓存、本体感知状态和带噪动作，通过Flow Matching损失学习生成动作。DiT使用因果注意力和自适应归一化层（adaLN）注入流匹配时间步条件。输入token序列为：[SINK], $s_t$, $\tilde{a}_t$, ..., $\tilde{a}_{t+T-1}$。（4）后训练：针对特定机器人任务微调。同步执行模式下解冻整个模型继续训练；异步执行模式下引入动作前缀条件化和Λ-shape注意力掩码，输入序列变为：[SINK], $s_t$, $a_t$, ..., $a_{t+\Delta t_c-1}$, $\tilde{a}^\tau_{t+\Delta t_c}$, ..., $\tilde{a}^\tau_{t+T-1}$。（5）部署：同步执行时先执行chunk的前 $T_e$ 步再触发推理；异步执行时执行 $T_e$ 步后机器人继续执行剩余动作，同时触发下一次推理，用chunk中第 $T_e$ 到 $T_e + \Delta t_c - 1$ 步的动作作为下一次推理的前缀。推理使用5步Flow Matching积分，延迟约80ms。
技术新颖性
本文的技术新颖性体现在多个层面。首先，Λ-shape注意力掩码是一个精巧的设计：它在注意力矩阵层面实现了「近处看前缀、远处看视觉」的分层关注模式，既保证了动作块之间的过渡平滑性，又避免了策略退化为简单的动作复制器。这种掩码设计不同于传统的因果掩码（所有位置都能看到前缀）和全掩码（所有位置都不能看到前缀），在连续性和反应性之间找到了最优平衡点。其次，RoPE位置偏移技术虽然简单，但有效解决了模型区分干净前缀和带噪动作token的问题——没有这个偏移，模型可能无法从位置编码上区分两类token。第三，Flow Matching损失的动态重加权策略——在 $\Delta t_c > 0$ 时根据在线预测动作与真值的L1误差重加权——使得训练更加关注预测偏差大的样本，提升了异步执行的鲁棒性。最后，预训练的两步策略（先联合训练VLM再冻结VLM训练DiT）在保留视觉语言能力和获得动作能力之间取得了优于直接端到端训练的平衡。
实验结果
Xiaomi-Robotics-0在所有仿真基准测试中均达到最先进水平。在LIBERO基准上，平均成功率为98.7%，其中Libero-Object达到100.0%的完美成绩，Libero-Long达到97.2%（此前最佳为EO-1的94.8%），相比次优方法EO-1的98.2%提升了0.5个百分点。在CALVIN基准上，ABCD→D设置下平均完成任务长度从FLOWER的4.67提升到4.80，ABC→D设置下从4.53提升到4.75，显示出显著的泛化优势——在未见过的环境D中完成连续5个任务的成功率从77.8%提升到88.1%。在SimplerEnv基准上，Google Robot Visual Matching设置下平均成功率85.5%（超越EO-1的76.5%），Variant Aggregation设置下74.7%（超越EO-1的63.0%），WidowX设置下79.2%（超越EO-1的72.7%）。在真实机器人实验中，Lego Disassembly任务中所有方法的成功率相当，但Xiaomi-Robotics-0的吞吐量最高；Towel Folding任务中吞吐量达到1.2个/分钟，超越了π0.5和同步变体的1.0个/分钟。Training RTC变体在Towel Folding中频繁陷入重复循环——当意外抓住多层毛巾时无法自我纠正——而Xiaomi-Robotics-0有效避免了这一问题。在视觉语言能力保持方面，Xiaomi-Robotics-0在大多数VL基准上接近底层Qwen3-VL-4B-Instruct的性能（如POPE 88.5% vs 89.7%），在ERQA具身推理基准上甚至略超底层VLM（40.8 vs 40.0）。作为对比，不使用VL数据训练的变体在所有VL基准上得分均为0，π0在大多数基准上也接近0，证明了联合VL数据训练的必要性。模型在NVIDIA GeForce RTX 4090上实现了80ms的推理延迟，使用5步Flow Matching积分。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO 平均成功率 | Average Success Rate (%) | 98.7% | EO-1: 98.2%, FLOWER: 96.9%, π0.5: 96.9% | 比次优EO-1提升0.5个百分点，Libero-Object达100%，Libero-Long达97.2%（比EO-1高2.4%） |
| CALVIN ABCD→D 平均任务长度 | Average Length (tasks in a row of 5) | 4.80 | FLOWER: 4.67, UniVLA: 4.63, MDT: 4.52 | 比次优FLOWER提升0.13，连续完成5个任务成功率91.8%（FLOWER为88.3%） |
| CALVIN ABC→D 平均任务长度 | Average Length (tasks in a row of 5) | 4.75 | FLOWER: 4.53, UniVLA: 4.41, VPP: 4.29 | 比次优FLOWER提升0.22，连续完成5个任务成功率88.1%（FLOWER为77.8%，提升10.3%） |
| SimplerEnv Google Robot Visual Matching | Average Success Rate (%) | 85.5% | EO-1: 76.5%, π0: 71.4% | 比次优EO-1提升9.0个百分点 |
| SimplerEnv Google Robot Variant Aggregation | Average Success Rate (%) | 74.7% | EO-1: 63.0%, Magma: 57.5% | 比次优EO-1提升11.7个百分点 |
| SimplerEnv WidowX | Average Success Rate (%) | 79.2% | EO-1: 72.7%, π0: 69.2% | 比次优EO-1提升6.5个百分点 |
| 真实机器人 Towel Folding 吞吐量 | Throughput (pieces/min) | 1.2 pcs/min | π0.5: ~1.0 pcs/min, Xiaomi-Robotics-0 Sync: ~1.0 pcs/min | 比基线方法提升约20%吞吐量 |
| VL基准 ERQA（具身推理） | Score | 40.8 | Qwen3-VL-4B-Instruct: 40.0, MolmoAct: 33.5 | 甚至略超底层VLM（40.8 vs 40.0），可能受益于机器人轨迹衍生的VL数据增强了机器人中心化视角的感知 |
局限与改进
本文存在若干值得讨论的局限性。首先，在Lego Disassembly任务中，异步方法（包括Xiaomi-Robotics-0）的成功率略低于同步方法（π0.5和Xiaomi-Robotics-0 Sync），原因是异步方法的反应性较低，导致抓取精度下降、砖块与夹爪之间张力过大，可能将砖块弹出工作空间。这说明异步执行在需要极高精度的任务中可能存在吞吐量和成功率之间的权衡。其次，模型的推理延迟为80ms，虽然在RTX 4090上表现良好，但作者未在更低端硬件上测试，对于资源受限的部署场景（如嵌入式系统）的可行性尚不清楚。第三，预训练需要约200M时间步的机器人轨迹数据和80M视觉语言样本，计算资源需求巨大（使用DeepSpeed ZeRO-2，batch size达32768），这对大多数研究团队来说是难以复现的。第四，模型仅在两个真实机器人任务上进行了评估（Lego Disassembly和Towel Folding），虽然这两个任务具有挑战性，但覆盖的操作类型有限，尚未验证在更广泛的真实场景中的泛化能力。第五，视觉语言能力保持的评估显示，模型在部分基准上仍与底层VLM有明显差距（如ChartQA 59.2% vs 76.8%，MMMU 46.2% vs 51.7%），说明联合训练并不能完全保留VLM的全部能力。
独立分析的弱点
尽管Xiaomi-Robotics-0取得了显著成果，仍存在几个值得关注的弱点。第一，Λ-shape注意力掩码的「窗口大小」设计（紧接前缀的带噪动作可以关注前缀，后续不能）是固定的，缺乏自适应机制。在不同任务和不同执行速度下，最优的窗口大小可能不同——过于激进地切断前缀关注可能导致过渡不平滑，过于宽松则可能退化为Training RTC。一个改进方向是引入可学习的注意力门控机制，让模型自适应地决定哪些时间步需要关注前缀。第二，预训练阶段的两步策略（先训练VLM再训练DiT）虽然有效，但第二步冻结VLM可能导致VLM的特征表示无法针对动作生成进行优化。可以探索渐进式解冻或低秩适配（LoRA）等策略来更精细地平衡VLM能力保持和动作生成优化。第三，在异步执行的训练中，$\Delta t_c$ 从 $\{0, 1, \cdots, 6\}$ 均匀采样，但实际部署时推理延迟（80ms对应约2.4步@30Hz）是相对固定的，训练时对更大的 $\Delta t_c$ 值的采样可能浪费了模型容量。第四，动态重加权策略仅在 $\Delta t_c > 0$ 时启用，且基于L1误差，可以考虑引入更复杂的课程学习策略或基于任务成功率的奖励信号来指导训练。
未来方向
作者在结论中提出了几个未来研究方向。首先，计划在更大、更多样化的机器人数据集上训练模型，以提升其在真实世界任务中的鲁棒性和泛化能力。基于已有成果，可以进一步延伸的方向包括：（1）将Λ-shape注意力掩码的思想推广到更一般的多chunk预测场景，例如在一次推理中生成多个非连续的动作块来覆盖更长时间范围；（2）探索模型在移动操作（mobile manipulation）场景中的应用，当前实验仅限于固定基座的双臂操作，而移动机器人对实时执行的要求更高；（3）结合强化学习进行在线微调，当前模型完全基于模仿学习训练，引入RL可以提升模型在分布外场景中的恢复能力；（4）将视觉语言能力保持的机制推广到多模态大模型的其他应用场景，如视频理解和3D感知，其中类似的灾难性遗忘问题也普遍存在；（5）研究模型的零样本跨具身体迁移能力，利用预训练阶段的cross-embodiment数据实现一个模型控制多种机器人。
复现评估
本文在可复现性方面做了较好的开放。作者明确表示开源了预训练和后训练的模型checkpoint以及推理代码，项目主页为 https://xiaomi-robotics-0.github.io。然而，完全复现训练过程面临重大挑战：预训练需要约200M时间步的机器人轨迹数据（其中约338小时Lego Disassembly和400小时Towel Folding为内部采集数据，外部无法获取），以及80M视觉语言样本；训练使用DeepSpeed ZeRO-2，预训练batch size为32768，后训练batch size为2048，这些计算资源需求远超一般研究机构的承受能力。数据方面，虽然模型使用了DROID和MolmoAct等公开数据集，但内部采集的数据占比不小且未公开。此外，论文未提供训练的详细超参数（如学习率调度、具体数据混合比例等），也未提供DiT的具体架构细节（如隐藏维度、注意力头数等），这些信息对于精确复现是必要的。推理部署方面相对容易复现——RTX 4090是消费级GPU，推理延迟80ms是可验证的，5步Flow Matching积分的设置也已明确。
论文图表