一个务实的视觉-语言-动作基础模型 A Pragmatic VLA Foundation Model
基于2万小时真实双臂机器人数据训练的VLA基础模型，实现跨平台泛化与高效训练
前置知识
VLA（Vision-Language-Action）基础模型
VLA是一种将视觉感知、语言理解和动作生成统一在单一框架中的机器人策略模型。它通常以预训练的视觉语言模型（VLM）作为语义骨干，将自然语言指令和多视角图像作为输入，输出机器人关节空间中的连续动作序列。VLA的核心思想是：通过大规模预训练，模型可以习得通用的操作技能，然后快速迁移到不同的下游任务和机器人平台上。这类似于NLP领域大语言模型的预训练-微调范式，只不过输出从文本变成了机器人动作。
本文的核心就是构建一个大规模VLA基础模型，理解VLA的基本架构和预训练-微调范式是理解全文的前提。
Mixture-of-Transformers（MoT）架构
MoT是一种多模态融合架构，其核心思想是为不同的模态（如视觉/语言和动作）维护各自独立的Transformer通路，同时通过共享的自注意力机制实现跨模态的信息交互。具体来说，视觉-语言token通过一组Transformer层处理，动作token通过另一组独立的Transformer层处理，但在每一层中，所有token通过共享注意力权重进行交互。这种设计既保证了各模态内部的深度表征，又避免了跨模态干扰——VLM的高维语义先验可以在所有层中持续引导动作生成，而不会被动作数据的噪声所稀释。
MoT是本文模型架构的核心设计选择，它决定了VLM语义知识如何有效地转移到动作生成模块，直接影响模型的泛化能力。
Flow Matching（流匹配）
Flow Matching是一种连续归一化流（Continuous Normalizing Flow）的训练方法，用于学习从简单分布（如高斯噪声）到目标分布（如真实动作分布）的连续映射。其核心思想是在噪声和目标之间定义一条线性概率路径，模型学习预测该路径上的条件向量场。推理时，从噪声出发，沿着学到的向量场逐步去噪，最终生成目标动作。相比扩散模型，Flow Matching的训练目标更简洁，生成过程更平滑。其训练目标是最小化预测向量场与理想向量场之间的L2距离。
本文采用Flow Matching作为动作生成的核心机制，理解它是理解模型如何从噪声生成连续机器人动作序列的关键。
视觉蒸馏（Vision Distillation）
视觉蒸馏是一种将预训练深度感知模型的几何知识转移到VLA模型中的技术。具体做法是：在VLM中引入可学习的查询token（learnable queries），这些token经过VLM处理后，通过投影层与外部深度模型（如LingBot-Depth）输出的深度token进行对齐，对齐目标是最小化投影token与深度token之间的距离。这样，VLA模型无需直接处理深度图，而是通过蒸馏的方式将深度模型的空间感知能力注入到自己的表征中。这种方法的优势是：在推理时不需要运行额外的深度模型，只增加少量可学习参数，就能显著提升模型对三维空间的理解能力。
深度信息的整合是本文的重要创新之一，有/无深度版本的性能差异证明了空间感知对机器人操作的重要性。
块级因果注意力（Blockwise Causal Attention）
这是一种专门设计的注意力掩码策略，用于处理VLA模型中的联合序列。该序列被划分为三个功能块：图像+语言块、状态块、动作块。注意力规则是：不同块之间采用因果掩码（每个块只能关注前面的块和自己），而同一块内部采用双向注意力（所有token可以互相看到）。这种设计确保了动作生成模块可以利用所有观测信息，但不会发生未来动作token向当前观测表示的信息泄漏，从而保证训练的正确性。
注意力掩码策略直接决定了模型的训练效率和推理正确性，是理解模型如何处理多模态联合序列的关键设计。
研究动机
尽管VLA基础模型在机器人操作领域展现了巨大潜力，但社区对于VLA模型在真实世界中的数据扩展行为（scaling behavior）缺乏系统的实证研究。现有工作大多在几千小时的数据规模上训练，且评估局限于少量任务和单一平台，无法回答一个根本问题：VLA模型的性能是否会随真实世界数据量的增加而持续提升？此外，现有的VLA训练代码库在大规模多节点集群训练时存在严重的数据I/O瓶颈和通信开销问题，难以高效地进行扩展性实验。例如，OpenPI、StarVLA、Dexbotic等开源框架在8-GPU设置下的吞吐量通常只有几十到一百多samples/s，无法支撑大规模训练需求。社区迫切需要一个系统性的实证研究来回答VLA模型的真实世界扩展规律问题。
本文的目标是本文的目标是构建一个务实的（pragmatic）VLA基础模型LingBot-VLA，具体而言有三个可衡量的目标：第一，通过大规模真实世界数据（约20,000小时，来自9种双臂机器人平台）的预训练，验证VLA模型在真实场景中的数据扩展规律；第二，在GM-100基准上对100个操作任务、4个机器人平台进行系统性评估，每个任务130个后训练episode，每个任务-平台对15次试验，总计22,500次试验；第三，开发高效的训练代码库，实现8-GPU设置下261 samples/s的吞吐量，相比现有VLA代码库提升1.5到2.8倍。
与已有工作不同的是，本文的独特切入角度在于三个「大规模」的结合：大规模数据（20,000小时，是此前VLA工作数据量的数倍）、大规模评估（100任务×4平台×15试验=22,500次真实试验）、大规模效率优化（系统级的分布式训练和算子优化）。此前的工作要么在数据规模上受限（通常几千小时），要么在评估规模上不足（少量任务、单一平台），要么在训练效率上存在瓶颈。本文抓住了「真实世界VLA的扩展规律是否成立」这一被忽视的关键问题，并通过严格的实验设计给出了首个系统性答案：数据从3,000小时扩展到20,000小时，性能持续提升且无饱和迹象。
核心方法
LingBot-VLA的整体思路可以用一个比喻来理解：想象一个经验丰富的双臂机器人操作员，它通过观察大量不同机器人平台的操作视频学会了通用的操作技能，然后根据自然语言指令快速适应新任务。技术路线是：首先，从9种双臂机器人平台上收集约20,000小时的遥操作数据，涵盖多种原子操作动作；然后，使用预训练的视觉语言模型Qwen2.5-VL作为语义骨干，结合一个独立的动作专家（Action Expert）模块，通过Mixture-of-Transformers架构将两者耦合；动作生成采用Flow Matching方法，从高斯噪声逐步去噪生成连续动作序列；同时通过视觉蒸馏将LingBot-Depth模型的空间感知能力注入VLA模型。训练完成后，模型可以在仅130个episode的后训练数据下快速迁移到新的下游任务和机器人平台。
本文最核心的创新点在于：通过系统性地将VLA预训练数据从3,000小时扩展到20,000小时，首次在真实世界环境中验证了VLA模型存在有利的扩展规律（favorable scaling law）。这不是一个简单的「更多数据更好」的结论，而是一个经过严格实验验证的发现：在3,000到20,000小时的范围内，下游任务的成功率和进展分数随数据量的增加而持续、一致地提升，且三条不同机器人平台的个体趋势与聚合趋势保持一致，说明这种扩展规律是稳健的、非平台特定的。这一发现的重要性在于：它为VLA领域指明了方向——继续收集和整理更大规模的真实世界数据是有价值的，性能上限尚未触及。与此前工作相比，本文的本质区别不在于模型架构的精巧，而在于用「数据规模」这一朴素但被低估的维度推动了性能的显著提升。
方法步骤详情
LingBot-VLA的构建分为以下几个关键步骤：第一步，数据收集与标注。从AgiBot G1、AgileX、Galaxea R1Pro等9种双臂机器人平台上通过遥操作收集约20,000小时的原始数据，然后由人工标注员将视频分割为原子动作片段，再使用Qwen3-VL-235B-A22B模型自动生成任务和子任务的语言指令，并经过人工精修。第二步，架构构建。以Qwen2.5-VL作为VLM骨干，初始化一个独立的动作专家模块，通过MoT架构将两者耦合。VLM处理三视角图像和任务指令，动作专家处理机器人状态和动作块（动作块长度为50）。两个模块通过共享自注意力机制在每一层进行交互。第三步，动作生成训练。采用Flow Matching方法，定义噪声与真实动作之间的线性概率路径，训练动作专家预测条件向量场。第四步，深度信息整合。引入可学习查询token，经过VLM处理后与LingBot-Depth输出的深度token进行对齐，最小化蒸馏损失。第五步，训练效率优化。采用FSDP分布式策略，对动作专家模块构建专门的shard组以减少通信开销；使用FlexAttention优化稀疏注意力计算；通过torch.compile进行算子融合。第六步，后训练与评估。在GM-100的100个任务上，每个任务使用130个筛选后的episode进行微调（batch size=256，epochs=20），然后在4个平台上进行大规模评估。
技术新颖性
LingBot-VLA的技术新颖性体现在以下几个方面：首先，在数据层面，这是首个使用约20,000小时真实世界多机器人数据进行VLA预训练的工作，数据规模是此前同类工作的数倍，且覆盖了9种不同的双臂机器人平台，包括轮式和双足人形机器人。其次，在架构层面，本文采用MoT架构而非简单的特征拼接或交叉注意力来融合VLM和动作模块，实现了层级别的统一序列建模，同时通过块级因果注意力防止信息泄漏。第三，在空间感知方面，本文提出了一种轻量级的深度蒸馏方法——不需要在推理时运行深度模型，只通过可学习查询和投影层就能将深度模型的几何知识注入VLA，这比直接将深度图作为额外输入更高效。第四，在工程层面，本文针对VLA训练的数据I/O瓶颈和通信开销进行了系统优化，通过HSDP策略、FlexAttention算子优化和torch.compile融合，在8-GPU设置下实现了261 samples/s的吞吐量，相比现有框架提升1.5到2.8倍，且在256 GPU时接近线性扩展。
实验结果
本文的实验结果可以分为以下几个层面进行分析。首先是真实世界基准评估（GM-100）：在4个机器人平台（Agibot G1、AgileX、Galaxea R1Pro、Leju KUAVO 4 Pro）的100个任务上，LingBot-VLA w/ depth取得了平均16.87%的成功率（SR）和35.16%的进展分数（PS），分别比最强基线π0.5高出4.28%和7.76%。相比WALL-OSS（3.85% SR, 10.70% PS）和GR00T N1.6（7.31% SR, 16.66% PS），优势更为显著。值得注意的是，在Galaxea R1Pro平台上，GR00T N1.6的表现接近π0.5，这是因为GR00T N1.6的预训练数据中包含了大量Galaxea R1Pro数据，说明预训练数据的平台覆盖对下游性能有重要影响。其次是仿真基准评估（RoboTwin 2.0）：在50个操作任务中，LingBot-VLA w/ depth在clean场景下达到88.56%的SR（π0.5为82.74%），在randomized场景下达到86.68%（π0.5为76.76%），分别提升5.82%和9.92%。随机化场景（包括背景变化、桌面杂物、桌面高度扰动、光照多样性）中的更大提升表明模型具有更强的鲁棒性。第三是扩展规律分析：当预训练数据从3,000小时增加到20,000小时时，成功率和进展分数均呈现持续上升趋势，三条机器人平台的个体趋势与聚合趋势一致，且在20,000小时处未见饱和迹象。第四是数据效率分析：在Agibot G1平台的8个代表性任务上，LingBot-VLA仅用80个demonstration的后训练数据就超过了π0.5使用完整130个demonstration的表现，且随着数据量增加，两者之间的差距显著扩大。第五是训练效率分析：在8-GPU设置下，使用Qwen2.5-VL-3B模型时，LingBot-VLA代码库的吞吐量为261 samples/s，而StarVLA为142 samples/s，Dexbotic为547 samples/s，OpenPI为107 samples/s；使用PaliGemma-3B模型时，LingBot-VLA达到1249 samples/s，StarVLA为856 samples/s，Dexbotic为275 samples/s，OpenPI为261 samples/s。在256 GPU时，LingBot-VLA分别达到7356和6411 samples/s，接近线性扩展。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GM-100 真实世界基准（4平台平均） | 成功率 (SR) | 16.87%（w/ depth） | π0.5: 13.00% | +3.87%绝对提升，29.8%相对提升 |
| GM-100 真实世界基准（4平台平均） | 进展分数 (PS) | 35.16%（w/ depth） | π0.5: 27.32% | +7.84%绝对提升，28.7%相对提升 |
| RoboTwin 2.0 仿真基准（Clean场景） | 成功率 (SR) | 88.56%（w/ depth） | π0.5: 82.74% | +5.82%绝对提升 |
| RoboTwin 2.0 仿真基准（Randomized场景） | 成功率 (SR) | 86.68%（w/ depth） | π0.5: 76.76% | +9.92%绝对提升 |
| GM-100 Agibot G1平台 | 成功率 (SR) | 11.98%（w/ depth） | π0.5: 7.77% | +4.21%绝对提升，54.2%相对提升 |
| GM-100 AgileX平台 | 成功率 (SR) | 18.93%（w/ depth） | π0.5: 17.20% | +1.73%绝对提升 |
| GM-100 Galaxea R1Pro平台 | 成功率 (SR) | 20.98%（w/ depth） | π0.5: 14.10% | +6.88%绝对提升，48.8%相对提升 |
| GM-100 Leju KUAVO 4 Pro平台 | 成功率 (SR) | 15.60%（w/ depth） | π0.5: 12.91% | +2.69%绝对提升，20.8%相对提升 |
| 训练吞吐量（Qwen2.5-VL-3B，8 GPU） | samples/s | 261 | StarVLA: 142 | 1.84× 加速 |
局限与改进
尽管LingBot-VLA取得了显著成果，但论文中存在几个值得讨论的局限性。首先，绝对成功率仍然偏低：在GM-100基准上，即使是最强的LingBot-VLA w/ depth，平均成功率也只有16.87%，这意味着在100个任务中，平均只有约17个任务能被可靠完成。虽然这已经是SOTA水平，但距离真正的实用部署还有很大差距。论文将此归因于GM-100任务的高难度和多样性，但这也反映出当前VLA模型在复杂操作任务上的根本局限。其次，深度信息的贡献不一致：在某些平台上（如Leju KUAVO 4 Pro双足人形机器人），有深度版本反而比无深度版本略有下降（SR: 15.60% vs 17.59%），说明深度蒸馏的收益并非普遍成立，可能与机器人的视觉配置和运动特性有关。第三，评估仅限于双臂桌面操作场景，未涉及单臂、移动操作或非结构化环境，模型的通用性尚待验证。第四，论文的扩展规律分析只做到20,000小时，虽然未见饱和，但无法确定性能的天花板在哪里，也无法确定扩展的边际成本效益比是否会下降。第五，论文缺乏与更多最新模型（如RT-3、Octo等）的对比，基线选择可能存在偏差。
独立分析的弱点
从独立分析的角度来看，LingBot-VLA存在以下几个值得关注的弱点。第一，数据同质性问题：尽管数据来自9种平台，但都是双臂桌面操作场景，原子动作的多样性虽然丰富（从词云可以看到数百种动作），但场景类型相对单一。如果要扩展到移动操作、户外场景或人机协作，当前的预训练数据可能不够。改进方向是引入更多样化的场景和任务类型，如单臂操作、移动抓取、柔性物体操作等。第二，深度蒸馏的不稳定性：在Leju KUAVO 4 Pro平台上，有深度版本的表现反而略低于无深度版本，这暗示深度蒸馏可能在某些视觉配置下引入了噪声。改进方向是自适应地决定是否使用深度信息，例如根据输入图像的质量和机器人平台的特性动态调整深度蒸馏的权重。第三，评估指标的局限性：成功率（SR）是一个二值指标，进展分数（PS）虽然考虑了部分完成，但仍然是基于预定义子任务的。对于实际部署来说，可能需要更细粒度的指标，如动作精度、能耗效率、安全性等。第四，后训练数据需求：虽然80个episode已经比π0.5的130个更高效，但对于实际应用来说，每个任务收集80个遥操作episode仍然需要相当的人力投入。改进方向是探索更少样本的迁移方法，如few-shot甚至zero-shot的任务适应。
未来方向
论文在结论中明确指出了未来的研究方向：通过整合单臂和移动机器人数据来扩展模型的多功能性，从而在非约束环境中实现更多样化的操作能力。基于本文的成果，还可以延伸出以下几个方向：第一，探索更大规模的数据扩展——论文已经证明20,000小时处未见饱和，那么50,000小时、100,000小时的性能趋势如何？这需要更大规模的数据收集基础设施。第二，将扩展规律分析从数据量扩展到模型参数量——当前模型的参数量主要是VLM骨干的参数，如果将VLM从3B扩展到7B甚至70B，性能是否会出现类似的增长？第三，探索在线学习和自我改进——当前的VLA模型是离线训练的，如果能让模型在实际部署中不断收集新数据并更新自身，可能会实现持续的性能提升。第四，将Flow Matching的动作生成方法与更先进的推理策略（如扩散策略的引导采样）结合，探索在推理阶段提升动作质量的可能性。第五，构建更大规模、更多样化的基准——GM-100虽然任务数量不少，但场景类型单一，未来需要涵盖更多环境、更多交互对象、更多机器人形态的综合基准。
复现评估
从复现评估的角度来看，LingBot-VLA的复现条件相对友好。论文明确承诺开源代码、基础模型和基准数据，代码仓库在GitHub（robbyant/lingbot-vla），模型权重在HuggingFace（robbyant/lingbot-vla集合）。训练代码库基于PyTorch，使用FSDP分布式策略，8-GPU即可运行基础训练。然而，完全复现面临几个挑战：首先，预训练数据约20,000小时，涉及9种机器人平台，数据收集的成本极高，普通实验室难以复制。不过，论文提供了预训练好的基础模型，研究者可以直接进行后训练和微调，这大大降低了使用门槛。其次，GM-100基准的评估需要4种机器人硬件（AgileX、Agibot G1、Galaxea R1Pro、Leju KUAVO 4 Pro），每个任务需要15次试验，总计22,500次试验，硬件和时间成本较高。但论文提供了robag格式的评估录像，便于离线分析。第三，RoboTwin 2.0仿真基准的复现相对容易，只需要标准的仿真环境即可。总体而言，对于有算力但缺乏机器人硬件的研究者，可以基于开源模型和仿真基准进行有意义的研究；对于有硬件的研究者，论文的代码库和评估协议提供了完整的复现路径。
论文图表
