BagelVLA：通过交错视觉-语言-动作生成增强长时程操作 BagelVLA: Enhancing Long-Horizon Manipulation via Interleaved Vision-Language-Action Generation
统一VLA框架交错语言规划、视觉预测与动作生成
前置知识
Vision-Language-Action (VLA) 模型
VLA模型是一类将视觉感知、语言理解和动作生成统一到单一框架中的机器人策略模型。传统方法如RT-2和OpenVLA使用离散动作token与视觉语言模型兼容，而Octo和π0等方法则采用连续动作表示（如扩散模型）来捕捉多模态分布。VLA模型的核心目标是让机器人能够根据自然语言指令和视觉观察生成可执行的动作序列，从而实现通用型机器人操作。
本文提出的BagelVLA正是在VLA模型的基础上进行创新，理解VLA的基本架构和挑战是理解本文贡献的前提。
Flow Matching
Flow Matching是一种生成模型训练方法，通过学习从噪声分布到目标分布的连续流变换来生成样本。与扩散模型类似，它定义了一个时间步$\tau$从0（纯噪声）到1（目标数据）的插值过程，模型学习预测这个流的速度场。在机器人动作生成中，Flow Matching用于学习动作块的分布，能够捕捉多模态的动作分布。
BagelVLA采用Flow Matching作为动作生成和视觉预测的核心机制，其提出的Residual Flow Guidance正是基于Flow Matching框架的创新。
Mixture of Transformers (MoT)
MoT是一种使用多个独立的Transformer专家处理不同模态数据的架构设计。每个专家专注于特定的数据类型（如文本、图像、动作），通过自注意力机制进行连接和交互。这种设计允许模型在保留各模态专业知识的同时实现跨模态信息融合，同时便于利用预训练的大规模模型进行初始化。
BagelVLA的架构基于MoT，包含理解专家、生成专家和动作专家三个独立的Transformer，理解MoT是理解模型架构的关键。
Interleaved Planning（交错规划）
交错规划是一种将语言规划、视觉预测和动作生成交织在一起的机器人任务执行策略。不同于传统的端到端直接映射，交错规划要求模型显式地先进行语言规划（识别当前子任务），然后预测未来视觉状态（关键帧），最后生成动作。这种分步推理方式使模型能够在复杂长时程任务中进行多阶段推理。
这是本文的核心创新点之一，通过交错规划将语言推理能力与视觉预测能力耦合，显著提升长时程任务性能。
Residual Flow Guidance (RFG)
RFG是本文提出的一种高效视觉预测机制。传统方法从纯高斯噪声开始去噪生成未来图像，计算成本高昂。RFG的关键思想是将当前观测图像作为噪声初始化的先验，通过单步去噪提取预测性视觉特征。这使得模型只需关注动态变化区域，而非重建静态背景，大幅降低了推理延迟。
RFG是本文解决视觉预测高延迟问题的核心技术贡献，使得交错规划在实际应用中变得可行。
Action Chunk（动作块）
动作块是指模型一次预测的连续多个时间步的动作序列，而非单步动作。例如，本文中使用的chunk size为48，意味着模型一次预测48个时间步的动作。这种设计减少了模型需要做出决策的频率，提高了执行效率和动作的时序一致性。
理解动作块的概念对于理解BagelVLA的推理策略和性能指标至关重要，它直接影响模型的执行频率和延迟。
研究动机
当前的视觉-语言-动作（VLA）模型在处理复杂长时程机器人操作任务时存在根本性局限。具体而言，现有方法通常将语言规划和视觉预测作为孤立模块处理，无法同时整合这两种能力来指导动作生成。例如，RT-2和OpenVLA等离散动作token方法虽然能直接映射视觉语言表征到可执行动作，但在连续控制任务中的表达力受限。Octo和π0等连续动作表示方法虽然能更好地处理精细操作，但忽略了VLM预训练与VLA微调之间的对齐差距，导致视觉语言能力退化。另一方面，VPP和Cosmos Policy等引入视觉预测任务的方法虽然能桥接视觉语言信号和动作信号，但缺乏专用的VLM骨干网络，导致在需要复杂推理的任务中指令跟随性能不佳。在Robotwin基准测试中，π0在Clean设置下仅达到46.42%的成功率，在Randomized设置下更是降至16.34%，表明现有方法在处理环境变化和复杂指令时能力不足。
本文的目标是本文的核心目标是提出一个统一的VLA框架BagelVLA，能够在单一架构内无缝整合语言规划、视觉预测和动作生成三种能力。具体而言，BagelVLA需要实现以下目标：首先，模型应能够根据全局指令显式地进行语言推理，将复杂任务分解为可管理的子任务；其次，模型需要作为世界模型预测未来的视觉状态，为动作生成提供视觉动力学信息；最后，模型需要基于语言规划和视觉预测生成精确的动作序列。在Robotwin基准测试中，目标是在Clean设置下将成功率从52.92%（UP-VLA基线）提升至70%以上，在Randomized设置下从15.16%提升至20%以上。在真实世界的长时程任务中，目标是实现超过60%的规划准确率。
与已有工作不同的是，本文的独特切入角度在于将统一多模态理解与生成模型（如Bagel）的能力迁移到机器人操作领域。不同于现有VLA方法简单地将VLM与动作预测模块拼接，BagelVLA采用交错规划（Interleaved Planning）策略，要求模型在每个决策步骤中显式地进行语言推理、视觉预测和动作生成的连锁推理。这种设计的关键洞察是：语言模型的逻辑推理能力可以指导任务分解，视觉生成模型的预测能力可以预见物理结果，两者的耦合能够为低层控制提供丰富的对齐信息。此外，本文提出的残差流引导（RFG）机制通过将当前观测作为结构先验注入噪声初始化，使得模型只需建模动态变化而非重建静态场景，从根本上解决了视觉预测的高延迟问题。这种从理解-生成到理解-预测-执行的范式转换，使得模型能够在保持通用推理能力的同时获得精确的控制策略。
核心方法
BagelVLA的方法设计遵循一个清晰的直觉：要让机器人完成复杂任务，它需要像人类一样先想清楚（语言规划），然后想象执行结果（视觉预测），最后动手做（动作生成）。技术上，BagelVLA采用Mixture of Transformers（MoT）架构，包含三个独立的Transformer专家：理解专家（7B参数）负责语言规划，生成专家（7B参数）负责视觉预测，动作专家（2B参数）负责动作生成。模型从预训练的Bagel统一多模态模型初始化，保留了强大的视觉语言理解能力。训练采用两阶段策略：第一阶段在大规模混合数据上微调理解和生成专家，学习文本规划和关键帧预测能力；第二阶段引入动作标签数据，微调整个模型学习动作规划。推理时，模型以交错方式生成文本计划、关键帧和动作，通过单步去噪策略和异步执行机制，实现了1.2秒每动作块的推理速度，在单张RTX 5090上可达到40Hz的实际动作频率。
BagelVLA的核心创新在于两个方面。首先是交错规划范式：不同于现有VLA方法将视觉预测作为辅助任务或独立模块，BagelVLA将语言规划、视觉预测和动作生成建模为联合分布 $p_{\theta}(a_t, v_{t+k}, l_t | v_t, L)$，并基于操作的逻辑依赖进行因式分解。这种设计使得模型能够进行多模态思维链推理，每个决策步骤都结合了语言推理的逻辑性和视觉预测的物理性。其次是残差流引导（RFG）：传统视觉预测从纯噪声开始去噪，需要大量步骤才能生成有意义的图像。RFG将当前观测 $v_t$ 注入噪声初始化，使得模型只需预测残差变化而非从头生成。实验表明，RFG仅需10步去噪即可生成高质量的未来帧，而传统方法需要50步。这种设计使得BagelVLA在保持低延迟的同时获得了视觉预测的引导能力，从根本上解决了视觉预测的计算瓶颈。
方法步骤详情
BagelVLA的方法分为训练和推理两个阶段。训练阶段一：预训练语言规划和视觉动力学学习。在这一阶段，理解和生成专家在大规模混合数据上微调，数据包括2.56M通用VQA对、310k人类手部视频、382k开源机器人数据和4.5k自采真实机器人数据。机器人数据通过Seed-1.5-VL-thinking模型进行子任务标注和关键帧识别。损失函数包括语言规划的自回归交叉熵损失 $\mathcal{L}_l = -\log p_{\theta}(l_t | v_t, L)$ 和视觉预测的Flow Matching损失 $\mathcal{L}_v = -\log p_{\theta}(v_{t+k} | v_t, L, l_t)$。训练阶段二：动作规划微调。引入动作标签数据，整个模型在三个规划任务上联合微调。例如Calvin数据集使用ABC分割训练30k步，Robotwin使用2.5k演示训练60k步。动作专家采用Flow Matching学习动作块 $\mathcal{L}_a = -\log p_{\theta}(a_t | v_t, L, l_t, v_{t+k})$，中间尺寸缩减至原始LLM的五分之一（约2B参数）。推理阶段：采用单步去噪策略，将当前帧、指令上下文和纯噪声图像拼接计算KV缓存，然后条件化动作生成。通过异步执行机制，动作频率可达72Hz。
技术新颖性
BagelVLA的技术新颖性体现在多个层面。首先，在架构层面，这是首次将统一多模态理解与生成模型（Bagel）迁移到机器人操作领域，并通过MoT架构实现了语言、视觉和动作三个模态的高效协同。不同于prior work中简单的VLM加动作头设计，BagelVLA保留了预训练模型的完整理解与生成能力。其次，在训练范式上，本文提出的两阶段渐进式训练策略是独特的：第一阶段专注于语言规划和视觉动力学，不涉及动作数据，确保模型保留通用推理能力；第二阶段才引入动作标签，实现从理解到执行的能力迁移。这种设计有效解决了VLA微调导致视觉语言能力退化的普遍问题。第三，在推理效率上，RFG机制通过将当前观测作为结构先验，使得模型能够用单步去噪获得有用的视觉预测特征，推理延迟仅为1.23秒每块，而完整的去噪方案需要6.04秒。第四，在评估维度上，本文引入了规划准确率（Planning Accuracy）指标来评估模型的语义理解和动作跟随保真度，而非仅关注任务成功率。
实验结果
BagelVLA在多个仿真和真实世界基准测试中取得了显著优于现有方法的性能。在Calvin ABC-D基准测试中，BagelVLA达到4.41的平均任务完成长度，超越π0（3.65）和VPP（4.33），表明其在序列任务执行中的优越性。在Robotwin基准测试中，BagelVLA在Clean设置下达到75.26%的成功率，大幅超越UP-VLA（52.92%）和π0（46.42%）；在Randomized设置下达到20.87%，超越π0（16.34%）和RDT（13.72%）。消融研究表明，去除文本规划会导致Robotwin成功率下降21%（从75.26%降至54.00%），证明语言规划对长时程任务的关键作用。在真实世界基本任务中，BagelVLA达到75.5%的平均成功率，超越π0（65.0%）和VPP（59.5%），特别是在未见过物体的Pick&Place任务中表现突出（85% vs π0的55%）。在长时程规划任务中，BagelVLA在堆叠积木任务中达到73.3%的成功率（π0仅40%），规划准确率达95%；在计算放置符号积木任务中达到63.3%的成功率（π0仅31.7%），规划准确率达85%。RFG机制相比朴素单步去噪在Calvin ABC-D上提升0.255（从3.345到3.600），同时保持相同的1.23秒推理延迟。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Calvin ABC-D 序列任务 | 平均任务完成长度 | 4.41 | π0: 3.65, VPP: 4.33 | 比π0提升20.8%，比VPP提升1.8% |
| Robotwin Clean 设置 | 成功率 (%) | 75.26 | π0: 46.42, UP-VLA: 52.92 | 比π0提升62.1%，比UP-VLA提升42.2% |
| Robotwin Randomized 设置 | 成功率 (%) | 20.87 | π0: 16.34, RDT: 13.72 | 比π0提升27.7%，比RDT提升52.1% |
| 真实世界基本任务 | 平均成功率 (%) | 75.5 | π0: 65.0, VPP: 59.5 | 比π0提升16.2%，比VPP提升26.9% |
| 长时程堆叠积木任务 | 成功率 (%) | 73.3 | π0: 40.0, VPP: 25.0 | 比π0提升83.3%，比VPP提升193.2% |
| 计算放置符号积木任务 | 成功率 (%) | 63.3 | π0: 31.7, VPP: 23.3 | 比π0提升99.7%，比VPP提升171.7% |
| Calvin单视图RFG消融 | 平均任务完成长度 | 3.600 (RFG) | 3.345 (朴素单步去噪) | 提升7.6% |
局限与改进
尽管BagelVLA取得了显著成果，仍存在多方面局限性。首先，作者观察到任务成功率与规划准确率之间存在明显差距，例如在长时程堆叠积木任务中规划准确率达95%但任务成功率仅73.3%，这表明模型在精细运动控制精度上仍有不足，部分归因于数据集和模型的局限。其次，Robotwin Randomized设置下的成功率（20.87%）虽然超越基线，但绝对值仍然较低，说明模型在面对环境随机变化时的鲁棒性有待提升。第三，模型的推理延迟虽然通过RFG大幅降低（1.2秒每块），但仍需要单张RTX 5090 GPU，对于资源受限的部署场景可能不够友好。第四，本文的评估主要集中在特定的任务类型（如堆叠、放置），对于更广泛的非结构化环境中的泛化能力尚未充分验证。此外，模型在处理需要精细力控制的任务（如插花、倒薯条）时表现一般（成功率35-45%），这可能是因为视觉预测难以捕捉接触力等物理信息。
独立分析的弱点
BagelVLA存在几个值得深入分析的弱点。首先，视觉预测与动作生成之间的耦合仍然不够紧密：虽然RFG通过单步去噪降低了延迟，但视觉预测特征主要是粗粒度的场景变化，难以指导精细的接触操作。改进方向可以探索更细粒度的视觉表征，如深度图或点云的预测。其次，语言规划的表达能力受限于子任务粒度：当前的子任务标注是通过外部VLM自动生成的，可能存在噪声和不一致性。可以考虑引入人类反馈或强化学习来优化规划质量。第三，动作专家的参数量（2B）相对较小，在复杂精细操作中可能能力不足。可以探索自适应专家大小或动态路由机制。第四，模型的多任务学习能力虽然在基本任务中表现良好，但在任务间存在潜在干扰，特别是在长时程任务中，不同任务的规划模式差异较大。可以考虑任务特定的适配器或条件化机制。
未来方向
基于BagelVLA的成果，未来研究可以从多个方向延伸。作者提出了几个关键方向：首先，探索更高效的视觉预测机制，如减少去噪步数或采用更轻量的生成模型，以进一步降低推理延迟。其次，扩展到更复杂的任务场景，如需要长程导航与操作结合的任务，或多机器人协作场景。第三，改进数据引擎，利用更强的VLM进行自动标注，或引入主动学习策略来选择最有价值的训练样本。基于现有成果可延伸的方向包括：将RFG机制应用于其他需要视觉预测的领域，如自动驾驶或增强现实；探索将BagelVLA的交错规划范式与强化学习结合，实现在线策略优化；研究如何将模型的规划能力迁移到新的机器人形态，减少微调数据需求；以及开发更精细的力-视觉联合预测模型，提升接触操作的成功率。
复现评估
从复现性角度看，BagelVLA的复现面临一定挑战。好消息是，论文提供了详细的训练和评估细节，包括学习率（1e-5）、GPU数量（预训练64张A800，微调8-32张）、批大小和训练步数等关键超参数。模型架构参数也有详细记录（Table 5）。然而，完整的复现面临以下困难：首先，预训练阶段使用了大量数据（总计约84万episode），其中自采数据4.5k episode需要专用的双臂机器人平台；其次，Bagel基础模型的权重虽然来自公开的统一多模态模型，但完整的预训练流程需要巨大的计算资源（64张A800训练20k步）；第三，数据标注使用了Seed-1.5-VL-thinking模型，这是一个商业闭源模型，复现时需要寻找替代方案。评估方面，Calvin和Robotwin仿真环境是公开的，但真实世界评估需要专用的AgileX双臂机器人系统。总体而言，完整的端到端复现需要显著的计算资源和硬件投入，但论文的技术细节足够支持在小规模上验证核心思想。
论文图表
