DynamicVLA：面向动态物体操作的视觉语言动作模型 DynamicVLA: A Vision-Language-Action Model for Dynamic Object Manipulation
DynamicVLA通过连续推理和潜在感知动作流实现动态物体实时操作，并构建DOM基准测试。
前置知识
Vision-Language-Action (VLA) 模型
VLA模型是机器人学习领域的一种多模态模型，它将视觉感知、语言理解和动作生成统一在一个框架中。这类模型通常以视觉观测（如RGB图像）和自然语言指令作为输入，输出机器人执行动作序列（如末端执行器位姿）。VLA模型借鉴了大型语言模型（LLM）和视觉语言模型（VLM）的成功经验，通过Transformer架构处理序列化的状态-动作-奖励数据，从而学习复杂的操作策略。在静态物体操作任务中，VLA模型已展现出强大的泛化能力。
本文提出的DynamicVLA是在VLA模型基础上针对动态场景的改进，理解VLA的基本范式是理解本文创新点的前提。
扩散策略 (Diffusion Policy)
扩散策略是一种将动作生成建模为去噪扩散过程的方法。它将策略视为一个条件扩散模型，通过迭代地对随机噪声进行去噪来生成动作序列。具体来说，给定当前观测，模型学习一个去噪向量场，将噪声分布映射到动作分布。这种方法能够建模复杂的、多模态的动作分布，适合处理机器人操作中固有的不确定性和多解性。在训练时，模型优化一个流匹配（Flow Matching）目标函数，学习预测去噪方向。
DynamicVLA的动作专家采用了扩散策略框架，理解扩散策略的原理有助于理解动作生成模块的设计和训练方式。
连续推理 (Continuous Inference)
在传统的VLA模型中，推理和执行是串行的：模型预测一个动作序列（动作块），然后执行完所有动作后才触发下一次推理。这种串行方式会引入“块间等待”（inter-chunk waiting），导致控制延迟。连续推理则是一种流水线执行方案：在当前动作块执行的同时，就开始下一次推理，从而消除等待时间，实现连续的动作流输出。这要求模型能够高效地进行多模态推理，并且推理延迟必须小于动作块的执行时间。
连续推理是DynamicVLA解决动态操作实时性的核心设计之一，它直接降低了系统的整体延迟，使机器人能够更快地响应物体运动变化。
潜在感知动作流 (Latent-aware Action Streaming, LAAS)
在连续推理中，由于推理延迟的存在，预测的动作序列与当前环境状态之间会存在时序错位。LAAS是一种延迟感知的执行机制，它通过显式的执行策略来恢复时序对齐。具体来说，它会丢弃那些时间戳早于当前时刻的动作（即过时动作），并且当新旧动作序列在时间上重叠时，优先执行来自最新序列的动作。这确保了即使在推理延迟的情况下，机器人执行的动作仍然是与最新观测相匹配的。
LAAS解决了连续推理引入的另一个问题——动作块间的冲突和时序错位，它是DynamicVLA实现动态操作闭环控制的关键技术。
感知-执行间隙 (Perception-Execution Gap, P.E. Gap)
在动态物体操作中，当VLA模型在时间t开始推理以预测动作序列At时，物体已经从状态st运动到了st+m（其中m是推理延迟）。因此，预测的动作At是基于过时的观测Ot，与推理完成时的真实环境状态Ot+m不匹配。这种由于推理延迟导致的感知信息与执行时刻之间的不一致性，称为感知-执行间隙。它是动态操作失败的主要原因之一。
识别并解决感知-执行间隙是DynamicVLA研究的出发点，理解这一概念是理解本文问题定义和解决方案的基础。
研究动机
现有的视觉语言动作（VLA）模型在静态物体操作任务中表现出色，但在动态场景下却面临严峻挑战。当物体处于运动状态时，推理延迟会导致感知信息与执行时刻严重脱节。例如，一个0.3秒的推理延迟，对于以0.5米/秒运动的物体，可能导致15厘米的位置偏差，这足以使抓取任务失败。此外，现有VLA模型采用的串行推理-执行模式（预测一个动作块，执行完后再触发下一次推理）引入了额外的“块间等待”时间，进一步降低了系统的响应速度。在需要快速反应的任务中（如抓取滚动的瓶子），这种延迟会导致机器人无法及时调整动作，最终任务失败。同时，现有的机器人数据集绝大多数针对静态场景，缺乏大规模、标准化的动态物体操作数据，限制了模型在动态任务上的训练和评估。
本文的目标是本文旨在解决动态物体操作中的实时性问题，具体目标包括：1）设计一个低延迟的VLA架构，使其推理速度能够满足动态操作的要求（目标推理频率高于物体运动频率）；2）消除推理和执行之间的串行依赖，实现连续的动作流输出，避免块间等待；3）解决推理延迟导致的时序错位问题，确保执行的动作与最新环境状态对齐；4）构建一个大规模、标准化的动态物体操作基准测试（DOM），为该领域的研究提供数据基础和评估平台。最终目标是使VLA模型能够像人类一样，在动态环境中实现快速、精准、自适应的操作。
与已有工作不同的是，本文的独特切入角度在于，它首次系统性地分析了VLA模型在动态操作中的失败模式，并指出主要瓶颈不是感知精度，而是感知与执行之间的时序对齐问题。与以往专注于提升模型感知能力或泛化能力的工作不同，DynamicVLA从系统执行的角度出发，通过架构和执行机制的协同设计来解决实时性问题。具体来说，它抓住了两个被忽视的关键点：1）推理延迟是动态操作失败的根本原因，而不仅仅是模型容量不足；2）通过流水线执行和延迟感知的动作流管理，可以在不牺牲模型容量的前提下实现低延迟控制。这种“系统级优化”思路，与单纯扩大模型规模或增加数据量的思路形成了鲜明对比。
核心方法
DynamicVLA的总体思路可以类比为一个高效的“感知-决策-执行”流水线。想象一个熟练的厨师在颠勺炒菜：他不会看完食材状态后停下来思考下一步，而是在观察的同时手臂已经在执行连续的动作，并且随时根据食材的最新状态微调动作。DynamicVLA就是这样的系统：它通过一个紧凑的0.4B参数模型快速“看”和“想”，同时通过连续推理让“做”和“想”重叠进行，再通过潜在感知动作流确保“做”的动作是最新的“想”的结果。技术路线包括三个核心设计：1）一个采用卷积视觉编码器FastViT的轻量级VLA骨干网络，用于快速多模态推理；2）连续推理机制，通过流水线化推理窗口，消除推理与执行之间的串行等待；3）潜在感知动作流，通过丢弃过时动作和优先执行最新预测，恢复时序对齐。
DynamicVLA最本质的创新点在于，它将动态物体操作的问题从“如何更好地感知”重新定义为“如何更快地感知-执行对齐”。现有方法试图通过更大的模型、更多的数据来提升感知精度，但忽略了推理延迟带来的时序错位问题。DynamicVLA的核心思想是：在动态场景中，一个略微过时但及时执行的动作，比一个精确但严重延迟的动作更有价值。因此，它不追求极致的感知精度，而是通过系统设计确保感知信息能够及时转化为执行动作。具体来说，连续推理打破了推理和执行的串行依赖，让两者可以重叠进行；而潜在感知动作流则解决了重叠执行带来的动作冲突问题，确保最终执行的动作序列在时序上是连续和一致的。这种设计使得一个仅有0.4B参数的小模型，能够在动态操作任务上超越数倍参数规模的大模型。
方法步骤详情
DynamicVLA的工作流程可以分为以下几个步骤：1）输入准备：在时间步t，模型接收一个时间观测窗口Ot（包含过去几帧的视觉观测）、语言指令Lt和本体状态Pt。2）多模态编码：FastViT视觉编码器将多帧RGB图像编码为36个视觉token，与语言token和状态token拼接后，送入SmolLM2-360M语言骨干网络的前16层进行多模态推理，输出key-value表示。3）动作预测：扩散动作专家以这些多模态特征为条件，通过流匹配（Flow Matching）过程预测一个动作序列At（包含未来20个时间步的动作）。4）连续推理：在At开始执行的同时，立即触发下一次推理，输入新的观测窗口Ot+m，预测下一个动作序列At+m。这形成了一个流水线：推理和执行交替进行，互不阻塞。5）潜在感知动作流：在执行阶段，对于动作序列At，其中时间戳早于t+m（即推理完成时刻）的动作被丢弃，因为它们是基于过时观测预测的。执行从At+m开始，并且对于与At+m在时间上重叠的动作，优先执行来自At+m的版本，确保动作序列在时序上连续且最新。
技术新颖性
DynamicVLA的技术新颖性体现在以下几个方面：首先，它首次将连续推理和潜在感知动作流两种机制结合，并应用于VLA模型，形成了一个完整的低延迟闭环控制框架。其次，在模型设计上，它采用了FastViT卷积视觉编码器替代主流的Transformer视觉编码器，通过更大的初始patch尺寸和步长下采样，实现了更激进的空间压缩（仅输出36个token），在保持结构信息的同时大幅降低了编码延迟。第三，在训练策略上，它采用了三阶段训练：大规模视觉-语言预训练、DOM数据集上的中间训练、以及特定机器人的真实数据后训练，这种渐进式的训练方式有效地对齐了多模态表示并适应了真实世界环境。最后，它构建了DOM基准测试，这是首个大规模、标准化的动态物体操作评估平台，填补了该领域数据集的空白。
实验结果
DynamicVLA在Dynamic Object Manipulation (DOM) 基准测试中取得了显著优于现有VLA模型的性能。在模拟实验中（Table I），DynamicVLA在三个核心维度上均大幅领先：在交互维度，闭环反应性（Closed-loop Reactivity）达到60.5%，比最强基线VLASH（9.0%）提升572%；动态适应性（Dynamic Adaptation）达到38.5%，比最强基线π0.5（17.5%）提升120%；长时程序列（Long-horizon Sequencing）达到40.5%，比最强基线SmolVLA（5.5%）提升636%。在感知维度，视觉理解（Visual Understanding）达到51.5%，空间推理（Spatial Reasoning）达到48.0%，运动感知（Motion Perception）达到33.5%。在泛化维度，视觉泛化（Visual Generalization）达到59.5%，运动泛化（Motion Generalization）达到65.0%，扰动鲁棒性（Disturbance Robustness）达到26.5%。整体平均成功率达到47.06%，是第二名（13.61%）的3.5倍。在真实世界实验中（Figure 4, 5, 6），DynamicVLA同样表现优异，在交互任务上平均成功率71.6%，在感知任务上平均成功率51.9%，在泛化任务上平均成功率65.0%，均显著高于基线模型。消融研究（Table II）验证了各组件的有效性：连续推理（CI）和潜在感知动作流（LAAS）分别带来约10%和7%的性能提升，两者结合提升约17%。FastViT视觉编码器相比Transformer编码器提升约6%。模型规模方面，360M参数的骨干网络在效率和性能之间取得了最佳平衡。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 闭环反应性 (Closed-loop Reactivity) | 成功率 (%) | 60.50 | VLASH: 9.00 | +572.2% |
| 动态适应性 (Dynamic Adaptation) | 成功率 (%) | 38.50 | π0.5: 17.50 | +120.0% |
| 长时程序列 (Long-horizon Sequencing) | 成功率 (%) | 40.50 | SmolVLA: 5.50 | +636.4% |
| 整体平均 (Overall Average) | 成功率 (%) | 47.06 | VLA-Adapter-Pro: 13.61 | +245.8% |
| 视觉理解 (Visual Understanding) | 成功率 (%) | 51.50 | GR00T-N1.5: 9.50 | +442.1% |
| 空间推理 (Spatial Reasoning) | 成功率 (%) | 48.00 | π0.5: 12.50 | +284.0% |
| 运动感知 (Motion Perception) | 成功率 (%) | 33.50 | GR00T-N1.5: 14.00 | +139.3% |
| 视觉泛化 (Visual Generalization) | 成功率 (%) | 59.50 | SmolVLA: 14.50 | +310.3% |
| 运动泛化 (Motion Generalization) | 成功率 (%) | 65.00 | π0.5: 19.50 | +233.3% |
| 扰动鲁棒性 (Disturbance Robustness) | 成功率 (%) | 26.50 | π0.5: 18.00 | +47.2% |
局限与改进
尽管DynamicVLA在动态物体操作上取得了显著进展，但仍存在一些局限性。首先，当前工作主要关注短时程（几秒内）的动态交互任务，对于需要长时间规划和记忆的复杂任务（如多步骤组装），其能力尚未验证。其次，数据收集和模型假设都基于刚体动力学，对于非刚体物体（如布料、绳索）或流体操作，当前的系统难以处理。第三，实时性约束与模型容量之间存在根本权衡：为了满足低延迟要求，模型不得不使用较小的骨干网络（360M参数），这限制了其在复杂感知和推理任务上的上限。第四，扰动鲁棒性维度的表现相对其他维度较弱（26.5%），表明模型在面对意外碰撞或强干扰时的恢复能力仍有提升空间。最后，虽然论文提出了自动化的数据收集流程，但真实世界数据（2K episodes）的规模仍然有限，且采集流程依赖于特定的硬件设置（双RGB相机、深度传感器），复现成本较高。
独立分析的弱点
基于对论文的独立分析，我识别出以下几个主要弱点：1）长时程任务支持不足：当前的连续推理机制是为短时程反应性任务设计的，缺乏任务规划、记忆和子任务分解的能力。改进方向可以是引入层次化策略，高层负责任务规划和分解，低层负责实时执行。2）非刚体物体处理能力缺失：系统假设物体是刚性的，状态可以用6D位姿和速度表示。对于可变形物体，需要更复杂的表征和预测模型。改进方向可以是结合图神经网络或点云表征来建模物体形变。3）实时约束下的模型容量瓶颈：为了达到88Hz的推理频率，模型被限制在0.4B参数，这限制了其在复杂场景下的感知和推理能力。改进方向可以是设计更高效的注意力机制（如线性注意力），或者探索模型蒸馏技术，将大模型的知识压缩到小模型中。4）扰动鲁棒性较弱：模型在面对强干扰时容易失败。改进方向可以是在训练中引入更多样的扰动数据，或者设计专门的鲁棒性增强模块。5）数据收集流程的泛化性：虽然论文提出了自动化的数据收集流程，但其依赖于特定的硬件配置（双RGB相机、深度传感器）和物体跟踪算法（EfficientTAM），在不同环境下的部署可能存在挑战。
未来方向
作者在论文中提出了几个有前景的未来研究方向：1）更高效的VLA架构：在严格延迟预算下保持甚至提升多模态理解能力，探索新的注意力机制和模型架构。2）超越短时程动态：将动态操作扩展到需要长期规划和记忆的多阶段任务，整合任务分解和语言条件化。3）超越刚体动力学：将数据收集流程和模型扩展到非刚体和流体动力学场景，这需要新的仿真器和状态估计方法。基于DynamicVLA的成果，还可以延伸以下方向：4）多机器人协作动态操作：多个机器人协调操作同一个动态物体，需要解决通信和协调问题。5）从仿真到真实世界的进一步迁移：利用DOM基准测试的大规模仿真数据，结合域随机化和仿真到真实迁移技术，进一步提升模型在真实世界中的泛化能力。6）与大型语言模型（LLM）的深度集成：利用LLM的强大推理能力进行高层任务规划，而DynamicVLA负责底层实时控制。
复现评估
从复现的角度评估，DynamicVLA具有较高的可复现性，但需要一定的计算资源。论文提供了详细的技术细节，包括模型架构（FastViT + SmolLM2-360M）、训练策略（三阶段训练）、超参数设置（学习率、批大小等）和评估协议。数据方面，论文构建的DOM基准测试包含200K仿真 episodes 和2K真实世界 episodes，并提供了自动化的数据收集流程，这为复现和后续研究提供了便利。然而，复现需要显著的计算资源：训练在32块NVIDIA A100 GPU上进行，耗时约两周。推理时，模型需要1.8GB GPU内存，在RTX A6000上可达88Hz。真实世界实验需要Franka Emika Panda或AgileX PiPER机械臂，以及特定的相机设置（Azure Kinect DK和Intel RealSense D435i）。论文没有明确提及代码和模型是否开源，但提供了详尽的实现细节，降低了复现的门槛。总体而言，对于拥有足够计算资源和硬件设备的实验室，复现DynamicVLA是可行的。
论文图表
图1包含三个部分：(a) 展示了现有VLA模型在动态操作中存在的感知-执行间隙（P.E. Gap）和块间等待问题，导致对动态物体的反应延迟。(b) 展示了DynamicVLA如何通过潜在感知动作流（LAAS）和连续推理（Continuous Inference）消除这些间隙和等待，实现无缝的动作过渡。(c) 展示了动态物体操作（DOM）基准测试，该基准包含2.8K场景和206个物体，用于评估感知、交互和泛化能力。
这张图是理解论文核心问题的入口，直观地展示了现有方法的瓶颈和DynamicVLA的解决方案，同时概括了DOM基准测试的构成。
表格I报告了在DOM基准测试的九个评估子维度上，各方法的平均成功率（SR, %），并总结了整体平均成功率、路径长度（米）和任务完成时间（秒）。DynamicVLA在所有维度上均取得最佳性能，整体平均成功率达到47.06%，远超其他基线模型。
这是论文最核心的结果表格，提供了DynamicVLA与所有基线模型的定量比较，是评估其性能优势的直接证据。
表格II通过消融研究评估了DynamicVLA中关键设计选择的影响，包括LLM骨干网络大小（Size）、使用FastViT作为视觉编码器（FViT）、连续推理（CI）和潜在感知动作流（LAAS）。结果表明，所有组件都对最终性能有积极贡献，其中CI和LAAS的组合带来约17%的性能提升。
这个表格验证了DynamicVLA各个设计选择的有效性，证明了其创新点的必要性。
表格III通过改变时间观测窗口Ot中视觉帧的组合，分析了时间视觉上下文对性能的影响。结果表明，使用两帧间隔（{ot-2, ot}）的稀疏时间上下文能提供更有效的运动线索，而单帧输入会导致性能显著下降。
这个表格揭示了时间信息在动态操作中的重要性，并为观测窗口的设计提供了指导。
表格IV评估了不同LLM深度（保留前l层Transformer）对性能的影响。结果表明，16层骨干网络在效率和鲁棒性之间取得了最佳平衡，更深或更浅的骨干网络都会导致性能下降。
这个表格为DynamicVLA的骨干网络截断策略提供了实验依据，证明了其设计选择的合理性。
表格V将连续推理（CI）和潜在感知动作流（LAAS）集成到现有的VLA模型（SmolVLA和π0.5）中，评估其泛化性。结果表明，CI和LAAS能有效提升中等推理延迟模型的性能，但对于推理延迟很高的大模型（如π0.5）效果有限。
这个表格证明了CI和LAAS作为通用执行机制的潜力，并揭示了其适用范围。