← 返回 2026-03-17

面向动态环境的可泛化机器人操作 Towards Generalizable Robotic Manipulation in Dynamic Environments

Heng Fang, Shangru Li, Shuhan Wang, Xuanyang Xi, Dingkang Liang, Xiang Bai 📅 2026-03-16 👍 3 2026-07-13 08:36
VLA模型 动态环境 时空推理 机器人操作 运动预测
arXiv HuggingFace PDF

提出DOMINO数据集和PUMA架构解决机器人动态操作问题

前置知识

Vision-Language-Action (VLA)模型

VLA模型是一类端到端的多模态机器人学习框架，直接将视觉观测、语言指令和机器人动作联系起来。典型的VLA架构包含共享的视觉编码器和语言编码器，通过注意力机制融合多模态特征，最后解码出连续的动作指令。例如OpenVLA、RDT-1B、Pi0等模型都是代表性工作，它们通过大规模机器人操作数据训练，实现了对静态操纵任务的强大泛化能力。

本文是在VLA模型的基础上进行改进，提出动态感知的VLA架构。理解VLA模型的基本原理和局限性（单帧观测、缺乏时空推理）是读懂本文创新点的前提。

光学流（Optical Flow）

光学流是一种计算机视觉技术，用于估计图像序列中像素点的运动场。它通过计算连续帧之间像素强度的变化，推断出每个像素在时间上的位移向量。传统方法采用Lucas-Kanade或Farneback等算法，现代深度学习方法如RAFT通过可微分的网络端到端学习光流场。光学流能够显式编码场景中物体的运动方向和速度信息，是动态场景理解的重要工具。

PUMA架构的核心创新之一就是使用历史帧的光学流来编码场景中心的时空动态信息，替代直接堆叠原始帧。理解光学流如何表示运动信息有助于理解为什么它能提升动态感知能力。

部分可观测马尔可夫决策过程（POMDP）

POMDP是一种强化学习框架，用于建模智能体在状态信息不完全可观测的环境中的决策问题。在POMDP中，真实状态是隐藏的，智能体只能通过观测来获得状态的部分信息。形式上，POMDP由元组(S, A, T, R, O, Z, gamma)定义，其中S是状态空间，A是动作空间，T是状态转移函数，R是奖励函数，O是观测空间，Z是观测概率函数，gamma是折扣因子。策略pi(a|o_{t-h:t})基于观测历史做出决策。

本文将动态操纵问题形式化为POMDP，其中对象的状态动态变化且只能通过观测历史部分观测。理解POMDP框架有助于理解为什么需要历史上下文和未来预测来解决动态操纵问题。

Grounding DINO和SAM2

Grounding DINO是一种开放词汇的目标检测模型，能够根据文本描述定位图像中的对应目标。它结合了DINO（自监督视觉transformer）和语言模型，实现文本到图像的grounding能力。SAM2（Segment Anything Model 2）是Meta的通用分割模型，能够生成高质量的实例分割掩码。在本研究中，Grounding DINO从指令中解析出目标对象并生成边界框，SAM2进一步生成精确的分割掩码。

PUMA使用Grounding DINO和SAM2从未来帧中提取目标对象的状态，为未来特征预测器提供监督信号。理解这两个模型的工作原理有助于理解如何构建目标中心的状态表征。

研究动机

现有的视觉-语言-动作（VLA）模型在静态操纵任务中表现优异，但在动态环境中遇到移动目标时性能急剧下降。如表1所示，代表性模型Pi0.5在静态环境下的平均成功率为44.8%，但转换到动态环境后骤降至7.5%，降幅达到37.3%。同样，OpenVLA-OFT从17.5%降至6.7%，ACT从27.7%降至6.5%。这种性能退化主要源于两个因素：一是缺乏大规模动态操纵观测数据，二是现有VLA架构依赖单帧观测，限制了动态感知和运动预测能力。在动态环境中，机器人需要精确的时空精度，例如拦截移动目标时需要在正确的时间到达正确的位置，这超出了现有以静态空间偏差为主导的架构能力。

本文的目标是本文的具体目标有三个：首先，系统性地分析动态操纵的独特时空挑战，将其与静态范式区分开来，强调推进动态具身智能的必要性；其次，构建DOMINO（Dynamic Object ManIpulatioN Operations）基准，一个可扩展的动态操纵数据集生成和闭环评估流水线，包含多样化的机器人实体、通过动力学系数参数化的多层级难度缩放，以及全面的四维指标套件；最后，提出PUMA（Predictive Unified Manipulation Architecture），一个动态感知的VLA架构，通过整合历史运动线索来增强运动预测能力，实现对移动目标的前瞻性交互。

与已有工作不同的是，本文的独特切入角度在于同时解决动态操纵的数据和架构问题。与以往仅关注静态任务或简单动态操作的工作不同，DOMINO基准涵盖35个动态任务，跨越5种机器人实体，从单臂操作到复杂双臂协作，并引入三层级难度层次（Level 1: 可预测低阶动力学，Level 2: 可预测高阶动力学，Level 3: 随机和突变动力学）。在架构方面，PUMA的核心创新在于结合场景中心的历史感知和对象中心的未来预测，通过引入辅助未来特征预测器psi_omega，仅在训练期间监督，鼓励共享表征预测对象动力学。这种设计同时解决了历史上下文缺失和未来运动预测不足两个问题，与现有的世界模型方法主要关注全局场景过渡或机器人运动学，而忽略个别对象动力学形成鲜明对比。

核心方法

PUMA的整体思路是通过整合历史上下文和未来预测来增强VLA模型的动态感知能力。从直觉上讲，与移动目标交互需要理解其过去的运动轨迹以推断当前的动力学，同时预测其未来的位置以规划适当的拦截动作。技术上，PUMA基于Qwen3-VL架构，采用双查询机制：动作查询解码连续的动作块，世界查询聚合动态表征。在输入侧，模型处理三个关键组件：长期语言指令、当前多视角观测和历史动态上下文。历史上下文通过计算历史帧的光学流来编码，这比直接堆叠原始帧更能显式表示运动状态。在输出侧，模型同时输出动作块和未来特征，后者通过余弦相似性损失与从冻结DINO编码器提取的目标中心特征对齐。这种设计使模型在推理时无需未来帧即可预测目标状态，实现了前瞻性的交互能力。

PUMA的核心创新点在于同时整合历史光学流编码和对象中心未来预测。与标准VLA架构依赖单帧观测不同，PUMA显式编码历史运动信息，通过光学流提供密集的运动线索，使策略能够准确估计对象运动趋势。更重要的是，PUMA引入N个可学习的世界查询来聚合时空上下文，预测目标的未来表征，并通过与Ground Truth DINO特征的相似性损失进行优化。这种显式监督强制潜在的世界表征捕获和预测底层的对象动力学，且仅在训练期间需要未来帧，推理时不需要。这解决了现有VLA模型缺乏连续时空推理的瓶颈，实现了从被动反应到主动预测的转变。

方法步骤详情

PUMA的方法步骤可以分为四个主要部分。首先，历史动态上下文编码：以固定步长采样h个历史第三方帧，应用空间压缩算子后计算跨帧的光学流图，这些流图与当前多视角视觉输入一起通过Qwen3-VL视觉编码器处理，形成观测历史o_{t-h:t}，为策略提供显式的密集运动线索。其次，目标中心未来特征提取：在训练期间以固定间隔采样N个未来帧I_{t+1:t+N}，使用冻结的Grounding DINO和SAM2模块从语言指令中解析出的目标对象生成精确分割掩码B(I_t, p)，然后通过冻结的DINO patch-token编码器E(I_t)和掩码平均池化P(., .)计算目标中心未来特征f_{t+i} = P(E(I_{t+i}), B(I_{t+i}, p))。第三，双查询处理：共享骨干网络同时优化动作策略pi_phi和辅助未来特征预测器psi_omega，动作查询解码长度为K的动作块hat{a}_{t:t+K-1}，世界查询聚合时空上下文预测目标的未来表征z_{t+1:t+N}。最后，多目标训练：动作策略通过预测动作块的ell_1回归损失监督，L_action = (1/K)sum_{i=0}^{K-1}|hat{a}_{t+i} - a^*_{t+i}|_1，辅助未来预测器通过最小化预测表征z_{t+i}和Ground Truth对象中心特征f_{t+i}之间的余弦距离优化，L_world = -(1/N)sum_{i=1}^{N}(z_{t+i}^T f_{t+i})/(||z_{t+i}||_2 ||f_{t+i}||_2)，总目标为L_total = L_action + lambda L_world，其中lambda是平衡超参数。

技术新颖性

PUMA的技术新颖性体现在三个方面。首先，在大规模动态操纵数据集方面，DOMINO包含35个动态任务、超过11万条专家轨迹，覆盖5种机器人实体，并引入动力学系数alpha参数化的三层级难度缩放，这是首个专门针对动态操纵的全面基准。其次，在多维度评估协议方面，除了标准成功率（SR），还引入操作分数（MS），通过路径完成（RC）和安全惩罚计算，MS = RC * 0.5（如果目标退出安全工作空间或视野）或 * 0.8（如果与环境杂物碰撞），为随机环境提供更细粒度的质量评估。最后，在架构设计方面，PUMA首次将光学流编码和目标中心未来预测整合到VLA框架中，通过辅助未来特征预测器实现前瞻性交互，这种设计在推理时没有额外计算开销，但显著提升了动态感知能力。此外，研究发现动态数据训练不仅增强动态环境性能，还能促进鲁棒的时空表征，无缝迁移到静态任务，这是对传统观点的重要突破。

Dataset Visualization. We present DOMINO dataset of 117,000 dynamic manipulation trajectories, covering 35 distinct tasks across five robot embodiments.
Fig. 2: Dataset Visualization. We present DOMINO dataset of 117,000 dynamic manipulation trajectories, covering 35 distinct tasks across five robot embodiments.
PUMA processes historical motion flows, current observations, and instructions to encode scene-centric historical dynamics. It employs a dual-query mechanism where Action Queries decode continuous action chunks and World Queries aggregate dynamic representations.
Fig. 3: PUMA processes historical motion flows, current observations, and instructions to encode scene-centric historical dynamics. It employs a dual-query mechanism where Action Queries decode continuous action chunks and World Queries aggregate dynamic representations.

实验结果

本文通过一系列实验揭示了动态操纵的挑战和PUMA的有效性。首先，表1展示了现有VLA模型从静态到动态环境的性能退化，Pi0.5从44.8%降至7.5%（-37.3%），OpenVLA-OFT从17.5%降至6.7%（-10.8%），ACT从27.7%降至6.5%（-21.2%）。更重要的是，即使使用动态数据微调（D-D），平均成功率提升也小于3%，表明瓶颈在于架构而非数据分布。图4进一步显示，ACT模型在三个动态复杂度级别上的性能随复杂性急剧下降，Level 1的平均SR约为30%，Level 2降至约20%，Level 3仅约12%，强调了更强动态建模架构的需求。其次，表2的oracle实验表明，提供Ground Truth未来轨迹虽然仅略微提升SR（从9.06%到10.33%），但显著提升MS（从24.06到32.00），定性分析显示策略能正确获取和跟踪轨迹，但在实际操纵阶段缺乏历史上下文导致控制抖动和时间不一致。第三，表3显示PUMA在DOMINO@0.1基准上达到17.20%的平均SR和34.97的MS，显著优于OpenVLA-OFT（10.90%，30.49）、Pi0.5（9.63%，26.17）等SOTA基线，SR提升6.27%。图5的任务级分解显示，PUMA在困难任务上优势更明显，如Place Fan（7% vs 1%）、Handover Block（17% vs 2%）、Handover Mic（13% vs 5%）。第四，表4展示了动态数据的泛化能力，仅用动态数据训练的模型在静态环境的零shot测试中达到与静态数据训练相当的性能，如OpenVLA-OFT在Adjust Bottle上（65% vs 47%）和Place Container Plate上（40% vs 27%）表现更好。联合训练静态和动态数据进一步提升动态环境性能，PUMA的SR从14.80%提升到19.71%（+4.91%），MS从32.74提升到37.76（+5.02），表明静态数据提供稳定结构先验，动态数据引入时空变化。最后，表5的消融研究显示，添加历史光学流（+Hist. Flow）将SR从10.86%提升到11.71%，添加辅助未来预测（+Hist. Flow with Aux. Pred., N=2）进一步到14.80%，用原始历史帧替代光学流（+Hist. Frames）降至8.15%，延长预测到N=4达到最佳17.20% SR和34.97 MS，确认了光学流和未来预测的有效性。

Quantitative evaluation of VLA models in static and our proposed DOMINO. X to Y denotes training in environment X and testing in Y (S: static, D: dynamic), with ZS representing zero-shot evaluation and FT indicating fine-tuning.
Table 1: Quantitative evaluation of VLA models in static and our proposed DOMINO. X to Y denotes training in environment X and testing in Y (S: static, D: dynamic), with ZS representing zero-shot evaluation and FT indicating fine-tuning.
Results of explicitly modeling future trajectories.
Table 2: Results of explicitly modeling future trajectories.
Comparison with SOTA methods on DOMINO.
Table 3: Comparison with SOTA methods on DOMINO.
Comparison between co-training and dynamic data training.
Table 4: Comparison between co-training and dynamic data training.
Ablation of core components and future prediction steps (N).
Table 5: Ablation of core components and future prediction steps (N).
Performance degradation of the ACT model across three dynamic complexities.
Fig. 4: Performance degradation of the ACT model across three dynamic complexities.
PUMA performs significantly better than other baselines on difficult tasks.
Fig. 5: PUMA performs significantly better than other baselines on difficult tasks.
查看结构化数据
任务指标本文基线提升
DOMINO@0.1 (平均) 成功率（SR） 17.20% OpenVLA-OFT (Qwen3-VL): 10.90% +6.30% 绝对提升
DOMINO@0.1 (平均) 操作分数（MS） 34.97 OpenVLA-OFT (Qwen3-VL): 30.49 +4.48 绝对提升
静态-动态性能退化 (Pi0.5) 成功率（SR） 动态数据微调后9.63% 静态训练44.8% - 动态测试7.5% 微调后恢复但仍远低于静态性能
动态-静态零shot泛化 (OpenVLA-OFT) 成功率（SR） 动态训练后在静态任务可达65% (Adjust Bottle) 静态训练47% (Adjust Bottle) +18% 绝对提升
静态+动态联合训练 (PUMA) 成功率（SR） 19.71% 仅动态训练14.80% +4.91% 绝对提升
不同动态复杂度 (ACT) 成功率（SR） Level 1: 约30%, Level 2: 约20%, Level 3: 约12% 静态环境30% 显示动态复杂度对性能的影响

局限与改进

作者在论文中承认了一些局限性。首先，DOMINO基准基于SAPIEN仿真环境构建，虽然提供了可扩展和可控的实验平台，但仿真到现实的差距仍然存在，真实世界的物理复杂性、传感器噪声和不确定性可能对性能产生不同影响。其次，PUMA的目标中心未来预测是隐式的，通过特征空间的相似性学习而非显式预测未来姿态或轨迹，这限制了可解释性和对极端动态场景的适用性。第三，虽然DOMINO涵盖5种机器人实体，但主要集中在机械臂配置，未涵盖移动机器人或足式机器人等更广泛的实体。第四，动态复杂度参数化虽然提供了系统的难度缩放，但主要考虑了目标物体的运动，未探索机器人自身的速度限制和动力学约束对任务难度的影响。此外，本研究主要关注双臂操作，但更多机器人或人机协作的动态场景尚未探索。最后，虽然PUMA在动态环境中优于基线，但绝对成功率仍相对较低（17.20%），表明动态操纵仍是一个极具挑战性的开放问题。

独立分析的弱点

独立分析来看，PUMA存在几个可以改进的弱点。首先，光学流计算假设像素位移在短时间内连续且平滑，这在快速运动或遮挡情况下可能失效，导致运动估计不准确。改进方向可以是结合多尺度光学流或学习更鲁棒的动态编码器，处理遮挡和运动边界。其次，隐式未来预测仅学习特征空间的相似性，无法直接预测未来姿态或轨迹，限制了在需要精确时间规划的任务中的适用性。可以引入显式的轨迹预测模块，输出目标对象的未来位置分布，与动作策略联合优化。第三，当前方法主要针对可预测和半可预测的动态（Level 1和Level 2），对Level 3的随机和突变动态仍有较大挑战，成功率可能更低。可以探索在线适应机制，使策略能够根据实时观测快速调整对动态模型的理解。第四，评估指标虽然包含SR和MS，但未考虑时间效率，在动态环境中速度同样重要。可以引入时间作为额外评估维度，鼓励策略在保证成功的同时快速响应。最后，训练数据虽然包含领域随机化，但可能仍未覆盖真实世界的所有分布，可以探索域适应和在线学习技术，进一步提高鲁棒性。

未来方向

作者和基于本文成果可以延伸的未来研究方向包括几个方面。首先，将DOMINO基准和PUMA架构应用到真实机器人上，验证仿真到现实的迁移能力，探索域随机化和领域适应技术来弥补sim2real差距。其次，扩展DOMINO基准以包含更多样化的动态场景，如多目标同时运动、可变形物体、人机协作动态任务等，评估更复杂的动态交互能力。第三，探索更高效的时空建模方法，如动态图网络、时空transformer或神经ODE，以更好地处理长期依赖和非线性动力学。第四，研究在线学习和持续适应机制，使机器人能够在部署期间根据观测到的动态持续更新策略，适应环境的变化。第五，将动态感知能力与其他感知模态结合，如触觉或力反馈，提供更全面的动态理解。第六，探索动态操纵的基础模型，通过大规模动态操作数据预训练，实现跨任务、跨机器人的泛化。最后，研究动态操纵的安全性和可解释性，确保在动态环境中的可靠操作，并能够解释策略的预测和决策过程。

复现评估

论文提供了良好的复现基础。代码和数据已在GitHub上公开（https://github.com/H-EmbodVis/DOMINO），包含数据生成流水线、模型实现和评估脚本。DOMINO数据集包含超过11万条专家轨迹，在规范化和领域随机化设置下收集，为训练和评估提供了充足的数据。模型训练使用NVIDIA A100 GPU，数据生成和评估使用NVIDIA RTX GPU，具体的超参数和训练细节在附录中提供。虽然论文未公开详细的计算资源需求，但从架构规模来看，训练PUMA可能需要较大的GPU内存和较长的训练时间，对研究者的硬件资源有一定要求。然而，数据生成基于SAPIEN仿真引擎，相对易于复现，且论文提供了详细的任务定义和评估协议。总体而言，本文的复现难度中等，主要的挑战在于计算资源和仿真环境的设置。

论文图表

Illustration of the defined dynamic difficulty levels, progressing from static (Level 0) to stochastic and abrupt dynamics (Level 3).
Fig. 1: Illustration of the defined dynamic difficulty levels, progressing from static (Level 0) to stochastic and abrupt dynamics (Level 3).

Fig. 1由三个子图组成。子图(a)展示了定义的动态难度层级，从Level 0的静态环境，到Level 1的可预测低阶动力学（恒定速度），Level 2的可预测高阶动力学（多项式曲线），再到Level 3的随机和突变动力学（分段连续），通过可视化展示了不同难度下的目标运动轨迹。子图(b)说明了动态感知的两个前提条件：捕获历史上下文和预测未来运动，对比了无动态感知（仅单帧观测）和有动态感知（历史帧+未来预测）的模型架构差异。子图(c)展示了SOTA模型从静态到动态环境的性能退化，包括ACT、OpenVLA-OFT、RDT-1B、Pi0.5等模型的静态和动态成功率，显示了性能在动态环境中的显著下降。

Fig. 1对理解论文至关重要，因为它首先定义了动态操纵的难度层级，这是整个DOMINO基准的基础；其次阐明了为什么需要历史上下文和未来预测来实现动态感知，直接指向PUMA的核心创新点；最后通过定量数据展示了现有VLA模型在动态环境中的性能退化，证实了研究动机的合理性和紧迫性。这张图从问题定义、方法动机到实验证据，全面支持了论文的核心论点。