RoboVIP：视觉身份提示的多视角视频生成增强机器人操作

通过视觉身份提示和多视角视频生成增强机器人操作数据

前置知识

视频扩散模型

视频扩散模型是一种生成模型，通过逐步去噪的过程从随机噪声生成高质量视频。它学习将噪声逐渐转换为清晰视频的逆向扩散过程，能够生成时序一致的视频内容。本文使用Wan2.1作为基础模型，采用LoRA微调策略来适应机器人数据增强任务。

本文的核心方法建立在视频扩散模型之上，需要理解其去噪过程、条件生成机制以及LoRA微调策略才能理解如何将预训练模型适配到机器人数据增强场景。

视觉语言动作模型(VLA)

视觉语言动作模型是一种统一的架构，联合编码视觉、语言和动作信息。相比传统的visuomotor策略仅将图像映射到动作，VLA模型能够理解自然语言指令并根据视觉观察执行相应操作。π0和Octo是当前主流的VLA模型。

本文的方法专门为VLA模型的数据增强设计，需要理解VLA模型对多视角、时序一致性的需求，才能理解RoboVIP为什么强调视频级而非图像级生成。

全景分割

全景分割是语义分割和实例分割的统一任务，同时输出每个像素的类别标签和实例ID。OneFormer是一种全景分割模型，能够识别场景中的物体并进行分割。本文使用它从大型机器人数据集中提取物体图像作为视觉身份提示。

视觉身份池的构建依赖于全景分割技术，需要理解如何从分割结果中提取高质量、语义完整的物体图像，才能理解策展流水线的设计思路。

研究动机

收集大规模真实世界机器人操作数据极其困难：每个数据episode都需要精确的机械设置、标定的相机设备和可靠的传感器同步。这些约束使得难以在数量和环境多样性上扩展操作数据集。现有工作尝试使用文本提示条件的图像扩散模型来增强数据，通过修改背景和桌面内容来丰富视觉观察，但这些方法存在两个关键局限。首先，它们在单帧、单视角设置下操作，而现代策略模型需要更长时间的历史推理和多视角观察。例如，在一个按按钮任务中，交互前后的按钮状态在视觉上几乎相同，仅依靠一个历史帧的策略模型无法判断是否已经按下按钮，导致决策不确定甚至动作循环。其次，多视角观察在主流策略模型和VLA系统中越来越普遍，但现有方法不支持多视角生成。

本文的目标是本文的目标是构建一个多视角视频生成增强框架，能够在完全即插即用的方式下使用原始视频作为输入，丰富背景和桌面场景。该框架需要支持动态移动的腕部相机视角，能够生成时序一致且跨视角对齐的增强数据，用于训练下游的视觉语言动作模型和visuomotor策略模型。

与已有工作不同的是，本文的独特切入角度是提出视觉身份提示来弥补文本提示的不足。现有数据集提供的文本提示通常过于简单，缺乏详细的桌面描述，即使应用最先进的VLM生成描述也经常出现幻觉和不对齐。更关键的是，文本提示无法捕获低级细节。视觉身份提示将一个或多个示例图像作为条件输入，强制模型在填充区域合成既语义一致又低级细节丰富的内容。此外，本文设计了动作导向的自动分割流水线和智能体策展流水线，从大规模机器人数据集自动构建百万级视觉身份池，完全不需要人工干预。

核心方法

RoboVIP方法由三个主要组件构成：动作导向的分割流水线、视觉身份池构建和多视角修复视频扩散模型。整体思路是首先从机器人操作数据中提取观察视频和对应的动作数据，使用夹爪状态信息识别机器人实际与目标物体交互的时间窗口，结合视频推理VLM推断物体语义标签，再通过开放词汇分割模型获得可靠掩码，最后使用SAM2进行视频分割。同时，从大规模机器人数据集通过全景分割提取物体图像，经过质量评估、清晰度评估、CLIP评分和分辨率过滤，构建百万级视觉身份池。训练时，基于Wan2.1的视频扩散模型接受分割后的多视角视频、结构化文本提示和视觉身份提示作为条件，生成时序一致的多视角增强视频。

核心创新点有三：一是视觉身份提示机制，通过示例图像而非纯文本指导生成，能够合成语义和低级细节一致的内容；二是动作导向的分割流水线，利用夹爪状态变化定位交互时间窗口，解决腕部相机早期帧中物体不可见的问题；三是多视角生成策略，采用结构化垂直拼接方法将不同视角的掩码帧拼接，修改输入结构支持条件化的视频生成。与已有方法的本质区别在于，RoboEngine等基于单帧、单视角图像扩散，而RoboVIP在视频级别操作，支持多视角和时间一致性；Cosmos-Transfer使用像素对齐条件（边缘、深度、分割）限制了引入新语义内容的能力，而RoboVIP通过视觉身份提示可以引入全新的桌面物体和背景内容。

方法步骤详情

方法步骤分为数据准备、分割处理、视觉身份构建和模型训练四个阶段。数据准备阶段，丢弃过短序列（少于25帧）并对过长序列（超过550帧）进行时间裁剪，使用Qwen2.5-VL 32B重新生成多视角垂直拼接的文本描述，包含场景设置和动作描述。分割处理阶段，首先使用夹爪闭合状态识别腕部视角的交互时间窗口，提取对应视频片段输入视频推理VLM推断物体语义标签，再将标签输入开放词汇分割模型EVF-SAM获得掩码，对机器人和物体掩码分别处理后进行中值滤波过滤异常像素，最后使用k-means采样作为SAM2的提示点进行完整视频分割。视觉身份构建阶段，使用OneFormer对大规模机器人数据集进行全景分割，根据分类标签选择常见桌面物体和背景元素，裁剪对应图像后应用质量评估、清晰度评估、CLIP文本-图像评分和分辨率尺寸过滤，构建百万级视觉身份池。模型训练阶段，基于Wan2.1 I2V 720p变体，采用LoRA策略（Bridge配置rank 128，Droid配置rank 256）微调，将打包的视觉身份图像共享VAE编码后与视频分割输入沿帧维度拼接，多视角输入采用结构化垂直拼接策略，在8块144GB显存GPU上训练15K迭代，批量大小32。

技术新颖性

技术新颖性体现在多个方面。首先是条件生成机制的创新，将视觉身份提示引入多视角视频扩散模型，采用帧级拼接策略，在扩散transformer处理后丢弃身份token确保其仅作为上下文指导而非优化目标。其次是分割流水线的创新，结合动作信息（夹爪状态）定位交互窗口，解决腕部相机物体不可见问题，使用视频推理VLM进行物体命名和开放词汇分割。再次是多视角生成策略的创新，采用结构化垂直拼接将不同视角同一时间戳的掩码帧拼接，替换单图像填充为通道级完整视频序列拼接，最小侵入性地实现视频条件化目标。最后是视觉身份池构建的创新，采用智能体策展和过滤流水线，从大规模机器人数据集自动构建视觉身份池，使用打包策略在一个帧内容纳多个视觉身份引用，通过随机缩放防止过拟合固定比例。

**Figure 1**: Overview of our RoboVIP Workflow

**Figure 3**: Video Diffusion Model Architecture

**Figure 4**: Visual Identity Curation and Processing Pipeline

实验结果

实验在视频生成质量、仿真环境和真实机器人三个层面评估了RoboVIP的有效性。在Droid数据集300个测试用例上，RoboVIP在FID（39.97 vs Cosmos 47.43 vs RoboEngine 62.77）、FVD（138.4 vs 325.4 vs 1788.8）和LPIPS（0.409 vs 0.353 vs 0.598）等指标上表现最佳，尤其在多视角对应性指标MV-Mat（2242.1 vs 1583.4 vs 1301.9）上显著优于基线。在SimplerEnv仿真环境中，对Octo和π0两个VLA模型进行评估。对于Octo，RoboVIP平均成功率达到18.5%，优于Zero-Shot（12.2%）和Bridge V2 SFT（12.8%），Put成功率达到41.1%，显著高于SFT的23.0%。对于π0，RoboVIP（Text-only）获得最高整体成功率29.0%，RoboVIP为27.75%，均优于SFT基线（17.25%）和RoboEngine（18.5%）。历史长度依赖性分析显示，RoboVIP在6帧历史条件下仍保持有意义成功率，而RoboEngine性能几乎崩溃到零，证明了视频级生成的可扩展性。在真实机器人实验中，使用Franka Research 3机械臂进行立方体堆叠任务，DP+RoboVIP在干净背景下达到10/10成功率，在杂乱背景下达到9/10，而纯DP模型从7/10下降到0/10，证明了增强数据对真实世界视觉干扰的鲁棒性提升。

**Table 1**: Comparison of evaluation results on the WidowX robot in SIMPLERENV

**Table 2**: Generative Model Comparisons on 300 test cases of Droid

**Figure 5**: Qualitative comparisons of different models on Droid

**Figure 6**: Augmented BridgeV2 Data by our RoboVIP for VLA Training

**Figure 7**: Policy success rate vs. conditioned history length

**Figure 8**: Real Robot Experiment on Diffusion Policy

查看结构化数据

任务	指标	本文	基线	提升
SimplerEnv-π0	平均成功率	27.75%-29.0%	17.25% (SFT)	10.5-11.75个百分点
SimplerEnv-Octo	Put成功率	41.1%	23.0% (SFT)	18.1个百分点
Droid视频生成	FVD	138.4	325.4 (Cosmos)	57.5%降低
真实机器人立方体堆叠	杂乱场景成功率	90%	0% (DP)	90个百分点

局限与改进

作者承认的局限性包括：最先进的视频分割SAM2仍然难以进行夹爪定位和存在闪烁问题；VLM推理经常无法识别交互物体；开放词汇分割经常产生错误掩码，在多视角输入下不能产生一致结果。此外，虽然真实世界实验利用了多视角观察，但SimplerEnv基准仅支持单视角图像输入，因此需要更广泛的仿真研究来完全评估多视角一致性训练的好处。本文还提到，当前工具在腕部相机快速运动、窄视野、长轨迹和机器人特定训练有限的情况下，直接应用现成模型如视觉语言模型VLM往往无法可靠定位目标物体。

独立分析的弱点

独立分析的弱点首先在于视觉身份池构建的自动化程度仍有提升空间，当前方法依赖全景分割的质量，对于部分遮挡或不完整物体的筛选可能不够精确。其次，多视角生成中的视角间一致性虽然通过垂直拼接策略有所改善，但在复杂遮挡和极端视角变化情况下仍可能出现不一致。第三，训练计算资源需求极高，需要8块144GB显存GPU，限制了方法的可及性。第四，当前方法主要关注桌面操作场景，对于更复杂的环境如非结构化场景、户外环境等泛化能力未知。针对这些弱点，可以改进方向包括：引入更鲁棒的三维一致性约束到生成过程中；开发轻量级模型架构降低算力需求；扩展到更多样的场景类型；设计更智能的视觉身份筛选机制结合语义和几何完整性。

未来方向

作者提出的未来研究方向包括解决当前工具的局限性，如改进视频分割的夹爪定位和闪烁问题、提升VLM对交互物体的识别能力、增强开放词汇分割在多视角输入下的一致性。基于成果可延伸的方向包括：将方法扩展到更长时序的视频生成，支持长horizon任务；探索更复杂的多视角配置如动态相机运动和更多视角数量；结合3D先验知识提升空间一致性；将视觉身份提示扩展到更丰富的语义层面如物理属性、功能属性；开发端到端的分割和生成联合训练框架；应用到更多样的机器人平台和任务场景。

复现评估

复现评估方面，论文提到了详细的实现细节但没有明确声明开源代码和模型。数据使用公开数据集Bridge V1/V2、Droid，这些数据集可以获取。训练算力需求极高，需要8块144GB显存GPU，训练15K迭代，这对大多数研究机构来说是难以承受的。实验配置详细，包括批量大小、分辨率、LoRA rank等超参数都有说明，但一些关键细节如具体的过滤阈值、损失函数权重等可能需要进一步澄清。方法依赖多个外部模型（OneFormer、EVF-SAM、SAM2、Qwen2.5-VL），这些模型的版本和配置也需要精确复现。总体而言，虽然论文提供了详细的技术描述，但由于算力需求和外部依赖的复杂性，完全复现仍具有较高难度。

RoboVIP：视觉身份提示的多视角视频生成增强机器人操作 RoboVIP: Multi-View Video Generation with Visual Identity Prompting Augments Robot Manipulation