重新思考面向具身世界的视频生成模型

提出机器人视频生成基准RBench与大规模数据集RoVid-X

前置知识

视频生成模型（Video Generation Models）

基于扩散模型（Diffusion Models）或自回归架构的深度学习模型，能够从文本描述或参考图像生成连续的视频帧序列。近年来代表模型包括 Sora、Wan、HunyuanVideo 等，它们通过大规模数据预训练学习到了丰富的视觉先验和运动动态。在具身智能场景中，这类模型被用于合成机器人轨迹数据，以替代昂贵的人类遥操作数据采集过程。

本文的核心研究对象就是视频生成模型在机器人场景下的表现，理解其工作原理是读懂本文评测维度和数据集设计动机的基础。

具身智能（Embodied Intelligence）

指智能体通过与物理环境交互来感知、推理和执行任务的能力。在机器人领域，具身智能强调机器人在真实物理世界中的操作能力，包括抓取、放置、导航等任务。视频生成模型被视为具身智能的重要工具，可用于合成训练数据、模拟环境动态、预测未来状态等。

本文的研究动机源于视频生成模型在具身场景下的不足，理解具身智能的核心需求有助于把握论文的问题定义和评测标准设计。

多模态大语言模型（MLLM）作为评测工具

近年来，研究者发现多模态大语言模型（如 Qwen3-VL、GPT-5）可以作为零样本视频质量评估器。通过设计特定的提示模板（Prompt Template），让 MLLM 对生成视频的时间网格帧进行视觉问答（VQA），从而评估物理合理性、任务一致性等高层语义指标。本文的自动评测指标大量依赖这一范式。

本文提出的自动评测框架核心依赖 MLLM 作为评估器，理解这一技术范式对于把握评测方法的设计思路至关重要。

物理可信度（Physical Plausibility）

衡量生成视频是否遵循真实世界物理规律的指标维度，包括物体是否遵循重力、碰撞是否合理、机器人部件是否穿模或悬浮、物体属性是否漂移等。传统视频评测主要关注像素级质量（如清晰度、流畅度），而物理可信度则关注更高层的物理一致性，这在机器人场景中尤为关键。

本文的核心贡献之一就是将物理可信度纳入评测维度，这是区别于现有通用视频基准的关键创新点。

逆动力学模型（Inverse Dynamics Model, IDM）

一种从观测到的状态转换中推断底层动作的模型。在机器人学习中，给定连续两帧的视觉观测，IDM 可以推断出机器人执行了什么动作。这使得从生成的视频中提取可执行动作成为可能，是连接视频生成与机器人策略学习的桥梁。

论文在结论部分提到未来计划使用 IDM 从生成视频中恢复可执行动作，理解 IDM 有助于把握论文的长远研究愿景。

研究动机

当前视频生成模型在通用场景下已取得显著进展，但在机器人具身场景下的表现远未达到实际应用需求。现有评测实践主要依赖感知指标，聚焦于视觉质量（如帧清晰度、纹理保真度、运动平滑度），而物理基准又缺乏任务特定的数据集和评判标准。这导致评测常常忽略任务完成度、动作-目标对齐和物理可行性等关键维度。例如，即使生成的视频包含不自然的运动或任务未完成，仍可能获得高分。具体而言，常见的失败模式包括：机器人形状畸变、物体属性漂移（如颜色/类别突变）、无接触附着（物体跟随机器人运动但无可见接触）、悬浮或穿模等。这些问题在 Table 2 的实验数据中得到印证——即便是排名最高的商业模型 Wan 2.6 在操控任务上的得分也仅为 0.546，视觉推理任务仅 0.531，说明在物理真实感方面仍有巨大提升空间。

本文的目标是本文的直接目标有两个层面：第一，建立一个专门针对机器人视频生成的标准化基准（RBench），提供细粒度、可复现的自动评测指标，涵盖任务完成和视觉质量两个维度，使不同模型之间的公平比较成为可能；第二，构建目前最大的开源机器人视频数据集（RoVid-X），包含约 400 万条标注视频片段，涵盖上千种任务和多种机器人形态，为训练物理感知能力更强的视频生成模型提供高质量数据支撑。最终目标是通过评测和数据的协同生态系统，推动具身 AI 向通用智能发展。

与已有工作不同的是，本文的独特切入角度在于将「评测」和「数据」两个环节紧密结合，形成协同闭环。与现有工作相比，其差异化体现在三个方面：首先，RBench 是首个专门为机器人视频生成设计的综合基准，不同于 VBench 等通用基准只关注感知质量，也不像 PhysBench 等物理基准缺乏任务特定标准；其次，评测指标同时覆盖任务级正确性（物理-语义可信度、任务遵从一致性）和视觉保真度（运动幅度、稳定性、平滑度），并采用 MLLM 作为评估器实现可复现的自动评测；第三，RoVid-X 数据集通过四阶段管线（视频收集→质量过滤→任务分割与字幕生成→物理属性标注）系统性地解决了高质量机器人训练数据的稀缺问题，这是现有数据集（如 Open X-Embodiment 1.4M、Agibot World 1M）所不具备的完整度。

核心方法

本文的方法体系由两大支柱构成：评测基准 RBench 和数据集 RoVid-X。直觉上，要推动机器人视频生成的进步，首先需要一面精准的「镜子」来照出当前模型的真实能力水平，然后需要丰富的「养料」来训练更强的模型。RBench 通过精心设计的 650 个评测样本（涵盖 5 种任务类型和 4 种机器人形态）和 6 个自动评测指标（3 个任务完成指标 + 3 个视觉质量指标），提供了这面「镜子」。RoVid-X 通过四阶段数据管线，从互联网视频和 20 多个开源数据集中整合出 400 万条高质量机器人视频片段，配合标准化任务描述和物理属性标注（光流、深度图），提供了这份「养料」。两者共同构成了一个从评测发现问题到数据驱动改进的完整技术路线。

本文的核心创新在于提出了面向机器人的视频生成评测范式，其本质区别在于从「像素级质量评估」转向「物理-任务级语义评估」。传统基准如 VBench 主要评估帧清晰度、纹理保真度和运动平滑度，这些指标在通用视频场景下有效，但在机器人场景下会产生误导——一个视觉上流畅但物理上不合理的视频（如机器人手臂穿模但画面清晰）会获得高分。本文的关键洞察是：机器人视频的质量应该由「任务是否正确完成」和「动作是否物理合理」来决定，而非仅仅「看起来好不好」。这一理念转化为具体的评测指标：物理-语义可信度（Physical-Semantic Plausibility）评估悬浮/穿模/自发出现等物理违规；任务遵从一致性（Task-Adherence Consistency）评估动作缺失/顺序错误/语义漂移等任务偏差。另一个关键创新是利用 MLLM（Qwen3-VL 和 GPT-5）作为零样本评估器，通过时间网格帧的 VQA 协议实现可复现的自动评测，Spearman 相关系数达到 0.96，验证了自动评测与人类判断的高度一致性。

方法步骤详情

RBench 的构建分为两个维度：任务导向类别（250 个图像-文本对）包含 5 种代表性任务——通用操控（Common Manipulation）、长程规划（Long-horizon Planning）、多实体协作（Multi-entity Collaboration）、空间关系（Spatial Relationship）和视觉推理（Visual Reasoning），每种任务 50 个样本；具身导向类别（400 个图像-文本对）覆盖 4 种主流机器人形态——双臂机器人、人形机器人、单臂机器人和四足机器人，每种 100 个样本。每个样本包含从高质量视频中提取的关键帧图像和人工验证的任务提示文本。自动评测指标分两组：任务完成组包含物理-语义可信度（用 MLLM 评估时间网格帧的物理违规）、任务遵从一致性（用 MLLM VQA 检查清单验证动作完整性）和运动幅度分数 MAS；视觉质量组包含机器人-主体稳定性（对比式 VQA 评估形态一致性）、运动平滑度分数 MSS 和 Q-Align 美学评分。RoVid-X 的四阶段管线：第一阶段从互联网视频平台和 20+ 开源数据集收集约 300 万原始机器人视频片段，用 GPT-5 自动过滤无关内容；第二阶段通过场景分割和多维质量评分（清晰度、动态效果、美学表现、OCR）过滤低质量片段；第三阶段用视频理解模型自动分析机器人动作，按时间戳分割任务段并生成标准化字幕；第四阶段用 FlashVSR 提升分辨率、AllTracker 标注光流、Video Depth Anything 生成深度图。

技术新颖性

本文的技术新颖性体现在多个层面。首先，评测框架的设计理念具有开创性——首次将「任务完成度」和「物理可信度」作为机器人视频生成的核心评测维度，而非沿用通用视频基准的感知质量指标。这解决了现有评测「过于乐观」的根本问题。其次，MLLM 作为评测器的系统性应用是重要创新，不同于零散的探索性使用，本文设计了完整的 VQA 协议和子指标体系，包括物理-语义可信度的失败模式分类（悬浮/穿模、自发出现、无接触附着）和任务遵从一致性的检查清单（任务响应性、关键动作验证）。第三，RoVid-X 数据集在规模（400 万片段，远超 Agibot World 的 100 万和 Open X-Embodiment 的 140 万）、多样性（1300+ 技能、多种机器人形态）和标注丰富度（标准化字幕 + 光流 + 深度图 + 物理属性）三个维度上都实现了突破。特别值得注意的是，光流和深度图的统一标注为不同数据源之间的跨数据集协同训练提供了可能性，这在现有机器人数据集中尚属首次。

实验结果

本文对 25 个代表性视频生成模型进行了全面评估，涵盖开源、商业和机器人专用三类模型，揭示了多项重要发现。第一，从视觉保真到物理智能的范式转变：顶级商业模型（如 Wan 2.6 得分 0.607、Seedance 1.5 Pro 得分 0.584）正在演变为有效的「世界模拟器」，表明领域正从追求视觉美感转向理解物理交互。第二，迭代扩展解锁物理能力：Wan 系列从 2.1 版（排名 14，得分 0.399）到 2.6 版（排名 1，得分 0.607）实现了巨大飞跃，Seedance 从 1.0（排名 6）到 1.5 Pro（排名 2）同样显著提升，说明迭代优化不仅改善视觉质量，更在物理理解上带来实质性进步。第三，消费级模型存在「媒体-模拟鸿沟」：广受关注的 Sora 系列表现不佳（Sora v2 Pro 排名 17，得分 0.362），说明为媒体消费优化的模型优先考虑视觉流畅和电影级转场，往往牺牲物理保真度和精确运动控制。第四，闭源模型占据前 7 名，与开源模型存在显著差距，凸显开源社区在物理训练数据扩展和架构优化方面的紧迫性。第五，认知和精细控制瓶颈：所有模型在视觉推理任务上表现最差，且在精细操控任务上的得分系统性低于粗粒度运动任务（四足/人形），说明当前视频生成器在接触动力学方面的物理理解远弱于节律性运动模式。RoVid-X 数据集验证实验显示，使用该数据集微调 Wan2.1_14B 后，在 5 个任务域上的平均得分从 0.399 提升到 0.446（+0.047），在 4 个具身类型上的表现也全面提升，验证了数据集和管线的有效性。

查看结构化数据

任务	指标	本文	基线	提升
综合排名（Overall Average）	9 项指标平均分	Wan 2.6: 0.607（排名第 1）	Wan 2.1_14B: 0.399（排名第 14）	迭代提升 52.1%，从排名 14 升至第 1
通用操控（Manipulation）	操控任务得分	Seedance 1.5 Pro: 0.577	Wan2.1_14B: 0.344	RoVid-X 微调后 Wan2.1_14B 提升至 0.376（+9.3%）
视觉推理（Reasoning）	推理任务得分	Wan 2.6: 0.531	HunyuanVideo: 0.035	顶级模型与弱模型差距达 15 倍
人类偏好评分对齐	Spearman 秩相关系数	ρ = 0.96	随机基线	与人类评估高度一致（p < 10⁻³）
RoVid-X 数据集验证	5 任务平均得分	Wan2.1_14B + RoVid-X: 0.446	Wan2.1_14B: 0.399	+0.047（+11.8%）
RoVid-X 数据集验证（小模型）	5 任务平均得分	Wan2.2_5B + RoVid-X: 0.439	Wan2.2_5B: 0.380	+0.059（+15.5%）

局限与改进

本文存在以下局限性：首先，评测样本规模相对有限，RBench 仅包含 650 个评测样本，虽然覆盖了 5 种任务和 4 种机器人形态，但每种组合的样本量（50-100 个）可能不足以捕捉所有边缘情况和失败模式。其次，MLLM 作为评测器的可靠性依赖于模型本身的能力，当 MLLM 对机器人领域的理解不足时，评测结果可能存在偏差，论文中 Sora v2 Pro 的评测受限于官方 API 限制（约 50/650 个视频无法生成）也暴露了商业模型评测的可复现性挑战。第三，RoVid-X 数据集虽然规模庞大（400 万片段），但其数据来源主要是互联网视频和开源数据集，可能存在数据分布偏移，且物理属性标注（光流、深度图）的质量受限于所用工具（AllTracker、Video Depth Anything）的精度。第四，数据集验证实验仅使用了 MSE 损失进行微调，且受限于计算资源仅随机采样了 20 万个实例，未能充分探索更先进的微调策略和更大规模的数据利用方式。第五，论文未提供生成视频的可执行动作提取实验，这使得从视频生成到机器人策略学习的完整闭环尚未建立，未来工作中的 IDM 集成仍停留在规划阶段。

独立分析的弱点

本文存在几个值得深入分析的弱点。第一，评测指标的粒度仍有提升空间：当前 6 个自动指标虽然覆盖了任务完成和视觉质量两个维度，但在细粒度物理属性（如力、摩擦、质量分布）的评估上仍显不足，特别是在精细操控任务中，简单的物理-语义可信度可能无法捕捉微妙的物理违规。改进方向是引入基于物理仿真器的评估，将生成视频与物理引擎的模拟结果进行对比。第二，数据集的标注质量验证不够充分：RoVid-X 使用 GPT-5 进行内容过滤和字幕生成，但未提供人工标注质量的定量评估，字幕生成的准确性和一致性存在不确定性。建议引入人工标注的验证集和标注一致性指标（如 Cohen's Kappa）。第三，实验设置存在局限：数据集验证实验仅使用 MSE 损失微调，未探索更先进的训练策略（如扩散模型的去噪损失、对比学习等），且仅在 Wan 系列上验证，缺乏对其他架构的泛化性验证。第四，评测的可复现性面临挑战：依赖商业闭源模型的 API 进行评测（GPT-5、商业视频生成模型），这些 API 可能随时间变化，影响结果的长期可复现性。建议建立标准化的评测环境和缓存机制。

未来方向

作者在论文末尾提出了明确的未来研究方向，值得深入讨论。第一，使用逆动力学模型（IDM）从生成视频中恢复可执行动作，实现闭环控制实验，这是连接视频生成与机器人策略学习的关键一步，也是当前具身 AI 领域的热点方向。第二，开发更自动化和物理基础的评估指标，特别是运动学和动力学可行性的严格评估，这可能需要结合物理仿真器和形式化验证方法。第三，训练具有更强物理能力的视频生成模型，使生成的机器人视频能够执行高保真动作，这需要在模型架构中引入物理归纳偏置。基于现有成果，还可以延伸以下方向：探索 RBench 评测结果与下游机器人任务成功率的相关性，验证评测指标的实际效用；利用 RoVid-X 的光流和深度图标注开发物理感知的视频生成架构；将评测框架扩展到更多具身场景（如导航、灵巧手操作）；研究跨机器人形态的迁移学习，利用多形态数据提升单一形态的生成质量。

复现评估

本文在开源和可复现性方面做出了积极努力。RBench 的评测样本和评测协议已开源（GitHub: https://github.com/DAGroup-PKU/ReVidgen/），RoVid-X 数据集已发布在 HuggingFace（https://huggingface.co/datasets/DAGroup-PKU/RoVid-X/），项目页面也提供了详细的补充材料。然而，完全复现仍面临以下挑战：第一，商业模型的评测依赖官方 API，这些 API 的定价、可用性和行为可能随时间变化，且部分模型（如 Sora）存在使用限制；第二，MLLM 评测器使用了 GPT-5（闭源）和 Qwen3-VL（开源但可能版本更新），不同版本的评测结果可能存在差异；第三，RoVid-X 数据集的构建依赖多个外部工具（FlashVSR、AllTracker、Video Depth Anything），这些工具的版本和配置需要严格记录；第四，数据集验证实验的计算资源需求较高（大规模模型微调），虽然论文提到仅使用 20 万样本，但仍需要相当的 GPU 资源。总体而言，论文的核心贡献（基准和数据集）已充分开源，评测流程的描述足够详细，具备较好的可复现性基础。

重新思考面向具身世界的视频生成模型 Rethinking Video Generation Model for the Embodied World