← 返回 2026-05-06

面向交互式世界模型的统一动作生成基准 iWorld-Bench A Benchmark for Interactive World Models with a Unified Action Generation Framework

Jianjie Fang, Yingshan Lei, Qin Wan, Ziyou Wang, Yuchao Huang, Yongyan Xu, Baining Zhao, Weichen Zhang, Chen Gao, Xinlei Chen, Yong Li 📅 2026-05-05 👍 5 2026-07-13 08:36
交互式世界模型 具身智能 动作生成框架 基准评测 相机控制 视频生成
arXiv HuggingFace PDF

首个统一评估交互式世界模型的基准，提出动作生成框架，跨4.9K任务对14个模型做九维评测。

前置知识

世界模型 (World Model)

世界模型是一类学习环境动力学、可根据当前观测和动作预测下一帧或多帧的生成式模型，最早由 Ha & Schmidhuber 在 2018 年提出。在交互式世界模型语境下，输入是一帧当前画面 $I_t$ 加一个外部动作信号 $C_t$，输出是符合因果一致性的下一帧 $V_{t+1}=W(I_t, C_t)$。它既用于游戏引擎、自动驾驶仿真，也用于具身智能体的策略训练。

本文评测的核心对象就是这类模型；如果不理解 $V_{t+1}=W(I_t, C_t)$ 的输入输出解耦，就无法理解后续九大指标为何分别对应「视觉质量」「动作跟随」「记忆能力」三个维度。

相机内外参 (Camera Intrinsics & Extrinsics)

相机内参 $K$ 描述焦距、主点等成像几何，外参 $[R|t]$ 描述相机在世界坐标系下的旋转和平移。本文把外参冗余存储为三种可互换形式：变换矩阵、四元数、6-DoF 向量，这种冗余存储方式可避免不同来源数据集的格式冲突。

iWorld-Bench 的 12 个数据集来自 KITTI、nuScenes、TartanAir 等不同项目，其外参坐标系和格式互不兼容；统一内外参是 Action Generation Framework 能跨模态工作的基础前提。

VLM 辅助标注 (Vision-Language Model Annotation)

用大型视觉-语言模型（如 GPT-4o、Gemini 3.0 Flash、Qwen-VL-Max）对视频进行语义标注，例如场景类型、天气、实体列表等。本文使用 GPT-4o 完成 33 万条标注，耗费 1.19 亿输入 token 和 2186 万输出 token，并配合三模型交叉验证与人工复核以避免单模型幻觉。

理解数据处理流程需要知道多模型一致性检查 + 人工复核的协议，否则容易忽视为何「61,380 条非一致标注」要单独路由给人工。

MUSIQ / SSIM / LPIPS / BRISQUE 等图像质量指标

MUSIQ 是多尺度 Transformer 图像质量评分模型，可在任意分辨率与宽高比下预测感知质量；SSIM 衡量结构相似度；LPIPS 衡量感知相似度；BRISQUE 是无参考空域图像质量评估方法。本文将 MUSIQ 平均分作为 Image Quality 主指标，BRISQUE 则用于 Sharpness Retention 的「断路器」逻辑以避免高频噪声误判为清晰边缘。

理解 9 项指标需要熟悉这些常用图像质量评价指标的差异，否则容易把 MUSIQ、BRISQUE 混为一谈。

研究动机

近年来世界模型虽然在游戏引擎、自动驾驶、具身智能等场景中展现了强大的环境生成能力，但「交互性」这一核心特性的评测仍十分混乱：现有基准如 EWMBench、Movebench、WorldEval、VMbench、WorldModelBench、WorldBench、WorldScore 主要面向通用或运动可控的视频生成模型，存在三个具体痛点。第一是场景与视角多样性不足：多数基准只来源于单一数据集，例如 Upadhyay 等的 WorldBench 完全基于行人视角，Chu 等的 Movebench 缺乏无人机或机器人视角；第二是缺乏统一的动作定义：文本指令「向前移动」可能对应若干低层键鼠命令，连续轨迹 $[x,y,z,\theta]$ 又可能对应完全不同的物理推进量，直接比较不同模态的单步输出容易造成不公平评估，例如 NVIDIA Cosmos-predict2.5 文本控制下轨迹精度仅 0.4955，而 HY-World 1.5 的离散 one-hot 控制可达 0.7472；第三是缺乏交互与记忆任务设计：现有任务多为静态视频生成或运动模板迁移，几乎没有任务能检验模型「走一段回头路」时的闭环一致性，更没有 1-6 级的难度梯度。

本文的目标是本文提出 iWorld-Bench，希望建立一个「端到端」评测框架，让所有交互式世界模型——无论使用文本指令、one-hot 编码还是相机内外参——都能在统一的 81 维动作空间（27 个平移 × 9 旋转有键鼠映射，或 27×27=729 种完整组合）下被公平比较。具体目标包含三项：第一是构造包含 33 万条视频的训练池，从中精挑 2,100 条高质量评估样本，确保场景、视角与天气覆盖度；第二是设计 4,900 个跨难度任务，覆盖基础动作（1,000）、四自由度复杂动作（2,000）、循环路径记忆（200）与相机轨迹跟随（700）；第三是引入 9 项指标分别衡量生成质量、轨迹跟随、记忆能力，并在 14 个代表性世界模型（5 文本 + 2 one-hot + 7 相机参数）上验证指标的人类感知一致性，最终上线公开 leaderboard 推动领域迭代。

与已有工作不同的是，本文的独特切入角度在于「Action Generation Framework (AGF)」这一中间层抽象。AGF 用四元组 $(D, T, R, V)$ 同时编码难度、平移 ID、旋转 ID 与有效性，其中 $V \in \{0,1\}$ 用于标记稀有动作；再通过一张统一的映射字典，把每一种动作同时翻译成内参文本指令、one-hot 编码与外参矩阵三种输入形式。这种「以动作 ID 为枢纽、双向映射」的思路与 WorldScore、Movebench 直接拿「文本+相机参数」当输入的设计形成鲜明对比，避免了模态间不可比的问题，也让 729 种动作组合中的任意一种都能被分解为难度等级 $D \in [1,6]$，从而支持难度梯度任务设计。此外，本文还首次把 9 项指标分到「生成质量」「轨迹跟随」「记忆能力」三大维度，让分数既能在单一维度上比较，也能用「控制-质量」二维平面同时评估，从根本上解决了「分数很高但模型并不真能交互」的常见误用问题。

核心方法

iWorld-Bench 的方法论可以拆成「数据管道 + 评测协议」两部分。直觉上，它想做的事情是：先把全球能拿到的 12 个含内外参的开源数据集与 4 个仿真器里 18 个高质量环境统一到同一坐标与格式，再让 VLM 给每段视频打上场景、天气、实体三类标签，然后用 AGF 在 4 个难度梯度上把同一段视频包装成不同任务，最后用 9 项指标在 14 个模型上跑出排行榜。技术上，数据管道包含「Video Generate Inherit Past」「Video Generate Create Future」「High-quality Labeling」三段：前者清洗并重定位 12 个开源数据集（KITTI-360、Waymo、nuScenes、RealEstate-10K、Princeton365、7-Scenes、DL3DV-10K、TUM-RGB-D、NCLT、TartanGround、TartanAir-V2、SpatialVid）；中者从 aerial VLN、UAV ON、Openfly、Embodied City 四个仿真器中人工标记 450 个高质量采样点，依据 89 个动作空间任务自动收集数据，并经过单帧与样本两级过滤得到 10 万段室外视频；后者用 GPT-4o 完成 33 万条标注，再由 Gemini 3.0 Flash、Qwen-VL-Max、Kimi-K2.5 三个独立 VLM 做一致性校验，仅对 18.6% 非一致样本交由 10 名志愿者人工复核，整体投入约 1,200 人时。评测协议则依赖 9 项指标：生成质量维度包括 Image Quality (MUSIQ)、Brightness Consistency、Color Temperature Constraint (HSV 7 区间加权)、Sharpness Retention (向量化 Tenengrad + BRISQUE 断路器)；轨迹跟随维度包括 Motion Smoothness (LPIPS/SSIM/MSE)、Trajectory Accuracy (ViPE 提取)、Trajectory Tolerance (与真值交叉校准)；记忆维度包括 Memory Symmetry (对称帧像素一致性) 与 Trajectory Alignment (瞬时位移向量的镜像相似度)。

核心创新在于用「统一的 81 维动作字典 + 三模态编码映射」解决了世界模型交互评测中长期存在的「模态不可比」难题。与 WorldScore 把「相机控制」当成隐式任务、Movebench 把轨迹当作文本条件不同，iWorld-Bench 把所有运动分解成「平移 + 旋转」两类，每类各 27 个原子动作（包括静止、上下、左右、前后、俯仰、偏航以及它们的多自由度组合），再定义难度 $D$ 等于同时变化的自由度数，进而得到 81 个有键鼠映射的常用动作组合（Table 9）和 729 个完整组合（Table 8）。AGF 的核心数据结构是四元组 $C_t=[D, T, R, V]$：$D$ 为难度，$T \in [0,26]$ 为平移 ID，$R \in [0,26]$ 为旋转 ID，$V \in \{0,1\}$ 标记是否为训练集中常见动作。任意一种动作 ID 都能被双向映射到文本指令（如 "W+A: forward and left"）、one-hot 编码或 6-DoF 相机外参，因此同一份评测配置可同时驱动文本控制模型（如 HunyuanVideo-1.5）、键鼠控制模型（如 HY-World 1.5）与相机参数控制模型（如 AC3D），从根本上消除了「向前」到底等于多少像素位移这种定义不清的问题。

方法步骤详情

完整的数据-评测流程包含 7 个步骤，每步都有明确的输入输出。第一步是「多源数据采集」，从 12 个开源数据集采集约 27.8M 张图像与 18 个仿真器 4,500+ 个采样点，统一到 CityWorld 四层结构（模态层、类别层、身份层、参数层）。第二步是「结构标准化」，把外参同时存储为变换矩阵、四元数、6-DoF 三种形式，确保后续可互相转换。第三步是「空间整流」，通过诊断矩阵把不同数据集的轨迹对齐到右手坐标系，保证平移与旋转物理一致。第四步是「交互模型合成」，把连续轨迹切成 81 帧等长片段，过滤长度不足的样本，得到约 33 万段高质量视频。第五步是「VLM 辅助标注 + 三模型验证 + 人工复核」，最终 81.4% 标注 3/3 一致直接采用、15.1% 2/3 一致、2.9% 1/3 一致、0.5% 0/3 一致，全部非一致样本均路由给人工；这一步花了 1.19 亿输入 token 与 2,186 万输出 token，API 成本约 518 美元，多模型验证总成本约 2,800 美元。第六步是「AGF 任务设计」，从 2,100 段视频中按 $D=1,2,3,4$ 四个梯度分别设计 1,000 个动作控制任务（共 4,000 个），并从 700 段标注视频中设计 200 个 Memory 任务、700 个 Camera Following 任务，合计 4,900 个任务。第七步是「九维指标评测」，按 Generation Quality / Trajectory Following / Memory Ability 三大维度分别计算得分，模型推理全部在 NVIDIA A800 GPU 上完成。

技术新颖性

技术新颖性体现在三个层面。第一是「难度分级 + 有效性标注」的动作空间：现有基准几乎不对任务难度做切分，iWorld-Bench 显式定义 $D \in [1,6]$ 并用 $V \in \{0,1\}$ 把 729 个动作中的稀有组合筛掉，避免训练分布长尾污染评测。第二是「多模型交叉验证 + 严格一致才接受」的标注协议：传统做法是多数投票或单模型标注，本文采用「必须 3/3 一致，否则一律人工复核」的更严格策略，最终仅 1.2% 标签被实际修改，这在大规模标注中并不常见。第三是「相机参数 + 文本 + one-hot」三模态共用同一评测配置：通过 AGF 的双向映射，14 个异构模型（5 文本 + 2 one-hot + 7 相机参数）才能在同一排行榜上比较，这种「中间层抽象」在先前 WorldBench、WorldEval 中都未实现。此外，9 项指标中也包含若干首创设计，如向量化 Tenengrad + BRISQUE 断路器以避免高频噪声被误判为清晰纹理，以及 Memory Symmetry 衡量对称帧像素一致性。

Overview of iWorld-Bench. iWorld-Bench encompasses four distinct perspectives: Unmanned Ground Vehicles (UGVs), Unmanned Aerial Vehicles (UAVs), humans, and robotics.
Figure 1: Overview of iWorld-Bench. iWorld-Bench encompasses four distinct perspectives: Unmanned Ground Vehicles (UGVs), Unmanned Aerial Vehicles (UAVs), humans, and robotics.
Data Processing Pipeline and Overview.
Figure 2: Data Processing Pipeline and Overview.
The systematic data curation pipeline: transforming raw multi-source inputs into high-fidelity training data via structured standardization and trajectory rectification.
Figure 4: The systematic data curation pipeline: transforming raw multi-source inputs into high-fidelity training data via structured standardization and trajectory rectification.
A detailed showcase of the Difference Verification task across four difficulty levels.
Figure 5: A detailed showcase of the Difference Verification task across four difficulty levels.
Detailed showcase of the Memory Verification task focusing on loop closure difficulty.
Figure 6: Detailed showcase of the Memory Verification task focusing on loop closure difficulty.

实验结果

实验在 14 个代表性交互式世界模型上展开，揭示了若干关键发现。最重要的结论是「交互模态存在明确的可控性-视觉质量权衡」：HY-World 1.5（one-hot 键鼠控制）以平均分 0.7873 排名第一，其在 Memory Symmetry 上拿到 0.8481、Trajectory Accuracy 上拿到 0.7472，是所有模型中记忆能力最强的；相比之下，纯文本控制的 CogVideoX-I2V 虽在 Brightness Consistency 上拿到全场最高的 0.8988，但 Trajectory Accuracy 仅 0.5950，差距高达 0.15 以上，说明文本指令无法精细控制相机运动。在 Camera Following 任务（仅 7 个相机参数控制模型参与）中，AC3D 以 Trajectory Tolerance 0.9091、Brightness Consistency 0.8927、Motion Smoothness 0.9919 三个第一的成绩拿到总分 0.7149，验证了其对显式相机参数的有效利用；早期方法如 CameraCtrl、MotionCtrl 在所有指标上都聚集在雷达图中心（0.42-0.71 区间），说明架构代际差距巨大。另一个有趣的发现是「专用模型的精度提升伴随视觉轻微退化」：HY-World 1.5 在 HunyuanVideo-1.5 基础上做了相机控制微调，Trajectory Accuracy 从 0.6844 提升到 0.7472，但 Image Quality 从 0.7128 下降到 0.6675；AC3D 从 CogVideoX-I2V 微调后 Brightness Consistency 从 0.8988 降到 0.7307，说明控制能力与生成质量之间存在结构性张力。表 4 的数据还揭示了相机跟随能力的巨大方差——Trajectory Tolerance 从 ASTRA 的 0.4286 到 AC3D 的 0.9091，跨度高达 0.48，意味着不同架构在「将相机参数翻译为视觉序列」这一能力上仍有量级差异。

Comparison of benchmarks for world models.
Table 1: Comparison of benchmarks for world models.
Summary of datasets with intrinsic and extrinsic camera parameters across various domains.
Table 2: Summary of datasets with intrinsic and extrinsic camera parameters across various domains.
Comparison of metric scores for different models and performance on Action Control and Memory Ability tasks.
Table 3: Comparison of metric scores for different models and performance on Action Control and Memory Ability tasks.
Comparison of metric scores for different models and performance on Camera Following tasks.
Table 4: Comparison of metric scores for different models and performance on Camera Following tasks.
Scene maps and sampling coordinates at three altitude levels.
Table 5: Scene maps and sampling coordinates at three altitude levels.
Agreement distribution in the multi-model verification stage.
Table 6: Agreement distribution in the multi-model verification stage.
Action mapping table.
Table 7: Action mapping table.
Complete enumeration of all 27 × 27 motion primitive combinations.
Table 8: Complete enumeration of all 27 × 27 motion primitive combinations.
Existing Keyboard and Mouse Support Space.
Table 9: Existing Keyboard and Mouse Support Space.
Radar charts of model performance across evaluation metrics.
Figure 3: Radar charts of model performance across evaluation metrics.
Visualization of Subject Consistency of Image Quality.
Figure 7: Visualization of Subject Consistency of Image Quality.
Visualization of Subject Consistency of Brightness.
Figure 8: Visualization of Subject Consistency of Brightness.
Visualization of Subject Consistency of Color Temperature.
Figure 9: Visualization of Subject Consistency of Color Temperature.
查看结构化数据
任务指标本文基线提升
Action Control 综合（4 个难度梯度平均） Avg. 综合分 (生成质量 4 项 + 轨迹 2 项 + 记忆 2 项) HY-World 1.5 综合 0.7873；videox-fun-Wan 0.7474；HunyuanVideo-1.5 0.7188；AC3D 0.7149；CogVideoX-I2V 0.6963；RealCam-I2V 0.6865；NVIDIA Cosmos 0.6275；YUME 1.5 0.6209；ASTRA 0.5980；CamI2V 0.5765；CameraCtrl 0.5762；WAN 2.2 0.5731；Matrix-game 2.0 0.5663；MotionCtrl 0.5486 EWMBench/WorldEval/WorldScore 等 7 个先前基准均不支持交互任务或动作控制，WorldBench 仅 425 样本且不含 Memory 任务 iWorld-Bench 是首个覆盖 4 个 Action Control 难度梯度 + Memory + Camera Following 六类任务的统一基准，相比 WorldScore 的 3,000 样本规模，iWorld-Bench 提供 4,900 任务且新增 4 个评估维度
Trajectory Accuracy（动作跟随） ViPE 提取轨迹的方向映射精度 HY-World 1.5 = 0.7472；videox-fun-Wan = 0.7172；YUME 1.5 = 0.7113；Matrix-game 2.0 = 0.7008；HunyuanVideo-1.5 = 0.6844；CameraCtrl = 0.6778 文本控制 CogVideoX-I2V 仅 0.5950；WAN 2.2 = 0.6514；NVIDIA Cosmos = 0.4955 HY-World 1.5 比最优文本模型 CogVideoX-I2V 高 0.1522（相对提升 25.6%），证明离散键鼠编码比连续文本描述对动作控制更有效
Memory Symmetry（循环路径记忆） 对称帧相对时间中点的像素一致性 AC3D = 0.9068；videox-fun-Wan = 0.9009；HY-World 1.5 = 0.8481；RealCam-I2V = 0.7948；HunyuanVideo-1.5 = 0.6336；CogVideoX-I2V = 0.6010 其他模型普遍 < 0.55，MotionCtrl = 0.3098 最低 AC3D 比 MotionCtrl 高出 0.597，相对提升 193%，反映 1 年内架构演进巨大
Trajectory Tolerance（相机参数跟随） ViPE 提取轨迹与真值的容差一致性 AC3D = 0.9091；RealCam-I2V = 0.7480；videox-fun-Wan = 0.7381；CamI2V = 0.7143；MotionCtrl = 0.7120 CameraCtrl = 0.7099；ASTRA = 0.4286（最低） AC3D 比最差 ASTRA 高出 0.4805（相对提升 112%），表明显式相机编码架构有显著优势
Generation Quality（Image Quality + 颜色/亮度一致性） MUSIQ 平均分 CogVideoX-I2V Image Quality 0.6521，Color Temperature Constraint 0.8988（最高）；HunyuanVideo-1.5 Image Quality 0.7128（最高） MotionCtrl 仅 0.4562，Matrix-game 2.0 仅 0.4851 纯生成质量的冠军 HunyuanVideo-1.5 比最弱 MotionCtrl 高 0.257，但代价是 Trajectory Accuracy 仅 0.6844，验证「质量-可控」权衡

局限与改进

作者在结论中坦承两点：其一，目前评测只覆盖「单次推理」场景下的视觉与轨迹表现，未涉及实时性能与长时一致性——这意味着对世界模型在 Agent 训练中的实际可用性评估仍然不完整；其二，AGF 当前的 729 个动作组合仅覆盖了带相机视角的第一人称交互，对第三人称、对话式、操纵动作等其他交互模态尚未支持。从我们自己的观察看，至少还有三个未充分暴露的局限：第一，评测集 2,100 段视频是从 33 万段池中精挑的，意味着分布上偏向「高视觉质量」样本，对训练-评测分布漂移（OOD）问题不能给出结论；第二，9 项指标中至少有 4 项（MUSIQ、Brightness Consistency、Color Temperature Constraint、Sharpness Retention）属于「生成质量」维度，权重偏高，可能掩盖轨迹与记忆维度的真实短板；第三，14 个被评测模型中只有 5 个纯文本、2 个 one-hot、7 个相机参数，分布并不均衡，相机参数控制模型被给予了更大的 Camera Following 子任务（700 任务），这对总体排名会有结构性偏向。

独立分析的弱点

从独立分析看，iWorld-Bench 主要有以下五个具体弱点及改进方向。弱点一：评估粒度过粗，4,900 个任务虽多但分摊到 14 个模型后每个模型每个难度仅 71 个样本，对罕见动作（如 D=5/6 的 5-6 自由度组合）的统计显著性不足，改进方向是引入分层自助法或贝叶斯估计给出置信区间。弱点二：AGF 当前用 $V \in \{0,1\}$ 简单二元标记稀有动作，但实际训练数据中「向上+逆时针」这种 D=2 动作出现的频率可能是均匀分布的若干分之一，这种「一刀切」会把 729 个动作压缩到 81 个常用动作，丢失对长尾能力的检验；改进方向是用频次阈值软化 $V$ 为连续值。弱点三：评测依赖 ViPE、MUSIQ、BRISQUE 等多个独立模型作为子指标，这些模型本身有失败模式（如 ViPE 在强光照变化下精度下降），任何一个失效都会污染整体分数；改进方向是加入对抗样本检测或对每个子指标计算方差。弱点四：4 个难度梯度只用「自由度数量」定义，但同等自由度下视觉复杂度差异极大（例如在空旷停车场向前 vs. 在密集人群中向前），不能反映真实的「任务难度」，改进方向是引入基于轨迹碰撞检测的物理难度分。弱点五：评测采用静态排行榜方式，没有跟踪模型在迭代训练过程中的改进曲线，改进方向是加入持续集成式的 leaderboard 与回归测试。

未来方向

作者明确提出的未来方向有二：一是引入实时性能评估，包括推理延迟、帧率与显存占用，这对把世界模型嵌入到 Agent 决策循环至关重要；二是扩展长时一致性任务，例如 81 帧以上的视频生成、循环 10 次以上的闭环路径，以及多智能体交互场景。基于成果可延伸的方向至少有四个：第一，把 AGF 从第一人称相机扩展到第三人称、操纵动作（机械臂 6/7-DoF）与对话动作，使其成为「通用具身动作空间」；第二，将 33 万训练池与 SpatialVid 等大型数据集结合，预训练统一的跨模态基础世界模型；第三，把 Memory Symmetry 与 Trajectory Alignment 推广到「视觉问答」形式，让 VLM 充当自动化裁判，避免人工评测；第四，构建增量式评测体系，跟踪新发布模型在历次基准上的排名变化曲线，识别「架构性进步」与「过拟合进步」。

复现评估

复现评估总体良好但有一定门槛。作者在 iWorld-Bench.com 提供公开 leaderboard、Project Page、数据集与代码仓库链接，承诺开源。数据层面，33 万视频来自 12 个公开数据集（KITTI、Waymo、nuScenes 等），按学术规范引用，但部分数据集（如 SpatialVid）规模达 10TB、180,000 视频，普通研究者很难全部下载。算力层面，所有模型推理在 NVIDIA A800 GPU 上完成，14 个模型累计推理量虽然文章未给总 GPU 时长，但考虑到每个模型要在 4,900 任务上生成至少 81 帧视频，粗估需要数张 A800 跑数天。代码复现难度中等：AGF 的 729 动作字典、9 项指标公式（式 3-9）、81 帧切片规则、ViPE 调用方式都有详细描述，但相机外参对齐到右手坐标系的「诊断矩阵」并未给出具体数值，需要研究者自行推导。最难的复现环节是 33 万视频的多模型标注与人工复核——10 名志愿者 1,200 人时的工作难以完全自动化重做，新研究者只能直接复用已发布的标签。

论文图表

Table 10: Memory Mapping Table.

记忆任务的反向动作对照表：定义 10 组「Action 1 → Action 2」配对（如 W → S、A → D、↑ → ↓、← → → 等），每组都保证前后位移幅度相同，用于构造「循环闭合」测试。

Memory 任务的具体执行规则，是判断模型是否能回到原点的关键定义。