← 返回 2026-04-24

WorldMark：面向交互式视频世界模型的统一基准测试套件 WorldMark: A Unified Benchmark Suite for Interactive Video World Models

Xiaojie Xu, Zhengyuan Lin, Kang He, Yukang Feng, Xiaofeng Mao, Yuanyang Yin, Kaipeng Zhang, Yongtao Ge 📅 2026-04-23 👍 36 2026-07-13 08:36

世界模型交互式生成图像到视频基准测试视频生成评估指标

arXiv HuggingFace PDF

为交互式视频世界模型提供标准化场景、统一动作接口与多维评估工具

前置知识

交互式视频世界模型

指能根据用户输入的动作或相机控制信号，逐帧或连续生成可交互视频内容的生成模型。代表系统包括 YUME 1.5、Genie 3、HY-World 1.5、Matrix-Game 2.0 等，输入形式从自然语言指令、6-DoF 位姿到手柄信号各异。

本文评测的对象就是这类模型，理解它们异构的控制接口是看懂统一动作映射层的前提。

图像到视频（I2V）生成

以单张参考图像为视觉起点，在时间维度上合成合理运动并补全后续帧的扩散或自回归生成范式，是 Sora、Wan、CogVideoX 等系统的核心技术路线，本文评测的均为这一类模型。

WorldMark 的 Image Suite 正是为 I2V 模型提供统一的视觉起点，所有对比实验都以 I2V 模式运行。

DROID-SLAM 与重投影误差

DROID-SLAM 是基于 Dense Bundle Adjustment 的视觉 SLAM，可从单目视频联合恢复相机位姿与稠密深度。重投影误差 $e_{ ext{reproj}}$ 衡量观测像素与反投影像素差异，越低表示三维几何越稳定。

本文世界一致性维度的两个核心指标（Translation Error、Reprojection Error）都依赖 DROID-SLAM 从生成视频中恢复相机与几何。

WASD+L/R 共享动作词表

本文约定的六种离散原子动作：前进 W、后退 S、左平移 A、右平移 D、偏航左转 L、偏航右转 R，每种原子动作均带时长参数；所有 15 条轨迹都由这套词表复合而成，再由各模型的 adapter 翻译成原生输入。

理解这套共享词表是看懂统一动作接口如何在不同模型间建立语义等价控制的关键。

研究动机

当前交互式世界模型（YUME 1.5、HY-World 1.5、Genie 3、Matrix-Game 2.0、Open-Oasis、HY-GameCraft）各自在私有的场景集、自定义的轨迹和专属动作定义上评测：YUME 接受嵌在自然语言里的 WASD 关键词，HY-World 1.5 与 HY-GameCraft 接收 6-DoF 位姿参数，Genie 3 接收手柄按键，Matrix-Game 暴露专用动作函数，Open-Oasis 则要 25 维连续动作向量。即使采用相同指标（如轨迹误差、美学分数、VLM 评分），由于输入的图像和动作序列完全不同，得到的分数在模型间无法比较。结果是任何一篇论文里的 SOTA 都只在自家测试条件下成立，跨模型选型只能凭印象。

本文的目标是论文目标是构建一个标准化的公共竞技场 WorldMark，让所有被测模型在完全相同的图像、完全相同的动作序列、完全等价的控制语义下被评估，从而让既有指标变得可比；同时通过 8 个度量维度（视觉质量、控制对齐、世界一致性）揭示各模型在不同能力维度上的真实差异。论文还承诺发布全部数据、评测代码与一个在线对战平台 World Model Arena（warena.ai），让研究者可以在线盲评对战，形成与自动化指标互补的主观排行榜。

与已有工作不同的是，既有公开基准（VBench、VBench++ 只评生成质量不含动作控制；WorldScore 用 SLAM 一致性但视角是被动的无人机穿越；PhyGenBench、WorldModelBench、4DWorldBench 关注物理或 4D 一致性但缺乏可复用的交互动作；并发工作 MIND 虽然瞄准交互式生成但要求 GT 相机轨迹，绝大多数键盘控制模型根本无法接受）都没有把同一张参考图 + 同一组标准化动作 + 同一套控制接口翻译层这三件事同时提供。WorldMark 的独特切入角度正是填补这层标准化测试条件缺口，把指标可比性的瓶颈从算法转移到测试基础设施上。

核心方法

WorldMark 的整体思路是把控制语义与控制实现解耦，再把测试条件统一化。给定一张参考图像，系统先用一个 VLM 从 15 条预定义轨迹中选出 5 条与该场景物理上自洽的动作序列；这些动作以共享词表（WASD+L/R）的形式存在；针对每个目标模型，一个轻量的 action-mapping adapter 把共享动作翻译成该模型原生接受的格式（如 YUME 的 caption、HY-World 的位姿参数、Genie 3 的手柄事件），同时按各模型的速度/角速度做了参数校准；之后模型生成视频，最终由 8 个度量构成的评估套件打分。所有模型接收到的都是同一张图、同一段动作、语义相同的控制指令，差异只剩在模型本身。

核心创新是把评估一致性问题从设计更好的指标转化为提供标准化的测试条件 + 控制接口翻译层。已有方法各自做指标，缺乏共同输入；WorldMark 不与具体指标绑定，而是保证所有输入在图像、动作、语义三层都一致，再让研究者可以自由替换或扩展指标。这样既能让最简单的几何指标在不同模型间产生有意义的差异，又把 metric 设计的话语权留给社区。配套创新是 VLM 上下文感知的动作选择，以及一个可在线对战的世界模型竞技场 warena.ai。

方法步骤详情

方法分四阶段。(1) Image Selection：从 WorldScore 选 50 张原图（25 真实 + 25 风格化），合成第三人称视角得 100 张测试图，覆盖自然/城市/室内、第一/第三人称、真实/风格化。(2) Action Mapping：VLM 按场景物理约束从 15 条轨迹库（1–5 短动作 20 s，6–10 两段 40 s，11–15 三段 60 s）筛 5 条；各模型 adapter 把共享 WASD+L/R 词表翻译为 YUME caption、HY-World 位姿、Open-Oasis 25 维、Genie 3 手柄等原生格式。(3) Video Generation：各模型在统一输入下生成 20–60 s 视频。(4) Metric Evaluation：8 度量分三类，视觉质量（LAION 美学 + MUSIQ）、控制对齐（$e_t$ 与 $e_r$）与世界一致性（$e_{\text{reproj}}$ + VLM 评 State/Content/Style）。

技术新颖性

技术新颖性主要体现在三个层面。第一是控制接口翻译范式：把动作表示与控制实现解耦，引入 per-model adapter 概念，加新模型只需写一个 adapter，避免了重做整套基准的工作量。第二是上下文感知的动作筛选：传统基准随机抽样动作，常出现侧身平移撞墙这种物理上不可能的测试，WorldMark 用 VLM 解读首帧空间布局后再筛动作。第三是三维一致性度量与 VLM 语义一致性度量并用：单看 SLAM 重投影对纹理缺失敏感，单看 VLM 又会被视觉吸引力带偏，二者互补才能暴露画面好看但世界崩塌的失败模式。本文的 Spearman 系数 $\rho > 0.9$ 也说明这套自动度量与 20 位志愿者人工排序高度一致。

**Figure 2**: Overview of the Image Suite

**Figure 3**: The 15 standardized action sequences

**Figure 4**: Context-aware action selection

实验结果

实验覆盖第一/第三人称、真实/风格化四种场景、六个模型、共 500 个样本。发现一：视觉质量与世界一致性几乎不相关。YUME 1.5 第一人称真实美学 56.94、成像 74.36 最高，但状态一致性仅 5.344；Genie 3 美学仅 45.58，但重投影 0.441、风格一致性 8.158 全部最佳。发现二：控制精度不等于整体质量。HY-Game 平移误差 0.159、风格化旋转误差 0.932 都最低，但美学仅 46.59/44.02、风格一致性仅 3.726/4.051；Genie 3 平移误差 0.498 偏高却维持了全局一致。发现三：第三人称暴露明显短板。Matrix-Game 2.0 旋转误差从第一人称 1.324° 暴涨到第三人称 27.606°（约 20 倍），HY-World 1.5 仍保持 2.137°，是第三人称下控制最稳的开源模型。发现四：领域专用训练难以迁移，Minecraft 训练的 Open-Oasis 在真实/风格化全部维度崩盘。VLM 与人类偏好的 Spearman $\rho>0.9$ 证明自动指标可信。

**Table 2**: Evaluation dimensions of WorldMark

**Table 3**: Action-mapping adapters translate the shared WASD+L/R vocabulary into each model's native control format

**Table 4**: Quantitative comparison on the First-Person Real scenario

**Table 5**: Quantitative comparison on the First-Person Stylized scenario

**Table 6**: Quantitative comparison on the Third-Person scenarios

**Figure 5**: Qualitative comparison across three evaluation dimensions

**Figure 6**: Spearman correlation between human preference rankings and automated metric scores

查看结构化数据

任务	指标	本文	基线	提升
第一人称真实场景视觉质量（Aesthetic）	LAION 美学分数（↑）	YUME 1.5: 56.94	其余最佳 HY-World 1.5: 54.79；最差 Open-Oasis: 29.31	YUME 比次优高约 2.15 分，比最差高 27.63 分
第一人称真实场景控制对齐（Rotation Error）	DROID-SLAM 偏航角误差（↓）	Matrix-Game 2.0: 1.324°	次优 YUME 1.5: 2.107°；最差 HY-Game: 6.019°	Matrix-Game 较最差低 4.695°，约 4.5 倍提升
第一人称风格化场景世界一致性（Style Consistency）	VLM 风格一致性评分（↑）	Genie 3: 7.523	次优 HY-World 1.5: 6.817；最差 Open-Oasis: 2.435	Genie 3 比次优高 0.706 分，比最差高 5.088 分
第三人称真实场景控制对齐（Translation Error）	尺度不变平移误差（↓）	HY-World 1.5: 0.206	Genie 3: 0.212；Matrix-Game 2.0: 0.284	HY-World 1.5 比 Matrix-Game 低 0.078，约 27.5% 相对提升
第三人称真实场景世界一致性（State Consistency）	VLM 状态一致性评分（↑）	Genie 3: 7.082	HY-World 1.5: 6.628；Matrix-Game 2.0: 5.136	Genie 3 比次优高 0.454 分，比最差高 1.946 分
自动指标与人类偏好一致性	Spearman 等级相关系数 ρ	WorldMark 自动指标 ρ>0.9	50 套第一人称视频的人工排序（20 位志愿者）	三方一致性度量与人类排序几乎重合，验证自动评估有效性

局限与改进

作者承认的局限主要有四点：第一，Image Suite 仅 50 张原图（乘以视角与风格共 100 张），对当下高推理成本的交互模型来说已是不小负担，但覆盖的视觉风格仍然有限，难以代表所有真实部署场景；第二，15 条动作轨迹全部基于 WASD+L/R 单智能体词表，对复杂多智能体交互或物理动作（如抓取、对抗）没有覆盖；第三，所有 VLM 评分都依赖 Gemini-3.1-Pro，metric 的稳定性受单一模型能力上限约束，且 VLM 评分存在位置/顺序偏置；第四，第三人称视角由 Nano-Banana-2 合成，可能引入合成伪影并污染评测，合成质量本身会成为噪声源。我自己观察到的额外局限是：评分在 8 个度量上仍需人工挑选主指标，缺乏一个公认的总分聚合函数；adapter 标定过程（不同模型的步长、角速度）并非白盒说明，第三方复用时仍可能产生偏差；warena.ai 在线对战引入了偏好投票但缺乏与自动化指标的系统对齐。

独立分析的弱点

独立分析下本文至少存在四处可改进点。第一，场景规模与多样性问题：50 张原图对应 500 个测试样本，对真实部署的多样性（光照、天气、密集人群）仍不足，建议未来引入动态场景采集（如真实拍摄的短视频关键帧）并把样本量扩到几百张原图。第二，动作词表过于单薄：当前只有平移与偏航，对俯仰、滚动、跳跃、双智能体交互都未覆盖；改进方向是把动作词表升级为带约束的轨迹规划语言（类似 PDDL 子集），让 VLM 输出的动作直接可解释。第三，metric 依赖单一 VLM（Gemini-3.1-Pro）：一旦底层模型升级或下线，整套分数的可比性都会受影响，建议把 VLM 打分接口抽象化并定期回填人类标注做漂移监测。第四，缺乏统一总分：八个度量各自给出独立数字但没有聚合，导致论文里跨维度对比时读者只能凭印象排序，可以借鉴 Elo 或 Glicko 之类相对评分机制构造一个 WorldMark Score。

未来方向

作者已指出的未来方向包括继续扩展 Image Suite 的规模与多样性、吸纳更多模型（特别是第三人多角色场景下的开源模型）、把 World Model Arena 打造成实时排行榜。我额外建议的延伸方向有：第一，把 WorldMark 拓展到长程任务（数分钟级）以考察记忆一致性；第二，加入对抗性扰动评测，研究在分布外动作（如不合物理的快速横移）下模型的鲁棒性；第三，把控制接口翻译范式从单模型扩展到多模型协同（多人交互、多视角协同），并把 adapter 设计成可微形式以支持联合训练；第四，把评测与强化学习奖励对接，让 WorldMark 成为世界模型在线策略优化的真实奖励信号；第五，把 metric 与因果推断结合，区分美学漂移还是物理违规，避免目前 State/Content/Style 三项之间存在语义重叠。

复现评估

WorldMark 的可复现性整体较高。论文承诺开源全部数据、评测代码与模型输出，配套的 World Model Arena（warena.ai）提供在线对战与排行榜；Image Suite 来源明确（WorldScore 数据集），动作库与 15 条轨迹完全公开；六大被测模型中 YUME 1.5、Matrix-Game 2.0、HY-World 1.5、HY-GameCraft、Open-Oasis 均开源，Genie 3 为闭源但通过 adapter 接入。复现难度集中在三处：一是 500 个 20–60 s 视频的生成算力开销很大，单卡 A100 级别 GPU 跑完全部模型需要数日到一周；二是依赖 Gemini-3.1-Pro 这一商业 VLM，第三方需要替换为开源 VLM 才能离线运行；三是 adapter 内部的 per-model 参数标定（步长、角速度）作者未给完整数值，需要复现者按论文描述的 calibration 流程自行调参。综合来看代码与数据层面的复现门槛中等，算力与 VLM 接入是主要瓶颈。

论文图表

**Figure 1**: Overview of WorldMark
三大支柱总览：(a) 包含第一/第三人称、写实/风格化的 500 个测试用例；(b) WASD+L/R 共享词表翻译成 YUME caption、HY-World 位姿、Genie 3 手柄、Matrix-Game 动作函数、Open-Oasis 动作向量等原生格式；(c) 在相同参考图与相同动作下不同模型生成质量差异巨大。

该图是论文的视觉名片，把 motivation（评测碎片化）与 method（统一动作映射 + 标准化测试套件 + 模块化评测）压缩在一张图里，读者第一眼就能抓到本文要解决的问题与方案。

Table 1: Comparison of evaluation benchmarks

横向对比 VBench、VBench++、WorldScore、MIND 与 WorldMark 在标准场景、跨模型统一性、键盘交互、难度分层四个维度的支持情况，WorldMark 是首个全部打勾的基准。

用一张表把 motivation 凝练为以前所有基准都缺一截，是论文用来定位 gap 的关键证据。