WBench：面向交互式视频世界模型的多轮综合评测基准 WBench: A Comprehensive Multi-turn Benchmark for Interactive Video World Model Evaluation
WBench用289案例×5维度×22指标，对20款SOTA交互式世界模型做统一评测。
前置知识
交互式视频世界模型
给定历史观测 $o_{\leq t}$ 和动作序列 $a_{\leq t}$，按 $o_{t+1}\sim f_\theta(o_{t+1}|o_{\leq t}, a_{\leq t})$ 直接合成下一帧的可控视频生成模型。它以闭环方式模拟环境演化，被视为通向通用智能体的关键路径。
本文评测对象全部是这类模型，只有先理解其条件生成范式，才能看懂论文里"五大引擎子系统"（渲染/导演/控制/记忆/物理）的类比与五维度拆解。
Diffusion Transformer与流匹配
用 Transformer 替代 U-Net 的扩散模型主干，配合 flow-matching 训练目标，在海量视频数据上扩展到更长、更高分辨率、时序更一致的输出，是当前 Kling、Wan、Sora 等系统的共同基础。
论文 Table 2 列出的 9 个文生视频模型几乎都基于 DiT+流匹配，没有这个背景就难以理解为什么现代视频质量已"接近饱和"。
6-DoF相机位姿估计与轨迹误差
用 MegaSaM、Depth Anything 3 等模型从单目视频恢复每帧的 6 自由度相机位姿，再通过归一化绝对轨迹误差 (nATE) 等指标衡量预测轨迹与真值轨迹的对齐程度。
NavScore 指标的核心就是用这套机制评估"W/S/A/D/←/→/↑/↓" 8 个方向动作的执行精度，是衡量导航维度最关键的数学工具。
VLM作为自动评判员
调用 doubao-seed-2-0-lite 或 Qwen3-VL 等视觉-语言模型对视频片段进行结构化打分，包括二元检查、三点分级或连续区间评分，并以人工偏好做相关性验证（Spearman $\rho\geq 0.94$）。
WBench 22 个子指标中超过一半依赖 VLM 评分，没有自动评判机制就无法支撑"20个模型×289案例"这种规模的实验。
语义分割与几何一致性（DINOv2/SAM2/CLIP/DreamSim）
SAM2 用于视频实例分割，DINOv2/CLIP 提供帧间的感知嵌入，DreamSim 模拟人类感知相似度，这些模型组合起来可分别度量主体一致性、背景稳定性和空间回环一致性。
论文的一致性维度全部建立在这套工具链之上，是把"长时记忆保持"这种抽象属性转换成可量化数字的关键。
研究动机
交互式视频世界模型在游戏、自动驾驶、具身交互等场景下快速发展，但评估体系碎片化。现有基准如 VBench 只衡量感知质量、WorldMark 和 MIND 覆盖导航与记忆但缺语义交互、Omni-WorldBench 加入因果交互却仅支持第一人称、WorldLens 局限于自动驾驶场景，没有任何一个能同时覆盖开放域场景、双视角（第一/第三人称）以及导航/主体动作/事件编辑/视角切换四种交互类型。具体来说，单点失效难以诊断：一个模型可能初始帧渲染漂亮但忽略后续动作，或单轮正确却失去主体与空间一致性，导致领域内只能用"挑选样例"做横向对比，缺乏系统化的"五维度"评测报告。
本文的目标是本文的具体目标是构建名为 WBENCH 的统一基准，沿五条互补维度——视频质量、设定保真度、交互保真度、一致性、物理合规性——对交互式世界模型做可重复、可诊断的多轮评测，最终产出涵盖 289 个测试案例、1058 个交互回合、22 个细粒度子指标的诊断雷达图，让每款模型的强项、弱点和开放挑战一目了然，从而替代过去"挑两个 demo 拉出来比一比"的非正式对照方式，为后续模型迭代提供标准化反馈信号。
与已有工作不同的是，本文的切入角度不是"再造一个视频生成模型"，而是把世界模型类比为游戏引擎的五个子系统（Renderer/Director/Controller/Memory/Engine），并据此设计任务拆分。其中最关键的两条创新是：(1) 导航接口"三态对齐"——同一动作同时提供文本、6-DoF 位姿和离散键鼠三种表示，让拥有不同原生输入的模型可以公平比较；(2) 视角依赖语义——第一人称旋转对应朝向变化、第三人称旋转对应绕主体环视，让相机轨迹的 ground-truth 取决于视角类型。这两条设计填补了"跨范式公平对比"和"视角相关动作语义"这两个过去基准共同忽略的空白，是本文区别于已发表工作最显著的视角贡献。
核心方法
WBench 的整体思路是"先解耦再组装"：把一次交互拆为世界设定 $W$（场景+风格+视角+主体）和交互序列 $I=(a_0,a_1,\dots,a_{T-1})$ 两部分，初始帧由 Nano Banana 2 和 GPT-Image-1.5 等图像生成器合成并人工核查，再用"末帧接力 (last-frame forwarding)"的方式把模型串成多回合。评估侧则采用"通用指标+专用指标+ VLM 打分"三层架构：视频质量沿用 VBench 五个子指标再加 HPSv3-Norm；NavScore 通过 MegaSaM 估位姿算 nATE；语义交互用统一 VLM 五项二元检查 [0,5] 打分；物理合规则先用 VLM 筛选适用子维度再用细粒度提示词分别打分。
和已有基准相比，本文的本质区别在于两点。一是"setting-first"的构造原则：人工先设计一个合理的世界设定再推导物理可行的交互序列，避免了"prompt→video"式随机生成导致的场景与动作脱节。二是"维度组合而非维度堆叠"：把能力拆成五个互补子系统，既给出每个模型的独立分数，也让模型间的相关性（Pearson/Spearman）和每回合退化曲线成为内置分析维度，这相当于把基准本身升级为一个诊断工具，而非只是"发榜"。
方法步骤详情
方法分四个步骤。第一步做数据构建：从六类场景（自然 31%、城市 21%、室内 17%、工作 13%、奇幻 10%、运动 8%）、52% 写实+48% 多风格、62% 第一人称+38% 第三人称、64% 人类主体等八轴做分层采样，生成 289 案例 1058 回合。第二步做交互形式映射：每个导航动作同时表示为文本（如"相机向前并左转30°"）、6-DoF 相对位姿和 WASD+箭头键，方便不同范式模型。第三步做评估：NavScore 用 MegaSaM 估逐帧位姿，按视角区分第一人称朝向/第三人称环视，分别算 nATE 与跨回合一致性；SubjectAction/EventEditing 用 VLM 五项二元检查给每回合 0–5 分；PerspectiveSwitch 用"过渡+目标+结构"三联判据；物理合规则先 VLM 筛选适用子维度（流体/碰撞/表面/变形/风/反射/人体）再打分。第四步做人类对齐：400 名众包在 10 个面上做盲测 pairwise，Spearman $\rho\geq 0.94$。
技术新颖性
技术新颖性集中在三个层面。其一是导航的"视角感知 ground-truth"：第一人称下 `←/→` 改变 yaw、第三人称下则驱动相机绕主体环视，避免不同模型在同一动作上被不合理地同等对待，这在过去基准里被默认为"统一语义"。其二是物理评估的"先筛选子维度"协议：先用 VLM 助手判别当前案例涉及流体/碰撞/反射等哪些物理子维度，再让评估者只对相关子维度打分，显著减少 VLM 误判；其三是双重一致性指标——同时报告 Spatial 与 Gated Spatial，后者通过对中间帧取最小相似度来抑制"画面几乎静止"造成的虚假高分 (r=-0.56相关)，这正是本文诊断出 camera-controlled 模型在一致性上"灌水"的关键证据。
实验结果
核心实验在导航切分 158 案例与全量 289 案例上评估 20 个 SOTA 模型，得出六条关键发现：(1) 没有模型在五维度同时领先；视频质量最高 Seedance 1.5 82.1、Wan 2.7 81.5，设定保真度 Wan 2.7 91.4 远超世界模型最高的 Happy Oyster 74.2。(2) 导航最优 HY-World 1.5 87.5，world-model 类比 text-driven 高约 10 分，但 navigation 与其他维度 Pearson 相关近乎为零。(3) 相机控制不等于主体控制：HY-World 1.5 navigation 排第 1 但 perspective consistency 仅排第 8。(4) 物理亲渲染：Phys 与 Qual r=0.84，与 Navi r=-0.15。(5) 难度结构化：sports/animal 场景 z=-1.9 最难。(6) 跨回合退化不均：导航 T1→T4+ 掉 33 分最脆弱，事件编辑-13、主体动作-9。人类对齐 10 个面 Spearman $\rho\geq 0.94$，四项达 1.00。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视频质量 Aesthetic + Imaging 综合分（全量 9 个 text-driven 模型） | 六大子指标等权平均（0-100） | Seedance 1.5 82.1（最高），Wan 2.7 81.5，Kling 3.0 81.4 | YUME 1.5 72.9 / Cosmos 2.5 74.0 / LongCat-Video 77.7 | 前 3 名 vs. 后 3 名约 +7.5 视频质量分数 |
| 设定保真度 (Scene + Subject) × 全量案例 | 平均分（0-100） | Wan 2.7 91.4 / Kling 3.0 91.0 (text-driven) | Happy Oyster 74.2 / LingBot-World 72.6（世界模型最高） | Text-driven 领先约 17–20 分，主因在场景保真度 |
| 导航 NavScore（158 案例） | nATE + 跨回合一致性综合（0-100） | HY-World 1.5 87.5 (camera-controlled)，Matrix-Game 3.0 83.5 (action) | YUME 1.5 72.0（text-driven 最高），全 text-driven 平均 67.6 | 世界模型比 text-driven 高约 8–10 分 |
| 事件编辑保真度 (text-driven only) | VLM 五项二元检查→[0,5]，按回合缩放至 100 | Wan 2.7 84.0 / Seedance 1.5 80.4 | LongCat-Video 46.8 / Cosmos 2.5 50.4 | Wan 2.7 比 LongCat-Video 高 37.2 分 |
| 视角切换保真度 (text-driven only) | 过渡+目标+结构三联 100 分通过率 | Kling 3.0/Wan 2.7 55.0，9 模型平均 30.7 | YUME 1.5 16.7 / LongCat-Video 13.3（最低） | 最强模型也只有 55%，是全文最难维度之一 |
| 综合一致性（含 8 项子指标） | 平均分（0-100） | LingBot-World 89.9（最高），HY-World 1.5 88.4，Seedance 1.5 83.7 | Genie 3 65.1 / Happy Oyster 74.5 | LingBot-World 比 Genie 3 高 24.8 分 |
局限与改进
作者在结论部分坦诚三点局限：(1) 当前测试集依赖离散动作序列而非连续控制，对于以高帧率位姿流为输入的模型（如机器人仿真）支持不足；(2) 物理维度仍部分依赖 LMM 评估，对细微效应（如慢速变形、亚像素碰撞）的可靠性可能下降；(3) 未扩展到自动驾驶、机器人等专属下游领域，实时评估也未实现。我们补充观察：VLM 评分仍是 black-box，doubao-seed-2-0-lite 之外的模型替换可能影响分数量级；22 个子指标 rescaling 到 [0,100] 使分数可比但丢失了绝对物理含义；nATE 等几何指标在场景静止时容易给高分，故作者额外提出 Gated Spatial 才能真正评估一致性。
独立分析的弱点
独立分析指出四点可改进之处。第一，case 数量偏少：289 案例 1058 回合对 20 个模型平均约 50 回合/模型，每个子维度只有几十次抽样，统计噪声较大，建议扩到 1000+ 案例。第二，VLM 评分透明度不足：doubao-seed-2-0-lite 的 prompt 未全部公开，复现研究者换 VLM 后分数量级可能漂移，应同时报告多 VLM 平均。第三，物理因果评估把 7 个子维度全权交给 LLM，对"气体扩散、柔性接触"等动态效应欠建模，应引入可微物理引擎做仿真对照。第四，text-driven 模型用"末帧接力"做多轮时，每轮都可能丢帧信息，缺乏对模型原生多轮能力的评估接口，建议增加"单次喂多动作"的多轮基准做对照。
未来方向
未来方向有四条主线：(1) 拓展到连续控制，将 8 个离散键扩展为 6-DoF 平滑轨迹，并设计力反馈式任务（如推门、提拉）测试连续作用力下的响应；(2) 多模态融合，把音频、文本旁白、传感器数据加入 conditioning，逼近真实机器人或游戏场景；(3) 实时评估，构建轻量级 VLM+几何代理指标，使基准可在 1×RTX 4090 上 5 分钟内给出诊断报告；(4) 跨域迁移评测，把同一案例同时放到游戏/驾驶/室内服务机器人上跑，检验交互式世界模型的"零样本域迁移"能力。此外还可考虑把 22 个子指标进一步蒸馏为 3–5 个综合指标，给部署者一个易读的"性能卡片"。
复现评估
复现友好度处于中上水平。代码与数据公开在 https://github.com/meituan-longcat/WBench，初始帧部分使用商用模型 Nano Banana 2 与 GPT-Image-1.5 生成，理论上可替换为开源 SD/Flux 系列；评估侧依赖 MegaSaM、SAM2、TransNetV2、Depth Anything 3、DreamSim 等开源组件，整体可在 4×A100 上复现。但需注意：(a) 评测所用的 doubao-seed-2-0-lite 与 Qwen3-VL-30B-A3B（后者还做了 human-annotated fine-tune）并非完全开源，替换为开源 VLM 可能使分数量级漂移若干点；(b) human-alignment 的 400 名众包标注者与 10 个评估面需要重新招募才能验证 Spearman 相关；(c) Genie 3 与 Happy Oyster 是闭源网页接口，模型权重不可下载，只能通过官方 playground 调用，实验成本最高。
论文图表
