MBench：面向视频世界模型记忆能力的综合基准

首个系统量化视频世界模型长程记忆能力的多维基准

前置知识

视频世界模型

视频世界模型是能根据当前状态和动作/文本预测未来视频帧的生成模型。它不仅要求画面逼真，还需要让生成内容遵循真实世界的物理规律、语义规则和因果关系，并能跨长时序保持稳定的世界状态。代表工作如 Cosmos-Predict 2.5、HunyuanVideo 等。

MBench 的核心评价对象就是这类模型，理解它的'功能性'而非纯'视觉性'要求是阅读本文的前提。

扩散模型与扩散 Transformer

扩散模型通过迭代去噪从随机噪声生成数据，视频扩散模型在此基础上扩展到时间轴。DiT（Diffusion Transformer）以 Transformer 替代 U-Net 作为去噪主干，是 Sora、Wan、HunyuanVideo 等基础视频模型的架构基础。

本文评测的 14 个模型几乎全部基于扩散/自回归视频生成范式，理解其生成机理有助于理解基准为何选用 VLM 和几何方法评估。

SAM 2 与 DINOv2 视觉特征

SAM 2 是 Meta 发布的可提示视频分割模型，可基于初始 mask 或边界框在整段视频中传播目标区域。DINOv2 是自监督视觉骨干，输出具有强语义区分度的特征向量，适合做纹理/外观一致性比对。

MBench 大量依赖 SAM 2 提取对象掩码、DINOv2 计算纹理/外观特征，二者是基准自动评分的技术基石。

VLM 与 VQA 评估

VLM（视觉语言模型）如 Qwen3-VL、GPT 类模型能将图像/视频与文本对齐到同一语义空间，常被用于开放式 VQA 任务。本文中既作为触发验证的判官（判断模型是否真正执行了记忆挑战），也用于因果一致性评分。

MBench 的 Trigger-Conditioned Scoring 和自演化评分都依赖 VLM，是理解评分机制的关键。

对极几何与重投影误差

对极几何刻画两视图间的几何约束：对应点必须落在对极线上。重投影误差则衡量三角化得到的 3D 点重新投影回 2D 时的像素偏离。两者都是评估相机位姿与 3D 结构一致性的经典 CV 指标。

MBench 的环境一致性子维度——对极几何一致性、重投影一致性——直接基于这两个概念，理解它们对看懂评估公式至关重要。

研究动机

当前主流视频生成评估基准（VBench、VBench++、WorldScore、WorldBench 等）几乎都聚焦于画面质量、运动平滑度和文本-视频对齐等表层指标，对一个真正的'世界模型'所需的核心能力——长程记忆——缺乏系统化测量。例如，VBench 虽然覆盖实体一致性和环境一致性，但不支持动作条件、不评估长视频、不评估因果关系；而 WorldMark、MIND、Omni-WorldBench 等虽然引入动作条件，但只关注环境一致性，缺乏对实体身份漂移和因果状态传递的诊断。这种'指标越分越细却始终没抓住核心'的局面，使得我们无法区分一个能生成漂亮 1 分钟视频的模型与一个能模拟稳定可交互世界的模型。

本文的目标是构建 MBench 这一系统化基准，将'世界模型记忆'分解为实体一致性、环境一致性、因果一致性三大维度（共 12 个可量化子维度），在 1040 个真实采集长视频用例（547 个动作条件 + 493 个文本条件，每个用例时长 5 秒至 15 分钟）上审计当前 12 个 SOTA 视频世界模型，并通过 Trigger-Conditioned Scoring 同时惩罚'避免记忆挑战'和'触发后失忆'两种失败模式，最终输出可在 HuggingFace Leaderboard 实时更新的标准排名。

与已有工作不同的是，本文的独特切入点是同时强调三个长期被割裂讨论的能力：实体身份持久性（物体纹理/几何与人脸/外观是否保持）、场景空间稳定性（3D 布局在相机出回后是否漂移）、因果状态传递（出视野期间的物理事件是否被保留并反映在重入画面）。并通过'Exit-and-Reenter'协议让相机按预设轨迹真正走出视野再返回，把记忆能力从'局部帧间相关性'剥离为可独立度量的能力。已有基准或仅关注环境（如 WorldMark、WorldScore），或仅关注因果（STEVO-Bench），或仅关注实体（OpenS2V-Eval），无一同时联合评估三类。

核心方法

MBench 的设计思路可以类比为'考察一个演员在一部长剧中是否能保持角色一致'：演员必须记得自己是谁（实体一致性）、记得舞台布景（环境一致性）、还要记得剧情因果（因果一致性）。技术上，它由三个层级构成——(1) 一套从 5 个真实视频数据集（DL3DV、Tanks and Temples、OpenHumanVID、SpatialVID、Physics-aware-video）筛选的 1040 个长视频用例，时长从 5 秒到 15 分钟；(2) 一套精心设计的多粒度提示词（文本条件模型采用 5 段时序切分并注入平移/旋转/缩放/遮挡等记忆触发指令；动作条件模型采用 Exit-and-Reenter 三阶段轨迹协议）；(3) 一套混合评估管线，将基于规则的几何与感知指标与 VLM 评分结合，并用 Trigger-Conditioned Scoring 把'敢不敢触发挑战'与'触发后能不能守住'用调和均值融合。

MBench 区别于已有基准的核心创新是 Trigger-Conditioned Scoring（触发条件评分）：传统基准只看最终一致性得分，这会被两类模型钻空子——一类是'躺平型'，生成静态画面规避挑战；另一类是'话痨型'，触发挑战但生成不一致内容。MBench 先用 VLM 判官确认模型是否真正执行了提示词中的记忆触发动作（如物体出视野再回归），得到触发覆盖率 $C_{\text{trig}}^{k} = N_{\text{trig}}^{k}/N_{\text{total}}$；再计算仅在触发样本上的一致性得分 $S_{\text{rel}}^{k}$；最终 M-Score 取二者的调和均值 $M_k = 2 \cdot S_{\text{rel}}^{k} \cdot C_{\text{trig}}^{k} / (S_{\text{rel}}^{k} + C_{\text{trig}}^{k})$。这迫使模型既'敢触发'又'守得住'。

方法步骤详情

构建分四步。第一步数据筛选：从 5 个真实视频库用 VLM 筛选制造实体遮挡、相机大运动、因果变化的片段，得 1040 个用例。第二步提示词：文本条件模型用 5 段提示词并注入相机指令作为触发器；动作条件模型用 Exit-and-Reenter 三阶段轨迹。第三步自动评分：实体一致性用 SAM 2 + DINOv2 算纹理/几何，人脸用 ArcFace；环境一致性用 DA3 估计位姿后算 $\exp(-E_{\text{epipolar}})$ 与 $\exp(-E_{\text{reproject}})$，CIELAB 评光照，VGG Gram 评风格；因果一致性用 VLM 评 1-5 分，软门控 $g_i \cdot s_i$ 合并物理正确性；交互一致性用 OpenCLIP 评文本，6DoF twist 余弦相似度评动作。第四步以触发覆盖率与一致性得分的调和均值 $M_k = 2 S_{\text{rel}}^k C_{\text{trig}}^k / (S_{\text{rel}}^k + C_{\text{trig}}^k)$ 作为 M-Score。

技术新颖性

与 VBench、VBench++、WorldScore、WorldMark 等已有基准相比，MBench 的新颖性体现在三方面：(1) 维度设计首次把实体、空间、因果三类一致性作为正交但互补的三大支柱联合评估，覆盖了从物体细节到场景逻辑的完整链路；(2) 提出 Exit-and-Reenter 协议和 Trigger-Conditioned Scoring，前者通过强制相机出/回轨迹让记忆能力可被定量比较，后者通过调和均值同时抑制'躺平'和'胡来'两类模型；(3) 在评估技术上，首次将 DA3 估计的多帧相机位姿与对极几何/重投影误差结合用于视频世界模型环境一致性度量，并把 CIELAB 光照评估、VGG 风格 Gram 矩阵等传统视觉指标重新用于长程记忆场景。所有 12 个子维度均可全自动化复现，并已在 14 个视频世界模型上完成审计。

**Figure 5**: Trigger mechanism for text-conditioned generation.

实验结果

文本条件方面，Helios 在物体几何（79.43）和纹理（63.70）领先，Self Forcing 在人脸身份（43.92）和多数环境指标领先，LongLive 在文本交互（46.97）最高，Causal Forcing 在人物外观（64.37）领先；所有文本条件模型风格一致性都低于 30，说明它们能保持视觉色调却丢失 3D 布局。动作条件方面，HY-WorldPlay 综合最强——风格 98.23、对极 83.86、重投影 68.17、光照 82.67 均居首；但反直觉的是：HY-WorldPlay 与 Infinite-World 在空间渲染维度很强却自演化极低（HY-WorldPlay 状态演化 49.50、正确性 62.40），说明它们通过生成过度静态场景回避因果挑战——正是 Trigger-Conditioned Scoring 想揪出的失败模式。Yume-1.5 自演化领先（97.90、95.00）。人类一致性显示实体几何 ρ=+0.97 高度对齐；动作条件对极 ρ=+0.94，但文本条件对极仅 0.16、文本交互仅 0.19，说明指标在不同范式下适用性差异巨大。

**Table 1**: Comparison of Video Generation and World Model Evaluation Benchmarks.

**Table 2**: MBench quantitative results. M-Score for each dimension.

**Table 3**: Metric-human correlation on pairwise preferences.

**Table 4**: MBench data composition. Number of evaluation samples per subset.

**Table 6**: Validation of VLM trigger against human labels.

查看结构化数据

任务	指标	本文	基线	提升
物体几何一致性（文本条件）	M-Score	Helios 79.43 / 长视频生成最佳	LongLive 63.57 / Self Forcing 34.97	Helios 比基线 Self Forcing 高 44.46 分（≈127%）
物体纹理一致性（文本条件）	M-Score	Helios 63.70 / 文本条件最佳	Memflow 56.06 / Self Forcing 33.02	Helios 比 Self Forcing 高 30.68 分（≈93%）
人脸身份一致性（文本条件）	M-Score	Self Forcing 43.92 / 文本条件最佳	Cosmos-Predict 2.5 16.95 / 最低	Self Forcing 是 Cosmos 的 2.59 倍
对极几何一致性（动作条件）	M-Score	HY-WorldPlay 83.86 / 动作条件最佳	Matrix-Game 2.0 14.78 / 最低	HY-WorldPlay 比 Matrix-Game 2.0 高 69.08 分
重投影一致性（动作条件）	M-Score	HY-WorldPlay 68.17 / 动作条件最佳	Causal Forcing 2.88 / 文本条件最低	HY-WorldPlay 高出 65.29 分
光照一致性（动作条件）	M-Score	HY-WorldPlay 82.67 / 动作条件最佳	Matrix-Game 2.0 38.79	高 43.88 分
风格一致性（动作条件）	M-Score	HY-WorldPlay 98.23 / 所有模型最佳	文本条件平均 ≈25	动作条件风格一致性普遍高于文本条件 60+ 分
自演化状态（动作条件）	M-Score	Yume-1.5 97.90 / 动作条件最佳	HY-WorldPlay 49.50 / 几何最强但自演化弱	Yume-1.5 高出 48.40 分
自演化正确性（动作条件）	M-Score	Yume-1.5 95.00 / 动作条件最佳	HY-WorldPlay 62.40	高 32.60 分
动作指令一致性	余弦相似度 M-Score	Infinite-World 86.37 / HY-WorldPlay 85.69	Matrix-Game 2.0 47.86	Infinite-World 高 38.51 分
人机一致性（实体几何）	Spearman ρ	+0.97（文本条件与动作条件均如此）	理想上界 1.0	几乎完美一致；远超对极几何在文本条件下的 ρ=0.16
VLM 触发判官可靠性	Overall Recall	0.90（400 条人类标注）	Overall Accuracy 0.66（precision 0.65）	高召回保证真正记忆挑战几乎不被遗漏（假阴性代价高于假阳性）

局限与改进

作者在论文中明确指出几个局限：(1) 空间理解仍是普遍瓶颈——很多模型无法忠实地跟随相机运动指令（朝错方向、走一半或只产生'看起来像'的伪运动），同时 DA3 这类视觉位姿估计器在稀疏帧上也难以准确推断相机轨迹；(2) 动作条件模型的响应差异巨大，部分模型在接收到控制信号后出现明显延迟、忽略部分信号、或坍缩到训练时常见的运动模式；(3) 因果记忆是核心未解挑战，多个动作条件模型通过生成静态场景规避动态状态变化，HY-WorldPlay 风格一致性高达 98.23 但自演化仅 49.50 即是典型案例。本文的另一个隐含限制是：基准本身依赖 Qwen3-VL-235B-A22B、Seed 2.0、DA3、SAM 2 等多个强大外部模型/工具，其评估质量受这些组件能力上限的制约。基准的人类一致性也显示文本条件模型的对极几何相关性仅 0.16、文本交互仅 0.19，说明这两个指标在文本续写场景下的有效性需要进一步打磨。最后，MBench 当前覆盖 1040 个用例、14 个模型，规模仍小于 VBench 的数千用例，未来需要扩充。

独立分析的弱点

可独立指出几个改进点。第一，触发判官整体准确率仅 0.66（F1=0.76），Environment 子集准确率仅 0.45、precision 仅 0.44，有相当比例的'假触发'被错误归入一致性评估，会拉高模型分数；建议引入更可靠的物理/几何信号作为 VLM 辅助判据。第二，3D 评估过度依赖 DA3 位姿估计，DA3 在物体大幅运动、纹理缺失场景精度有限，导致文本条件空间指标与人类判断几乎不相关（对极 ρ=0.16），建议结合 COLMAP/NeRF/3DGS 重建提供更稳健的真值。第三，12 维度量纲差异极大（风格高分 98、对极常低至个位数），直接报告 M-Score 会让总分被单一维度主导，建议用排名或 z-score 标准化。第四，因果评估依赖 VLM 主观打分缺乏 ground truth，建议引入物理仿真器（Blender、Mujoco）建立可控物理基准。第五，Exit-and-Reenter 协议仅覆盖'出-等-回'，未涉及多实体交互、多视角切换等更复杂场景。

未来方向

作者明确提出未来模型需要更显式的状态跟踪、动作锚定和潜在因果仿真机制。基于成果可延伸几个方向：(1) 把 MBench 12 维指标做成可微 reward，让 RLHF/RLAIF 直接优化记忆能力；(2) 探索 in-context memory（Self Forcing、LongLive）、external memory（MemFlow）、parametric memory（test-time training）三类范式的混合架构以同时通过空间和因果测试；(3) 把基准扩展到基于 Unreal/Unity 的合成世界以获得精确 3D/物理真值；(4) 设计'反静态训练目标'或'动态偏好正则化'，解决 HY-WorldPlay 通过冻结场景获得风格高分但自演化失败的问题；(5) 把触发判官升级为基于物理规则的可验证检查器，使评估协议本身可证明无偏。

复现评估

MBench 的复现门槛中等。项目主页、GitHub 仓库（https://github.com/study-overflow/MBench）和 HuggingFace Leaderboard 均已公开，包含 1040 条用例的提示词与触发指令；数据来源全部为公开数据集（DL3DV、Tanks and Temples、OpenHumanVID、SpatialVID、Physics-aware-video）。评测管线 GPU 资源要求较高：需部署 14 个视频世界模型（Cosmos-Predict 2.5、HunyuanVideo、Wan、HY-WorldPlay 等通常需要 8 张以上 A100/H100）、以及 SAM 2、DINOv2、ArcFace、VGG、OpenCLIP、DA3、Qwen3-VL-235B-A22B、Seed 2.0 等评估工具；单模型全量评估估计在数十到数百 GPU 小时。代码与提示词均开源，但完整端到端复现需具备多 GPU 编排与多种基础模型部署经验。整体而言，'用 MBench 跑自己的模型'门槛中等，'完全重做基准'门槛较高。

MBench：面向视频世界模型记忆能力的综合基准 MBench: A Comprehensive Benchmark on Memory Capability for Video World Models