MIND：世界模型记忆一致性与动作控制的基准评测

首个开放域闭环世界模型基准，评测记忆一致性与动作控制

前置知识

世界模型（World Model）

世界模型是一类旨在理解、记忆和预测动态视觉环境的生成模型。与传统文本到视频生成模型不同，世界模型强调三个核心能力：长期记忆一致性（在长时间上下文中保持场景连贯）、动作条件控制生成（根据用户输入的动作指令生成对应视频）以及实时响应能力。世界模型在自动驾驶、具身智能和交互式游戏环境等领域有广泛应用，能够生成复杂、多样且可控的虚拟世界。

本文的核心研究对象就是世界模型，理解世界模型的定义、特点和应用场景是读懂本文的基础。

记忆一致性（Memory Consistency）

记忆一致性是指世界模型在长时间序列中维持空间布局、物体身份和场景属性连贯性的能力。具体来说，当模型观察到一段视频序列后，通过新的动作返回到之前访问过的位置时，生成的场景应与之前的观察保持一致。这包括两个方面：物体和纹理不应发生不应有的变化（记忆一致性），以及预测帧之间应有平滑过渡和连贯的动态（时间一致性）。

这是本文评测的两个核心能力之一，理解记忆一致性的概念对于理解论文的评测框架至关重要。

动作控制（Action Control）

动作控制衡量世界模型执行给定控制指令的准确性。在MIND的设定中，动作空间定义为 A = {W, A, S, D, ↑, ↓, ←, →}，分别对应前后左右移动和摄像机俯仰角偏航角旋转。模型接收一系列动作指令后，应生成与这些指令对应的准确视频帧。动作控制的评估通过从生成视频中恢复相机轨迹，与真实轨迹进行对比来完成。

动作控制是本文评测的另一个核心能力，也是区分世界模型与普通视频生成模型的关键特性。

动作空间泛化（Action Space Generalization）

动作空间泛化是指世界模型在面对训练时未见过的动作尺度（如不同的移动速度或摄像机旋转角度）时，仍能生成符合预期的能力。例如，模型在训练时使用 0.7 度的旋转动作，但在推理时需要处理 1.4 度或 0.4 度的动作。这种能力对于模型在真实场景中的应用至关重要，因为实际需求中的动作参数往往多样化。

动作空间泛化是本文引入的新评测维度，反映了模型的适应性和实用性。

闭环重访（Closed-loop Revisited）

闭环重访是MIND提出的一种评测策略：模型首先观察一段视频序列作为记忆上下文，然后根据新的动作序列生成预测视频，其中动作序列会引导模型返回到之前访问过的位置。通过比较生成的场景与原始观察的场景，可以评估模型的记忆保持能力。这种策略模拟了现实世界中导航任务的闭环特性——智能体需要在环境中移动并能够识别和重建之前访问过的地点。

闭环重访是MIND评测框架的核心机制，理解这一概念是理解论文方法论的关键。

Unreal Engine 5 渲染

Unreal Engine 5 是 Epic Games 开发的实时3D创作工具，被本文用于生成高质量的训练和评测数据。作者使用 UE5 构建了覆盖 8 个大类、超过 40 个开放域环境的视频语料库，包括自然场景（森林、沙漠、山地、海洋）、城市场景（市中心、住宅区、工业区）、室内场景、科幻场景、风格化场景等。UE5 的高保真渲染能力确保了数据集包含 1080p 分辨率、24 FPS 的帧级对齐视频。

理解数据生成方式有助于理解MIND数据集的质量和特点，以及为什么它比之前的基准更具挑战性。

研究动机

现有世界模型评测基准存在多个严重不足，无法全面评估模型的核心能力。首先，大多数基准（如 WorldScore、WorldModelBench、WorldSimBench）主要关注视觉质量和物理真实性，而忽视了记忆一致性和动作控制这两个对实际应用至关重要的能力。其次，现有基准几乎都局限于第一人称视角数据（见 Table 1 中的对比），使得评估世界模型模拟运动和姿态的能力变得困难。第三，现有基准大多在单一动作空间内收集数据，缺乏对动作空间泛化能力的评测。例如，Lian et al. 引入的世界模型记忆基准虽然开始关注记忆能力，但仅限于 Minecraft 场景，缺乏开放域多样性，且依赖基于循环的智能体数据，难以真实反映人类行为。此外，这些基准的平均帧数较少（大多只有 1 帧记忆上下文和 1 帧预测），分辨率也较低（360p-720p），难以评估长时序记忆保持能力。

本文的目标是本文旨在建立第一个开放域闭环重访基准 MIND，用于系统性地评测世界模型的两个核心能力：记忆一致性和动作控制。具体目标包括：（1）构建覆盖第一人称和第三人称双视角的高质量评测数据集，分辨率 1080p、帧率 24 FPS；（2）设计高效统一的评测框架，能够量化评估长期记忆一致性、时间一致性、动作准确性和动作空间泛化能力；（3）设计多种动作空间配置（不同移动速度和摄像机旋转角度），评测模型在不同动作尺度下的泛化能力；（4）提出一个基于 Video-to-World 的基线模型 MIND-World，验证评测框架的有效性。

与已有工作不同的是，本文的独特切入角度在于同时关注三个被现有基准忽视的维度：记忆一致性、双视角评测和动作空间泛化。具体而言，MIND 是第一个同时支持第一人称和第三人称视角的开放域基准，这使得评估世界模型在不同视角下的表现成为可能。与之前基准使用合成或简单场景不同，MIND 覆盖了 8 个大类超过 40 个真实感环境，包括自然、城市、室内、科幻、风格化等场景。此外，MIND 引入了闭环重访评测策略和对称运动路径（10 条对称路径），这是一种全新的评测范式，能够从几何角度评估生成场景的一致性。最后，通过设计 5 种不同的动作空间配置（包括 25 个第一人称和 25 个第三人称不同动作空间的片段），MIND 首次系统性地评测了世界模型的动作空间泛化能力。

核心方法

MIND 的方法论可以分为三个层次：数据构建、评测框架设计和基线模型。在数据构建层面，作者使用 Unreal Engine 5 构建了一个覆盖 8 个大类、超过 40 个环境的大规模视频语料库，招募多名志愿者在这些环境中执行脚本化和自由形式的动作，收集了 250 个帧级对齐的 1080p/24 FPS 视频。其中 200 个视频（100 个第一人称 + 100 个第三人称）共享相同动作空间，50 个视频（25 个第一人称 + 25 个第三人称）使用不同的动作空间。在评测框架层面，作者设计了五个维度的评测指标：长期记忆一致性、生成场景一致性、动作准确性、动作空间泛化和视觉质量。在基线模型层面，作者提出了 MIND-World，一个基于 SkyReels-V2 的 Video-to-World 管线，通过参数化动作注入机制实现帧级对齐。

MIND 的核心创新在于引入了闭环重访评测范式。与现有基准的单向生成评测不同，MIND 要求模型首先观察一段视频序列作为记忆上下文 M = {f1, f2, ..., fT}，然后根据动作序列 A = {aT+1, ..., aT+k} 生成预测视频 V_hat = {f_hat_{T+1}, ..., f_hat_{T+k}}，其中动作序列会引导模型返回到之前访问过的位置。通过比较生成的场景与原始观察的场景，可以评估模型的记忆保持能力。另一个关键创新是生成场景一致性评测：作者设计了 10 条对称运动路径（见 Figure 5），每条路径包含简单的平移或旋转动作（持续 24 帧），模型先向前移动然后沿原路返回，理想情况下正向和反向的帧应完全一致。这种几何对称性评测是一种全新的范式。

方法步骤详情

MIND 评测框架包含以下步骤：（1）动作空间定义：定义基本动作集 A = {W, A, S, D, ↑, ↓, ←, →}，其中平移动作通过 p_{t+1} = p_t + delta_p * v_a 更新位置，旋转动作通过 r_{t+1} = r_t + delta_r * u_a 更新摄像机朝向。（2）记忆设置：定义记忆段为观察到的视频序列 M = {f1, f2, ..., fT}，模型需要在生成预测时保持对记忆内容的忠实。（3）长期记忆一致性评估：计算预测帧与真实帧的均方误差 L_lcm = (1/k) * sum_{i=1}^{k} ||f_hat_{T+i} - f_{T+i}||_2^2。（4）生成场景一致性评估：通过 10 条对称运动路径计算正向和反向帧的 MSE L_gsc = (1/k) * sum_{i=1}^{k} ||f_hat_{T_fwd+i} - f_hat_{T_rev+i}||_2^2。（5）动作准确性评估：使用 ViPE 从生成视频恢复相机轨迹，通过 Sim(3) Umeyama 对齐后计算平移和旋转相对位姿误差。（6）视觉质量评估：使用 LAION 美学预测模型评估美学质量，使用 MUSIQ 评估感知质量。

技术新颖性

MIND 的技术新颖性体现在多个方面。首先，闭环重访评测范式是全新的，它不仅评估生成质量，还评估模型对历史信息的保持能力，这在现有基准中是缺失的。其次，对称运动路径评测（Figure 5）是一种几何创新，通过要求模型在正向和反向路径上生成一致的场景，可以从几何角度量化生成一致性。第三，动作空间泛化评测是首次被系统性地引入世界模型基准，通过设计 5 种不同的动作配置（包括 0.6 倍、1.0 倍、1.4 倍的移动增量和 150cm/s、200cm/s、250cm/s 的移动速度），评估模型在不同动作尺度下的泛化能力。第四，双视角（第一人称 + 第三人称）评测在现有基准中是首次实现，这使得评估世界模型在不同视角下的表现成为可能。最后，MIND-World 基线模型采用的参数化动作注入机制将动作直接注入到 DiT Block 中，避免了复杂动作编码器的设计，简化了 Video-to-World 的训练流程。

**Figure 3**: Distribution for Scene Categories and Action Space in MIND

**Figure 4**: Action Generalization from MIND

**Figure 5**: The 10 Symmetric Motion Paths

**Figure 6**: Eight Scene Categories and Action Visualization in MIND

**Figure 7**: MIND-World model framework

实验结果

论文在 MIND 基准上进行了全面的实验评测，对比了 MIND-World 和 Matrix-Game 2.0 两个模型。在第一人称视角（Table 2）中，MIND-World 在无记忆设置下的长期记忆一致性指标为 0.1091，优于 Matrix-Game 2.0 的 0.1188；在有记忆设置下进一步降至 0.1035，验证了记忆机制的收益。在第三人称视角（Table 3）中，MIND-World 的表现更为突出，美学质量从 Matrix-Game 2.0 的 0.4236 提升至 0.5204（无记忆）和 0.5300（有记忆），图像质量从 0.4857 提升至 0.5672。最关键的是动作准确性指标：在第三人称场景下，MIND-World 的旋转误差为 0.2587（无记忆），远低于 Matrix-Game 2.0 的 0.9031，说明 Matrix-Game 2.0 无法有效控制第三人称角色。论文还揭示了几个重要发现：（1）记忆机制对动作空间泛化有负面影响——当动作空间与训练不一致时，上下文记忆会干扰模型推理；（2）训练在 Minecraft 数据上的模型难以泛化到开放域环境，而使用 MIND 高质量数据训练的模型则表现显著改善；（3）Matrix-Game 2.0 在对称路径实验中（Path 5）无法正确执行左移动作，保持静止并最终停在原点右侧远处。

**Table 1**: Comparison of World Model Benchmarks

**Table 2**: Model Performance for the First Person on MIND-First 50

**Table 3**: Model Performance for the Third Person on MIND-Third 50

**Figure 8**: Summary of insights from the challenges in MIND

查看结构化数据

任务	指标	本文	基线	提升
长期记忆一致性（第一人称，无记忆）	Long Context Memory MSE (↓)	0.1091	Matrix-Game 2.0: 0.1188	降低 8.2%
长期记忆一致性（第一人称，有记忆）	Long Context Memory MSE (↓)	0.1035	MIND-World 无记忆: 0.1091	降低 5.1%
美学质量（第一人称，无记忆）	Aesthetic Quality (↑)	0.4583	Matrix-Game 2.0: 0.4302	提升 6.5%
美学质量（第三人称，无记忆）	Aesthetic Quality (↑)	0.5204	Matrix-Game 2.0: 0.4236	提升 22.9%
图像质量（第三人称，无记忆）	Image Quality MUSIQ (↑)	0.5672	Matrix-Game 2.0: 0.4857	提升 16.8%
动作旋转准确性（第三人称，无记忆）	Rotational RPE (↓)	0.2587	Matrix-Game 2.0: 0.9031	降低 71.4%
动作平移准确性（第三人称，有记忆）	Translational RPE (↓)	0.0321	Matrix-Game 2.0 无记忆: 0.0622	降低 48.4%

局限与改进

论文通过实验揭示了当前世界模型的多个局限性。首先，动作空间泛化能力不足：Tables 2 和 3 显示，有记忆的 Video-to-World 模型在动作空间泛化指标上（0.1226/0.0685）反而不如无记忆的 Image-to-World 模型（0.1200/0.0677），说明上下文记忆在动作空间不一致时会干扰推理。其次，动作控制精度有限：即使在与训练相同动作空间下，MIND-World 的动作准确性仍然随着上下文记忆的加入而下降，表明当前动作注入机制存在不足。第三，长期记忆保持困难：Challenge 4 的可视化显示，无记忆模型在 96 帧预测时已经明显偏离真实场景。第四，生成场景一致性不足：Challenge 5 显示 Matrix-Game 2.0 在摄像机重访之前生成的场景时，内容与之前明显不一致。第五，第三人称视角建模困难：Matrix-Game 2.0 无法控制第三人称角色，导致生成视频穿过角色并最终丢失角色。作者自身也指出，从开放域数据中有效利用大规模易获取数据实现泛化仍然是一个关键的开放问题。

独立分析的弱点

从独立分析的角度，MIND 存在以下几个值得改进的弱点。第一，基线模型数量有限：论文仅对比了 MIND-World 和 Matrix-Game 2.0 两个模型，缺乏对更多现有世界模型（如 HunyuanVideo、Wan 2 等视频生成模型在世界模型任务上的表现）的系统性评测，这限制了结论的普适性。第二，评测指标的设计仍有改进空间：当前的动作准确性评估依赖于从生成视频中恢复相机轨迹，这引入了额外的误差来源（ViPE 轨迹恢复的精度），可能无法完全反映模型的真实动作控制能力。第三，动作空间的多样性仍然有限：虽然设计了 5 种动作配置，但它们都基于简单的平移和旋转动作，缺乏更复杂的动作（如跳跃、蹲下、交互等）的评测。第四，数据集规模相对较小：250 个视频虽然高质量，但对于训练和评测大规模世界模型来说仍然偏小，可能无法充分暴露模型在更大规模场景下的问题。第五，评测的场景类别虽然覆盖了 8 个大类，但每个类别内的环境数量有限（平均 5-6 个），可能无法充分代表该类别的多样性。

未来方向

基于论文的发现和当前的局限性，未来研究可以从以下几个方向展开。第一，动作注入机制的改进：论文发现当前动作注入机制导致动作控制性能在加入记忆后下降，因此需要设计更有效的动作注入策略，可能通过解耦视觉提示和动作动态来实现。第二，动作空间泛化能力的提升：论文揭示了记忆模型在动作空间变化时表现下降的问题，未来可以研究如何让模型从上下文记忆中准确检测动作空间并实现零样本泛化。第三，开放域数据的有效利用：论文发现训练在 Minecraft 数据上的模型难以泛化到开放域，未来可以研究如何有效利用大规模易获取数据（如游戏数据、视频数据）实现开放域泛化。第四，长时序记忆的保持：论文证实了当前模型只能捕捉短期记忆，未来可以探索更有效的长期记忆机制（如层次化记忆压缩、3D 记忆表示等）。第五，第三人称视角的改进：Matrix-Game 2.0 在第三人称视角下表现极差，未来需要研究如何准确感知和建模角色与背景之间的交互关系。

复现评估

在复现性方面，MIND 具有较好的可复现性基础。数据方面，论文使用 Unreal Engine 5 构建数据集，UE5 是免费可用的商业引擎，数据生成流程有详细描述（包括场景构建、动作定义、志愿者录制等），理论上可以复现。基线模型 MIND-World 基于 SkyReels-V2-I2V-1.3B 初始化，在 4 块 NVIDIA H100 GPU 上训练，总共需要约 6K 步（3K 步微调 + 1K 步教师 ODE 轨迹 + 3K 步因果学生初始化 + 2K 步 DMD 自强迫），算力需求中等偏高。评测框架的五个维度（长期记忆一致性、生成场景一致性、动作准确性、动作空间泛化、视觉质量）都有明确的数学定义和计算方法，复现难度较低。但论文未明确说明数据集是否会公开发布，这可能影响其他研究者使用 MIND 进行公平比较。此外，论文使用的 ViPE 工具用于轨迹恢复，其复现也需要额外依赖。

MIND：世界模型记忆一致性与动作控制的基准评测 MIND: Benchmarking Memory Consistency and Action Control in World Models