Solaris：在 Minecraft 中构建多人视频世界模型 Solaris: Building a Multiplayer Video World Model in Minecraft
首个多人 Minecraft 视频世界模型，支持多视角一致性生成
前置知识
Video World Model（视频世界模型）
视频世界模型是一种根据过去观测和动作来预测智能体未来视觉观测的生成模型。不同于传统的世界模型学习抽象状态表示，视频世界模型直接在像素空间进行预测，使用视频扩散模型作为世界模拟器。这类模型在机器人学、视频游戏、自动驾驶等领域有广泛应用，能够为具身智能体提供合成训练数据、推理时规划和策略学习的支持。
本文的核心目标是将视频世界模型从单智能体扩展到多智能体场景，理解这一基础概念是把握论文创新点的前提。
Diffusion Transformer (DiT)
DiT 是一种将 Transformer 架构与扩散模型结合的生成模型，用 Transformer 替代了传统扩散模型中的 U-Net 骨干网络。在视频生成领域，DiT 通过处理时空 token 序列来生成高质量视频。本文基于 Matrix Game 2.0 的 DiT 架构进行改进，引入了多玩家自注意力机制来实现多人视角建模。
本文的模型架构直接建立在 DiT 之上，理解 DiT 的工作原理对于理解模型如何通过共享自注意力层实现多人信息交换至关重要。
Diffusion Forcing（扩散强迫）
Diffusion Forcing 是一种训练技术，通过对每个帧独立采样噪声级别来实现自回归生成。在训练时，每个帧的噪声水平独立采样，这使得模型在推理时可以自然地进行自回归生成，逐步去噪产生序列。与传统的双向扩散模型不同，Diffusion Forcing 使因果注意力成为可能。本文在 Stage 3 使用 Diffusion Forcing 配合因果掩码来初始化自回归生成器，这是训练流水线的关键环节。
本文在 Stage 3 使用 Diffusion Forcing 配合因果掩码来初始化自回归生成器，这是训练流水线的关键环节。
Self Forcing（自强迫训练）
Self Forcing 是一种改进长视频生成质量的训练范式。其核心思想是在训练时监督模型自身的生成结果，而非仅使用真实数据，从而缓解自回归训练-测试不匹配问题。原始方法要求学生模型的上下文长度等于教师模型的上下文长度。本文对此进行了重要扩展，允许教师使用更长的上下文窗口。
本文提出 Checkpointed Self Forcing 作为核心技术创新之一，解决原始 Self Forcing 在滑动窗口设置下的内存爆炸问题。
Flow Matching
Flow Matching 是一种生成模型训练方法，通过学习从噪声分布到数据分布的连续流来生成样本。本文使用条件 Flow Matching 进行训练，对于双向模型使用共享噪声级别，对于因果模型使用独立噪声级别。前向过程将干净样本通过噪声调度逐渐转化为高斯噪声，模型学习预测从噪声到数据的速度场。
Flow Matching 是本文模型训练的核心数学框架，理解其损失函数和前向过程对于理解模型如何学习生成多人视频至关重要。
KV Cache（键值缓存）
KV Cache 是 Transformer 推理中的关键优化技术。在自回归生成时，之前帧的 Key 和 Value 向量被缓存起来，避免重复计算。在本文中，KV Cache 用于实现滑动窗口注意力，缓存大小为 6 个潜帧（对应 24 个真实帧）。Checkpointed Self Forcing 的核心创新之一就是允许梯度通过 KV 表示反向传播，从而提升生成质量。
理解 KV Cache 机制对于理解 Checkpointed Self Forcing 如何节省内存以及为何能支持梯度反向传播至关重要。
FID (Frechet Inception Distance)
FID 是衡量生成图像质量的标准指标，通过比较生成图像和真实图像在 Inception 网络特征空间中的分布差异来计算。FID 值越低表示生成质量越高，通常 FID 小于 10 被认为是高质量生成。本文在五个评估任务上均使用 FID 作为视觉质量指标，最终模型在所有任务上的 FID 均优于基线方法。
FID 是本文量化评估的核心指标之一，理解其含义对于解读实验结果至关重要。
研究动机
现有的动作条件视频生成模型（视频世界模型）只能模拟单个智能体的视角，无法捕捉真实世界环境中普遍存在的多智能体交互。在实际应用中，机器人协作、自动驾驶车辆交互、多人游戏等场景都需要同时模拟多个智能体的观测。单智能体视频世界模型存在根本性的局限：它们无法确保不同智能体视角之间的一致性——一个智能体的动作（如移动、放置方块）必须同时且准确地反映在所有其他智能体的视角中。此外，现有的 Minecraft AI 平台（如 Malmo、MineRL、MineDojo、Voyager、Mineflayer）要么不支持多人模式，要么缺乏视觉渲染能力，要么只能进行低级动作空间的随机控制，无法为视频世界模型提供高质量的多人游戏数据。从 Table 1 可以看出，只有本文的 SolarisEngine 同时满足可控性、多人支持和图形渲染三个要求。
本文的目标是本文的目标是创建 Solaris——一个能够在 Minecraft 中模拟一致多人视角的多人视频世界模型。具体而言，研究团队希望：(1) 构建一个可扩展的多人游戏数据收集系统 SolarisEngine，能够自动收集协调的多人游戏数据；(2) 收集大规模的多人训练数据集，覆盖建造、战斗、移动和挖掘等核心游戏交互；(3) 设计一个评估框架来衡量多人移动、记忆、基础、建造和视角一致性；(4) 开发一种将单智能体预训练视频 DiT 适配为多人视频生成的架构；(5) 提出 Checkpointed Self Forcing 技术来解决长时域自回归生成中的内存效率问题。
与已有工作不同的是，本文的独特切入角度在于三个方面。首先，在数据层面，不同于依赖人类玩家数据的 VPT 或仅支持单人模式的 Voyager，SolarisEngine 构建了一个完整的多人数据收集流水线，通过可组合的技能库、多人通信层和模块化剧集系统实现了协调的多人游戏数据自动收集，最终收集了 1264 万帧（每位玩家 632 万帧）的多人数据。其次，在模型架构层面，不同于 Multiverse 采用的简单通道拼接方法，本文通过视觉交错和共享自注意力层实现多人信息交换，这是一种更优雅且效果更好的多人建模方式。最后，在训练方法层面，本文提出了 Checkpointed Self Forcing，通过将自回归滚动与反向传播解耦，将内存复杂度从 O(Lt * Ls) 降低到 O(Lt)，使得在长上下文教师指导下进行高效训练成为可能。
核心方法
Solaris 的方法可以分为三个核心组成部分：数据收集系统、模型架构和训练流水线。直觉上，要构建多人视频世界模型，首先需要收集高质量的多人游戏数据，然后设计能够处理多视角输入的神经网络架构，最后通过精心设计的训练策略使模型能够进行稳定的长时域自回归生成。技术路线如下：首先，SolarisEngine 使用 Docker 容器化架构，将游戏服务器、控制机器人和摄像机器人部署为独立容器。控制机器人使用 Mineflayer 运行高级别剧集代码，摄像机器人运行官方 Minecraft Java 客户端以 GPU 加速渲染视频。其次，模型架构基于 Matrix Game 2.0 的 DiT 骨干，通过视觉交错和共享自注意力层实现多人信息交换。最后，训练采用四阶段流水线：单人双向预训练、多人双向训练、因果多人训练和 Self Forcing 微调。
本文的核心创新体现在三个方面。第一，多人注意力机制：不同于 Multiverse 将多玩家视角在通道维度拼接的简单方法，Solaris 将多玩家的视觉 token 在序列维度进行交错排列，通过共享自注意力层实现信息交换，同时为每个玩家添加可学习的玩家 ID 嵌入来区分不同视角。这种设计使得每个玩家的 token 都能与其他玩家的 token 进行交互，从而实现更深层的多人一致性建模。第二，简化的因果初始化：标准的 CausVid 方法需要先进行 ODE 回归，然后通过 DMD 进行少步蒸馏，最后才进行 Self Forcing。本文发现，直接使用 Diffusion Forcing 配合因果掩码进行微调就足够了，省去了复杂的 ODE 回归和少步蒸馏步骤。第三，Checkpointed Self Forcing：通过将自回归滚动与反向传播解耦，先在无梯度模式下生成视频并缓存中间状态，然后在单次并行前向传播中重新计算，实现了内存高效的同时支持梯度通过 KV 表示反向传播。
方法步骤详情
Solaris 的完整训练流水线包含四个阶段。Stage 1（双向单人预训练）：从 Matrix Game 2.0 的预训练权重初始化，使用 VPT 数据集（超过 2000 小时人类游戏数据）进行 12 万步微调，上下文长度为 33 帧，双向注意力，将动作空间从仅视角和方向移动扩展到完整的 Minecraft 动作空间。Stage 2（双向多人训练）：引入多玩家注意力机制（视觉交错、共享自注意力和玩家 ID 嵌入），在多人数据集上进行 12 万步全序列扩散训练，此检查点用作 Self Forcing 的教师模型。Stage 3（因果多人训练）：在 Stage 2 的 6 万步中间检查点处分支，使用滑动窗口注意力掩码（窗口大小 6 个潜帧对应 24 个真实帧）和 Diffusion Forcing 训练 6 万步，作为 Self Forcing 中生成器的初始化。Stage 4（Self Forcing）：使用 Checkpointed Self Forcing 进行训练，教师上下文长度 Lt 大于学生上下文长度 Ls，生成器在滑动窗口上下文中自回归生成，学生从自身生成结果中学习以缓解训练-测试不匹配。
技术新颖性
本文的技术新颖性主要体现在以下几个方面。首先，Checkpointed Self Forcing 是对原始 Self Forcing 的重要改进。原始 Self Forcing 在滑动窗口设置下，每个生成步都会产生新的上下文窗口，反向传播需要同时保存所有窗口，导致内存成本为 O(Lt*Ls)。Checkpointed Self Forcing 通过两阶段方法解决这个问题：先在无梯度模式下进行自回归滚动获得干净估计和对应噪声状态，然后在单次并行前向传播中使用自定义的教师强迫注意力掩码重新计算，将内存复杂度降低到 O(Lt)。这种方法类似于梯度检查点技术，但专门针对滑动窗口视频生成场景。此外，由于内存节省，研究团队发现可以将梯度传播到自注意力层的 KV 表示（算法第 29 行），这在原始 Self Forcing 中是不可行的。其次，多人 DiT 架构通过序列维度的视觉交错和共享自注意力实现多人建模，相比通道拼接方法更好地保留了每个玩家的空间结构。最后，简化了因果模型初始化流程，发现直接因果微调优于复杂的 CausVid 流程。
实验结果
本文的实验结果验证了 Solaris 架构和训练设计的有效性。在架构对比实验中，Solaris 在五个评估任务中的四个任务上优于基线方法。具体而言，在 Grounding 任务上，Solaris 达到 62.5% 的 VLM 准确率，相比帧拼接方法（53.1%）和无预训练版本（29.2%）分别提升 9.4 和 33.3 个百分点。在 Memory 任务上，Solaris 达到 37.5% 的 VLM 准确率，与帧拼接方法持平，但大幅超过无预训练版本（18.8%）。在最具挑战性的 Building 任务上，帧拼接和无预训练方法完全失败（0% VLM 准确率），而 Solaris 达到 20.8%。在 Consistency 任务上，Solaris 以 71.4% 的 VLM 准确率显著优于帧拼接（49.5%）和无预训练（49.5%）。在 FID 指标上，Solaris 在所有任务上均取得最佳结果，例如在 Grounding 上 FID 为 38.0（帧拼接为 66.6），在 Memory 上为 55.1（帧拼接为 74.4）。Self Forcing 消融实验表明，KV 反向传播（KV-BP）在所有 FID 指标上均带来改善，但可能降低部分任务的动作跟随性能。简化版因果微调（不使用 ODE 回归和 DMD）在所有 VLM 指标上均优于标准 CausVid 初始化，证明了本文训练策略的有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Movement（移动） | VLM 准确率 / FID | 68.2% / 38.5 | 帧拼接: 77.1% / 68.9; 无预训练: 69.3% / 42.5 | FID 大幅优于两个基线（降低 30.4 vs 帧拼接），VLM 略低于帧拼接但更稳定 |
| Grounding（基础定位） | VLM 准确率 / FID | 62.5% / 38.0 | 帧拼接: 53.1% / 66.6; 无预训练: 29.2% / 49.9 | VLM 提升 9.4pp vs 帧拼接，33.3pp vs 无预训练；FID 大幅领先 |
| Memory（记忆） | VLM 准确率 / FID | 37.5% / 55.1 | 帧拼接: 37.5% / 74.4; 无预训练: 18.8% / 67.8 | FID 降低 19.3 vs 帧拼接；VLM 比无预训练提升 18.7pp |
| Building（建造） | VLM 准确率 / FID | 20.8% / 83.6 | 帧拼接: 0.0% / 103.2; 无预训练: 0.0% / 86.6 | 唯一能完成建造任务的方法（从 0% 到 20.8%），FID 降低 19.6 vs 帧拼接 |
| Consistency（一致性） | VLM 准确率 / FID | 71.4% / 99.4 | 帧拼接: 49.5% / 129.4; 无预训练: 49.5% / 121.4 | VLM 提升 21.9pp；FID 降低 30.0 vs 帧拼接 |
局限与改进
本文存在几个重要的局限性。首先，训练数据完全是合成的（来自机器人自动收集），这引入了动作分布和视觉分布的差距，限制了模型的泛化能力。虽然单人预训练使用了 VPT 的人类数据，但多人场景仍然缺乏真实人类交互数据。其次，模型缺乏持久记忆：当玩家离开彼此的视野时，模型会丢失他们的共享上下文，导致轨迹开始偏离。与真正的游戏引擎不同，模型没有底层持久状态——世界仅由两个初始帧指定，没有机制来控制或维护更广泛的环境。第三，模型目前仅支持两人游戏场景。第四，Self Forcing 训练虽然节省了内存，但仍然需要显著的计算资源。第五，由于模型是纯生成模型而非基于物理的模拟器，其物理一致性（如方块碰撞、重力等）可能不可靠。
独立分析的弱点
尽管 Solaris 在多人视频世界模型方面取得了重要进展，但仍存在以下可改进的弱点。第一，数据合成质量：当前完全依赖机器人自动收集的数据，缺乏人类玩家的自然行为模式，可能导致模型生成的视频在动作自然度上存在差距。改进方向包括引入半监督学习，结合少量人类多人游戏数据和大量合成数据进行训练。第二，视角一致性约束不足：在两人视角互相不可见的场景下（如 Memory 任务），模型的表现仍然有限（VLM 37.5%），说明模型缺乏对世界状态的全局理解。可以考虑引入显式的 3D 场景表示或空间记忆模块。第三，建造任务成功率低：即使在最优配置下，Building 任务的 VLM 准确率仅为 20.8%，表明模型在理解复杂的环境变化因果关系方面仍有不足。第四，缺少量化的人类评估：当前仅使用 VLM 作为评判者，可能无法完全捕捉人类对视频质量和一致性的感知。
未来方向
作者提出和本文成果可延伸的未来研究方向包括：第一，多人玩家数量扩展：SolarisEngine 的架构理论上支持任意数量的并发玩家，未来可以探索三人或更多玩家的场景。第二，多模态训练数据生成：SolarisEngine 可以为视觉-语言模型（VLM）或视觉-语言-动作模型（VLA）生成多模态训练数据。第三，统一感知-动作模型：训练能够同时感知和行动的统一模型。第四，神经符号方法：结合代码推理的智能体决策。第五，持久记忆机制：解决当前模型缺乏持久记忆的问题，可能通过引入外部记忆存储或状态追踪模块。第六，人类数据融合：结合更多人类多人游戏数据来缩小合成-真实差距。第七，跨游戏泛化：将多人建模能力扩展到 Minecraft 之外的其他 3D 环境。第八，基于物理的约束：引入物理引擎约束来提高生成视频的物理一致性。
复现评估
本文在可复现性方面表现优秀。研究团队完全开源了所有关键组件：SolarisEngine 的引擎代码（https://github.com/solaris-wm/solaris-engine）、模型代码（https://github.com/solaris-wm/solaris）、训练数据集（https://huggingface.co/collections/nyu-visionx/solaris-data）和预训练模型（https://huggingface.co/collections/nyu-visionx/solaris-models）。数据集包含 9240 个剧集、1264 万帧的多人游戏数据，覆盖建造、战斗、移动和挖掘四种场景类型。训练使用了 Google TPU Research Cloud 的计算资源，四个阶段分别需要 12 万步、12 万步、6 万步的训练量，计算成本较高。评估基准包含五个精心设计的任务和 VLM 判断指标，具有明确的评估标准。Docker 化的系统设计使得数据收集环境的搭建和复现相对容易。整体而言，本文的开源程度很高，为后续研究提供了良好的可复现基础。
论文图表
