MASS：具备权威共享状态的多玩家世界模型 MASS: Multiplayer World Models with Authoritative Shared State
借鉴网游权威服务器架构，以类型化共享状态解耦世界推演与视角渲染。
前置知识
交互式视频世界模型（Interactive Video World Model）
一类用神经网络从世界历史和玩家动作预测下一帧观测的模型，如 GameNGen、Oasis、DIAMOND。它们递归地把上一帧的隐状态作为下一步输入，从而不运行传统游戏引擎就能产出可响应的 rollout。
理解本文的前提：它正是要解决这类模型把'视觉即记忆'的设计带到多玩家时产生的冗余计算、视角不一致与可扩展性差三大问题。
权威服务器架构（Authoritative Server）
网游 netcode 的经典契约：服务器维护唯一的规范游戏状态并推进它，客户端收到版本化快照后本地预测、各自渲染。世界只被模拟一次，与渲染它的客户端数量无关。
本文的核心隐喻与方法源头。MASS 把这套契约完整搬到学习型世界模型，让类型化状态同时充当递归记忆与同步对象。
教师强制（Teacher Forcing）
训练自回归模型时每步都喂入真实上一 token 而非模型自己的预测，使训练稳定、可并行。本文 Logic Engine 用 20,000 步单步教师强制更新，推理时才切换为贪婪自回归并把预测反馈回去。
理解训练/评估差距的关键：本文报告了 H=1/32/128 等闭环 horizon 的衰减，正是教师强制训练与自回归推理间误差累积的体现。
解码器 Transformer（Decoder-only Transformer）
由因果自注意力堆叠的生成式 Transformer，逐 token 自回归预测序列。本文用宽 256、6 层、8 头、5.66M 参数的版本，自注意力被严格限制在单条记录内部。
理解 Logic Engine 的实现基础，以及记录级因子化为何能让 1,024 实体世界可行（记录可自由批处理且无相互注意力）。
几何感知残差 U-Net
带跳跃连接的编码-解码卷积网络，本文用 64 通道 stem 处理 16 通道语义投影，经 3 次下采样、5 个膨胀残差块、3 次上采样输出 sigmoid RGB。
Rendering Engine 的实现，它从相机投影而非 RGB 历史渲染画面，使渲染与状态推演解耦、可独立评估。
跨视角一致性（Cross-view Consistency）
同一世界在多个相机下应给出相互不矛盾的内容。本文用 X-view 指标度量重叠区域内语义类不同的前景像素占比，MASS 因所有视角都解码同一预测状态而把该值构造性地降为 0。
多玩家世界模型的核心难点，也是本文相对基线（X-view 0.984–1.000）的决定性优势所在。
研究动机
现有交互式视频世界模型——GameNGen、Oasis、DIAMOND、Genie、WHAM——通过递归地根据世界历史与玩家动作预测下一帧观测来模拟游戏，用像素或视觉隐变量作为递归载体。这种"视觉即记忆"的设计在单人场景下很好，但进入多玩家环境就暴露三大结构性缺陷。一是冗余计算：千名玩家的世界里每个相机只揭示一小部分，若为每个视角维护独立递归视觉历史，相同内容会被编码上千次。二是视角不一致：独立历史对同一实体可能给出矛盾预测，例如两条蛇相撞时 A、B 玩家看到的胜负可能不同。三是可扩展性差：模拟世界的成本被绑定到"正在被观看的视角数"，观看者越多代价越高。现有方法（Gamma-World、MultiWorld、MultiGen、WanToFight）虽通过联合生成或共享视觉表示协调视角，但共享表示仍是视觉的、稠密的或外部维护的，没有一个用"类型化权威状态"同时充当递归记忆与同步对象。匹配 Snake 基准上，最强视频基线 MultiWorld 的 LPIPS 高达 0.277、跨视角不一致 X-view 达 0.984、结构性无效占比 0.981，说明视觉载体根本无法稳定承载一个可被多视角共享的世界。
本文的目标是本文的目标是为学习型世界模型引入一套可扩展、可一致、可评估的多玩家模拟框架，让世界状态与视角渲染彻底解耦。具体而言作者希望做到四点：一是用单一的全局权威类型化状态 $\hat{s}_t$ 作为唯一的递归记忆，世界每 tick 只被推演一次，且推演成本与渲染的相机数量无关；二是该状态同时作为客户端的同步对象与所有渲染视角的唯一条件，从而在构造层面保证跨视角一致性（X-view 不一致恒为 0）；三是状态本身是类型化、schema 约束、可直接在渲染前评估的，使实体持久性、位置精度、结构有效性都能在不生成任何一帧的情况下被测量；四是让框架具备跨游戏通用性，同一套解码器 Transformer + 渲染 U-Net 架构通过声明式 schema 即可适配新游戏，无需手写任何状态转移规则、奖励函数或游戏代码。最终目标是用 1,024 名并发玩家、10,000 步递归推演来验证这套"权威状态"范式是大规模、一致性多智能体世界模拟的实用基础。
与已有工作不同的是，本文的独特切入点在于把在线多人游戏工程中早已成熟的"权威服务器"架构——服务器推进唯一的规范游戏状态，客户端接收版本化快照、本地预测并在间隙中插值、各自渲染自己的相机——首次完整地搬到学习型世界模型中。这与已有方法的本质区别是：以往的多玩家生成工作（MultiWorld 用耦合多视角、Gamma-World 用稀疏 hub 注意力、MultiGen 用独立于上下文窗口的持久外部记忆）仍把"共享"建立在视觉或稠密表示之上，状态不可读、不可约束、不可在渲染前评估；而 MASS 把共享世界状态变成一组显式类型化的实体记录 $\rho_t^i = (kind_i, fields_i)$，每条记录的每个字段都被 schema 约束在合法取值范围内，使状态既是递归输入、又是同步消息、又是直接评估目标。这种"类型化权威状态"在多玩家生成文献中尚属空白，它一次性解决了冗余计算、跨视角不一致、状态可评估性三个被前人反复触及却未根除的难题。
核心方法
MASS 的整体直觉是：把"世界本身"和"看到世界的眼睛"分开。世界是由 schema 声明的类型化实体集合，每 tick 被唯一的 Logic Engine 推演一次；每个玩家视角由按需调用的 Rendering Engine 从同一推演结果渲染。每个新游戏只需提供声明式 schema $\Sigma_g = \{(kind_j, fields_j, count_j)\}_{j=1}^{J_g}$ 和一批录制轨迹，核心架构不变，只有 tokenizer、embedding 表和权重是游戏专属的。在 Snake（N=1024）中 schema 声明三类实体——1 条全局 tick 记录、1,024 条蛇记录、4,096 条食物桶记录，一个 tick 实例化 $K_g = 5{,}121$ 条记录。流程是：Tokenizer 把每条记录连同邻域窗口 $c_t^i$、所属玩家动作 $a_t^{\pi(i)}$、外生输入 $e_t^i$ 编成定长 token 序列；Logic Engine 用解码器 Transformer 逐记录自回归预测下一 tick 全部记录；assembler 组装成 $\hat{s}_{t+1}$ 作下一递归输入；Rendering Engine 再为每个请求相机从这同一状态渲染画面。
核心创新是把递归载体从"视觉隐变量"换成"类型化、schema 约束的实体记录序列"，并把世界推演因子化为逐记录的独立预测。世界级转移 $\hat{s}_{t+1} = F_\theta(\hat{s}_t, a_t, e_t)$ 被实现为记录级因子分解 $p_\theta(s_{t+1}|s_t,a_t,e_t) \approx \prod_{i=1}^{K_g}\prod_j p_\theta(y_{t+1}^{i,j} | u_t^i, y_{t+1}^{i,<j})$。两点与以往本质不同：其一，自注意力被严格限制在每条记录自己序列内部，记录间不直接交互，相互作用通过预测前从共享状态预计算的邻域窗口 $c_t^i$ 进入——这种因子化正是支撑 1,024 实体世界的关键，记录可自由批处理且无相互注意力；其二，schema 派生掩码把每个输出位置限制在其字段允许取值内，确定性选择器在解码时强制跨记录约束（排序性、唯一性），于是"移动、碰撞、生长、采集、死亡"仍是学习结果，而"每条记录解码后必然结构合法"是构造保证。对照稠密载体 B-UN：同一格在不同 tick 必须编码不同实体，U-Net 无显式机制跟踪对象身份，实体在递归中迅速丢失。
方法步骤详情
每个 tick 的推演如 Algorithm 1。第一步，把当前递归状态 $\hat{s}_t$ 展开为记录集合 $R_t$。第二步，对每条记录 $\rho_t^i$ 计算邻域上下文 $c_t^i$（人口级 Snake 用以锚点为中心、半径 4 的 9×9 网格），与动作 $a_t^{\pi(i)}$、外生份额 $e_t^i$ 一起喂 tokenizer 得前缀 $u_t^i$。第三步，解码器 Transformer 在 schema 掩码 $M_{\Sigma_g}$ 下贪婪自回归解码每条记录下一 tick 的 token，所有前缀从同一当前状态构建并作 batch 评估，全部解码完才组装。第四步，$T_{\Sigma_g}^{-1}$ 组装成 $\hat{s}_{t+1}$，版本号加一，它同时是下一递归输入、同步对象、评估目标与所有图像来源。第五步，对每个请求相机，投影 $P_c$ 把可见占据、语义角色、所有权、几何栅格化成 16 通道张量，残差 U-Net $R_\phi$ 输出 RGB 帧。训练时 Logic Engine 在教师强制下最小化 token 交叉熵 $\mathcal{L}_{logic}$；渲染器用物体加权 Charbonnier 加 SSIM 等组合损失，推理时不接收目标像素或 RGB 历史。
技术新颖性
技术新颖性体现在四个相互支撑的层面。表示层面，作者首次把多人游戏工程里"权威服务器 + 版本化快照 + 客户端渲染"的契约转化为学习型世界模型的递归载体，让 $s_t$ 既是记忆又是同步消息——这在以往多玩家生成文献中没有先例。架构层面，Logic Engine 用统一的解码器 Transformer（宽 256、6 层、8 头、MLP 扩展比 4、5.66M 参数）配合游戏专属 tokenizer 与权重，通过声明式 schema 适配新游戏，论文报告"一晚上集成三款游戏"。因子化层面，记录级注意力隔离加邻域窗口注入让世界推演成本与实体数线性而非二次增长，使 1,024 实体世界可行。评估层面，显式状态接口催生了 SRSC 协议：用教师/学习渲染器分别作用于真实/预测状态的四种配对，首次能在像素空间分离"逻辑误差"与"渲染误差"，SRSC 逻辑轴与程序化状态指标相关性 $r = 0.962$。这些设计共同把"视觉像不像"与"世界发生了什么"这两个被像素指标长期混淆的问题彻底分开。
实验结果
论文从五个维度评估。匹配多玩家 Snake 基准（48×48、128×128、128 tick、双视角）上，MASS 七项指标领先六项：LPIPS 0.098（最优；B-UN 0.123、MultiWorld 0.277）；Parser 状态恢复 0.764，是最强视频基线 B-PV（0.128）的五倍多；跨视角不一致 X-view 恒 0.000，而 MultiWorld/B-PV/B-SL 在 0.984–1.000。B-UN 视觉 LPIPS 接近却 Parser 跌到 0.000，证明像素吻合不等于世界可恢复。直接逻辑评估中，类型化 token 在 H=1 达 99.1% 头部位置精度、0% 结构矛盾，稠密预测器（CNN、U-Net、RSSM）位置精度最高仅 2.7% 且每 tick 都自相矛盾；H=32 仍 90.2%。跨游戏重建（256×256）上同一架构覆盖 Snake、Crate Pusher 等 8 款游戏，PSNR 从 Tron 23.72 dB 到 Frogger 40.24 dB，五款超 32 dB。长时程上 N∈{2,4,8} 到 H=4096 仍完整花名册、零无效步、零崩溃。最关键的扩展实验把同一架构推到 1,024 名玩家、10,000 个递归 tick，世界转移成本与视角数无关。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 匹配多玩家 Snake（128 tick rollout） | Parser 状态恢复 ↑ | 0.764 | B-PV 0.128 / MultiWorld 0.067 | 约为最强视频基线 B-PV 的 5.97 倍 |
| 匹配多玩家 Snake | LPIPS 感知距离 ↓ | 0.098 | B-UN 0.123 / MultiWorld 0.277 | 比次优 B-UN 低 20%，比 MultiWorld 低 65% |
| 匹配多玩家 Snake | 跨视角不一致 X-view ↓ | 0.000 | MultiWorld 0.984 / B-PV 1.000 / B-SL 1.000 | 构造性归零，基线几乎完全不一致 |
| 直接逻辑评估（匹配 Snake 验证集） | 头部位置精度 H=1 ↑ | 99.1%（0% 结构矛盾） | 稠密预测器最高 2.7%（100% 矛盾） | 稠密载体几乎完全无法保持实体身份 |
| 直接逻辑评估 | 头部位置精度 H=32 ↑ | 90.2% | Independent-head CNN 0.1% / Joint U-Net 0.0% | 长闭环下类型化载体仍 90%+，稠密载体归零 |
| 八款游戏重建（256×256） | PSNR ↑ | 23.72–40.24 dB（八款中五款 >32 dB） | 物体 PSNR 大多 >27.5 dB | 同一架构跨游戏覆盖，无需改架构 |
| 长时程稳定性（无真值延续） | 结构无效步占比 ↓ | 0.0%（N∈{2,4,8} 到 H=4096，完整花名册） | — | 证明类型化状态长期结构稳定、不崩溃 |
| 人口规模扩展 | 并发实体 × 递归步数 | 1,024 实体 × 10,000 tick，世界转移成本与视角数无关 | — | 渲染代价从 1 视角 189.6 ms 线性到 1,024 视角 842.4 ms |
局限与改进
作者明确承认两点局限：所有实验均在 2D 网格游戏上完成，向 3D 环境和更丰富实体交互的扩展被列为未来工作；Logic Engine 在匹配尺度下单步延迟 45.55 ms，N=1024 全状态步对应单 GPU 完整时间，距实时（如 60Hz）尚远。从数据还能观察到更多隐含局限。其一，状态精度随推演步数显著衰减：匹配 Snake 头部位置精度从 H=1 的 99.1% 跌到 H=128 的 72.3%，全状态精确匹配从 41.7% 跌到 0%，长期闭环仍有漂移。其二，SRSC 逻辑轴在 Snake 上 H=300 已降到 33.8、H=600 仅 1.2，交互更密集的 Crate Pusher 上 H=100 就跌到 10.0，逻辑误差随游戏复杂度迅速放大。其三，Tile Merger 全状态精确匹配恒为 0，随机网格状态难以精确复现。其四，客户端预测中本地动作变体的视角内一致率从 k=1 的 0.815 衰减到 k=8 的 0.429。其五，基准仅用 N=2 子集与 MultiWorld 双视角接口对齐，多玩家真正挑战在更大 N。
独立分析的弱点
第一，2D 限制。八款游戏都是 2D 网格，渲染器是 2D/2.5D U-Net，schema 基于离散坐标。改进方向是引入连续 3D 实体表示与神经辐射场或 3D 高斯渲染器，并把 schema 扩展到 6-DoF 位姿与连续物理量。第二，长时程漂移。H=128 位置精度掉到 72%，闭环长期演化会进入吸引子（H=4096 仅 277–306 个唯一状态）。可借鉴状态空间模型，或定期用 VLM 自校验（SRSC 已提供 r=0.962 的相关性基础）注入纠错信号。第三，单步延迟高。45.55 ms 对 20Hz 刚好够，1024 实体场景难实时，可探索记录级并行解码、推测解码、缓存与稀疏邻域注意力把延迟压到亚 10ms。第四，交互密度敏感。Crate Pusher 逻辑轴 H=100 即崩溃，模型对高密度碰撞/推动泛化弱，可通过课程学习或显式碰撞 token 增强。第五，评估偏 N=2，建议构建 N≥32 的标准多玩家基准并开源。
未来方向
作者明确点名的未来方向是把同一"权威状态解耦"原则推广到 3D 环境与更丰富实体交互。基于本文成果还可延伸若干方向。一是利用记录级因子化的可扩展性，把玩家数从 1,024 推到 10K–100K，研究超大人口下的涌现行为与状态多样性（当前 100k 更新仅产生 1,850 个唯一状态）。二是把 SRSC 这套 VLM 语义裁判协议（与程序化指标 $r=0.962$ 相关）发展为通用世界模型语义评测标准，弥补 PSNR/SSIM/LPIPS 无法衡量"语义对错"的缺陷。三是把客户端预测机制（本地动作变体在 k=1–8 保持 0 位移）与网络传输层结合，做成真正可玩的 netcode 原型，研究丢包/抖动下的体验。四是把 Logic Engine 从教师强制升级为强化学习闭环训练，让模型在与环境真实交互中学习而非仅模仿轨迹，可能缓解长时程漂移。五是探索 Logic 与 Rendering Engine 联合端到端训练，目前两者分阶段训练，联合优化或能缩小语义-像素差距。
复现评估
论文复现友好度良好但有短板。有利因素：项目主页（https://alaya-lab.github.io/MASS/）公开，论文详细给出 Logic Engine 架构（宽 256、6 层、8 头、5.66M 参数）、训练超参（AdamW、学习率 $\eta=2\times10^{-4}$、权重衰减 $10^{-4}$、batch 8、bfloat16、20,000 步教师强制）、渲染器损失（物体加权 Charbonnier + 多尺度 L1 + SSIM）、匹配 Snake codec 的 447 token 前缀结构与一个真实 schema 的 157 行配置示例。不利因素：训练数据生成脚本（48×48 多智能体 Snake 轨迹、八款游戏录制器）未明确开源，需自建游戏引擎；MultiWorld 基线虽用官方代码重训，但 5.60B 参数 diffusion 模型复现成本高；SRSC 依赖 Qwen3.5-27B 张量并行推理，对一般实验室算力有要求；未给总训练时长与硬件数量。整体难度中等偏上：核心 Logic Engine 可单卡复现，大规模与多游戏扩展需工程投入。
论文图表
展示一个被预测的 Snake 世界：中心是权威类型化状态可视化，四周四块屏幕是选定客户端相机的学习渲染画面，手柄显示玩家当前动作。
直观呈现论文愿景——一个权威共享状态驱动任意多客户端视角，是理解全文动机与贡献的最佳入口。
按 Snake、Crate Pusher、Pac-Man、Tank Battle、Lunar Touchdown、Frogger、Tron、Bomberman 八列展示，行为不同时间步的状态条件渲染画面。
证明同一 Logic+Rendering 架构通过声明式 schema 即可跨八款游戏生成多样化视觉主题，无需改架构。
给出 MASS、MultiWorld、B-PV、B-SL、B-UN 在 128 tick 上随时间变化的 World recoverability、Count/Position、Cumulative Event F1、Cross-view disagreement、LPIPS 曲线。
揭示端点图像分数会掩盖的差异：MASS 从第一 tick 起可恢复 0.963 前景状态而所有基线不超 0.19，LPIPS 曲线却比状态曲线平滑得多。
渲染前直接比较预测类型化字段与引擎状态：类型化 token 在 H=1 达 99.1% 位置精度/0% 矛盾，稠密预测器最高 2.7% 位置/100% 矛盾；H=128 时类型化仍 72.3%。
把'像素像不像'剥离后的纯逻辑对比，是证明类型化载体优于稠密载体的关键证据。
Snake、Breakout、Tile Merger 三游戏的状态准确率/全状态精确/无效步：Breakout H=1 达 99.5% active、84.5% exact，H=128 仍 85.7% active；所有 decode 结构有效。
证明同一接口支持实体表、有序实体、随机网格三类状态，跨游戏可迁移。
用 Qwen3.5-27B 对 Snake/Crate Pusher/Pac-Man 做 Logic/Renderer-Pred/End-to-end/Renderer-GT 四轴评分：Snake 逻辑轴 H=1 为 100、H=100 为 91.2、H=300 为 33.8；Renderer-GT 轴在 63.8–75.0 无单调衰减。
证明显式状态接口能在像素空间分离逻辑与渲染误差，且长期衰减源自逻辑而非渲染。