Multics：基于分层通信的生成式多玩家世界模型 Multics: Generative Multi-Player World Model with Hierarchical Communication
在玩家-组-全局三层注意力通信下，实现一致、可控、抗干扰且可扩展的多玩家视频世界模型
前置知识
世界模型（World Model）
世界模型是一类根据历史观测和动作预测环境未来状态的生成式模型，范式是「过去状态 + 动作 → 未来观测」。以视频为输出时，它相当于可交互的神经渲染引擎：玩家输入键鼠动作，模型生成下一帧画面，循环往复即可「游玩」一个不存在的游戏。Genie、GameNGen、Oasis 等都是这类工作的代表。
本文的任务就是多玩家版视频世界模型：不只模拟一个玩家视角，而是让 $N$ 个玩家共享同一环境、各自渲染视角并保持相互一致，理解这一范式是理解全文动机的前提。
DiT 与注意力掩码通信
Diffusion Transformer（DiT）用 Transformer 做扩散去噪。视觉 token 沿序列维拼接后做自注意力，而注意力掩码（mask）决定哪些 token 对之间允许计算注意力。本文比较的全部通信拓扑——全连接（Solaris）、中心化枢纽（γ-World）、组内直连、以及本文的分层结构——都只是不同的掩码连接图，不引入新算子。
Multics 的全部创新都在修改玩家 token、组 token、全局 token 之间的注意力连接图，计算成本分析（FLOPs、延迟）也直接由掩码中允许的 token 对数量决定；不懂掩码式自注意力就无法读懂方法与效率实验。
扩散强迫（Diffusion Forcing）
一种训练方案：给序列中每帧独立加不同强度的噪声，并配合因果时间注意力（每帧只能看过去帧）。它同时具备全序列并行训练的效率和自回归滚动生成长视频的能力，是近年交互式视频世界模型（如 GameFactory）的主流训练方式。
Multics 直接采用该方案（因果块 3 个 latent 帧、两阶段注意力窗口 7→21），正是它支撑了 165 帧的流式生成以及每 48 帧用因果相机轨迹更新一次分组拓扑的设计。
动作与相机条件注入
视频扩散模型需要外部信号控制生成内容：离散动作通常经 cross-attention 注入，鼠标视角变化常经轻量时间模块融合；相机轨迹常用可学习适配器注入对应 token 的 query/key（如 ReCamMaster 的做法），文本经 cross-attention 注入。条件注入的保真度直接决定「可控性」。
论文的 IDM 动作精度、RotErr/TransErr/CamMC 相机误差衡量的就是这些条件是否被忠实执行；理解注入方式才能明白为什么干扰和一致性破坏会连带破坏可控性。
多智能体通信拓扑
多智能体系统研究 agent 之间信息交换的结构：CommNet 采用全连接稠密交换，ATOC/TarMAC 做选择性或定向通信，HiComm 等按组分层交换。拓扑决定了信息流质量与通信成本，是多智能体协调中的经典设计维度。
本文的核心贡献是把这一思想首次系统地迁移到高维视频表征层面：三类基线（全连接 Solaris、中心化 γ-World、组内直连扩展）恰好对应该脉络中的三种拓扑，理解它们才能理解本文的定位。
研究动机
现有视频世界模型几乎都面向单玩家：给定一个玩家的动作、相机轨迹和文本，生成单一视角的未来画面。但真实游戏与模拟需要 $N$ 个玩家共享同一环境并各自渲染视角，直接扩展会遇到两堵墙。第一堵是全连接通信（Solaris）：把所有玩家的 token 拼接做共享自注意力，任何两个玩家都能直接交换信息，但注意力开销随玩家数二次增长——论文实测 10 玩家时自注意力 FLOPs 高达 69.1 TFLOPs、DiT 延迟 1441 ms，扩展性差，而且稠密交换并不必然带来更好的生成质量。第二堵是中心化通信（γ-World）：所有玩家只通过一组共享的全局 hub token 交换信息，计算省了，但动作、视觉细节、互不相关的局部事件全部挤在同一条通路里混合，造成跨事件干扰——无关玩家视角里的紫色火焰特效会「泄漏」进别人的画面、玩家的开火动作被无关观察带偏、重叠视野内容不一致（4 玩家 GeoKPM 仅 49.42%，RotErr 2.728，FVD 高达 200.5）。并发交互越多越多样，这两个问题越严重。
本文的目标是本文的目标是在视频扩散模型内部设计一种结构化的玩家间通信机制，同时满足四个要求：(1) 跨玩家一致性——重叠视野里同一物体（如双方都该看到的蓝箱子）和同一玩家应呈现一致；(2) 玩家专属可控性——每个玩家的开镜（ADS）、开火、相机轨迹只被自己的条件信号驱动，不被他人污染；(3) 抗干扰鲁棒性——互不相关的并发事件（如某处的火焰特效）不得串扰到无关玩家的视角；(4) 可扩展性——4 玩家训练的模型不经再训练、不引入新参数即可推理 6/8/10 玩家，且通信成本接近中心化方法而不是随玩家数二次增长。
与已有工作不同的是，本文的独特切入是把多智能体研究中的「分层通信拓扑」首次系统地引入高维视频表征：在玩家层与全局层之间插入「组层」，用组 token 作为中间表征先聚合本地相关玩家的信息，再由组 token 连接全局 token 做跨组交换，从拓扑结构上限制无关局部事件的直接混合。配套两个关键设计：其一，组 token 参数在所有组槽位之间共享，槽位可交换，玩家数增长时无需新增参数或再训练；其二，基于近期相机轨迹的预算约束动态分组，把整个分层拓扑的注意力成本硬性约束在中心化基线成本之内。与同期「共享世界状态 + 每玩家独立渲染」的扩展路线（如 WorldCast、MASS、MultiWorld）不同，本文探索的是学习到的视觉表征内部的可扩展通信这一正交维度。
核心方法
直觉很朴素：一局 10 人的对战里，只有视野重叠的少数玩家才需要细粒度的信息交换，相距很远的玩家只需要粗粒度的全局感知，把所有信息塞进一条通路或让所有人两两直连都既浪费又互相污染。Multics 据此把通信组织成玩家—组—全局三层：同组玩家可直接互相注意，组 token 作为中间层先聚合本地信息，再与全局 token 交换跨组信息。技术上，Multics 以 Wan2.2 TI2V 5B 视频扩散模型为骨干，把 $N$ 个玩家的视觉 token $x_i \in \mathbb{R}^{f_z \times L \times d}$ 沿序列维拼接，通过自注意力掩码实现分层连接 $x_i \leftrightarrow h^L_{g(i)} \leftrightarrow h^G$，其中 $h^L_g \in \mathbb{R}^{f_z \times k_L \times d}$ 是第 $g$ 个组槽的组 token，$h^G \in \mathbb{R}^{f_z \times k_G \times d}$ 是全局 token。训练采用扩散强迫以支持因果自回归生成，动作、相机、文本分别经动作模块、Q/K 适配器和 cross-attention 注入；组/全局 token 使用零相机特征占位并用 simplex 旋转位置编码保证玩家置换等变性。
核心创新有三点。第一，组 token 的引入：不同于 Solaris 的全员两两直连（$x_i \leftrightarrow x_j$）和 γ-World 的单一全局枢纽（$x_i \leftrightarrow h^G$），Multics 让本地相关信息先在组层聚合、再上浮到全局，异构信息（动作、视觉细节、无关事件）不会在同一条通路里直接混合——这是抗干扰能力与跨视角一致性的直接来源。第二，共享组 token 参数：所有组槽位共用同一份可学习参数 $E_L \in \mathbb{R}^{k_L \times d}$，运行时复制到 $M$ 个槽位并按 latent 帧广播；由于槽位可交换，同一通信模块可服务任意玩家数，推理时从 4 玩家扩展到 10 玩家不引入任何新参数、不需要再训练。第三，预算约束动态分组：组槽数 $M = \lceil \log_2 N \rceil$，且整个分层拓扑的注意力成本被显式约束不超过中心化基线的成本 $C_{central}$，使效率上有可证明的保证而非口头承诺。
方法步骤详情
第一步，条件构建：每个玩家的动作 $A_i = (D_i, U_i)$ 分解为 23 维离散键鼠控制 $D_i \in \mathbb{R}^{(f-1) \times 23}$ 和 2 维相对 yaw/pitch $U_i$，按因果窗口取 $r w_c$ 个动作步投影到隐藏维后经 cross-attention 注入，鼠标控制展平为 $\mathbb{R}^{f_z \times 2 r w_c}$ 经轻量时间模块融合；相机统一到首个玩家初始帧坐标系 $C \in \mathbb{R}^{N \times f \times 3 \times 4}$，经可学习适配器注入对应玩家 token 的 Q/K。第二步，相关性估计：每 48 视频帧更新一次分组，由因果相机历史计算对称相关性矩阵 $R^{(t)}_{ij} = \max(R^{scene}_{ij}, R^{mutual}_{ij})$，其中场景相关性由相机距离 $r^{prox}_{ij} = \exp(-\|p_i - p_j\|_2/\sigma_p)$ 与视线端点相似度 $r^{view}_{ij} = \exp(-\|e_i - e_j\|_2/\sigma_v)$（$e_i = p_i + \ell v_i$）经近因加权聚合，互视相关性为 $r^{mutual}_{ij} = \sqrt{Q^{i \to j} Q^{j \to i}}$。第三步，预算约束分组：$M = \lceil \log_2 N \rceil$，组容量 $K = \min(N, \lceil 1/2 + \sqrt{1/4 + B_{pair}} \rceil)$，$B_{pair}$ 由剩余预算 $\Delta C = C_{central} - C_{hier\text{-}base}$ 除以 $B_b L^2$ 得到；贪心构建候选组并验证 $C(G^{(t)}) \le C_{central}$，约束每玩家至多属 2 组、任意两组至多共享 1 名「锚点」玩家，未覆盖玩家仅走全局通路；最终输出成员张量 $\mathcal{M} \in \{0,1\}^{f_z \times M \times N}$，转换为注意力掩码作用于所有 transformer 层。第四步，训练与推理：扩散强迫训练（因果块 3 个 latent 帧），先 10K 步局部窗口 7、再 25K 步窗口 21，学习率 $3 \times 10^{-5}$，AdamW，bf16，16 卡有效批 16，冻结 VAE/文本编码器/FFN 及大部分 DiT 参数；推理生成 165 帧、352×640 视频，50 步去噪，CFG 5.0，每组 5 个组 token、全局 6 个 token。
技术新颖性
技术新颖性体现在三处。(1) 表征层面而非状态层面的扩展：同期工作多靠「共享世界状态 + 每玩家独立渲染」来扩规模，Multics 直接在学习到的视频表征内部改造注意力拓扑，证明通信结构本身就能同时换来一致性、可控性与效率。(2) 参数共享换取拓扑可变：共享组 token 参数是对「玩家数可变」最经济的解法——消融显示非共享参数模型在 4→6 外推时，把未见过的第三个组的 token 用复制或平均方式初始化，GeoKPM 只有 43.63%–45.01%，共享版达 54.33%，差距近 10 个百分点。(3) 预算约束的形式化：把「通信成本不超过中心化基线」写成显式约束 $C(G^{(t)}) \le C_{central}$，按注意力掩码中实际允许的有向 query–key token 对精确核算（涵盖重叠成员、仅全局玩家、激活与闲置的 hub 注意力），而非粗略的复杂度阶数声明；同时配合 simplex 旋转位置编码保证玩家置换等变性，使「换玩家数量」这件事在数学上良定义。相关性矩阵只决定通信拓扑、具体交换什么信息交给注意力自行学习，这一解耦也让方法简洁稳健。
实验结果
主实验（Table 1 上部）4 玩家设定：Multics 在 10 项指标中几乎全面领先——GeoKPM 54.17%（Solaris 48.51%、γ-World 49.42%），PSNR 18.10、LPIPS 0.4184 均最优，IDM 动作精度 94.17%，相机误差 RotErr 2.434 / TransErr 11.67 / CamMC 13.21（Solaris 为 2.572/13.50/15.00），FID 26.39、FVD 162.3（γ-World 高达 200.5）。6 玩家：GeoKPM 56.84%、FID 16.34、FVD 101.2（Solaris 115.1、γ-World 128.4）、TransErr 10.49 最优；但 SSIM 0.4687 略低于 Solaris 的 0.4728，IDM 94.33 与基线持平，说明像素对齐与动作执行已接近基座饱和区，收益集中在几何/感知一致性。外推实验（Table 1 中部）：4 玩家训练直接推理 6/8/10 玩家，GeoKPM 分别为 54.33%/51.05%/51.54% 全部第一，10 玩家 RotErr 5.941 显著优于 Solaris 7.320 和 γ-World 7.138，FVD 121.9 最优；Figure 8 显示 4→6 外推相对 6 玩家训练的退化在 8 项指标中 6 项最小。跨域（EgoTeam 多机器人第一视角，256×256、5 FPS）：GeoKPM 58.62%、RotErr 0.2894、FID 34.18、FVD 195.1 均最优。效率（Figure 6）：10 玩家时自注意力 FLOPs 9.6T，仅为全连接 69.1T 的约 1/7，DiT 延迟 549 ms vs 1441 ms，与中心化、分组方法相当。消融（Table 2）：随机分组 GeoKPM 掉至 46.76%、RotErr 恶化到 4.796，固定分组 50.71%，动态分组 54.17% 最优；共享组 token（Table 3）比非共享变体高约 10 个点 GeoKPM；Figure 7 显示推理通信预算低于训练值 1.0× 时 GeoKPM 明显下降，高于 1.0× 则基本持平，说明训练预算是匹配点。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 4 玩家跨视角几何一致性 | GeoKPM ↑ | 54.17% | Solaris 48.51% / γ-World 49.42% | +5.66 个百分点（vs Solaris），+4.75 个百分点（vs γ-World） |
| 4 玩家视觉质量 | FVD ↓ | 162.3 | Solaris 171.9 / γ-World 200.5 | 较 Solaris 降低 5.6%，较 γ-World 降低 19.1% |
| 6 玩家视觉质量 | FID ↓ / FVD ↓ | 16.34 / 101.2 | Solaris 18.83 / 115.1 | FID 降低 13.2%，FVD 降低 12.1% |
| 4→10 玩家零训练外推 | RotErr ↓ / GeoKPM ↑ | 5.941 / 51.54% | Solaris 7.320 / 47.82% | RotErr 降低 18.9%，GeoKPM 提升 3.72 个百分点 |
| 10 玩家自注意力计算开销 | FLOPs ↓ | 9.6T | 全连接（Solaris 式）69.1T | 约降低 86%，与中心化方法（5.7T 量级）接近 |
| EgoTeam 跨域（多机器人第一视角） | GeoKPM ↑ / FID ↓ | 58.62% / 34.18 | Solaris 57.65% / 38.91；γ-World 52.31% / 36.09 | GeoKPM +0.97 / +6.31 个百分点，FID 均为最优 |
| 共享组 token 参数消融（4→6 外推） | GeoKPM ↑ | 54.33% | 非共享参数（复制组 0 初始化）45.01% | +9.32 个百分点 |
局限与改进
作者明确承认两条局限（附录 D）：一是本文聚焦一致性、可控性与抗干扰，未处理跨玩家长时间视野内的持久世界状态维护——玩家离开再返回某区域时场景是否保持，目前没有显式机制保证；二是方法继承预训练视频基座（Wan2.2）的缺陷，在大幅度、快节奏人体运动下仍会出现视觉伪影。我的补充观察：(1) 6 玩家设定下 SSIM（0.4687 vs Solaris 0.4728）和 IDM（94.33 vs 94.34）并不占优，暗示这些指标已饱和，方法的增益集中在几何/感知层面；(2) 分组依据只有相机几何（位置、朝向、互视），视野重叠但语义无关的玩家仍会被分到一组，预算可能被浪费；(3) 训练只有 4/6 玩家两个模型，10 玩家外推时 RotErr 从 6 玩家模型的 3.669 升至 5.941，退化仍然明显；(4) 分组每 48 帧才更新一次，快速遭遇战下拓扑会滞后于真实视野变化；(5) 重叠约束（每人至多 2 组、两组至多共享 1 名锚点玩家）是启发式的，极端多人聚集场景下表达能力受限；(6) 10 玩家 DiT 延迟 549 ms，距实时交互仍有数量级差距。
独立分析的弱点
弱点一：相关性度量纯几何。$R^{(t)}_{ij}$ 只用相机位置、朝向和互视关系，完全不看画面内容：两个背对背站在同一房间的队友会被判低相关而错过本地聚合，两个在不同区域但视线端点恰好接近的玩家可能被错误分到一组。改进方向是引入轻量内容感知信号（如 VAE 特征相似度或跨视角关键点匹配得分）修正相关性矩阵。弱点二：缺乏持久世界状态。分层通信只保证信息「能流到」，不保证「记得住」，长视频下的场景漂移在所难免；可以把组 token 与共享世界状态寄存器（MASS、WorldCast 一类）结合，让组层携带跨片段记忆。弱点三：预算与容量公式是手工设计的——$M = \lceil \log_2 N \rceil$、$K$ 的推导基于「所有本地 hub 激活、每玩家恰属一组」的参考拓扑，对 10 人挤在同一房间的非均匀分布未必最优；可改为可学习分组或按场景负载自适应分配每组 token 数 $k_L$。弱点四：效率仍不够实时，10 玩家 DiT 延迟 549 ms（约 1.8 FPS），离可交互的 30 FPS 差一个数量级以上，需要蒸馏到极少步采样、因果 KV 缓存等手段。弱点五：评测集中于 CS2 游戏与 EgoTeam 机器人数据，缺少开放世界、第三人称、非对称角色等更多样的验证，泛化边界尚不清楚。
未来方向
作者在结论与附录中提出的方向：长时间视野下的持久世界状态维护，以及修复基座模型在大动态人体运动下的伪影。基于本文成果可延伸的方向：(1) 把分层通信与记忆/共享状态机制结合，让组 token 携带跨片段记忆，实现「重访场景不变」；(2) 内容驱动的动态分组——用学习到的相关性替代相机几何相关性，让组槽数与 token 数随场景复杂度自适应，并缩短 48 帧的更新周期甚至逐帧更新拓扑；(3) 实时化：扩散蒸馏到 4 步以内、拓扑增量更新与 KV 缓存结合，把延迟压到交互级；(4) 系统研究训练-推理玩家数解耦的极限，当前 4→10 已有退化，6→20 是否更稳、能否用课程式多玩家训练改善；(5) 在 Multics 之上训练多智能体策略或智能体，闭环检验其对多智能体强化学习和神经游戏引擎的替代价值；(6) 跨模态与非对称信息扩展：语音协作、战争迷雾式部分可观测下的通信拓扑学习，天然契合分层结构。
复现评估
复现条件相当透明。基座是开源的 Wan2.2 TI2V 5B；训练数据 OpenCS2 是公开的 10 人 CS2 对局渲染数据集（含相机轨迹与键鼠动作标注）；跨域评测用公开的 EgoTeam 数据集（256×256、5 FPS 的多机器人第一视角视频）；项目页 karine-huang.github.io/Multics 提供演示视频。论文给出关键超参：扩散强迫因果块 3、两阶段 10K + 25K 步、学习率 $3 \times 10^{-5}$、AdamW、bf16、梯度检查点、裁剪范数 1.0、相机/文本条件 dropout 0.1、16 卡有效批 16、推理 50 步 CFG 5.0、$k_L = 5$、$k_G = 6$、每 48 帧更新分组；附录 B 给出预算与容量推导的全部公式，附录 C.2 给出共享参数消融细节。基线（Solaris、γ-World）均为同骨干、同数据、同迭代数下的公平复现。算力门槛：16 张 GPU（A100/H100 级）训练共 35K 步，且冻结 VAE、文本编码器、FFN 与大部分 DiT 参数，只训注意力层、适配器与 token 嵌入，训练量对有视频扩散经验的团队属中等难度；主要工程量在注意力掩码、simplex 旋转位置编码与动态分组管线的实现。代码是否开源论文正文未明确承诺，若未开源，按论文描述独立重实现约需数周。
论文图表
开篇示意图，对比 Solaris 与 γ-World 在四大挑战上的失败案例与 Multics 的效果：①跨玩家一致性（Player 1/3 重叠视野应看到同一个蓝箱子）；②可控性（Player 2 应正确执行 ADS 开镜动作）；③抗干扰（紫色火焰不应泄漏进 Player 3/4 的无关视角）；④可扩展性（4 玩家训练直接推理 8/10 玩家）。
一图看懂本文要解决的全部问题和卖点，是理解论文动机与评估维度的地图。