MultiWorld：可扩展的多智能体多视角视频世界模型

面向多智能体多视角的可扩展视频世界建模框架

前置知识

视频世界模型（Video World Model）

一种以历史帧和当前动作为输入、以未来视频帧为输出的条件生成模型，本质是把环境动力学学成可微模拟器。它通常基于扩散或 FM 的潜空间去噪，通过对噪声速度场 $v_\theta$ 拟合采样连续视频。

MultiWorld 整体仍是一个动作条件视频扩散模型，只在条件注入侧做了多智能体/多视角扩展；理解基础 FM 与 DiT 流程是看懂后续 MACM、GSE 模块的前提。

Flow Matching（流匹配）

把样本到噪声的插值当作常速度场回归的生成式训练框架。给定 $x_c$ 与噪声 $\epsilon$，构造 $x_c^t=(1-t)x_c+t\epsilon$，网络预测 $u=\epsilon-x_c$，损失为速度预测误差。

本文的 Wan2.2-5B 骨干完全建立在 FM 之上，MACM 的 cross-attention 时间因果掩码也是为了配合流匹配逐步去噪的训练-推理一致性。

RoPE（Rotary Position Embedding）

通过在复平面上旋转查询/键向量编码相对位置，对每一对相邻维度 $(2j,2j+1)$ 施加频率 $\theta_j=b^{-2j/D}$ 的二维旋转，让注意力分数天然表示相对偏移。

MultiWorld 的 Agent Identity Embedding 直接借用 RoPE 机制把第 $i$ 个智能体的身份编码为相对相位，使得不固定智能体数量的情形可以自然外推。

VGGT（Visual Geometry Grounded Transformer）

端到端多视图 3D 重建基础模型，对多张同一时刻的图像直接输出相机位姿、深度、点云和全局 latent $H_{\text{vggt}}\in\mathbb{R}^{C\times n\times d}$，无需显式 SfM。

本文冻结 VGGT 作为 Global State Encoder 的骨干，正是借助其多视图 3D 感知能力，把多个视角压缩进一个 3D-aware 全局潜变量。

研究动机

现有的动作条件视频世界模型几乎都默认\"单一智能体 + 单一视角\"：用 DiT 堆叠、把动作作为 cross-attention 输入即可学到游戏或机器人的环境动力学。但真实场景天然是多智能体的——双人游戏 It Takes Two 中两位玩家需要互相配合；多机器人装配中 2–4 台机械臂需要协同抓取、放置不同物体；每个智能体又都有自己的相机视角，多视角之间要保持几何一致。这些工作把 MultiVerse（仅做双玩家赛车）和 COMBO（组合多个单智能体模型，忽略智能体间交互）等，已暴露出三个未解决的关键难题：第一，多智能体可控性差，简单堆叠动作编码器会出现身份歧义，例如\"1左/2右\"与\"1右/2左\"难以区分；第二，多视角一致性差，多个视角各自生成会出现几何冲突、对象消失；第三，框架不可扩展，多数方法假设固定智能体数与相机数，难以应对真实世界动态变化的智能体与视角组合。

本文的目标是本文希望构建一个统一的、可扩展的多智能体多视角视频世界模型 MultiWorld，能在双人游戏与多机器人装配两类差异极大的设定下同时给出四条保证：（a）多智能体的精确动作跟随能力，让每位玩家的按键准确反映在对应智能体上；（b）多相机视角的几何一致渲染，避免空间冲突；（c）对智能体数量 $K$ 与相机数量 $C$ 的灵活扩展能力——支持训练时未见过的 $K$、$C$；（d）支持并行与自回归长程仿真，使推理时延与视角数近似解耦。这一目标直指视频世界模型从单智能体研究迈入具身/游戏工业级多智能体仿真的真正瓶颈。

与已有工作不同的是，与现有思路相比，MultiWorld 的切入角度有三点根本不同：第一，它不是把多智能体看作\"多个独立单智能体\"（COMBO）也不是简单拼接视频（Concat-View），而是引入 Agent Identity Embedding + Adaptive Action Weighting 的双层机制，从架构层面让模型原生感知智能体身份；第二，它不显式重建 3D 点云作为全局状态，而借用冻结的 VGGT 隐式 3D 表征 $H_{\text{vggt}}$，再用一个 MLP 注入 DiT，既轻量又能保持 3D-aware；第三，把多视角仿真拆解为\"共享同一个全局潜变量 + 多个独立单视角 FM 任务\"，从而实现视角的可扩展与并行推理——这点与 Concat-View 必须把所有视角串成一条视频、显存随视角数爆炸的设计形成鲜明对比。

核心方法

MultiWorld 的整体思路是把\"多智能体多视角视频生成\"拆解为\"共享全局潜变量 + 多个独立单视角动作条件视频 FM 任务\"。具体而言，所有相机视角共享同一份由 VGGT 提取的 3D-aware 全局环境状态 $H$，每个视角单独跑一次 Flow Matching；所有智能体的动作在进入 DiT 之前先经过一个独立的 Multi-Agent Condition Module：通过 RoPE 把第 $i$ 个智能体的身份相位注入动作 token 以解除身份歧义，再用 MLP 预测每个智能体的自适应动作权重 $w_i$ 把活跃智能体的贡献放大，最后聚合成单帧统一动作 token，并通过带因果掩码的 cross-attention 注入 DiT 的每一层。动作因果掩码保证第 $i$ 帧预测只看到 $\{0,\dots,i\}$ 的动作，从而可以自回归地生成长度远超训练上下文窗口的视频。训练基于 Wan2.2-5B 视频 DiT，采用 81 帧、320×320 分辨率、40000 次迭代。

MultiWorld 的核心创新是用两个独立模块分别解决\"多智能体可控性\"和\"多视角一致性\"，这也是它和 COMBO、Concat-View 等方案的本质区别。第一个核心想法是 Agent Identity Embedding：把 RoPE 的\"相对相位\"思想从时间维度平移到智能体维度，让两个智能体之间的注意力分数自动捕获它们的相对身份 $\mathbf{a}_m^\top R_{n-m}\mathbf{a}_n$，打破\"1左/2右\"与\"1右/2左\"这类镜面情形对称。第二个想法是把 VGGT 的多视图隐式 3D 表征作为 cross-attention key/value 注入 DiT，借共享的全局潜变量把多个视角锚定到同一 3D 状态，视角数量与显存解耦并能并行采样。第三个想法是 Adaptive Action Weighting：用 MLP 预测每个智能体动作的标量权重，让活跃智能体贡献放大、保持静止的贡献压缩，从样本效率层面凸显\"动态\"信号。三者结合得到身份清晰、强度合适、视角共享同一全局状态的多智能体多视角视频生成。

方法步骤详情

MultiWorld 训练推理分六步。Step 1 构建多视角观测 $o=\{o^c\}_{c=1}^C$。Step 2 冻结 VGGT 编码 $o$ 得 $H_{\text{vggt}}$，经 MLP 对齐 DiT 维度后注入 cross-attention。Step 3 Multi-Agent Condition Module 把第 $i$ 帧 $K$ 个智能体动作经 RoPE 旋转打破身份对称，再由 MLP 输出自适应权重 $w_i$（活跃趋近 1、静止趋近 0），加权求和得帧级动作 token $\bar{a}_i$。Step 4 通过带因果掩码 cross-attention 注入 DiT——第 $i$ 帧视频 token 仅 attend 前 $i$ 项动作。Step 5 对每视角并行 FM：构造 $x_c^t=(1-t)x_c+t\epsilon$，训练 $v_\theta$ 预测 $\epsilon-x_c$。Step 6 长程仿真时把生成段最后帧回送 GSE 更新全局状态，自回归生成下一 chunk。

技术新颖性

从技术新颖性角度看，MultiWorld 同时在三个方向上做到了此前没有的工作。第一，把 RoPE 从一维时间/序列位置扩展到\"智能体身份\"维度，并验证了 RoPE 在多智能体条件注入中的有效性——传统 RoPE 的 base=10000 在大语言模型中是经验最优，但本文通过消融（Tab. 3）证明对于智能体数量通常 ≤4 的多智能体设定，base=20 才能让相邻智能体身份相位差足够大，从而正确区分\"1左/2右\"与\"1右/2左\"的镜面情形。第二，首次将冻结的 VGGT 用作视频世界模型的全局状态编码器，并证明其相对 Wan VAE 与 DINOv2 在多视角一致性上的显著优势（Tab. 5），原因是 VGGT 内部隐式编码了 3D 几何信息 $H_{\text{vggt}}$ 而非纯语义/像素特征。第三，把\"全局共享 + 视角独立\"的 factorization 形式化，使得推理时延几乎与相机数无关——双视角仿真相对串行生成获得约 $1.5\times$ 加速——这与 Concat-View 必须串接视频、显存随 $C$ 单调爆炸的做法形成结构性差异。

实验结果

实验在两域同步验证 MultiWorld：双人游戏 It Takes Two（500h 实机录像筛后 100h、2100 万帧、$2560\times1440$）与 RoboFactory 多机器人装配（2–4 智能体、变视角）。游戏主表 Tab. 1 中 FVD 179（Standard 245、COMBO 207）、PSNR 17.72、动作跟随 89.8（基线 88.4）、多视角重投影误差 RPE 0.67。多机器人场景 FVD 96、Action 88.7、RPE 1.52 三项最优；Concat-View 因显存仅训 2 视角部分数字不可严格比。架构消融（Tab. 2）：+MACM 把 Action 88.4→89.7；+GSE 把 FVD 228→179、RPE 0.76→0.67，二者解耦互补。AIE 消融（Tab. 3）证 base=20 优于 base=10000；AAW 消融（Tab. 4）FVD 245→236；GSE backbone 消融（Tab. 5）一致证明 VGGT 在 FVD 与 RPE 上均最优。

**Table 4**: Adaptive Action Weighting 消融

**Table 5**: Global State Encoder 不同 backbone 对比

查看结构化数据

任务	指标	本文	基线	提升
多玩家视频游戏（It Takes Two）	FVD↓	179	245（Standard）/ 207（COMBO）	相对 Standard 降低约 26.9%、相对 COMBO 降低约 13.5%
多玩家视频游戏（It Takes Two）	RPE↓（多视角重投影误差）	0.67	0.75（Standard）	约 10.7% 相对下降，几何一致性提升显著
多玩家视频游戏（It Takes Two）	Action Accuracy↑（IDM 评估）	89.8	88.4（Standard）	+1.4 个绝对点，动作跟随能力提升
多机器人装配（RoboFactory）	FVD↓	96	100（Standard）/ 99（COMBO）	相对 Standard 降低 4%、相对 COMBO 降低约 3%
多机器人装配（RoboFactory）	RPE↓	1.52	1.60（Standard）	约 5% 相对下降，多视角一致性更好

局限与改进

作者在 Limitation 与 Future Work 中明确承认：当前实验规模仍受限于算力，未进行大规模训练——所有结果是在 Wan2.2-5B、40000 次迭代、8 张 A800 的预算下得到，距离 SoTA 视频生成模型的训练量仍有数量级差距。文中亦承认长程多智能体多视角仿真会同时带来空间和时间维度的显存压力，目前只能做到约 4× 训练窗口外的稳定生成。MultiVerse、Concat-View 等基线在多机器人装配场景下存在不可比问题（Concat-View 只能训练 2 个视角；COMBO、MultiVerse 是同期工作缺乏直接对比），因此 Tab. 1 上半部分与下半部分的可比性不完全对称——读者需要谨慎解读跨域数字差距。除此之外，本文没有讨论模型在开放词汇、跨域（即将游戏训出的模型泛化到装配）以及物理细节（如物体弹性、流体）层面的能力。另一个值得注意的局限是 GSE 依赖冻结 VGGT，这意味着继承了 VGGT 自身的归纳偏置与失败模式：当环境严重遮挡、镜面反射或纯色背景时，VGGT 的隐式 3D 状态可能不准确，进而影响多视角一致性。

独立分析的弱点

独立审视可观察到四个改进方向。第一，AAW 权重仅由 MLP 从 action embedding 自身预测，缺乏显式\"速度/位移\"先验——若动作 space 中静/动区分度小（如 FPS 复合按键），判别能力下降；改进方向是引入历史状态差分 $\Delta s_{t-1\to t}$ 作附加输入。第二，RoPE 的 base=20 是 Tab. 3 静态调出的，无理论或自适应机制；可让 base 随智能体数量动态缩放，或学一个可微 agent position encoder。第三，GSE 只通过 cross-attention 单一通道注入 DiT，长程生成时易漂移；可引入额外全局 token（类 CLS）或周期性回灌当前生成帧增强反馈。第四，IDM 评测依赖训练好的 inverse dynamics 模型，本质把\"动作跟随\"外包给另一网络；应补充人类主观评测或基于规则的硬指标（如物体是否真正被推过指定坐标）。此外，Fig. 3 列出三类失败但未给定量比例，建议在附录补充失败分类统计。

未来方向

作者明确给出的未来方向包括两条：一是把 MultiWorld 推进到实时多智能体多视角生成，对应砍掉当前每个 chunk 自回归的延迟（目前每 chunk 81 帧）；二是引入显式的记忆机制（memory bank / retrieval / state-space model），以应对超长程多智能体交互中的累积误差。基于本文成果可以延伸的方向有四点：把 MACM 中的 Agent Identity Embedding 与下游策略学习（如 VLA 模型 [18,24,59,70]）做联合训练，让世界模型内嵌一个\"可被微调的策略\"，从而支持反事实规划；把 VGGT 替换为更轻量的 3D-aware backbone（如最新的 feed-forward 3D GS / NeRF）做蒸馏，使整个流程能在单张 GPU 上实时跑；引入物理仿真先验（rigid body / soft body）让 MultiWorld 在\"失败轨迹生成\"上具备物理约束而非纯数据驱动；拓展到非视觉模态（如 LiDAR、触觉、力信号），做多模态多智能体世界模型。

复现评估

复现 MultiWorld 属于\"中高\"难度。代码与权重是否开源在论文正文中未明确声明，因此需邮件联系作者或在 HuggingFace 检索；GitHub 项目本身未在论文链接。已公开的信息包括：训练数据规模——500 小时 It Takes Two 实机录像筛选后保留 100 小时；多机器人数据基于 RoboFactory；骨干为已开源的 Wan2.2-5B；分辨率 320×320（游戏）/320×256（机器人）；序列长度 81 帧；学习率 $5\times10^{-5}$ cosine schedule；全局 batch size 64；硬件 8 张 A800、训练约 4 天；MACM base=20、AAW 启用、VGGT 冻结等超参在 Tab. 3/4/5 给出。凭借 Wan2.2 + VGGT 的开源实现 + RoboFactory 公开，理论上可复现 70%–80%，但精确预处理流水线、动作 encoding 格式、VGGT 注入位置（MLP 维度、cross-attention 层数）需进一步追踪作者的公开仓库或补充材料。

MultiWorld：可扩展的多智能体多视角视频世界模型 MultiWorld: Scalable Multi-Agent Multi-View Video World Models