MultiGen：基于扩散游戏引擎的可编辑多人世界关卡设计 MultiGen: Level-Design for Editable Multiplayer Worlds in Diffusion Game Engines

方法包含四个步骤，按训练/推理两条线展开。\textit{步骤 1：构建状态}。在每个 timestep $t$ 定义状态 $\mathbf{S}_t=(\mathbf{M},\mathbf{p}_t,\mathbf{o}_{t-L+1:t})$，其中 $\mathbf{M}=(\mathbf{V},\mathbf{E})$ 是从游戏或人工标注的顶点和线段集，$\mathbf{p}_t=(x_t,y_t,\theta_t)\in\mathbb{R}^2\times\mathbb{S}^1$ 表示玩家位置和朝向，$\mathbf{o}_{t-L+1:t}$ 是最近 $L$ 帧画面。\textit{步骤 2：光线投射几何条件}。给定当前 $\mathbf{p}_t$ 和地图 $\mathbf{M}$，沿视场角均匀投射 $N_r$ 条射线，统计各射线第一次与 $\mathbf{E}$ 相交的距离 $d_i$，取视差 $r_{t,i}=1/d_i$，并被 reshape 成 $\mathbf{r}_t\in\mathbb{R}^{H\times W\times C_r}$ 的空间张量，作为扩散 UNet 的额外输入通道。\textit{步骤 3：观测模块采样}。Observation 把 $\mathbf{r}_t$ 和 $L$ 帧上下文在通道维拼接，构造条件输入；动作 $\mathbf{a}_t$ 经学习到的 embedding 后通过 cross-attention 注入。损失函数为 $\mathcal{L}_{\mathrm{obs}}=\mathbb{E}_{t,\tau}[\|v_\phi(\mathbf{o}_{t-L+1:t},\mathbf{r}_t,\mathbf{a}_t;\tau) - v^*(\mathbf{o}_{t+1},\tau)\|^2]$，即标准 velocity matching 目标。为缩小 train-test 鸿沟，训练时对所有上下文帧加随机噪声强度。\textit{步骤 4：动力学模块}。把 $L$ 帧上下文、几何 $\mathbf{r}_t$、动作 $\mathbf{a}_t$ 和当前 $\mathbf{p}_t$ 输入到一个小型 Transformer 编码器 $\mathcal{D}_\psi$，预测增量 $\Delta\hat{\mathbf{p}}_t$；用 $\ell_2$ 损失监督平移部分，用 wrapped-angle 误差监督朝向。推理时三步构成闭环：读 $\mathbf{r}_t=\mathrm{ray}(\mathbf{M},\mathbf{p}_t)$、生成 $\hat{\mathbf{o}}_{t+1}\sim p_\phi(\cdot|\mathbf{o}_{t-L+1:t},\mathbf{r}_t,\mathbf{a}_t)$、更新 $\hat{\mathbf{p}}_{t+1}=\mathbf{p}_t+\Delta\hat{\mathbf{p}}_t$，再滑动上下文窗口并继续。多人模式下，所有玩家共享 $\mathbf{M}$ 与姿态集合，每个玩家跑独立的 (Observation, Dynamics)，而新玩家加入/移除只需修改姿态集合 $\{\mathbf{p}_t^{(i)}\}$。

MultiGen 的技术新颖性可从三个维度评判。第一是 '状态分解' 这一架构选择：它把长期困扰扩散游戏引擎的长程漂移问题，从 '如何让模型记住' 转化为 '如何让模型查询外部'。这是一个系统层面的重新设计，比单纯的去噪网络改进影响更广泛。第二是外部记忆的可读写接口：地图 $\mathbf{M}$ 在用户编辑后可作为离线参数持续指导生成；同时同一份 $\mathbf{M}$ 被多方玩家读取和更新，这种 dual-role 抽象是新颖的，已有工作要么只做可编辑生成，要么只做共享状态生成，没有同时做到两件事。第三是 streaming 推断架构：每个玩家跑独立 (Observation, Dynamics)，共享同一份 (Memory)，随玩家数线性扩展；这与 joint split-screen baseline 形成本质对比——后者必须在训练时固定玩家数。技术上还有两个工程贡献：(1) noised-context training 加 history guidance 的组合，使自回归 rollout 在 20 FPS 下长程仍稳定；(2) Dynamics 模块利用 UNet 中间特征作为输入，避免了重复的视觉编码，使整闭环效率得以保障。

独立分析可见几处可改进点。第一个弱点是评测指标的粒度仍偏粗：SSIM/PSNR/LPIPS 都是 per-pixel/per-frame 的指标，对 '游戏体验' 这种高层语义并不敏感。例如，复活机制是否一致、视角切换是否平滑、策略性动作（蹲下、跳、换弹）是否正确等关键交互质量无法被这些指标捕捉。一个改进方向是引入 world-state-aware metrics：测量 'cross-view 击中事件的时序一致性' 或 '动作-结果因果性'。第二个弱点是所有 ablation 和 baseline 比较都在单张/少量固定地图上进行，没有报告在新地图（训练集零接触）上的 zero-shot 性能。如果外部记忆真的实现 '可编辑关卡'，编辑距离（修改了多少顶点数）应该作为独立维度报告。第三个弱点是动态姿态的精度受 Dynamics 模块的局限，作者也承认姿态误差累积，但没有给出定量分析（'small pose errors' 到底有多小？100 步累积多少像素？）；一个改进方向是引入 trajectory-level 误差（如 ATE、ADE）做定量评估。第四个弱点是 '20 FPS' 的工程描述缺少资源分解，没说 Observation、Dynamics、Memory 各自占用多少 GPU 时间；这影响未来工程化方向（如换成更小的 UNet 能否提升到 60 FPS）。

作者自己提及的方向主要是泛化到更复杂游戏风格（脱离 Doom 数据分布）以及缓解长时间姿态漂移。基于成果可延伸的方向包括：(1) 把外部记忆形式从 2D 线段扩展到 3D 几何或 NeRF 风格可微表征，让 '编辑物体外观' 也成为可能；(2) 引入在线 RL 让 Dynamics 模块在 rollout 中自我纠错姿态，而不是依赖监督学习；(3) 把 Memory 模块用于规划型 agent：用同一份记忆既驱动扩散渲染又驱动决策网络，让 agent '看到自己未来想做的事'；(4) 探索 '多次回访一致性'（return consistency）：让显式记忆存储区域纹理哈希，使同一区域多次回到时纹理稳定。(5) 在更多玩家（如 8 人或 16 人）下测试系统可扩展性，并分析 GPU 共享策略下的吞吐；(6) 把 Memory 模块从游戏世界推广到机器人导航、AR 内容生成、UGC 引擎等需要 '可编辑 + 多视角一致' 的应用。

复现评估整体偏难。论文来自 Stanford 与 Google，作者在个人主页 https://ryanpo.com/multigen 上给出了项目页，但没有声明模型权重或代码是否已开源；arXiv 6 页正文（v2）的实验细节需要从附录推断。论文报告 ViZDoom / Obsidian 数据集是可获取的（ViZDoom 是开源 Doom RL 框架，Obsidian 也是公开的程序化 Doom 地图生成器），但作者用 100 张程序生成地图训练 Observation、用 ViZDoom 死亡竞赛模式训练 multiplayer，总共收集超过 2000 万帧 gameplay，这些数据规模和训练算力对个人研究者门槛较高。最关键的硬件需求是单张 NVIDIA A100 才能达到 20 FPS 的实时推理——生成过程本身是 iterative diffusion，去噪步数未在正文披露，但 20 FPS 大致意味着每个 action 步只有约 50ms 的总预算，约束较强。第三方复现预计需要：(a) 复现 ViZDoom + 两个 baseline；(b) 重新跑 100 张地图 + 死亡竞赛数据收集；(c) 训练 Observation UNet 和 Dynamics Transformer 各一个；(d) 集成闭环推理管线。整体而言，复现难度中高，主要门槛在工程闭环和大规模数据预处理。