WorldCam: 以相机位姿为统一几何表示的交互式自回归3D游戏世界 WorldCam: Interactive Autoregressive 3D Gaming Worlds with Camera Pose as a Unifying Geometric Representation

WorldCam的方法步骤如下。首先，在动作到相机映射阶段，给定用户动作 $A_i$，系统将其表示为扭曲向量 $[v_i; \omega_i] \in \mathbb{R}^6$，构造4×4矩阵 $\hat{A}_i \in \mathfrak{se}(3)$，通过矩阵指数映射 $\Delta P_i = \exp(\hat{A}_i)$ 得到 $SE(3)$ 中的相对相机位姿。这些相对位姿通过 $P_j^{\text{global}} = P_{j-1}^{\text{global}} \circ \Delta P_j$ 累积为全局位姿，初始位姿 $P_0^{\text{global}} = I$。其次，在相机控制视频生成阶段，全局相机位姿被转换为Plücker嵌入 $\hat{P} \in \mathbb{R}^{F \times 6}$。由于VAE的时间压缩因子为 $r$，每 $r$ 个连续的Plücker嵌入被拼接为一个潜变量帧的条件，得到 $\hat{p} \in \mathbb{R}^{f \times (6r)}$。相机嵌入模块 $c_\phi$ 由两个MLP层组成，将相机条件注入到DiT的自注意力层之后：$d \leftarrow d + c_\phi(\hat{p})$。第三，在长期记忆检索阶段，系统维护一个存储先前潜变量及其全局位姿的记忆池 $\mathcal{M}$。对于当前帧，首先按位置距离选择最近的 $K$ 个候选 $\mathcal{M}_{\text{trans}}$，然后按方向对齐选择 $L$ 个最相关的 $\mathcal{M}_{\text{rot}}$。检索到的记忆潜变量与当前潜变量序列拼接，其相机位姿重新对齐到当前去噪窗口的第一帧。第四，在渐进式自回归推理阶段，系统将扩散过程离散化为 $N=64$ 个推理步骤，划分为 $S=8$ 个阶段。每个潜变量帧在每个阶段完成所有去噪步骤。推理使用 $N=64$ 和 $S=8$，每个潜变量每阶段去噪8步。短期记忆潜变量数量设为与生成潜变量数量相等，长期记忆潜变量设为4个。训练分三个阶段进行，使用AdamW优化器，学习率 $1 \times 10^{-5}$。

WorldCam的技术新颖性体现在多个层面。首先，在动作表示方面，这是首次将李代数 $\mathfrak{se}(3)$ 应用于交互式游戏世界模型的动作到相机映射。相比GameCraft的线性近似（$t_i = t_{i-1} + R_{i-1}v_i, R_i = R_{i-1}\exp(\hat{\omega}_i)$），WorldCam通过 $P_i = P_{i-1}\Delta P_i$ 联合整合平移和旋转，在 $SE(3)$ 流形上保持了几何一致性。定量评估显示，对于50条200帧轨迹，线性近似的 $\text{RPE}_{\text{trans}}$ 为 $0.564 \times 10^{-3}$，$\text{ATE}_{\text{avg}}$ 为 $29.239 \times 10^{-3}$，而Lie代数近似的对应值分别为 $0.001 \times 10^{-3}$ 和 $0.005 \times 10^{-3}$。其次，在记忆机制方面，WorldCam提出了位姿索引的长期记忆检索策略，这是首次将相机位姿同时用作动作控制信号和3D一致性锚点。分层检索（先位置后方向）比随机检索和时间检索显著提升3D一致性：随机检索PSNR为15.76，时间检索为15.18，而位姿检索达到16.42。第三，在推理机制方面，渐进式噪声调度和注意力锚点的结合是长视野视频生成的新颖设计。渐进式噪声为潜变量帧分配单调递增的噪声水平，提供可靠的低噪声锚点；注意力锚点保留初始帧以稳定注意力。消融实验表明，增加短期记忆潜变量从1到8个，VBench平均分从0.749提升到0.840；引入注意力锚点后，主体一致性从0.876提升到0.883。第四，在数据集方面，WorldCam-50h包含3000分钟的真实人类游戏视频，来自Counter-Strike、Xonotic和Unvanquished三款游戏，是目前最大的开放许可交互式游戏数据集。

WorldCam的独立弱点分析如下。首先，在推理效率方面，当前系统需要8个去噪步骤来生成每个潜变量帧，总推理时间较长。改进方向包括应用一致性蒸馏或LCM等少步生成技术，以及优化内存检索的计算开销。其次，在数据集多样性方面，WorldCam-50h仅包含三款游戏，且其中一款是闭源的。改进建议是扩展到更多开放许可的游戏类型，包括角色扮演游戏、策略游戏等，以提升模型的泛化能力。第三，在动作空间表达力方面，当前系统仅支持6自由度的相机运动，无法表达游戏中的其他动作类型（如跳跃、射击、交互等）。未来可以扩展动作空间以支持更丰富的游戏交互。第四，在长期记忆检索策略方面，当前的分层检索基于相机位置和方向的简单距离度量，可能无法有效处理复杂遮挡场景。可以考虑引入可见性推理或语义特征匹配来改进检索质量。第五，在评估基准方面，论文指出缺乏全面的交互式游戏世界模型基准，这限制了公平比较。社区需要建立标准化的评估框架。第六，在3D重建方面，虽然WorldCam强调3D一致性，但并未实际构建3D场景表示，这限制了其在需要显式3D推理的任务中的应用。

论文提出的未来研究方向主要包括两个方面。第一是推理加速，作者建议通过扩散蒸馏技术（如Yin et al., 2025; Geng et al., 2025; Song et al., 2023等）减少采样步骤，实现接近实时的交互式生成。WorldCam的每步时间（0.52秒）在所有方法中最低，表明架构本身具有加速潜力。第二是正交于核心贡献的运行时间改善，可以整合现有的加速技术。基于本文成果可延伸的未来方向包括：（1）将相机位姿表示扩展到更复杂的场景理解任务，如场景编辑、物体放置等；（2）结合NeRF或3D高斯泼溅等显式3D表示，实现可渲染的3D世界模型；（3）探索多智能体交互场景，扩展动作空间以支持多人游戏；（4）将位姿锚定的记忆机制应用于长视频生成、机器人导航等更广泛的任务；（5）开发端到端的强化学习框架，利用WorldCam作为环境模拟器进行策略训练；（6）探索零样本或少样本迁移到新游戏环境的能力。

WorldCam在可重复性方面做出了积极贡献。论文明确表示将公开发布开放许可的数据集、代码和预训练模型。WorldCam-50h数据集包含来自Counter-Strike（闭源但数据可公开）、Xonotic（CC BY-SA 2.5许可）和Unvanquished（GPL v3许可）三款游戏的视频。所有论文中的游戏图片和视频片段均来自开放许可的Xonotic和Unvanquished。在算力方面，训练在8块NVIDIA H100 GPU上进行，分三个阶段各10k次迭代，这对大多数研究团队来说是相当高的计算要求。不过，论文使用的是1.3B参数的Wan2.1骨干网络，相比更大的模型更易于复现。数据预处理流程在附录A中有详细描述，包括视频分割、相机位姿提取（使用ViPE）、潜变量预计算等步骤。评估协议也有详细说明，包括70条随机采样的动作轨迹、50个起始图像、4条闭合轨迹等设置。总体而言，代码和数据的开源承诺使得复现成为可能，但较高的算力需求可能限制了部分研究者的参与。