视频世界模型的潜在空间记忆

在潜在空间直接构建3D记忆，实现高效几何一致的视频生成

前置知识

VAE潜在空间

变分自编码器将高维像素图像压缩到低维潜在空间，如本文使用的Wan2.2 VAE压缩比为4×16×16，即每个空间维度压缩16倍。扩散模型在这个低维空间进行去噪生成，大幅减少计算量。潜在特征保留了图像的语义和纹理信息，但分辨率大幅降低。

本文的核心创新就是在潜在空间构建记忆而非RGB空间，理解VAE的压缩特性是理解为什么能获得55倍内存节省的基础。

深度引导反向投影

根据相机内参K、外参E和深度图D，将图像平面上的像素点反向投影到世界坐标系下的3D点。这是3D重建的标准操作，需要准确估计每个像素的度量深度值。本文使用DepthAnything3等单目深度估计器获得深度信息。

构建潜在空间记忆的核心步骤，通过反向投影将2D潜在特征提升到3D世界空间，使得记忆可以跨视角查询。

ControlNet风格侧分支

一种条件注入机制，通过一个额外的神经网络分支将控制信号注入到预训练的扩散模型骨干中，而不改变骨干网络的权重。侧分支通过零卷积初始化，训练时只更新侧分支参数，冻结骨干网络。

Mirage通过这种机制将潜在空间记忆读出注入到视频扩散骨干中，无需重新训练整个模型，保留了预训练的生成先验。

Z-buffer投影

一种经典的计算机图形学技术，通过深度缓冲区解决可见性问题。当多个3D点投影到同一像素位置时，保留深度最小的即距离相机最近的点，丢弃被遮挡的点。

查询潜在空间记忆时的关键操作，确保从缓存读取的是可见表面的潜在特征，避免引入被遮挡区域的错误信息。

研究动机

现有视频世界模型为维持3D空间一致性，通常采用RGB点云作为持久3D记忆。这种设计存在两个根本性瓶颈：首先，每一步都需要将点云栅格化为RGB图像并重新通过VAE编码，这个像素空间的往返计算极其昂贵，特别是随着缓存增长，渲染数百万彩色点并重新编码主导了墙钟时间。其次，RGB绕行无法保留模型原生的潜在条件特征，RGB点云记忆渲染目标视图图像后重新编码为潜在张量，产生的是代理条件信号，可能被VAE重建误差、栅格化伪影和分布失配所扭曲。在RealEstate10K等数据集上，这种计算开销使得长轨迹生成变得不切实际，GPU内存消耗随缓存线性增长。

本文的目标是本文提出潜在空间记忆，一种持久3D缓存，在世界空间位置存储扩散模型的潜在特征而非RGB颜色。目标是构建一个完全在VAE潜在流形内操作的视频世界模型，通过单一潜在分辨率投影读取缓存，消除RGB点云缓存主导的每步栅格化和编码开销，并将缓存足迹减少VAE压缩因子的平方倍。

与已有工作不同的是，本文的独特切入角度是重新思考空间记忆的表示空间：将记忆从RGB像素空间转移到模型原生的潜在空间。现有方法如Spatia、Voyager等都通过深度估计将观测帧提升为RGB点云，然后每步渲染重新编码，本质上仍然在像素空间操作。而Mirage直接在潜在空间构建和查询3D缓存，将像素空间操作从条件循环的每步关键路径中完全移除，仅在块级缓存更新时出现一次解码重新编码对，使得每步临界路径摆脱像素空间操作。

核心方法

Mirage通过初始化-读取-更新的循环逐块生成长视频，完全在VAE潜在流形内操作。首先将初始帧编码并通过深度引导反向投影提升到3D空间，用每个潜在网格单元一个潜在属性3D点初始化记忆M。对于每个后续块，通过潜在分辨率投影将缓存投影到目标相机网格，产生目标视图潜在特征张量，这些张量通过ControlNet风格侧分支注入扩散模型骨干。解码去噪潜在为输出帧后，通过深度估计、动态对象分割、重新编码帧为干净潜在特征并反向投影更新缓存，保持几何一致性。关键是M直接在潜在空间查询，像素空间操作仅在块级缓存更新时出现。

核心创新是将3D记忆从RGB像素空间转移到VAE潜在空间，表示为M={(p_i, f_i)}，其中p_i是世界空间坐标，f_i直接来自VAE编码器的潜在特征，与扩散模型骨干的原生输入空间匹配。这与RGB点云记忆形成本质区别。读取时通过z-buffer投影直接在潜在分辨率获得目标视图潜在张量，无需渲染重新编码循环。这个统一公式既消除了像素空间重建的信息损失，又消除了重复编码和渲染的计算负担。

方法步骤详情

方法分为四个步骤。步骤1：潜在空间记忆初始化。给定潜在张量、度量深度图、内参和外参，将深度图下采样到潜在网格并相应调整内参。每个潜在单元格反向投影到世界空间，产生每个单元格一个记忆元素。初始缓存通过对初始帧的编码潜在应用此公式构建。步骤2：潜在空间记忆读取。给定目标视图，通过z-buffer将所有记忆点投影到目标相机网格在潜在分辨率。对于每个目标单元格，使用z-buffer保留最前面的投影点并检索其关联潜在标记。同时产生二值可见性掩码指示哪些单元格至少收到一个投影点。步骤3：去噪生成。将潜在记忆读出和可见性掩码拼接并通过ControlNet风格侧分支传递到视频扩散骨干，使骨干能完全在潜在空间去噪块。步骤4：自回归3D缓存更新。每个块生成后，使用前向重建器估计生成帧的深度和相机参数，将帧重新编码为干净VAE潜在，使用反向投影公式将相应潜在标记反向投影到缓存，其中包含动态对象和天空区域外有效深度的潜在单元格。

技术新颖性

技术新颖性体现在三个层面。表示层面：首次将3D空间记忆完全置于扩散模型的潜在空间，用潜在属性点替代RGB属性点，消除了像素空间表示的固有损失。计算层面：将像素空间往返从每步条件循环移至块级更新，将每步关键路径简化为单一潜在分辨率投影，使得读取成本和缓存足迹减少s的平方倍，本文中s为16。训练层面：提出两阶段适应策略，第一阶段冻结骨干和VAE仅训练ControlNet风格侧分支，第二阶段附加rank-64 LoRA适配器到自注意力投影并与侧分支联合优化，使轻量级适应记忆条件的同时保留骨干外观和运动先验。

**Figure 2**: Latent spatial memory vs. RGB point cloud based memory for world model.

**Figure 3**: Overview of Mirage. Mirage initializes a 3D latent cache from I0 by encoding it into VAE latents and lifting them with depth-guided back-projection.

实验结果

在WorldScore基准上，Mirage达到所有比较系统中最高的Average Score 70.36，超越记忆增强的Spatia基线69.73和所有缺乏持久空间表示的基础视频生成器。优势在动态分区最强，同时在静态分区保持竞争力。在静态轴上，Mirage在3D一致性92.21和光度一致性93.95领先，确认潜在空间记忆保留了RGB缓存提供的几何脚手架而不承担其表示损失。在RealEstate10K上，Mirage在标准新视角合成设置中达到最佳SSIM 0.779和LPIPS 0.250，在PSNR 18.38上接近Spatia 18.58。闭环设置特别有信息量，因为它放大了长视距漂移，Mirage达到最佳PSNRC 20.05和SSIMC 0.825，在LPIPSC 0.228上保持第二最佳。效率方面，匹配的轨迹长度下，端到端视频生成比RGB管线快10.57倍，3D缓存消耗GPU内存减少55倍。差距随视距扩大，RGB基线最终耗尽内存预算，而潜在空间记忆舒适完成。

**Table 1**: Evaluation Results on WorldScore [27]. The Average Score column is the average of the Static Score and Dynamic Score, while the remaining metrics are computed by the WorldScore benchmark.

**Table 2**: Evaluation Results on RealEstate10K [29]. We report novel-view synthesis and closed-loop results.

**Table 3**: Ablation studies on a WorldScore split. Each row disables or alters a single component of Mirage while all other settings remain fixed.

**Table 4**: Sensitivity to the depth source. We swap DepthAnything 3 for alternative depth predictors while keeping all other components of Mirage fixed.

**Figure 4**: Open-domain video comparison. Generations on out-of-domain prompts spanning outdoor and natural scenes that lie far from the RealEstate10K training distribution.

**Figure 5**: Efficiency scaling with rollout progress. Per-frame cache-read time (left) and peak cache footprint (right) measured on a single NVIDIA H100 across five autoregressive rollout chunks.

**Figure 6**: Video comparison on RealEstate10K. Each block shows one RealEstate10K trajectory, with rows corresponding to Voyager, Spatia, VMem, and Mirage (Ours), and columns showing uniformly sampled frames over time.

**Figure 7**: Closed-loop revisit comparison on RealEstate10K. In the closed-loop test, the camera trajectory gradually returns to its starting point.

查看结构化数据

任务	指标	本文	基线	提升
WorldScore世界生成	Average Score	70.36	Spatia 69.73, Voyager 66.08	超越Spatia 0.63点，超越Voyager 4.28点
WorldScore 3D一致性	3D Consistency	92.21	Spatia 86.40, Voyager 81.56	超越Spatia 5.81点，超越Voyager 10.65点
RealEstate10K新视角合成	SSIM	0.779	Spatia 0.646, Voyager 0.636	超越Spatia 20.6%，超越Voyager 22.5%
RealEstate10K闭环一致性	SSIMC	0.825	Spatia 0.579, Voyager 0.540	超越Spatia 42.5%，超越Voyager 52.8%
端到端生成速度	加速比	10.57× faster	RGB point cache	速度提升一个数量级
GPU内存使用	内存减少	55× lower	RGB point cache	内存消耗降低两个数量级

局限与改进

作者承认的局限性：动态区域过滤器将移动实体排除在持久记忆之外，因为它们的几何不可靠，所以Mirage不在块之间维护动态演员的状态。因此，以广泛运动主导的场景从缓存中受益少于刚性几何主导的场景。作者自己的观察：方法依赖准确的深度估计，虽然消融实验显示对深度源鲁棒，但在极端深度错误情况下仍可能影响记忆质量。此外，每块重新编码生成帧引入计算开销，虽然比每步渲染编码循环便宜，但在极长轨迹下仍可能累积。当前实现在RealEstate10K训练，虽然图4显示泛化到户外和自然场景，但对完全不同分布如水下、微观的泛化能力有待验证。

独立分析的弱点

动态对象过滤策略虽然防止漂移，但也限制了方法在动态场景中的应用。改进方向：可以为移动实体构建分离的动态记忆库，使用时间一致的实例跟踪而非每帧独立分割，或引入运动预测模型估计动态对象的未来状态，使缓存包含时间一致的动态内容。深度估计依赖是一个潜在弱点，当前方法使用单目深度估计器，在纹理缺乏区域可能失效。改进方向：引入多视图几何约束，通过已观测的多帧联合优化深度估计，或利用扩散模型本身的几何先验作为深度估计的正则化。块级更新策略仍存在效率优化空间。改进方向：探索渐进式更新策略，仅更新缓存中变化显著的区域，或使用稀疏表示避免缓存线性增长。

未来方向

作者提出的未来方向：跨块持久化动态内容是自然方向。基于成果可延伸的方向：将潜在空间记忆与其他条件控制机制结合，如文本引导或音频驱动，创建更丰富的可控视频生成系统。探索在不同模态扩散模型中的应用，验证潜在空间记忆的通用性。研究自适应压缩策略，根据场景复杂度动态调整记忆密度，进一步平衡质量和效率。开发在线学习和持续适应机制，使记忆能够在生成过程中自我纠正和优化，减少累积误差。

复现评估

论文提供项目页面aka.ms/latent-spatial-memory，但未明确说明代码开源情况。训练在32个A100 GPU上进行，全局批次大小64，算力要求较高。主干网络使用Wan2.2-TI2V-5B，这是一个大规模预训练模型，VAE压缩比为4×16×16，潜在通道数48。每个生成块包含9个潜在帧，分辨率44×80，对应33个RGB帧704×1280。实现使用AdamW优化器、bfloat16混合精度和流匹配目标，推理使用UniPC流调度器和40个采样步。评估在WorldScore和RealEstate10K上进行，遵循Spatia的闭环协议。复现需要获取Wan2.2模型、深度估计器DepthAnything3、动态对象检测器以及相应的训练数据集。虽然算力需求较高，但模块化设计和详细参数描述使得理论复现可行。

视频世界模型的潜在空间记忆 Latent Spatial Memory for Video World Models