DecMem：迈向分钟级一致世界生成的解耦记忆架构 DecMem: Towards Minute-Long Consistent World Generation with Decoupled Memory
提出解耦记忆架构实现分钟级一致长视频生成
前置知识
世界模型
世界模型是一种能够模拟环境动态的生成系统，能够根据当前状态和动作预测未来的观测。在游戏模拟中，世界模型接收键盘鼠标操作，生成连续的视频帧。它本质上是将视频生成模型与动作条件结合，使模型不仅能够生成高质量视频，还能理解因果关系和物理规律。
本文核心目标是构建能够保持长程时空一致性的世界模型，理解其工作原理对于解读DecMem的记忆架构设计至关重要。
变分自编码器（VAE）
VAE是一种生成模型，通过编码器将输入数据压缩到低维潜在空间，再通过解码器重建。在视频生成中，原始视频帧首先被编码成潜在表示 $z_{1:T_0} \in \mathbb{R}^{C \times T \times H \times W}$，生成模型在潜在空间进行扩散过程，最后解码回像素空间。这种压缩大幅降低了计算成本。
DecMem在潜在空间进行记忆检索和注意力计算，理解VAE的工作原理有助于理解论文中提到的latent frame、block等概念。
注意力分散
在长序列注意力中，随着上下文增长，查询的注意力会被大量历史token稀释，形成长尾分布。大量弱相关历史特征获得小的非零权重，导致真正重要的历史帧获得的有效权重不足。论文中Fig. 3显示，生成第810帧时，注意力分布极度分散，严重依赖全局特征的密集注意力出现质量崩溃。
这是DecMem要解决的核心问题，理解该现象的成因和影响是理解解耦记忆架构设计动机的基础。
旋转位置编码（RoPE）
RoPE通过旋转矩阵将相对位置信息注入到token表示中，能够处理任意长度的序列。对于位置 $(t_i, x_i, y_i)$（第$i$个token，在$t_i$帧的$(x_i, y_i)$位置），变换矩阵 $R^{(i)}_{full} = \text{diag}(R_{cam}, R_{sp}, R_{tem})$ 分别编码相机参数、patch坐标和帧索引。查询和关键的计算为 $q_i = (R^{(i)}_{full})^\top \text{Proj}_q(h_i)$。
DecMem扩展了RoPE以包含相机几何信息，理解RoPE有助于理解论文的多模态位置嵌入设计。
研究动机
在长视频世界模型生成中，保持精细的时空一致性是一个核心挑战。当模型需要在超出训练长度的场景下进行推演时，现有方法在重访场景中频繁失效，无法回忆起之前生成的场景，导致显著的时序不一致性。具体来说，在论文实验中，使用221帧初始化记忆库，再生成120帧的设置下，当生成到第810帧时，密集注意力方法出现严重的质量退化和结构崩溃（Fig. 1a）。同时，密集注意力的每潜在生成延迟与序列长度线性增长，在生成810帧时延迟显著增加，严重限制了向分钟级视频合成的可扩展性（Fig. 1b）。
本文的目标是本文的目标是设计一个细粒度、可学习且可扩展的记忆架构，能够在分钟级的长视频生成中保持强大的时空一致性。具体来说，需要在计算效率和记忆保真度之间取得平衡：既要避免密集注意力的线性计算成本和注意力分散问题，又要克服基于FOV的帧检索方法的启发式策略不可学习性，以及基于3D表示的显式记忆方法的估计误差累积问题。
与已有工作不同的是，本文的独特切入角度是从注意力机制本身的局限性出发，系统性地揭示朴素密集注意力设计在长程推演中的两个根本缺陷：计算低效和注意力分散。论文通过可视化注意力地图（Fig. 2）和分布（Fig. 3）展示了随着推演长度增长，查询的注意力被大量历史token池稀释的现象。作者指出，解决这一问题的关键不是更精心设计的注意力先验，而是一个可学习的架构，能够自适应地抑制冗余以保持注意力集中，同时显式提取和利用有助于长期记忆保留的历史特征。这一分析为解耦记忆架构的设计提供了理论基础。
核心方法
DecMem的整体思路是将长程记忆访问解耦为两个互补的模块：稀疏全局记忆（SGM）负责高效的全局历史检索，锚定局部记忆（ALM）负责稳定的注意力锚定。直觉上，长视频生成需要两类记忆：一类是全局的、细粒度的长期记忆，用于回忆之前访问过的场景；另一类是局部的、高置信度的近期记忆，用于保证短时转换的平滑性。DecMem通过SGM实现块级稀疏检索，获得细粒度的全局上下文；通过ALM的滑动窗口机制，获得稳定的局部基线；最后通过可学习门控机制融合两个分支，实现短期保真度和长期记忆的自适应权衡。
核心创新点在于解耦全局检索和局部锚定，解决了注意力分散问题。与基于FOV的帧检索方法（如WorldMem）相比，DecMem将检索粒度从帧级提升到块级，每个帧被划分为6个不重叠的块，每个块内部的特征被池化用于检索相关性。这使得模型能够捕获子帧级别的时空对应关系，而不仅仅是帧级别的粗粒度匹配。与密集注意力相比，SGM的稀疏块级检索将注意力计算从全序列缩减到仅top-k最相关的块，防止每步计算随序列长度线性增长。更重要的是，这种解耦设计使得ALM输出作为稳定基线，防止融合注意力被来自遥远帧的长尾干扰物稀释，而SGM输出则赋予模型细粒度记忆和检索能力。
方法步骤详情
DecMem的完整流程包括四个步骤。首先，输入潜在帧被划分为M个不重叠的块，每个块内部的特征通过池化得到聚合特征。以当前帧$t$的第$i$个块$q_{t,i}$的池化特征$\bar{q}_{t,i}$为查询，计算其与所有历史块的注意力分数，选择top-k得分最高的块作为$q_{t,i}$的细粒度记忆上下文$C_{t,i}$。其次，在上下文感知注意力阶段，对查询块$q_{t,i}$中的每个token与检索到的块$C_{t,i}$中的每个token执行密集注意力计算。当所有查询块的块级注意力计算完成后，将块输出组装成当前帧$t$的帧输出$o^{sgm}_t$。第三，在锚定局部记忆模块中，使用滑动窗口注意力机制，上下文窗口限制在最近的$w$帧（论文中$w=8$），显式建模当前帧与其直接历史之间的交互。最后，通过可学习门控机制$G_t$自适应地融合两个分支的输出：$o_t = o^{alm}_t + G_t \odot o^{sgm}_t$，其中$G_t$是从当前帧特征派生的可学习门控。这种调制使得两个分支共同产生全局一致性和推演鲁棒性之间的自适应权衡。
技术新颖性
DecMem的技术新颖性体现在三个方面。首先，将记忆检索粒度从帧级提升到块级，使得模型能够捕获子帧级别的时空对应关系，这是现有隐式记忆方法（如WorldMem的FOV检索）无法实现的。其次，提出了注意力分散现象的系统分析，通过可视化长尾分布揭示了朴素密集注意力的根本缺陷，这为解耦记忆架构提供了理论基础。第三，设计了可学习门控机制来自适应融合全局和局部记忆，这与训练无关的策略（如权重衰减）形成对比，训练无关策略机械地下权重距离token，无区别地同时抑制冗余和信息性的历史特征，侵蚀记忆保真度。DecMem通过端到端可学习的架构，自适应地抑制冗余以保持注意力集中，同时显式提取和利用有助于长期记忆保留的历史特征。
实验结果
在定量实验中，DecMem在所有评估指标上均显著超越当前最先进的基线方法。在训练窗口内评估（第222-229帧），DecMem的PSNR为30.0785，LPIPS为0.0494，FID为9.8904，远超Oasis的PSNR 24.1293、LPIPS 0.1196、FID 15.9163，以及WorldMem的PSNR 26.5414、LPIPS 0.0797、FID 11.7379。在超出训练长度的泛化评估（第334-341帧），DecMem的优势更加明显：PSNR为25.2294，而Oasis仅为13.4232，WorldMem为19.1401。用户研究包括58名参与者，在视觉质量（VQ）、动作可控性（AC）和时空一致性（STC）三个维度上，DecMem分别获得39.77%、37.81%、42.12%的偏好率，而基线方法中表现最好的WorldMem仅分别为19.31%、25.33%、24.16%。推理效率方面，DecMem达到3.6496 FPS，是最具竞争力的基线WorldMem（0.5424 FPS）的近2倍加速，远超Oasis（1.9806 FPS）和MineWorld（0.1588 FPS）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 训练窗口内视频生成（第222-229帧） | PSNR (像素级相似性，越高越好) | 30.0785 | WorldMem: 26.5414 | +13.4% |
| 训练窗口内视频生成（第222-229帧） | LPIPS (感知相似性，越低越好) | 0.0494 | WorldMem: 0.0797 | -38.0% |
| 训练窗口内视频生成（第222-229帧） | FID (分布相似性，越低越好) | 9.8904 | WorldMem: 11.7379 | -15.7% |
| 超出训练长度泛化（第334-341帧） | PSNR (像素级相似性，越高越好) | 25.2294 | WorldMem: 19.1401 | +31.8% |
| 超出训练长度泛化（第334-341帧） | LPIPS (感知相似性，越低越好) | 0.1006 | WorldMem: 0.2673 | -62.4% |
| 超出训练长度泛化（第334-341帧） | FID (分布相似性，越低越好) | 16.2667 | WorldMem: 38.4689 | -57.7% |
| 推理速度（生成120帧） | FPS (帧每秒，越高越好) | 3.6496 | WorldMem: 0.5424 | +672.8% |
| 用户研究-时空一致性 | 偏好率 | 42.12% | WorldMem: 24.16% | +74.4% |
局限与改进
作者承认了一些局限性。首先，虽然DecMem实现了分钟级视频生成，但在极端长程推演（超过1000帧）下仍可能出现质量衰减。消融实验显示，在没有SGM的情况下，模型在超过600帧后出现严重退化，FID和LPIPS均劣于朴素密集注意力。其次，论文仅在Minecraft数据集上评估，该数据集具有相对简单的几何结构和纹理，在真实世界复杂场景中的泛化能力尚未验证。第三，块级检索的top-k选择（论文中$k=80$）是一个需要调优的超参数，论文的消融实验显示$k$过大（如100）会稀释检索上下文，削弱与ALM短程锚定信号的互补性。我观察到另一个潜在局限性：DecMem的块划分策略（每个帧6个块）是固定的，这可能无法适应不同分辨率和内容密度的视频，更灵活的自适应块划分可能是未来的改进方向。
独立分析的弱点
DecMem存在一些可改进的弱点。第一，虽然SGM的稀疏块检索将计算成本从线性增长降低到常数，但当记忆库非常大时（如数千帧），块级检索的计算开销仍可能成为瓶颈。改进方向是实现层次化记忆检索，先进行粗粒度的帧级检索，再在相关帧内进行细粒度的块级检索。第二，ALM的滑动窗口大小（$w=8$）是固定的，这可能无法适应不同场景的动态变化。在某些需要频繁重访历史场景的任务中，较大的窗口可能更合适；而在高度动态的场景中，较小的窗口可能更能捕捉即时变化。改进方向是实现自适应窗口大小，根据场景复杂度和历史访问模式动态调整。第三，DecMem的块级检索基于池化特征的相似性，这可能无法捕获复杂的语义关系。改进方向是引入可学习的查询-关键匹配机制，或者使用对比学习来学习更具语义意义的块表示。
未来方向
作者提出了几个未来研究方向。首先，探索更复杂的记忆架构，如层次化记忆或多级记忆，以进一步平衡计算效率和记忆保真度。其次，将DecMem应用于更广泛的领域，如真实世界视频生成、3D场景建模和交互式环境模拟。第三，研究更高效的长程推理策略，如记忆压缩、重要性采样和增量更新，以进一步降低计算成本。基于DecMem的成果，可以延伸的研究方向包括：探索跨模态记忆检索，例如将文本描述或音频信号作为检索条件；研究多智能体场景中的共享记忆机制，使多个智能体能够协同构建一致的世界模型；以及研究记忆的持续学习和遗忘机制，使模型能够在长期运行中适应新的场景和概念。
复现评估
DecMem的复现难度较高。论文提供了详细的实现细节：基于1B参数的预训练视频生成模型，以块级自回归方式实现，每个块包含4个潜在特征用于更快的生成。在64张NVIDIA H200 GPU上训练，全局批大小为64。SGM模块将每个帧划分为6个相同大小的块（带填充），top-k历史块检索设置为$k=80$。ALM模块使用8个潜在帧的上下文窗口。模型在WorldMem数据集上训练，评估指标包括FID、PSNR和LPIPS。然而，论文没有提供代码实现或预训练模型的公开链接。项目页面（https://jeffreyyzh.github.io/DecMem-Page）可能包含更多资源，但截至论文发表时，这些资源尚未公开。考虑到所需的大规模计算资源（64张H200 GPU）和闭源数据集（WorldMem），独立复现DecMem的难度很大。论文提供了相对详细的超参数设置和训练配置，这有助于部分复现，但完整复现仍需要作者提供的代码和数据。
论文图表
