视线之外但记忆犹存：面向动态视频世界模型的混合记忆 Out of Sight but Not Out of Mind: Hybrid Memory for Dynamic Video World Models

本文方法的完整流程包含以下步骤：第一步是相机条件注入，将相机轨迹序列 $P = \{(R_i, t_i)\}_{i=1}^f$ 展平拼接为统一的相机条件 $c_{cam} \in \mathbb{R}^{f \times 12}$，通过MLP相机编码器 $\mathcal{E}_{cam}(\cdot)$ 编码后广播到空间维度，与潜在特征进行逐元素相加：$H_{out} = H_{in} + \mathcal{E}_{cam}(c_{cam})$。第二步是记忆token化，将编码后的记忆潜在表示 $Z_{mem}$ 送入基于3D卷积的记忆tokenizer $\mathcal{T}_{mem}$，通过核大小为 $2 \times 4 \times 4$ 的3D卷积同时处理时空维度，生成紧凑的记忆token $M \in \mathbb{R}^{C' \times f'_{mem} \times h \times w}$。第三步是动态检索注意力，对于每个目标潜在查询 $q_i$，首先通过空间池化下采样到与记忆token相同的空间分辨率，然后计算与每个记忆token切片的时空亲和度 $S_{i,j} = \frac{1}{\sqrt{d}} \sum_{y=1}^{h} \sum_{x=1}^{w} \tilde{q}_i(x,y) \cdot k_{mem,j}(x,y)$，选择Top-K个最相关的记忆token。第四步是注意力计算，将检索到的记忆key/value与局部时序窗口的key/value拼接后，执行标准注意力计算：$\text{Attention}(q_i, K'_i, V'_i) = \text{Softmax}\left(\frac{q_i (K'_i)^T}{\sqrt{d}}\right) V'_i$。

本文的技术新颖性体现在多个维度。首先，混合记忆范式的提出本身就是一种概念创新，它突破了现有视频生成记忆机制的静态假设，首次将动态主体追踪纳入记忆的核心要求。这一范式转变不仅定义了新问题，还为后续研究指明了方向。其次，记忆tokenizer的设计具有技术创新性，通过3D卷积实现时空维度的联合处理，生成具有运动感知能力的token表示，这种'压缩即理解'的思想与传统的简单下采样或语义聚类有本质区别。第三，动态检索注意力机制是一种全新的注意力变体，它将全局检索与局部时序保持结合，通过Top-K选择实现高效的信息筛选。第四，DSC（动态主体一致性）指标的提出填补了评估动态主体一致性的方法学空白，该指标通过CLIP特征提取和时空对齐，能够定量评估主体在进出画面事件中的身份和运动保持能力。最后，HM-World数据集的构建方法——通过解耦相机轨迹和主体运动来系统性地生成进出画面事件——是一种创新的数据工程方法，为混合记忆研究提供了基础设施。

本文存在几个可以改进的弱点：第一，记忆tokenizer的3D卷积核大小固定为 $2 \times 4 \times 4$，虽然消融实验表明空间维度变化影响不大，但这种固定配置可能无法适应不同运动速度和尺度的主体，一种改进方向是设计自适应核大小或多尺度tokenizer；第二，Top-K检索策略虽然高效，但K值需要预先设定，在主体数量变化的场景中可能不够灵活，可以探索基于阈值的动态选择机制或引入可学习的门控机制；第三，当前方法对所有主体采用统一的记忆处理策略，没有区分不同主体的运动模式和重要程度，未来可以引入主体级别的记忆管理；第四，局部时序窗口大小固定为5帧，在快速运动场景中可能不足以保持局部连贯性，可以设计自适应窗口机制；第五，相机编码器采用简单的MLP结构，对于复杂的相机运动模式可能表达能力不足，可以考虑使用更复杂的编码架构如Transformer。

作者提出未来工作将探索更先进、更鲁棒的记忆机制来处理复杂的多主体动态，并将方法扩展到无约束的真实世界环境。基于本文的成果，可以延伸出多个研究方向：首先，可以将混合记忆范式应用于更长视频生成，探索如何在数百帧甚至数千帧的生成中保持动态一致性；其次，可以将HyDRA与其他视频生成架构（如自回归模型）结合，探索混合记忆在不同生成范式中的适用性；第三，可以研究混合记忆在交互式场景中的应用，如用户控制的相机运动和主体行为；第四，可以探索将本文的记忆token化思想应用于其他需要长期一致性的生成任务，如3D场景生成、音频生成等；第五，可以研究如何将真实世界视频纳入混合记忆的训练，通过域适应或自监督学习缩小渲染数据与真实数据之间的差距；第六，可以探索更精细的主体表示方法，如3D感知的主体编码，以更好地处理遮挡和视角变化。

本文在可复现性方面表现良好：代码已在GitHub开源（https://github.com/H-EmbodVis/HyDRA），为复现提供了基础。数据集HM-World包含59K视频片段，规模适中，但构建依赖UE5渲染流水线，这需要一定的游戏引擎使用经验。模型基于开源的Wan2.1-T2V-1.3B构建，训练使用32块GPU、10K迭代，总batch size为32，这一算力需求对学术机构是可接受的。不过，UE5场景和主体资源的具体来源、渲染参数的详细配置等信息在论文中未完全公开，可能影响数据集的完全复现。评估协议中使用的YOLOv11检测器和CLIP模型均为开源资源，评估流程可以复现。总体而言，核心方法和评估流程的复现难度中等，数据集构建的复现难度较高。