Memento：通过记忆重建实现一致性长视频生成 Memento: Reconstruct to Remember for Consistent Long Video Generation
用双查询记忆机制与主体重建任务约束长视频身份一致性
前置知识
扩散 Transformer (DiT)
DiT 用 Transformer 取代 UNet 作为扩散模型的噪声预测器，将噪声潜在 $z_t$ 与文本条件 $c$ 通过 cross-attention 融合，逐步去噪生成视频。本文的 Wan2.2 14B backbone 即属于此类架构。
Memento 建立在 DiT 视频生成模型之上，理解它如何通过交叉注意力注入条件并去噪是看懂整体方法的前提。
多镜头 (multi-shot) 视频生成
多镜头视频指由多次切分镜头组成的长视频，每个镜头有自己的视角、构图与动作。需要解决镜头间的主体身份一致性、叙事连贯性与场景过渡问题。
本文核心问题就是多镜头生成中的主体漂移，理解多镜头分解是理解为什么需要记忆机制的必要基础。
记忆库 (memory bank) 与 top-K 检索
记忆库存储历史镜头的视觉特征作为候选池，top-K 检索根据查询向量与候选特征的相关性分数 $s$ 选取前 $K$ 个最近邻。本文通过两个独立查询集分离长期身份证据与短期上下文。
双查询记忆机制是 Memento 的核心，理解 top-K 检索机制是理解双路径解耦设计的关键。
Classifier-Free Guidance (CFG)
CFG 在推理时同时进行有条件 $\epsilon_\theta(z_t|c)$ 与无条件 $\epsilon_\theta(z_t|\emptyset)$ 预测，通过线性组合放大条件影响。本文全局与局部条件 CFG=3.5，训练时以 10% 概率丢弃文本条件。
CFG 是扩散模型生成质量的关键，理解它对本文推理配置和 10% 条件丢弃训练策略的理解至关重要。
VAE 编解码器与潜在扩散
VAE 将像素空间视频压缩到低维潜在空间 $z \in \mathbb{R}^{C \times T \times H \times W}$，扩散过程在该潜在空间进行。VAE 编码器 $E(\cdot)$ 与解码器 $D(\cdot)$ 提供像素级重建桥梁，是本文记忆库特征提取的基础。
本文记忆库直接存储 VAE 编码的潜在特征，理解 VAE 编解码对理解双路径记忆的存储形式至关重要。
研究动机
现有长视频生成方法在多镜头一致性上存在严重缺陷，主要表现为三类。第一类是基于 storyboard 的方法（如 StoryDiffusion）先生成稀疏关键帧再动画化为片段，但镜头间仅在关键帧层弱耦合，导致刚性过渡和细节漂移。第二类是联合多镜头方法（如 LCT、HoloCine）在单次扩散前向中合成多镜头，但受限于上下文窗口长度，镜头数增多时内存与计算代价急剧上升。第三类是记忆条件自回归方法（如 StoryMem、OneStory），用紧凑的历史记忆为下一镜头提供参考，但它们的记忆选择由通用相关性或视觉显著性驱动，缺乏对身份证据的显式保护。具体表现为 StoryMem 镜头内一致性 intra-shot 仅 0.8146，跨镜头 inter-shot 0.6606，跨场景 inter-scene 0.6692；HoloCine 由于联合生成受上下文长度限制，跨场景一致性仅 0.6594。随着镜头推进，主体面、服装、身体结构等关键身份线索逐渐被稀释、覆盖甚至遗忘，导致主体漂移。
本文的目标是本文的具体目标是提出 Memento 框架，把长视频主体一致性显式地转化为身份锚定问题，通过主体重建作为辅助训练目标，强制记忆库保留可恢复主体外观的证据，最终在长时域生成中维持稳定的身份特征。具体包含四个目标：第一，设计 subject-reconstruction-guided 训练目标，要求模型仅凭记忆库与全局故事描述重建目标主体外观，把主体一致性从隐式期望转化为可验证的训练信号；第二，引入 dual-query memory 机制，分别检索长程身份证据与短程上下文线索；第三，构建 subject-aware data curation pipeline，通过三阶段标注生成无指代歧义的主体描述与重建目标；第四，在 Wan2.2 14B 上实现长镜头级自回归生成，无需全局长程注意力即可扩展至分钟级长视频。
与已有工作不同的是，本文的独特切入角度是把主体一致性重新定义为身份锚定问题。现有方法隐式假设记忆库自然保留身份证据，但本文指出这是训练信号偏差导致的副产品，因为 next-shot 训练只奖励合理的局部延续，不直接保证记忆库存储身份关键信息。本文的核心观察是如果一个记忆库真正保留了主体身份，模型应该能从记忆中重建该主体，这一可验证原则迫使记忆编码 face、clothing、body structure 等细粒度身份线索。此外，本文进一步指出单一纠缠的记忆池对身份重建和场景延续这两种不同需求都是次优的，因为身份证据需要长程稳定而场景延续需要短程连续，从而提出双路径解耦机制。这种把记忆效果显式监督 + 信息解耦的设计是现有方法（包括 StoryMem 的语义美学筛选、OneStory 的压缩记忆）都没有触及的角度。
核心方法
Memento 把长视频生成视作基于记忆库的镜头级自回归合成，并通过主体重建任务显式监督记忆库的身份证据保留能力。直观上，模型为每个镜头维护固定长度记忆库 $M_t$，由上一时刻记忆 $M_{t-1}$ 与最近生成镜头 $S_{t-1}$ 的 VAE 特征拼接构成候选池 $M_t^{cand}$。两个独立可学习查询集分别作用于候选池：story-conditioned queries $Q_{story}$ 检索跨场景应稳定的主体身份证据；shot-conditioned queries $Q_{shot}$ 检索局部上下文用于下一镜头生成。两组 top-K 结果拼接为新记忆 $M_t$，供扩散去噪 $\mathcal{L}_{diff}$ 与主体图像重建 $\mathcal{L}_{recon}$ 共享使用，总损失 $\mathcal{L}_{total}=\mathcal{L}_{diff}+\lambda \mathcal{L}_{recon}$，配合 Subject-Aware Data Pipeline 解决主体指代歧义。
Memento 的核心创新点与已有方法有本质区别。第一，把主体一致性从隐式期望转化为可验证的重建目标：StoryMem/OneStory 仅通过 next-shot denoising 间接期望记忆保留身份，而 Memento 引入 TM2I 重建分支 $\mathcal{L}_{recon}=\mathbb{E}[\|\epsilon-\epsilon_\theta(I_\tau^{sub},\tau,M_t,C_{story})\|^2]$，迫使模型仅凭记忆预测主体图像噪声，强制记忆编码 face/clothing 等可恢复身份线索。第二，把单一线索检索解耦为双查询机制：story queries 通过 $A(Q_{story},\phi(C_{story}))$ 与全局描述融合专门检索长程主体证据；shot queries 通过 $A(Q_{shot},\phi(C_t^{shot}))$ 与当前镜头描述融合检索短程连续性。第三，配合三阶段数据流水线用 Qwen3-VL 生成固定、无指代歧义的主体描述，从源头解决主体关联歧义。
方法步骤详情
方法分三模块。第一 Subject-Aware Data Pipeline 切分 30-65 秒多镜头序列并三阶段标注：Stage 1 用 Qwen3-VL 生成全局故事描述与主体清单，ByteTrack 选两帧作为重建目标；Stage 2 对每个镜头生成局部描述并强制使用 Stage 1 固定主体名；Stage 3 对重建目标帧生成无指代歧义描述。第二 Dual-Path Memory Bank 构建候选池 $M_t^{cand}=[M_{t-1};E(S_{t-1})]$；两组查询与文本条件 cross-attention 融合后独立打分，各自 top-K 选择 $M_t$。第三 Multi-Task Training：扩散主损失 $\mathcal{L}_{diff}$ 与重建损失 $\mathcal{L}_{recon}$ 通过共享生成器联合优化，$\mathcal{L}_{total}=\mathcal{L}_{diff}+\lambda \mathcal{L}_{recon}$（$\lambda=0.5$）；训练时 10% 概率丢弃文本条件支持 CFG 推理。
技术新颖性
Memento 的新颖性体现在四个层面。第一，把记忆效果显式监督从无到有：StoryMem 通过语义美学准则筛选记忆帧、OneStory 压缩历史上下文，但都没有对记忆保留身份的能力施加直接监督；Memento 的 TM2I 重建分支迫使模型通过记忆预测主体图像噪声，是新颖的。第二，双查询解耦机制把不同性质的历史信息分离，避免视觉显著性主导导致的身份证据稀释；story/shot queries 与对应文本条件 cross-attention 融合的设计使两条路径检索目标可解释。第三，subject-aware 三阶段标注流水线是数据层面贡献：Qwen3-VL 与 ByteTrack 协同生成固定主体名清单+per-shot 描述+重建目标描述，被调用 26,252 次，覆盖 2,030 段故事与 20,189 段镜头标注，从源头消除主体身份歧义。第四，框架可扩展性强，无需修改架构即可从标准多镜头生成延伸到分钟级长视频。
实验结果
Table 1 显示 Memento 跨镜头一致性 0.7338，比 StoryMem 0.6606 提升 +0.0732（+11.1% 相对），比 HoloCine 0.5791 提升 +26.7%；镜头内 0.8578 超所有基线；跨场景 0.7268 相对最优基线 0.6732 提升 +8.0%；故事级与镜头级语义一致性 0.3063 与 0.2893 均最佳。Table 2 消融：baseline 0.6606 → +query 0.7227 → +recon task 0.7489 → +disentangled memory 0.7338；+recon task 使 inter-shot 跳到 0.7489；+disentangled memory 后 intra-shot 0.8578 与 inter-scene 0.7268 大幅提升。用户研究 300 判断 vs StoryMem 胜率 57.3%/60.3%/45.3%，vs HoloCine 69.0%/63.0%/56.7% 均超半数。Fig 6 展示跨年龄身份保持与 5 分钟长视频能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多镜头视频生成 - 跨镜头主体一致性 | DINOv2-based Inter-shot Consistency | 0.7338 | 0.6606 (StoryMem) | +0.0732 (+11.1% 相对) |
| 多镜头视频生成 - 镜头内主体一致性 | Intra-shot Subject Consistency | 0.8578 | 0.8448 (StoryDiffusion+Wan2.2-I2V) | +0.0130 (+1.5% 相对) |
| 多镜头视频生成 - 跨场景一致性 | Inter-scene Subject Consistency | 0.7268 | 0.6732 (StoryDiffusion+Wan2.2-I2V) | +0.0536 (+8.0% 相对) |
| 多镜头视频生成 - 故事级语义一致性 | ViCLIP Story-level Semantic Consistency | 0.3063 | 0.2793 (StoryMem) | +0.0270 (+9.7% 相对) |
| 多镜头视频生成 - 镜头级语义一致性 | ViCLIP Shot-level Semantic Consistency | 0.2893 | 0.2854 (HoloCine) | +0.0039 (+1.4% 相对) |
| 多镜头视频生成 - 背景一致性 | CLIP Background Consistency | 0.9805 | 0.9770 (HoloCine) | +0.0035 (+0.4% 相对) |
| 多镜头视频生成 - 美学质量 | LAION Aesthetic Score | 0.4977 | 0.5310 (StoryDiffusion+Wan2.2-I2V) | -0.0333 (-6.3% 相对, 排名第二) |
| 用户研究 - vs StoryMem 跨镜头一致性 | Win Rate (300 judgments) | 57.3% Win / 25%+ Tie / ~17.7% Lose | StoryMem | 胜率超过半数 |
局限与改进
作者承认两点局限。第一，自回归生成会将退化镜头写入记忆导致错误传播，因记忆更新没有对镜头质量显式过滤，一旦某镜头失败，后续镜头可能继承并放大错误。第二，物理合理性仍受限于 Wan2.2 14B backbone，模型缺乏对重力、物体持久性与刚体动力学的显式建模，复杂场景物理交互可能违反常识。作者未来工作方向是鲁棒记忆过滤与物理感知生成。本人观察的额外局限：第三，美学得分 0.4977 低于 StoryDiffusion 的 0.5310，一致性提升以轻微美学损失为代价，二者权衡未量化讨论；第四，方法依赖三阶段标注流水线与 Qwen3-VL 26,252 次调用，预处理成本高；第五，引入解耦记忆后 inter-shot 从 0.7489 略降至 0.7338，作者解释为记忆被多主体共享，但未给出缓解方案；第六，测试场景以电影/纪录片/动画为主，对教学视频等通用长视频泛化性未验证。
独立分析的弱点
独立分析的弱点集中在六个场景。第一，错误传播是自回归架构固有问题，若第 $t$ 镜头生成失败，错误通过 $E(S_{t-1})$ 进入 $M_t^{cand}$ 影响后续所有镜头；改进方向是引入镜头质量评分模块过滤低置信度帧。第二，story 与 shot 查询只能通过 cross-attention 与对应文本融合，未学习查询间相互协调；可考虑加入 query 间 self-attention 增强联合推理。第三，$\lambda=0.5$ 是经验值，缺乏对一致性与美学权衡的敏感性分析；需补充 $\lambda\in\{0.1,0.25,0.5,1.0\}$ 的消融曲线。第四，跨年龄身份保持虽在 Fig 6 展示但训练数据中此类样本可能不足；需构建专项基准定量评估。第五，+recon task 与 +disentangled memory 之间存在 inter-shot 轻微竞争；可引入动态权重 $w_t$ 调节两条路径相对强度。第六，CFG 系数固定 3.5，缺乏对不同镜头类型的差异化控制；可探索 per-shot 自适应 CFG。
未来方向
作者提出的未来研究方向包括两个：一是鲁棒记忆过滤以解决错误传播问题，可引入基于 CLIP 相似度或人类反馈的镜头质量门控；二是物理感知生成，可结合神经物理仿真或刚体动力学先验改进 Wan2.2 backbone。基于本文成果可延伸的方向至少有四个：第一，把 subject-reconstruction 范式泛化到图像-视频以外的模态（如 3D 场景、音频叙事），构建跨模态身份锚定；第二，扩展双查询机制到多查询（如 N 个角色各自独立 query），实现群体场景下的细粒度身份管理；第三，把记忆库升级为可微分结构而非固定 top-K 选择，引入检索增强学习（RAG）思想实现长视频的零样本身份编辑；第四，结合大语言模型做故事规划，让全局故事描述 $C_{story}$ 不再固定而由 LLM 在生成中动态调整，提升长视频的叙事丰富度；第五，构建分钟级一致性的量化评估基准，填补 5 分钟长视频生成目前仅靠定性展示的空白；第六，探索轻量化部署，把 16×H100 的训练需求降至消费级显卡可达范围。
复现评估
复现评估整体可行但门槛较高。代码与模型权重未在论文中明确开源声明，但作者来自百度 ERNIE 团队与厦大，模型基于开源 Wan2.2 14B 构建。数据方面，作者明确披露了完整流程：数据集含 2,033 段视频序列与 20,227 个镜头（每段 9.95 个镜头，平均 45.9 秒，30-65 秒区间），通过 Qwen3-VL-8B 标注 26,252 次（平均每个序列 12.93 次），使用 PaddleOCR 去除字幕区域，使用 ByteTrack 跟踪主体；但标注数据本身未开源。算力需求方面，训练使用 16 块 NVIDIA H100 GPU，AdamW 优化器基础学习率 $1\times 10^{-5}$，$\lambda=0.5$，输入分辨率 $480\times 832$，批量未明确披露；推理采用 UniPC 采样器 40 步，CFG=3.5，每镜头需 40 步去噪。复现难度主要在于数据预处理（需运行 Qwen3-VL-8B 2.6 万次）与多 GPU 协调训练，建议参考作者附录与 Wan2.2 官方仓库。微调实现细节在 Sec. 4.1 较为清晰，整体复现性中等偏上。
论文图表
Figure 1 展示了 Memento 在三种递进难度场景下的代表性结果：宫廷对话（Counsel in the Throne Room，主体微妙互动）、月球探索（Footprints on the Moon，大尺度运动）与鲁滨逊漂流记（Robinson Crusoe，复杂场景过渡）。每行展示五个关键帧，包含主体识别框与场景标签。
这张图直观展示了本文要解决的核心问题——长视频多镜头下的主体一致性挑战，从微妙互动到大尺度运动再到复杂场景过渡递进，是动机部分的关键视觉证据。
Table 1 对比了四种方法在 7 项指标上的表现：美学质量、故事级/镜头级语义一致性、背景一致性、跨镜头/镜头内/跨场景主体一致性。Memento 在除美学外全部 6 项均最优，美学 0.4977 排名第二。具体而言 inter-shot 0.7338 vs StoryMem 0.6606 +0.0732，intra-shot 0.8578 vs StoryDiffusion 0.8448 +0.0130，inter-scene 0.7268 vs StoryDiffusion 0.6732 +0.0536。
这是定量对比的主表，集中呈现了 Memento 在所有主体一致性指标上的领先，是 results 部分最关键的证据。