Memory-V2V：用记忆增强视频到视频扩散模型实现一致性多轮编辑 Memory-V2V: Augmenting Video-to-Video Diffusion Models with Memory

方法的具体步骤如下：（1）缓存构建：每次编辑迭代 $j$ 完成后，将生成视频的潜表示 $E(x_j) \in \mathbb{R}^{F \times H \times W \times C}$ 存入缓存 $\Omega$，同时记录对应的相机轨迹。（2）相关性检索：在第 $i$ 次编辑时，对于新视角合成任务，使用VideoFOV算法计算目标轨迹与每个缓存轨迹的相似度 $s = \lambda \cdot s_{\text{overlap}} + (1-\lambda) \cdot s_{\text{contain}}$，其中 $s_{\text{overlap}}$ 是交并比，$s_{\text{contain}}$ 是包含率，$\lambda = 0.5$；对于长视频编辑任务，使用DINOv2提取源视频片段的平均特征向量，计算余弦相似度进行排序。（3）动态标记化：将用户输入视频用 $1 \times 2 \times 2$ 标记器处理，top-3相关视频用 $1 \times 4 \times 4$ 标记器，其余用 $1 \times 8 \times 8$ 标记器。（4）自适应token合并：在DiT的第10和20个transformer块之后，计算每个条件帧的响应性分数 $R_t = \max_{q \in Q_{\text{tgt}}} \text{softmax}(q \cdot \bar{K}_t^{\top} / \sqrt{D})$，对低响应性帧使用可学习卷积算子 $C_{\theta}$ 进行空间压缩，压缩因子 $r$ 与条件视频数量成比例。（5）去噪生成：将处理后的记忆token与目标视频token拼接，通过带有分层RoPE的DiT进行去噪生成。

Memory-V2V的技术新颖性体现在多个层面：（1）问题定义的创新——首次将多轮视频编辑作为一个独立的问题提出，区别于长视频生成中的记忆增强方法，强调跨轮一致性而非时间连续性。（2）检索机制的创新——VideoFOV算法通过在单位球上采样64800个方向点来计算两个相机轨迹的几何重叠度，这是首个针对新视角合成任务的几何检索方法；对于长视频编辑，使用源视频的DINO特征而非编辑指令进行语义检索，避免了文本指令模糊性带来的问题。（3）动态标记化的创新——根据相关性排名自动分配不同的压缩比，使得框架能够优雅地处理不断增长的记忆视频数量。（4）token合并的创新——基于响应性分析发现，DiT的早期层（Block 1）的响应性分数不稳定，而中后期（Block 10之后）趋于稳定，因此选择在Block 10和20执行合并；进一步发现合并优于直接丢弃，因为低响应性token虽然与当前生成的相关性较低，但仍可能对结构一致性有贡献。（5）训练数据的创新——对于长视频编辑任务，通过仅扩展目标视频（使用FramePack模型生成200帧扩展）的方式，利用短配对数据训练长视频编辑能力。

Memory-V2V存在以下几个可改进的弱点：（1）检索机制的单点依赖——当前VideoFOV检索仅基于几何重叠度，未考虑语义相关性；对于长视频编辑，仅使用DINOv2的平均帧特征，可能丢失时序动态信息。改进方向可以是设计多模态检索机制，同时考虑几何、语义和运动特征。（2）固定Top-k选择策略——当前使用固定的 $k$ 个最相关视频，未根据实际相关性分布动态调整。可以设计自适应选择机制，当相关性分数低于阈值时自动减少记忆视频数量。（3）token合并的粗糙性——当前基于响应性分数的二元决策（高/低响应性）可能过于粗糙，可以设计更细粒度的渐进式压缩策略。（4）缺乏交互式编辑界面——当前框架是离线批处理模式，用户无法在编辑过程中查看和选择要保留的历史结果。可以设计交互式记忆管理界面，允许用户标记重要帧或选择性丢弃不满意的历史编辑。（5）缓存管理策略——随着编辑轮次增加，缓存会无限增长，缺乏过期或淘汰机制。可以设计基于相关性衰减的缓存更新策略。

作者提出的未来研究方向包括：（1）多镜头视频编辑——这是当前框架最明显的局限，需要设计能够处理场景切换的记忆机制，可能需要引入镜头边界检测和分段记忆管理。（2）更高质量的长视频数据对——当前使用生成模型扩展视频的方式引入了质量瓶颈，未来可以探索更高质量的数据构建方法。基于当前成果可延伸的方向包括：（3）与扩散蒸馏或自回归生成框架的集成——作者提到这可以进一步增强交互性，减少单次编辑的延迟。（4）应用于更多视频编辑任务——如视频修复、视频风格迁移、视频超分辨率等，验证记忆机制的通用性。（5）多模态记忆——除了视频帧，还可以记忆文本描述、分割掩码、光流等辅助信息，实现更精细的记忆检索和利用。（6）人类反馈学习——将用户对跨轮一致性的主观评价纳入训练目标，优化记忆选择和压缩策略。（7）分布式记忆系统——对于大规模视频编辑项目，可以设计分布式缓存架构，支持多用户协作编辑。

从复现角度来看，Memory-V2V的复现存在以下挑战：（1）开源情况——论文来自Adobe Research，代码和预训练模型的开源计划尚未明确公布，这将是复现的主要障碍。（2）数据需求——需要合成的多相机视频数据集（每场景10个同步视角）用于新视角合成训练，以及Senorita-2M数据集（56K样本）用于长视频编辑训练。长视频编辑还需要FramePack模型生成扩展视频。（3）算力需求——训练使用32块A100 GPU，总batch size为32，由于强预训练初始化，仅需1-2K步即可收敛。但推理时，Memory-V2V的FLOPs和延迟仍比单轮编辑模型高，虽然相比朴素方法降低90%以上。（4）实现复杂度——需要实现VideoFOV检索算法（球面采样64800个方向点）、动态标记器（三种不同压缩比的可学习标记器）、自适应token合并模块（基于响应性分数的可学习卷积算子），以及分层RoPE设计（三种不同的时间索引范围）。（5）基线模型依赖——需要ReCamMaster和LucyEdit等预训练模型作为基础，这些模型的可用性也会影响复现。总体而言，复现难度较高，主要受限于算力需求和基线模型的可用性。