实时流式视频编辑：迈向基于扩散模型的流式视频编辑 LiveEdit: Towards Real-Time Diffusion-Based Streaming Video Editing

方法的具体实现包含三个训练阶段和一个推理优化阶段。在Stage 1即Foundation Tuning中，使用Wan2.1 T2V 1.3B作为基础模型，通过通道级拼接原始视频潜在变量和噪声潜在变量，训练一个双向DiT模型。训练采用标准的噪声匹配目标，在包含20K高质量视频视频对的Ditto 1M子集上训练9K步，学习率为10的负5次方。在Stage 2即Teacher Forcing中，引入分块因果注意力掩码，限制temporal token只能关注当前和严格在前的chunks。模型优化目标为类似的噪声匹配目标但增加因果约束，训练20K步，时间chunk大小设置为3个潜在帧。在Stage 3即DMD中，直接使用Stage 2的模型参数初始化4步DMD生成器，省略了昂贵的ODE初始化。采样时间步设置为0、250、500、750，通过MSE和DMD梯度联合优化。在推理阶段，对于每个传入的chunk k，通过计算前一chunk的编辑输出与原始源之间的L2距离来提取二进制空间编辑掩码，其中阈值动态计算以修剪70百分号的冗余空间tokens。对于掩码内的token执行完整计算，掩码外的token直接从Token Cache中检索特征。

技术新颖性主要体现在三个方面。第一是针对流式视频编辑任务设计的渐进式蒸馏策略。与以往的工作如FlashVSR针对视频超分辨率和PersonaLive针对人像动画不同，这些任务本质上涉及低级像素映射或结构约束区域，将它们的蒸馏方案直接迁移到通用视频编辑涉及复杂语义重构、跨尺度特征演化和免训练奖励引导控制经常会降低高保真细节。本文提出的三阶段蒸馏策略与AR based Cache结合，实现了前所未有的推理加速且不牺牲复杂的编辑保真度。第二是AR oriented Mask Cache的选择性时空复用机制。通过发现Self Attention和FFN在处理冗余信息方面的功能差异，本文明确提出了仅在Self Attention层应用缓存的策略，这与以往应用于FFN的缓存方法如DeepCache形成对比。第三是直接使用自回归模型参数初始化DMD生成器，绕过了标准的ODE初始化。这一设计选择使得系统能够在4步内完成生成并消除对CFG的依赖否则会使所需的前向传播次数加倍，从而大幅降低计算开销。

独立分析的第一个弱点是在处理大幅度相机运动或快速场景切换时的潜在性能下降。AR oriented Mask Cache假设未编辑区域在时间上高度相关，但当相机发生平移、缩放或旋转时，静态背景的空间位置会发生显著变化，导致基于前一帧计算得到的掩码不再准确。改进方向可以是引入相机运动估计模块，对缓存的特征进行空间变换如仿射变换以匹配当前帧的视角。第二个弱点是编辑区域检测的延迟依赖。当前方法需要等待前一chunk的编辑输出才能提取当前chunk的掩码，这意味着在视频开始的第一帧或当编辑区域突然扩展或收缩时，缓存机制可能无法提供及时的计算优化。改进方向可以包括基于文本指令预测编辑区域的轻量级模块，或者在第一帧使用启发式方法如基于物体检测初始化掩码。第三个弱点是对L2距离阈值的敏感性。论文中通过动态计算来修剪百分之70的tokens，但这种固定比例策略可能不适用于所有场景。在需要精细编辑如改变眼部颜色的场景中，过于激进的修剪可能导致细节丢失，而在需要大范围修改如替换整个天空的场景中，保守的修剪可能导致计算资源浪费。改进方向可以是引入自适应阈值机制，基于编辑指令的语义复杂度和视频内容的动态程度动态调整修剪比例。第四个弱点是在超长视频序列中的潜在误差累积。虽然三阶段蒸馏和缓存机制显著减少了误差，但在处理非常长的视频流如数小时时，任何微小的偏差都可能被放大。改进方向可以包括定期重置机制，每隔一定帧数使用原始视频重新对齐未编辑区域，或者引入误差检测模块自动识别并纠正累积偏差。

作者提出的未来研究方向包括将方法扩展到更高分辨率和更长时长的视频。当前的实现基于潜在空间处理，未来可以探索在更高分辨率如4K或8K上的直接编辑，这将需要更高效的内存管理和计算优化。另一个方向是集成音频编辑功能，实现视听同步的流式编辑。基于研究成果可延伸的方向包括：探索更复杂的掩码提取机制，例如结合语义分割、物体检测和光流估计来更精确地识别编辑区域，研究多模态输入如图像草图、参考图像、语音指令的融合，提供更丰富的编辑控制，开发自适应缓存策略，根据视频内容的动态程度和编辑复杂度动态调整缓存粒度和范围，探索在边缘设备上的轻量化部署，通过模型量化、知识蒸馏和硬件优化进一步降低延迟，研究跨视频风格的迁移编辑，即从源视频学习编辑风格并将其应用到其他视频中，开发交互式编辑界面，允许用户在流式处理过程中实时调整编辑参数或选择编辑区域。此外，可以探索将方法与其他高效推理技术如FlashAttention、Token Merging结合，进一步提升推理速度。最后，可以建立更大规模、更多样化的流式视频编辑基准，涵盖更多编辑类型如物体移除、场景重光照、时间倒流等和更复杂的评估维度如语义一致性、物理合理性等。

论文提供了项目页面，表明代码可能开源，网址为live dash edit dot github dot io，但具体代码仓库链接未在论文中明确提供。数据集方面，使用从Ditto 1M数据集中筛选的20K高质量视频视频对，Ditto 1M是公开可用的大规模视频编辑数据集，但具体的筛选标准和小规模子集可能需要额外说明。训练配置相对详细，三个阶段分别在8张NVIDIA A100 GPU上训练，Stage 1训练9K步学习率为10的负5次方全局batch size为8，Stage 2训练20K步，Stage 3训练10K步学习率为10的负5次方，使用AdamW优化器。基础模型使用Wan2.1 T2V 1.3B，这是一个公开的预训练模型。推理配置也很明确，每步解码3帧，缓存修剪百分之70的冗余空间tokens，采样时间步设置为0、250、500、750。算力需求方面，训练需要8张A100 GPU，推理可以在单张GPU上实现实时处理即12.66 FPS。复现难度中等偏上，主要挑战在于：三阶段蒸馏流水线需要仔细的训练配置和超参数调整，AR oriented Mask Cache的实现需要精确的特征提取和缓存管理，评估基准即120对视频的构建和自动化指标的计算需要额外的数据处理。如果代码开源并提供预训练模型权重，复现难度会显著降低。此外，论文中的消融研究和用户研究为验证方法有效性提供了充分的证据，但用户研究的具体协议如志愿者招募标准、评估指南、统计检验方法在正文中未详细描述，可能在补充材料中提供。