NOVA：稀疏控制、密集合成——面向无配对数据的视频编辑框架 NOVA: Sparse Control, Dense Synthesis for Pair-Free Video Editing

NOVA 的方法分训练和推理两个阶段，每阶段都明确分两条流水线。训练阶段 (Figure 5)：对每个训练视频 $X$ 同时跑两条管道——锚定控制管道先在 $K=\{0, t_1, \ldots, T\}$ 等稀疏索引处对原视频帧施加式 (2) 的随机退化（50% 概率做几何退化如随机 Zoom-Stretch 仿射变换，50% 概率做外观退化如局部高斯模糊），再用式 (3) 在相邻关键帧间做线性插值得到降质参考视频 $\hat{X}$ 作为稀疏分支输入；源保真度管道对原视频做随机 cut-and-paste（式 4），从另一个视频 $Y$ 中用随机仿射运动的二值掩码 $M_t$ 取一块内容贴到目标帧上，得到伪源视频 $\tilde{X}$ 作为密集分支输入。两条管道输出共同送入主分支，主分支在第 $l$ 层与两个复制 DiT（稀疏 S 和密集 D）通过跨注意力交互，更新公式为 $z_m^{(l)} \leftarrow z_m^{(l)} + S^{(l)}(z_m^{(l)}, r) + D^{(l)}(z_m^{(l)}, z_d^{(l)})$，其中 $r$ 由 $\hat{X}$ 构造、$z_d$ 由 $\tilde{X}$ 构造，整体训练目标为标准扩散去噪 MSE Loss $L = \mathbb{E}_{X,\epsilon,t}[\|\epsilon - \epsilon_\theta(z_t(X), t, \hat{X}, \tilde{X})\|^2]$。训练时主分支和稀疏分支权重在初始化时从 WAN VACE 复制，密集分支为新加的可学习复制；为节省显存，作者冻结了基础 VACE 权重，仅训练新引入的跨注意力模块。推理阶段 (Figure 6)：Step 1 用 FLUX.1 Kontext Inpainting 模型顺序编辑用户选定的关键帧索引集 $\{0, 10, \ldots, 80\}$，首帧按文本提示独立编辑得到 $x_0^{edit}$，后续每帧按式 (6) 以首帧为参考 $x_0^{edit}$ 进行条件编辑 $x_{k_i}^{edit} = \text{FLUX}(x_{k_i}, x_0^{edit}, m_{k_i}, P)$，从而保证所有关键帧外观一致；Step 2 把编辑过的关键帧按式 (3) 做线性插值得到参考视频 $\hat{X}$ 喂给稀疏分支；Step 3 把原始未编辑视频 $X$ 直接喂给密集分支，主分支在两条跨注意力引导下去噪生成最终编辑视频。

NOVA 的技术新颖性可以归纳为四点：(1) 范式层面，首次明确把视频编辑的『控制信号』和『合成信号』解耦为稀疏分支与密集分支两条独立通路，并通过跨注意力显式融合，这一架构选择直接回应了 Figure 3 中归纳的三类已有方案的共同缺陷；(2) 训练层面，提出『退化模拟』自监督策略——通过对原视频自身的稀疏关键帧施加插值、模糊、几何变换构造降质参考，用 cut-and-paste 构造伪源视频，把『视频编辑』问题转化为『在保持源视频时空结构前提下对降质区域进行修复』的自监督去噪任务，彻底绕开了配对数据稀缺问题；(3) 推理层面的一致性感知关键帧编辑，把所有关键帧锚定到首帧编辑结果上，显著降低了多关键帧独立编辑造成的闪烁与外观漂移（Figure 10）；(4) 实用性层面，仅 1.3B 参数、无需 per-video finetune，就能超过 14B 的 LoRA-Edit 在 Human Eval (SR) 上的表现，且对关键帧编辑模型不敏感（可换 Qwen-Image-Edit-2509）、对推理时关键帧间隔（8/10/16/20 帧）鲁棒。

独立审视 NOVA 的设计，可以识别出以下具体弱点并给出改进方向：(1) 关键帧稀疏控制依赖固定间隔的线性插值，对快速运动/大运动场景容易在中间帧产生伪影——可考虑改用基于光流的关键帧传播或在稀疏分支内引入更鲁棒的时间建模（如运动补偿 Transformer）替代简单插值；(2) 密集分支与主分支通过 cross-attention 融合，但当编辑区域恰好覆盖运动主体时，密集分支会持续注入主体特征，压制编辑意图——可加入『编辑区域感知门控』，在被编辑的时空位置上动态降低密集分支权重，类似 Mask-guided attention dropout；(3) 训练数据只有 5000 段 Pexels 视频，规模偏小且场景偏自然风光，导致室内、人脸、文字等场景的编辑能力未充分验证——可结合 SAM2 + 大规模未标注视频扩展自监督训练集，并加入专门的人脸/室内数据；(4) 当前对 832×480、81 帧的配置有强依赖，对 1080p 或更长视频需要额外适配——可探索相对位置编码扩展或直接在更高分辨率上继续训练；(5) 一致性感知推理把所有关键帧锚定到第一帧编辑结果，对『在不同时间点希望呈现不同风格』的创作型编辑缺乏灵活性——可让用户指定『风格锚点帧』或允许关键帧之间用更复杂的链式参考；(6) 关键帧质量对最终结果至关重要，而 FLUX.1 Kontext 推理较慢——可训练一个轻量化的『视频一致性关键帧编辑器』替代 FLUX，或引入局部重编辑 (re-edit) 闭环。

作者在论文中提到代码与模型将在 https://github.com/WeChatCV/NovaEdit 发布，未来可延伸的研究方向包括：(1) 把『稀疏控制+密集合成』范式推广到视频理解、视频修复、视频超分等更广泛任务，验证双分支解耦的通用性；(2) 将多关键帧编辑从『全部锚定首帧』扩展为可学习的图结构传播（例如基于光流或语义相似度动态决定参考帧），支持更长时序的复杂编辑；(3) 把当前的自监督退化模拟训练与少量配对数据（如 Senorita-2M）结合，研究半监督或弱监督训练能否进一步提升边界质量；(4) 探索与可控视频生成（如相机轨迹控制、深度条件）的结合，把 NOVA 扩展为支持任意时空条件的通用视频编辑/创作平台；(5) 把关键帧编辑模型本身换成视频原生的大模型（如带时序注意力的多帧编辑模型），从源头降低多关键帧间的不一致性。基于 NOVA 自身架构，未来还可考虑：(a) 在稀疏分支中加入可学习的查询 token，让用户能用自然语言精细指定『哪些区域要怎么改』；(b) 用 RLHF/DPO 等方式基于人类偏好对编辑效果做后训练对齐，进一步提升 SR。

从复现角度看，NOVA 的总体门槛中等偏上。代码承诺开源（https://github.com/WeChatCV/NovaEdit），但截至论文发布时尚未公开。训练数据方面，作者明确说明使用 5000 段来自 Pexels 的高质量视频片段，处理分辨率 832×480、帧长 81 帧——Pexels 数据本身可自由访问，但具体筛选标准、去重方式未公开。算力方面，论文报告使用 AdamW 优化器、学习率 $\eta = 1 \times 10^{-4}$、训练约 8000 步、聚合 GPU 显存 320GB（按 80GB A100 计约需 4 张卡并行），对一般研究组来说是较大投入但非不可达。基础模型方面，主干是 WAN 2.1 VACE 1.3B（公开），关键帧编辑用 FLUX.1 Kontext Dev（公开但需 HuggingFace 访问），评估数据集沿用 I2VEdit/Render-A-Video 的 Pexels 收集方式。整体看，方法本身可复现性较高（架构清晰、公式明确、训练流程在 Figure 5 和算法 1-2 中给出伪代码），主要障碍是 320GB 训练显存和 FLUX.1 Kontext 这类外部模型的推理成本；对仅做推理复现的研究者，只需 1 张中高端 GPU（如 A100 80G）配合 FLUX 推理即可。