Vera：用于内容保持视频编辑的分层扩散模型

通过分层扩散框架实现内容保持的视频编辑，生成编辑层和alpha遮罩与源视频合成

前置知识

扩散模型

扩散模型是一类生成模型，通过逐步添加噪声将数据转化为高斯噪声，然后学习逆向过程从噪声恢复数据。在视频领域，它通过预测去噪速度场来生成高质量的视频内容。Flow Matching 是扩散模型的一种参数化方式，直接学习从噪声分布到数据分布的速度场。

Vera 基于预训练的文本到视频扩散模型（Wan2.1），理解扩散模型对于理解其如何生成编辑层和合成视频至关重要。

Alpha Matte

Alpha 遮罩是一个灰度图像，每个像素值在 [0, 1] 范围内，表示前景的透明度。在图像/视频合成中，Alpha 遮罩用于将前景物体与背景分离，实现精确的混合。例如，值 0 表示完全透明（只显示背景），值 1 表示完全不透明（只显示前景），中间值表示半透明混合。

Vera 的核心创新是生成 Alpha 遮罩与编辑层一起合成，这是实现内容保持的关键。不理解 Alpha 遮罩就无法理解 Vera 如何分离编辑内容和原始内容。

Mixture-of-Transformers (MoT)

MoT 架构使用多个独立的 Transformer，每个处理不同的模态或任务，但通过联合自注意力机制进行交互。在 Vera 中，三个独立的 DiT（Diffusion Transformer）分别建模编辑层、Alpha 遮罩和合成视频，它们的 token 在自注意力层被拼接，允许跨层交互。

MoT 是 Vera 的核心架构创新，解决了三个输出层具有不同分布（编辑层的创造性内容、Alpha 遮罩的灰度值、合成视频的自然视频分布）的建模挑战。

Flow Matching

Flow Matching 是扩散模型的一种优化参数化方式，它直接学习从噪声分布到数据分布的速度场，而不是学习去噪分数。给定时间 $t \in [0, 1]$，训练目标是最小化预测速度与真实速度的 $L_2$ 距离：$\mathcal{L}_{FM} = \mathbb{E}_{t,C,Z_{src},Z_1,Z_0} \|u_\theta(Z_t; t, C, Z_{src}) - (Z_1 - Z_0)\|_2^2$。

Vera 使用 Flow Matching 参数化训练其扩散模型，这是理解模型如何学习生成三层输出的基础。

研究动机

现有视频编辑方法存在一个核心问题：它们重新生成视频的每一个像素，这会导致不应该改变的区域（如人物、背景场景）被意外修改。在商业制作中，即使是很小的意外变化也可能使编辑结果无法使用，并降低用户对工具的信任。现有方法尝试通过区域约束和遮罩条件来解决这个问题，但仍然在端到端扩散范式中操作，这有两个根本局限性：一是即使有显式的区域控制，模型仍然重新生成整个视频，会在复杂场景中引入意外变化；二是端到端范式只产生最终合成结果，而实际制作工作流通常需要分层资产进行迭代编辑——从输出中手动分离添加内容进行后续编辑既繁琐又容易出错。

本文的目标是本文的目标是开发一个能够实现内容保持的视频编辑框架，确保编辑操作只修改需要改变的区域，而保留原始视频的其他部分不变。Vera 旨在生成一个编辑层和一个 Alpha 遮罩，这两个输出可以直接与源视频合成产生最终编辑结果。通过这种分层表示，模型可以支持实际制作工作流中的迭代编辑需求，同时确保编辑质量与现有方法保持竞争力。

与已有工作不同的是，现有的分层生成方法（如 LayerDiffuse、LayerFusion、LayerFlow）主要关注文本到 RGBA 视频生成，而不是视频编辑。将分层生成应用于视频编辑引入了显著的新挑战，且基本未被探索。编辑层和 Alpha 遮罩必须精确对齐，生成内容必须与源视频高度一致——匹配相机运动、光照、空间布局和尺度——以实现自然合成。模型还必须处理复杂的跨层交互，如阴影、反射和遮挡。Vera 的独特切入角度是专门为视频编辑任务设计分层框架，构建高质量的分层数据集，并开发能够连贯跨层生成的架构。

核心方法

Vera 采用了分层扩散框架来解决内容保持视频编辑问题。给定源视频和编辑指令，Vera 生成三个输出：编辑层 $V_{edit}$、Alpha 遮罩 $A_{edit}$ 和合成视频 $V_{composite}$。编辑层和 Alpha 遮罩与源视频合成产生最终结果，显式地将生成的编辑与原始内容分离。整体直觉是：不要重新生成整个视频，而是只生成需要改变的部分（编辑层），并告诉模型哪些地方应该改变（Alpha 遮罩）。技术路线上，Vera 将三个生成的量建模为联合条件分布 $p(V_{edit}, A_{edit}, V_{composite} | V_{src}, C)$，使用扩散模型进行训练。三个输出通过合成方程 $V_{composite} = (1 - A_{edit}) \circ V_{preserved} + A_{edit} \circ V_{edit}$ 相关联，其中 $\circ$ 表示 Hadamard 乘积。

Vera 的核心创新点是将创意编辑与内容保持通过分层架构分离设计。与现有方法重新生成整个视频不同，Vera 生成一个 RGBA 编辑层和对应的 Alpha 遮罩，然后与源视频合成。这种设计通过构造保持了内容完整性，同时允许自然合成。另一个关键创新是 MoT（Mixture-of-Transformers）架构：由于编辑层、Alpha 遮罩和合成视频具有显著不同的分布，Vera 使用三个独立的 DiT 分别建模每一层，但通过联合自注意力进行交互。这种设计允许每个分支专门化，同时保持跨层交互能力。Vera 还构建了高质量的分层数据集，包含 486K 帧 832×480 分辨率的训练数据，涵盖合成数据、现实单物体和多物体场景，以及交互视觉效果。

方法步骤详情

Vera 的工作流程分为训练和推理两个阶段。训练阶段：首先使用 Wan2.1 VAE 将所有视频编码到潜在空间，Alpha 遮罩序列被视为具有相同 RGB 通道的视频。给定源视频潜在 $Z_{src}$ 和条件信号 $C$（如文本提示和可选遮罩），网络 $u_\theta = [u_{\theta;edit}, u_{\theta;alpha}, u_{\theta;composite}]$ 联合预测所有层的速度场。训练目标是 Flow Matching 损失：$\mathcal{L}_{FM} = \mathbb{E}_{t,C,Z_{src},Z_1,Z_0} \|u_\theta(Z_t; t, C, Z_{src}) - (Z_1 - Z_0)\|_2^2$，其中 $Z_0 \sim \mathcal{N}(0, I)$，$Z_1 = [Z_{edit}, Z_{alpha}, Z_{composite}]$。推理阶段：给定源视频和编辑指令，Vera 的 MoT 架构联合生成编辑层、Alpha 遮罩和合成视频的潜在表示，然后通过 VAE 解码。最终编辑结果通过合成公式产生：$V_{composite} = (1 - A_{edit}) \circ V_{src} + A_{edit} \circ V_{edit}$。对于 Alpha 遮罩为零的区域，编辑层在数学上未定义，Vera 将其设置为合成的高斯平滑版本以获得更好的边缘混合和一致性。

技术新颖性

Vera 的技术新颖性体现在多个方面。首先是分层框架的端到端设计，不同于以往的分层生成方法主要关注文本到 RGBA 视频生成，Vera 专门针对视频编辑任务，需要处理编辑内容与源视频的复杂交互（如阴影、反射、遮挡）。其次是 MoT 架构在跨层交互中的应用，虽然 MoT 原本为多模态学习提出，但 Vera 发现它同样适用于建模具有不同分布的输出层之间的交互。第三是复合分支的监督策略，Vera 不仅生成编辑层和 Alpha 遮罩，还生成合成视频，这提供了自然视频分布的监督，并正则化编辑和 Alpha 分支以改善跨层协调。第四是高质量分层数据集的构建，通过结合 SAM2 分割、VideoMatte 视频抠图、Omnimatte 优化和人类标注等工具，从开源视频构建了包含精确 Alpha 遮罩、多样场景和动态以及视觉效果的数据集。最后是每层学习率的差异化策略，Vera 发现 Alpha 和复合分支受益于相对于编辑分支更快的学习率（10×），这反映了它们需要更快适应不同分布的需求。

**Figure 1**: Given an input video and a text instruction, Vera generates an edit layer together with an alpha matte that can be directly composited with the input video to produce the edited result.

**Figure 2**: Overview of the Vera inference pipeline. Given an input video and a text editing instruction, Vera's MoT architecture jointly generates an edit layer, an alpha matte, and a composite video.

**Figure 3**: The architecture of Vera compared to other video editing methods.

**Figure 4**: Overview of our layered training data. Each sample consists of an input video, an edit layer, an alpha matte, and a composite target video.

**Figure 5**: Overview of the data construction pipelines for (a) object addition and (b) background change.

实验结果

Vera 在两个代表性视频编辑任务——背景替换和物体添加——上进行了评估，涵盖内容保持、视频质量和指令遵循三个维度。在背景替换任务上，Vera-1.3B 在内容保持方面达到 PSNR = 35.2，SSIM = 0.993，LPIPS = 0.010，显著优于最强基线 VACE-14B（PSNR = 31.7，SSIM = 0.983，LPIPS = 0.021），提升了约 3.5 dB PSNR。在视频质量方面，Vera-1.3B 达到 CS = 3.34，CT = 3.25，仅次于 VACE-14B（CS = 3.74，CT = 3.61），但在指令遵循方面（IS = 4.35）与 VACE-14B（IS = 4.44）接近。在物体添加任务上，Vera-1.3B 达到 PSNR = 25.3，SSIM = 0.949，LPIPS = 0.078，显著优于最强基线 ReCo（PSNR = 16.8，SSIM = 0.778，LPIPS = 0.280），提升了约 8.5 dB PSNR。在视频质量方面，Vera-1.3B 达到 CS = 3.49，CT = 3.47，IS = 4.05，在所有基线中排名第一。人类偏好研究（2AFC）显示，Vera-1.3B 在内容保持和指令遵循方面被所有基线偏好，视频质量胜率与自动化指标基本一致，但在背景替换视频质量上略低于 VACE-14B 和 Ditto。消融实验揭示了三个关键设计选择：分层编辑范式比端到端视频到视频方法在内容保持上提升 2.8–5.0 dB PSNR，同时保持竞争性的合成质量；复合分支对于保持合成质量至关重要，移除它会导致物体添加的 CS 从 3.46 降至 2.85；MoT 架构明显优于单一密集 DiT，每层差异化学习率（Alpha 和复合分支 10× 基础学习率）进一步改善性能。数据消融显示，合成数据提供精确的 Alpha 监督，但缺乏多样性；添加现实单物体数据显著提升背景替换保持（PSNR: 33.8→35.6 dB）；多物体数据带来物体添加保持的大幅提升（PSNR: 19.1→24.8 dB）。

**Table 1**: Comparison with existing video editing methods.

**Table 2**: Layered editing substantially improves content preservation over standard video-to-video (V2V); full Vera remains competitive in composition and instruction-following.

**Table 3**: Within-framework ablation on architecture choices for layered generation.

**Table 4**: Data ablation: cumulative effect of each training data source.

**Table 5**: Per-layer learning rate ablation.

**Figure 6**: 2AFC user study results comparing Vera-1.3B against five baselines.

**Figure 7**: Qualitative comparison with existing video editing methods on background change (top) and object addition (bottom).

**Figure 8**: Qualitative examples from the ablation studies.

查看结构化数据

任务	指标	本文	基线	提升
背景替换	PSNR	Vera-1.3B: 35.2	VACE-14B: 31.7	+3.5 dB
背景替换	SSIM	Vera-1.3B: 0.993	VACE-14B: 0.983	+0.010
背景替换	LPIPS	Vera-1.3B: 0.010	VACE-14B: 0.021	-0.011
物体添加	PSNR	Vera-1.3B: 25.3	ReCo: 16.8	+8.5 dB
物体添加	SSIM	Vera-1.3B: 0.949	ReCo: 0.778	+0.171
物体添加	LPIPS	Vera-1.3B: 0.078	ReCo: 0.280	-0.202
物体添加	Composition Spatial Quality (CS)	Vera-1.3B: 3.49	Ditto: 2.84	+0.65
物体添加	Instruction Satisfaction (IS)	Vera-1.3B: 4.05	Ditto: 3.62	+0.43

局限与改进

作者在论文中指出了三个主要局限性。首先是推理成本增加：由于联合生成三层，Vera-1.3B 大约比 VACE 慢 3 倍。其次是评估范围有限：目前只评估了物体添加和背景替换两个任务，扩展到重打光、复杂视觉效果和更广泛的编辑操作需要捕捉相应交互的分层数据。第三是推理程序的近似假设：Vera 使用 $V_{preserved} \approx V_{src}$ 近似，因此假设保持内容只包含小的半透明区域（Remark 3.1）。直接恢复玻璃或水等半透明物体的保持内容需要合适的分层数据和显式评估。我观察到的一个额外局限性是数据集规模和多样性相对有限：虽然 486K 帧的分层数据在质量上很高，但与大规模文本到视频模型相比仍然较小，这可能限制了模型在极端场景（如剧烈相机运动、复杂遮挡）下的泛化能力。

独立分析的弱点

Vera 的第一个显著弱点是推理速度较慢，由于 MoT 架构包含三个独立的 DiT，推理成本约为同等规模端到端模型的 3 倍。这对实际应用中的交互式编辑工作流是一个重大障碍，特别是对于需要实时预览的场景。改进方向包括：探索模型压缩技术（如知识蒸馏、量化）、开发高效的 MoT 实现策略、或者研究如何在保持分层优势的同时减少层数（如只生成编辑层和 Alpha 遮罩，通过解析合成公式获得结果）。第二个弱点是评估范围有限，只覆盖了物体添加和背景替换两个相对基础的任务。对于实际制作中常见的重打光、复杂视觉特效（如火焰、水流）、风格迁移等操作，Vera 的性能尚不明确。改进方向包括：扩展评估基准覆盖更多编辑类型、构建相应的分层数据集、或者开发能够处理这些任务的更通用架构。第三个弱点是半透明保持内容的处理能力受限，Vera 的推理程序假设保持内容只包含小的半透明区域，这对于玻璃、水面等包含大量半透明区域的场景不适用。改进方向包括：收集包含半透明保持内容的分层数据、修改推理程序以显式建模半透明区域、或者引入额外的监督信号（如深度图）来辅助半透明区域的处理。第四个弱点是对复杂遮挡和多层交互的处理能力，虽然多物体数据集包含阴影和反射等效果，但对于更复杂的场景（如多个物体相互遮挡、跨帧的复杂遮挡关系），Vera 的表现可能不理想。改进方向包括：构建包含更复杂遮挡的数据集、引入显式的遮挡建模机制、或者开发分层递进的生成策略。

未来方向

作者在论文中提出的未来研究方向包括：将分层生成扩展到更广泛的编辑操作，如重打光、复杂视觉特效等；处理包含大量半透明区域的保持内容；优化推理速度以支持实际应用。基于 Vera 的成果，还可以延伸多个研究方向：一是开发统一的分层视频编辑框架，支持多种编辑任务的协同工作，用户可以多次迭代编辑同一视频的分层资产。二是探索分层视频编辑与 3D 感知的结合，将分层生成与 3D 几何信息结合，实现更精确的空间一致性。三是研究分层编辑的可控性，引入更多控制信号（如空间约束、风格参考、时序约束）以提供更精细的编辑控制。四是开发分层编辑的质量评估指标，现有的自动化指标（如 CS、CT）虽然比传统指标更符合人类偏好，但仍有改进空间，特别是对于分层特有的质量维度（如 Alpha 遮罩精度、跨层交互自然度）。五是探索分层编辑与其他视频生成任务（如文本到视频、视频到视频、视频修复）的统一架构，将分层编辑作为更通用视频生成框架的一个特例。六是研究分层编辑的可解释性，分析 MoT 架构中不同分支的学习表示，理解模型如何分离编辑内容和保持内容。

复现评估

论文中提到 Vera 使用了 Wan2.1 预训练模型作为初始化，训练了两个模型变体：Vera-1.3B（每个 DiT 从 Wan2.1-1.3B 初始化，总参数 3.9B）和 Vera-14B（每个 DiT 从 Wan2.1-14B 初始化，总参数 42B）。训练配置为 8,000 步，批量大小 16，分辨率 832×480，每片段 49 帧。数据集包含 486K 帧，约 6K 样本，每个样本是输入视频加三个输出层（编辑、Alpha、合成），分辨率 832×480，81 帧。论文没有明确说明算力需求，但考虑到 42B 参数的模型规模和训练步数，预计需要大量 GPU 资源。论文提到会发布代码和数据，但截至论文撰写时尚未开源。复现难度取决于几个因素：首先是分层数据集的构建需要多个工具（SAM2、VideoMatte、Omnimatte、人类标注）和复杂的管道，这可能增加复现难度。其次是 MoT 架构的实现细节，虽然概念相对清晰，但具体实现（如联合自注意力的实现、每层学习率的调度）可能需要仔细调整。第三是评估协议，特别是 VLM 基础的指标（CS、CT、IS）需要访问三个 VLM（Gemini-3-Pro、GPT-5.2、Claude Sonnet-4.6）和设计相应的系统提示，这可能增加评估的复杂性和成本。总体而言，如果论文发布代码和数据，复现应该是可行的，但需要相当的计算资源和工程投入。