VideoMaMa：基于生成先验的掩码引导视频抠图 VideoMaMa: Mask-Guided Video Matting via Generative Prior
扩散模型将粗糙分割掩码转为高质量视频alpha抠图
前置知识
视频抠图（Video Matting）
视频抠图是计算机视觉中的一项核心任务，目标是从视频序列中提取前景物体的像素级精确alpha抠图。数学上，它基于alpha合成方程 $I = \alpha F + (1-\alpha)B$，其中 $I$ 是观测图像，$F$ 是前景，$B$ 是背景，$\alpha \in [0,1]$ 是alpha抠图，表示每个像素的不透明度。与二值分割掩码 $M \in \{0, 1\}$ 不同，alpha抠图能够捕捉发丝、运动模糊和复杂边界等精细细节，这些对于视频合成、背景替换、视觉合成和重新打光等应用至关重要。
这是本文要解决的核心任务，理解视频抠图的定义和数学基础是理解整个方法的前提。
扩散模型（Diffusion Models）
扩散模型是一类生成模型，通过学习逐步去噪过程来生成数据。传统扩散模型需要多步迭代去噪，从纯噪声逐步生成目标数据。本文采用单步扩散公式化，直接从噪声预测干净的alpha抠图潜变量，显著提高推理效率。扩散模型在互联网规模的图像和视频数据上训练，编码了丰富的自然场景先验、运动动态和时间一致性知识，展现出跨领域的强大泛化能力。
本文的核心创新是利用预训练视频扩散模型（SVD）的生成先验来解决视频抠图问题，理解扩散模型的工作原理对把握本文方法至关重要。
Stable Video Diffusion（SVD）
SVD是一个预训练的视频扩散模型，最初设计用于图像到视频的生成任务。它采用潜空间操作，通过变分自编码器（VAE）将高分辨率视频编码到压缩潜空间，包含空间层（处理单帧细节）和时间层（建模帧间关系）。本文基于SVD构建VideoMaMa，通过掩码条件注入和语义知识注入将其适配为视频抠图模型，利用其强大的时间建模能力生成高质量的视频抠图。
SVD是本文方法的基础架构，理解其结构和能力对理解VideoMaMa的设计选择至关重要。
DINOv3语义特征
DINOv3是一个强大的视觉基础模型，能够提取图像的丰富语义表示。这些特征编码了物体类别、结构和边界信息，具有良好的跨域泛化能力。在本文中，DINOv3特征被注入到扩散模型中，通过可学习的MLP投影模块对齐DINOv3特征维度与SVD解码器架构，在训练过程中提供语义理解能力，增强模型对物体边界的一致性追踪。
语义知识注入是本文提升复杂物体边界理解的关键技术，理解DINOv3的作用对把握方法的创新性很重要。
伪标签生成（Pseudo-labeling）
伪标签生成是一种利用模型自身输出创建训练数据的技术。在本文中，VideoMaMa作为伪标签器，能够从二值分割掩码生成高质量的alpha抠图，从而将SA-V数据集的分割标注转换为连续的抠图标注，构建大规模的MA-V数据集。这种方法避免了昂贵的人工标注成本，展示了生成先验和分割线索如何驱动可扩展的视频抠图研究。
这是本文方法的重要应用场景，理解伪标签生成的工作流程对理解MA-V数据集的构建和SAM2-Matte的训练至关重要。
研究动机
视频抠图模型在真实世界视频上的泛化面临两大核心挑战。首先，高质量的视频抠图标注极其稀缺。Ground-truth抠图通常在受控环境中捕获，如色键工作室或专用相机设置，这使得标注工作难以规模化，难以捕捉多样化的物体、场景和相机角度。现有数据集如VideoMatte240K（484个视频）、VideoMatting108（108个视频）和VM800（826个视频）主要聚焦于受控环境中的人像，数量有限且场景单一。其次，大多数视频抠图模型在合成视频上训练，前景被合成到任意背景上，这种合成方法常常引入不真实的光照、运动模糊和时间连贯性伪影。这两个因素——有限的数据多样性和合成与真实视频之间的域差距——严重阻碍了现有模型泛化到真实世界视频的能力。
本文的目标是本文的目标是提出一种新颖的引导策略，有效弥合合成与真实视频之间的差距，实现更稳健的视频抠图。具体而言，作者希望开发一个能够将粗糙二值分割掩码转换为像素级精确alpha抠图的模型，该模型即使仅在合成数据上训练，也能展现出强大的零样本泛化到真实世界视频的能力。在此基础上，作者还希望构建一个大规模、高质量的视频抠图数据集，推动视频抠图研究的发展。
与已有工作不同的是，本文的独特切入角度在于利用预训练视频扩散模型的生成先验。与现有方法不同，VideoMaMa不是从头训练视频抠图模型，而是将SVD的强大生成能力适配到抠图任务。这种设计的关键优势在于：扩散先验在互联网规模的图像和视频数据上训练，编码了丰富的自然场景、运动动态和时间一致性知识，能够生成跨域的高质量内容。此外，本文采用二值分割掩码作为条件信号，这种设计解耦了物体定位和抠图生成的挑战，使模型能够专注于生成精细的抠图细节（如发丝、运动模糊），而非推断物体边界。掩码可以从各种来源获得，大大扩展了模型的适用性。
核心方法
VideoMaMa的整体思路是将预训练的视频扩散模型（SVD）适配为掩码引导的视频抠图模型。方法的核心直觉是：既然扩散模型已经学会了生成高质量、时间一致的视频内容，那么通过适当的条件注入，可以让它们将二值分割掩码精炼为像素级精确的alpha抠图。技术路线包括三个关键组件：（1）潜空间公式化，将RGB帧、掩码和alpha抠图编码到统一的潜空间；（2）单步扩散公式化，直接从噪声预测干净的alpha抠图潜变量；（3）两阶段训练策略，先在高分辨率单帧上训练空间层捕获细节，再在低分辨率视频序列上训练时间层学习时间一致性。此外，通过DINOv3语义特征注入增强模型对物体边界的语义理解。
本文的核心创新点与已有方法的本质区别在于：（1）生成先验的利用：不是从头训练抠图模型，而是利用SVD在互联网规模数据上学到的生成先验，这使得模型即使仅在合成数据上训练，也能零样本泛化到真实世界视频；（2）单步扩散公式化：传统扩散模型需要多步迭代去噪，而VideoMaMa直接从噪声预测干净的alpha抠图潜变量，显著提高推理效率；（3）两阶段训练策略：通过分别优化空间层和时间层，在不进行全高分辨率视频训练的情况下同时实现高分辨率细节和时间一致性；（4）掩码增强策略：通过多边形退化和下采样退化移除输入掩码的精细信息，强制模型从RGB图像推断抠图细节，防止复制粘贴行为。
方法步骤详情
VideoMaMa的方法步骤如下：（1）潜空间编码：使用VAE将视频帧 $V = \{I_t\}_{t=1}^T$、二值掩码序列 $M = \{M_t\}_{t=1}^T$ 和alpha抠图 $\alpha = \{\alpha_t\}_{t=1}^T$ 编码到统一的潜空间 $z_x = E(x)$；（2）掩码增强：训练时对输入掩码应用多边形退化（用多边形近似掩码边界）和下采样退化（降采样后上采样移除高频细节）；（3）单步生成：将帧潜变量 $z_V$、掩码潜变量 $z_M$ 和高斯噪声 $\epsilon \sim \mathcal{N}(0, I)$ 沿通道维度拼接，通过适配的SVD模型预测alpha抠图潜变量 $\hat{z}_\alpha = F_{SVD}(\text{concat}(z_V, z_M, \epsilon))$；（4）两阶段训练：第一阶段冻结时间层，在1024×1024高分辨率单帧上训练空间层；第二阶段冻结空间层，在704×704分辨率的3帧视频序列上训练时间层；（5）语义知识注入：提取DINOv3特征 $h_{dino} = F_{dino}(V)$，通过可学习的MLP投影到SVD解码器的第一上采样块，最小化对齐损失；（6）推理时解码预测的潜变量得到最终的alpha抠图视频 $\hat{\alpha} = D(\hat{z}_\alpha)$。
技术新颖性
VideoMaMa的技术新颖性体现在多个方面：（1）首次将预训练视频扩散模型成功适配到视频抠图任务，证明了生成先验在视频感知任务中的有效性；（2）提出的两阶段训练策略是一个创新的解决方案，解决了高分辨率视频训练的计算瓶颈——通过分别优化空间和时间层，在不进行全高分辨率视频训练的情况下同时实现像素级细节和时间一致性；（3）掩码增强策略通过强制模型从RGB图像推断抠图细节，有效防止了模型的复制粘贴行为，这是一个实用的训练技巧；（4）语义知识注入通过DINOv3特征对齐，增强了扩散模型对物体边界的语义理解，同时保持其生成能力；（5）提出的可扩展伪标签生成流水线，展示了如何利用生成先验和分割线索构建大规模视频抠图数据集，为领域提供了新的数据构建范式。
实验结果
本文的实验结果表明VideoMaMa和SAM2-Matte在多个基准测试上达到了最先进的性能。在全帧掩码引导的视频抠图任务中，VideoMaMa在V-HIM60 Hard基准上MAD指标为2.6112，优于MaGGIe的3.1567；在YouTubeMatte 1920×1080基准上MAD为1.737，优于MaGGIe的1.9499。在首帧掩码引导的视频抠图任务中，SAM2-Matte在V-HIM60 Easy上MAD为1.3446（对比MatAnyone的3.5803），在V-HIM60 Medium上MAD为2.2710（对比7.1955），在V-HIM60 Hard上MAD为2.6112（对比5.7195），在YouTubeMatte上MAD为1.2695（对比1.9909）。消融实验证明了两阶段训练策略的有效性：单独使用图像训练（阶段1）在某些掩码类型上表现不佳（如SAM2掩码出现-13.46%的退化），单独使用视频训练（阶段2）表现较好，而两阶段结合加上DINOv3特征注入达到了最佳性能（SAM2掩码上51.34%的提升）。关于MA-V数据集的影响，仅使用MA-V训练的SAM2-Matte在V-HIM60 Hard上MAD为3.1830，显著优于使用现有数据集的7.5798，甚至超越了MatAnyone的4.6655，证明了大规模伪标签数据的有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 全帧掩码引导视频抠图（V-HIM60 Hard） | MAD ↓ | 2.6112 | MaGGIe: 3.1567 | 降低17.3% |
| 全帧掩码引导视频抠图（YouTubeMatte 1920×1080） | MAD ↓ | 1.737 | MaGGIe: 1.9499 | 降低10.9% |
| 首帧掩码引导视频抠图（V-HIM60 Easy） | MAD ↓ | 1.3446 | MatAnyone: 3.5803 | 降低62.4% |
| 首帧掩码引导视频抠图（V-HIM60 Hard） | MAD ↓ | 2.6112 | MatAnyone: 5.7195 | 降低54.3% |
| 首帧掩码引导视频抠图（YouTubeMatte 1920×1080） | MAD ↓ | 1.2695 | MatAnyone: 1.9909 | 降低36.2% |
| MA-V数据集效果（V-HIM60 Hard） | MAD ↓ | SAM2-Matte (MA-V): 3.1830 | SAM2 (Existing): 7.5798 | 降低58.0% |
局限与改进
VideoMaMa存在几个明确的局限性。首先，当输入掩码完全错误地捕获了错误的实例时，模型无法生成正确的抠图。如论文Figure 8所示，当输入掩码错误地捕获了完全不同的物体实例时，VideoMaMa会将这个错误传播到输出。这种局限性是掩码引导方法固有的，因为模型依赖掩码来定义目标前景物体。其次，SAM2的掩码解码器在64×64的分辨率上生成分割掩码，然后上采样到输入维度，这个分辨率显著低于其他抠图方法通常使用的分辨率，导致高频信息丢失，影响精细细节（如发丝和物体边界）的保留。此外，模型对SAM2掩码质量的依赖也是一个局限——当SAM2生成的掩码存在较大误差时，VideoMaMa的性能会受到影响。作者还观察到，当结合现有合成数据集和MA-V进行训练时，虽然抠图质量提升，但跟踪性能相比仅使用MA-V训练有所下降，这表明现有合成数据引入了域偏差。
独立分析的弱点
基于对论文的独立分析，VideoMaMa存在以下几个主要弱点：（1）对输入掩码质量的强依赖：当输入掩码捕获错误实例或存在严重错误时，模型无法纠正，这限制了在自动分割流水线中的可靠性，改进方向可以是引入置信度估计或掩码验证机制；（2）分辨率限制：SAM2的64×64掩码解码器分辨率限制了精细细节的捕捉，可以探索更高分辨率的掩码生成或设计专门的超分辨率模块；（3）计算成本：虽然采用单步扩散，但基于SVD的架构仍然需要相当的计算资源，特别是在高分辨率视频处理时，改进方向包括模型蒸馏或架构轻量化；（4）训练数据域偏差：现有合成数据集引入的域偏差影响跟踪性能，需要更好的数据混合策略或域自适应技术；（5）泛化到未见类别：虽然模型展示了零样本泛化能力，但在极端新颖的物体类别或场景上可能表现不佳，需要更多的域外评估。
未来方向
论文作者和基于成果可延伸的未来研究方向包括：（1）扩展MA-V数据集：当前数据集基于SA-V构建，可以进一步扩大规模，覆盖更多场景、物体类别和运动模式；（2）改进掩码引导机制：设计更鲁棒的掩码条件注入方法，能够处理不完美或错误的输入掩码；（3）探索其他生成先验：虽然本文使用SVD，但其他预训练视频生成模型也可能提供有价值的先验；（4）实时化处理：将VideoMaMa优化为实时或近实时系统，满足视频编辑应用的需求；（5）多模态融合：结合文本、音频等其他模态信息增强视频抠图；（6）交互式抠图：开发支持用户交互的视频抠图系统，允许实时调整和精修；（7）扩展到其他视频感知任务：将生成先验的利用方法扩展到视频深度估计、语义分割等其他任务。
复现评估
从复现评估角度来看，本文提供了相对良好的可复现性。论文公开了项目主页 https://cvlab-kaist.github.io/VideoMaMa，但代码和预训练模型的开源情况需要进一步确认。数据方面，MA-V数据集基于公开的SA-V数据集构建，理论上可以复现数据生成过程。算力要求方面，论文提到所有实验在NVIDIA A100 GPU上进行，使用混合精度训练，两阶段训练分别运行10,000次迭代，batch size为64，学习率为 $5 \times 10^{-5}$。SAM2-Matte训练100,000次迭代，batch size为4。这些要求对研究机构来说是可承受的，但对个人研究者可能有一定门槛。复现难度中等，主要挑战在于：（1）需要获取和预处理SA-V数据集；（2）需要SVD和SAM2的预训练权重；（3）需要DINOv3特征提取；（4）两阶段训练策略的实现。总体而言，论文提供了足够的技术细节支持复现，但完整的代码开源将大大降低复现难度。
论文图表
该图展示了VideoMaMa的失败案例。当输入掩码完全错误地捕获了错误的实例时（红色箭头指示），模型无法纠正错误，会将错误传播到输出。这展示了掩码引导方法的固有局限性。
这张图诚实地展示了方法的局限性，对全面理解论文贡献很重要。