Sparkle：通过解耦引导实现生动的指令引导视频背景替换

提出解耦生成管线Sparkle，合成14万段高质量视频背景替换数据并发布最大评测基准。

前置知识

扩散模型与视频扩散

通过逐步去噪过程生成数据的一类生成模型，视频扩散（如 Wan2.1/2.2、Stable Video Diffusion）在 UNet 或 DiT 架构上以 3D 时空卷积或时空注意力建模帧间一致性，支持文生视频（T2V）、图生视频（I2V）和控制视频生成（ControlNet 类）。

本文的最终视频合成、I2V 背景动画、控制信号注入都建立在视频扩散模型之上，理解其条件控制机制是读懂 Sparkle 流水线的前提。

指令引导编辑 (Instruction-Guided Editing)

用户用自然语言给出编辑意图，由模型直接生成符合指令的视觉结果，无需提供 mask、深度图等显式条件；代表性图像模型有 Qwen-Image-Edit、FLUX Kontext，视频模型有 Kiwi-Edit、UniVideo 等。

Sparkle 解决的问题——自然语言驱动的视频背景替换——正是该范式在视频领域落地困难的具体表现，理解指令与编辑结果之间的对齐难度是本文动机的基础。

SAM/Grounded SAM 系列分割跟踪

Segment Anything Model (SAM) 通过提示（点、框、mask）输出高质量分割；Grounded SAM 在此基础上叠加开放词汇检测器实现文本驱动的目标定位；SAM3 则将跟踪能力扩展到视频，可基于初始框对整段视频做前向后向传播得到时序 mask。

Sparkle 的 BAIT 算法核心就是利用 SAM3 做多次独立跟踪，再通过像素投票融合，这是其相对于 OpenVE-3M 单次跟踪的关键升级。

控制信号 (Canny/Depth) 与 ControlNet

ControlNet 类方法将 Canny 边缘、深度、法线等结构化信号作为额外条件注入扩散模型，使生成内容严格遵循控制图的空间结构；本文使用 Canny 边缘作为视频控制信号，引导前景与背景的时空布局。

Sparkle 提出解耦前景/背景 Canny 是其方法的核心创新，理解 ControlNet 类控制机制才能理解为何分别提取并拼接边缘能避免结构崩塌。

研究动机

指令引导视频背景替换被现有开源数据严重拖垮。OpenVE-3M 是当前唯一显式支持该任务的大规模开源数据集，但其 I2I+I2V 流水线把背景替换后的首帧直接喂给 Wan2.1-Fun-V1.1-14B-Control，仅用单次 Grounded SAM2 跟踪得到的前景 Canny 边缘作为控制信号，导致两大顽疾：第一，缺乏显式的背景引导，模型倾向于忽略背景动态，常出现静态不自然的背景，更严重时发生结构崩塌——背景糊成一片；第二，没有严格的质量过滤，编辑首帧常常与 prompt 不对齐，例如要求海鸥飞过却没有海鸥、要求窗帘飘动却没有窗帘。作者评测发现基线模型 OpenVE-Edit、Kiwi-Edit 在 Gemini-2.5-Pro 严苛打分下总分均低于 2.5/5.0，说明该数据质量已不足以支撑下游学习。

本文的目标是本文目标是为指令引导视频背景替换构建一套端到端的高质量数据合成管线，并配套发布 Sparkle 数据集（≈14 万段视频对，覆盖 Location/Season/Time/Style/OpenVE-3M 五大主题、22 个子主题、约 100 个场景）、Sparkle-Bench 评测基准（458 段视频、97 个场景、6 维细粒度评分协议）以及衍生模型 Kiwi-Sparkle，使背景替换具备真实的动态感与和谐的前后景融合。

与已有工作不同的是，切入点是与 OpenVE-3M 完全不同的解耦生成范式：先把前景与背景在数据合成阶段彻底分离，让 I2V 模型在「无前景干扰」的纯净背景图上独立生成富有动态的视频，再用 BAIT 算法做高精度的前景跟踪；最终合成阶段，将前景 Canny 与背景 Canny 在空间上拼接后送入控制模型，实现前后景解耦引导。文章刻意不在模型架构上做改动，仅在数据端发力，以纯粹数据驱动证明质量提升的可归因性，并通过 EditScore $\mathcal{E}(v) \geq \tau$ 在每一阶段形成质量反馈环。

核心方法

Sparkle 的方法思路可以用「先拆开、再拼回去」概括。直觉上，现有问题源于控制信号只有前景 Canny，背景在生成时缺乏方向感；因此流水线第一步是从源头把摄像机运动的视频筛掉（让前景背景可分离），第二步对首帧做图像级背景替换得到参考帧，第三步用 VLM 找出前景、把它从首帧抠掉得到纯净背景图，再用 I2V 模型独立生成背景视频，第四步用 BAIT 算法对前景做精确时序跟踪，第五步把前景 Canny 与背景 Canny 在空间上合成 decoupled Canny 视频，连同编辑后的首帧送入 Wan2.2-Fun-A14B-Control 重新生成完整视频，全程用 EditScore 做质量门控。

核心创新有二。一是「解耦生成」：放弃 OpenVE-3M 直接从复合首帧生成视频的混合生成范式，转而把前景/背景在数据合成阶段彻底拆开，分别生成独立的高质量 Canny 控制信号，从根源上解决「背景结构崩塌」与「背景静态不自然」；二是「BAIT 跟踪」：针对单次跟踪的实体丢失与噪声瑕疵，采用 VLM 抽帧定位 + SAM3 多次独立前向后向跟踪 + 像素投票共识的方案，用多锚点投票替代单点初始化，显著提升前景 mask 的时空一致性。

方法步骤详情

五阶段流水线：(1) 固定机位筛选：Unimatch 光流粗筛 + Qwen3-VL-32B 精筛，把 94 万段缩至 22.4 万；(2) 初步背景替换：FLUX.2-klein-9B 替换首帧，EditScore $\geq 8$ 过滤；(3) 独立背景生成：Qwen3-VL-32B 定位前景 → FLUX.2-klein-9B 抹除得纯净背景图（EditScore $\geq 8.5$）→ Wan2.2-I2V-A14B（四步蒸馏版）动画化；(4) BAIT 跟踪：Qwen3-VL-32B 在 2FPS 帧输出锚框 → SAM3 做 $N$ 次独立前后向跟踪 → 像素投票取多数；(5) 解耦合成：Lineart 提取双路 Canny，按 mask 拼接为混合控制信号，送入 Wan2.2-Fun-A14B-Control 重生成，4 帧 EditScore 均值 $\geq 8$。

技术新颖性

新颖性体现在数据范式、跟踪算法与评测协议三层面。数据上首次将「解耦生成」引入视频编辑合成，把背景生成从「跟着前景走」变成「独立活起来」，让 EditScore 在每一步形成质量反馈环；跟踪上首次提出基于 VLM 多锚点 + 像素投票的高精度跟踪方案，在公开文献中较少见到对 SAM3 时序跟踪稳定性问题的针对性修复；评测上把单维度 Instruction Compliance 拆为 6 个维度（Instruction Compliance、Overall Visual Quality、Foreground Integrity、Foreground Motion Consistency、Background Dynamics、Background Visual Quality），并规定后 5 维得分不高于 Instruction Compliance 以防止「分数 hack」，是当前公开的最大背景替换基准。

**Figure 2**: The Sparkle data pipeline.

**Figure 3**: Visual comparison between single-frame tracking and our BAIT.

**Figure 4**: Sparkle statistical distribution.

实验结果

三方面证据：数据质量（Table 2）Sparkle 在 OpenVE-3M 子集平均分从 3.09 升至 3.71（+20%），Consistency 提升最大（+24%~+31%）；合成方式消融（Table 5）解耦重生成在 Time 主题 VQ 由 1.77→3.80（+115%），证伪贴图方案；控制信号消融（Table 6）FG-Only 已+10%，叠加 BG 后再+10%~17%；下游模型 Kiwi-Sparkle 在 OpenVE-Bench 总分 3.29，超过 13B 的 UniVideo (2.74)；在 Sparkle-Bench 3.81，大幅领先 Lucy-Edit-1.1 (2.74)，尤其 Background Dynamics 3.54 vs KiWi-Edit 1.57，完美对应「让背景活起来」的核心卖点。

**Table 1**: Statistics of Sparkle-Bench.

**Table 3**: Scores for the background replacement task on OpenVE-Bench.

**Table 5**: Comparison between Copy-and-Paste and Decoupled paradigms.

**Table 7**: Generalizability: Kiwi-Edit trained on different Sparkle corpus.

查看结构化数据

任务	指标	本文	基线	提升
视频背景替换 (OpenVE-Bench)	Overall Score (1-5)	3.29	Kiwi-Edit 2.58; UniVideo 2.74	+0.71 / +0.55 (相对最强基线 +28%)
视频背景替换 (OpenVE-Bench)	Instruction Compliance	3.51	Kiwi-Edit 2.81; UniVideo 3.12	+0.70 / +0.39
视频背景替换 (Sparkle-Bench)	Overall Score (1-5)	3.81	Kiwi-Edit 2.54; Lucy-Edit-1.1 2.74	+1.27 / +1.07
视频背景替换 (Sparkle-Bench)	Background Dynamics	3.54	Kiwi-Edit 1.57; Lucy-Edit-1.1 2.46	+1.97 / +1.08
数据质量对比 (OpenVE-3M 子集)	Average Score	3.71	OpenVE-3M 3.09	+0.62 (+20%)
解耦 vs 复制粘贴合成 (Time 主题)	Visual Quality	3.80	Copy-and-Paste 1.77	+2.03 (+115%)

局限与改进

作者明确指出的限制：固定机位假设——Sparkle 全流程限定在静态相机视频，目前开源模型尚无法把编辑后视频的相机运动与原视频对齐，因此含相机运动的场景被 Stage 1 直接剔除，这限制了数据集向更丰富的视频类型扩展；Style 主题收率较低——Style 要求前景完全不动只改背景风格，对现有生成模型是更难的约束，导致该主题合格视频数较少；Style 主题指标相对其他主题略低（如 Instruction Compliance 3.85 vs Location 4.09），说明该方向的训练数据仍有提升空间。此外，根据结果可观察到的隐含限制：依赖 EditScore 作为质量门控在每一阶段形成反馈环，但 EditScore 本身可能与最终人类审美存在偏差，存在「指标过拟合」的风险；评测依赖 Gemini-2.5-Pro，虽然该模型视频理解能力强，但仍是单一 VLM 打分，缺乏人类主观评测的交叉验证。

独立分析的弱点

四点可改进之处：(1) Stage 3 用四步蒸馏版 Wan2.2-I2V 加速，背景质量上限受限于蒸馏模型，且 14 万段每段一次 I2V 推理算力开销大，可考虑视频聚类后批量复用控制信号；(2) BAIT 需运行 $N$ 次独立跟踪，推理时间与显存随采样帧数线性增长，长视频不友好，可改用共享 backbone 多 query 跟踪或稀疏锚点 + 光流传播；(3) 固定机位强假设限制数据多样性，需引入相机位姿估计与新视角合成；(4) EditScore 阈值（8.0/8.5/8.0）依赖经验，可能过度剔除 Style 等难主题，可引入分主题自适应阈值或贝叶斯估计。

未来方向

作者在结论中暗示了下一步方向：把解耦范式推广到含相机运动的视频场景；扩展 Sparkle-Bench 至更长时长、更高分辨率（当前 720P/81 帧为主）；把 BAIT 算法泛化至多目标场景，做通用视频目标编辑基础设施。基于本文成果还可以延伸若干方向：一是把 Sparkle 的数据生成范式与 RLHF/RLAIF 结合，用人类偏好替代 EditScore 解决「指标过拟合」；二是把 BAIT 的多锚点投票思路迁移到视频目标跟踪通用基准，验证其对遮挡、相似物的鲁棒性；三是把 Sparkle 数据用于训练文生视频模型本身的预训练阶段（而非仅 SFT），探索数据质量对底座能力的影响；四是把解耦范式拓展到含特效、粒子等动态前景的视频编辑中。

复现评估

复现友好度较高。作者承诺在 https://showlab.github.io/Sparkle/ 开源 Sparkle 数据集、Sparkle-Bench 评测与 Kiwi-Sparkle 模型权重，并详细公开五阶段流水线、依赖模型清单（FLUX.2-klein-9B、Wan2.1/2.2-Fun-A14B-Control、Wan2.2-I2V-A14B、Qwen3-VL-32B、Gemini-2.5-Pro、SAM3、EditScore）以及微调配置（10K 步、batch=128，$\text{lr}$ 与硬件沿用官方仓库）。复现难点有三：依赖闭源商用模型与 Gemini 评测 API；14 万段视频生成算力巨大；SAM3/EditScore 具体版本未完全展开。综合来看全量复现难，但小规模（千段级）按流程跑通是可行的。

Sparkle：通过解耦引导实现生动的指令引导视频背景替换 Sparkle: Realizing Lively Instruction-Guided Video Background Replacement via Decoupled Guidance