PISCO：基于稀疏控制的精确视频实例插入 PISCO: Precise Video Instance Insertion with Sparse Control
提出视频扩散模型PISCO，用稀疏关键帧控制实现精确的视频物体插入
前置知识
视频扩散模型
视频扩散模型是将图像扩散模型扩展到时间维度的生成模型，通过逐步去噪过程从高斯噪声生成视频。典型代表包括Wan、SVD等，它们通常使用预训练的时间视频VAE将像素空间压缩到潜空间，然后在潜空间进行扩散去噪。这类模型能够生成具有时间一致性的视频内容，但需要大量计算资源进行训练和推理。
PISCO基于Wan视频扩散骨干网络构建，理解视频扩散模型的基本原理是理解本文技术路线的前提
视频实例插入
视频实例插入是指将特定物体插入到现有视频中指定的时空位置，同时保持原始视频的场景完整性。与传统视频编辑不同，这要求精确的时空放置、物理一致的场景交互（如阴影和反射），以及对原始动态的忠实保真。这是一个比视频修复或风格迁移更具挑战性的任务。
这是本文要解决的核心任务，理解任务定义和要求对于评估方法的创新性至关重要
时间视频VAE
时间视频VAE是专门设计用于处理视频数据的变分自编码器，它在时间维度上进行压缩（通常压缩因子 $C_t$ 为4倍）。典型架构如Wan-VAE使用3D卷积在时空维度上进行编码和解码。这类VAE能够学习视频的时间动态特征，但对输入分布敏感，当接收到分布外的输入（如缺失帧的零填充）时会产生伪影。
DPTM技术的核心动机就是解决稀疏条件下时间VAE的分布偏移问题
条件引导
条件引导是指在生成模型中引入额外信息来控制输出。在视频编辑中，条件可以是参考图像、掩码、深度图、文本提示等。PISCO使用多通道条件包括实例RGB、掩码、深度和可用性信号，通过VACE上下文适配器注入到扩散模型中。
理解条件引导机制是理解PISCO如何实现稀疏关键帧控制的关键
分布偏移
分布偏移是指模型在推理时遇到的输入数据分布与训练时不同，导致输出质量下降。在PISCO中，当使用稀疏条件（如仅提供首末帧）时，缺失帧的处理方式会影响时间VAE的输入分布，产生闪烁、变色等时序伪影。这是稀疏控制视频生成的核心挑战之一。
PISCO提出的DPTM正是为了解决稀疏条件下的分布偏移问题
研究动机
现有视频编辑方法在处理精确实例插入任务时存在根本性缺陷。视频修复方法（如CoCoCo、VideoPainter）需要每帧密集的分割标注，获取动态物体的逐帧掩码劳动密集且不实用，且其复制填充的本质限制了对周围场景进行物理一致调整的能力。参考引导的视频编辑方法（如UniVideo、VACE）缺乏细粒度的时空可控性，难以精确指定物体放置位置和时间。Agent式流水线（图像编辑+I2V生成）虽然灵活，但丢弃了原始视频的大部分时间信息，常导致背景漂移和场景动态破坏。几何重建方法（如InsertAnywhere）计算开销大、依赖脆弱的几何线索，对复杂运动的泛化能力差。在PISCO-Bench基准测试中，最强基线VACE在首末帧控制下的全视频FVD为371，LPIPS为0.103，仍存在显著改进空间。
本文的目标是本文的目标是开发一个能够实现精确视频实例插入的视频扩散框架PISCO，允许用户仅提供稀疏的关键帧实例条件（如单帧、首末帧或任意时间戳的稀疏关键帧），自动传播物体外观、运动和交互。具体而言，PISCO需要满足五个核心要求：实例级可控性、物理合理的时间传播、物理一致的场景适应、背景动态的忠实保真，以及低用户交互成本。在定量评估中，PISCO旨在显著超越现有最强基线，同时展示随着控制信号增加的单调性能提升。
与已有工作不同的是，PISCO的独特切入角度在于将稀疏控制与视频扩散模型结合，而非依赖密集标注或几何重建。与现有方法不同，PISCO创新性地提出了三个互补机制：Variable-Information Guidance通过动态上下文丢弃确保模型在不同稀疏程度下的鲁棒性；Distribution-Preserving Temporal Masking通过像素空间插值和token空间掩码的解耦解决时间VAE的分布偏移；几何感知条件提供深度排序和遮挡推理。这种设计使得PISCO能够在最小化用户标注成本的同时，保持专业级的视频编辑质量，填补了稀疏控制视频实例插入领域的空白。
核心方法
PISCO的整体思路是构建一个条件视频扩散模型，通过稀疏关键帧控制实现精确的视频实例插入。直觉上，用户只需提供少量的实例分割帧（如首帧或首末帧），模型应该能够自动推断物体在整个视频中的外观、运动和场景交互。技术路线基于Wan视频扩散骨干网络，使用VACE上下文适配器注入多通道条件信号。为了解决稀疏条件带来的挑战，PISCO引入了三个核心机制：VIG通过训练时的动态上下文丢弃增强模型对不同稀疏程度的适应性；DPTM通过像素空间最近帧插值和token空间掩码保持时间VAE的输入分布；几何感知条件通过深度信号和模态补全增强物理合理性。整个框架支持从单帧到密集逐帧监督的灵活用户输入，并通过分阶段训练策略逐步提升模型能力。
PISCO的核心创新在于将稀疏控制问题解耦为分布保持和信息掩码两个子问题。与现有方法直接在像素空间用零填充缺失帧不同，PISCO的DPTM先在像素空间进行最近帧插值以保持自然视频统计特性，然后在token空间显式掩码未观察帧对应的token。这种解耦设计的关键优势是：像素空间插值确保时间VAE接收到分布内输入，避免闪烁和变色；token空间掩码使模型能够区分有效信号和插值填充，加速收敛。此外，VIG的混合采样策略覆盖了从极稀疏（单帧）到密集监督的完整谱系，使模型能够学习在稀疏条件下利用背景上下文推断合理运动，同时在密集条件下防止身份漂移。这与现有方法只能处理单一稀疏程度形成本质区别。
方法步骤详情
PISCO的方法步骤包括数据准备、模型架构和分阶段训练三个阶段。数据准备阶段：从ROSE、VPData、MOSE、DAVIS等数据集收集16,642个视频片段，使用实例移除模型生成配对的背景视频，使用Depth Anything V3计算深度图，并通过LoRA微调的图像编辑模型构建模态补全数据。模型架构：基于Wan2.1-VACE-1.3B或Wan2.2-VACE-Fun-A14B骨干，修改VACE适配器的首个线性层以支持多通道输入（实例RGB、掩码、深度、可用性信号），可用性掩码 $A \in \{0,1\}^{T \times H \times W}$ 标记哪些帧有用户输入。分阶段训练：Stage I仅训练适配器输入层进行预热；Stage II微调整个VACE适配器；Stage III联合微调适配器和扩散骨干；Stage IV引入模态补全和重光照增强，使用LoRA继续训练；Stage V扩展到1280x720分辨率和120帧。训练使用AdamW优化器，在NVIDIA H100 GPU上进行。
技术新颖性
PISCO的技术新颖性体现在多个层面。首先，VIG是首个将动态上下文丢弃应用于视频实例插入的训练策略，通过从 $p_\gamma(A)$ 采样可用性掩码，使模型同时学习在稀疏和密集条件下的生成能力，这与固定条件的传统方法不同。其次，DPTM提出了一种全新的分布保持范式：通过将时间窗口 $C_t$ 移入通道维度，将二值帧级可用性掩码 $A \in \{0,1\}^{T \times H \times W}$ 变换为 $A' \in \mathbb{R}^{C_t \times T' \times H' \times W'}$，实现token内的精细可观测性模式，这种设计在现有文献中尚属首次。第三，模态补全增强通过对训练时被遮挡的实例进行补全生成伪模态输入，迫使模型学习基于深度线索的合成逻辑，这种训练-推理域对齐策略在视频编辑领域是创新的。最后，重光照增强使用IC-Light生成随机光照条件下的实例变体，改善光照兼容性同时保持关键帧外观可控性。
实验结果
PISCO在PISCO-Bench基准测试中展现出卓越性能，显著超越所有基线方法。在参考评估中，PISCO-14B（首末帧控制）将全视频FVD从VACE的371降至204，提升45%；LPIPS从0.103降至0.097，提升6%；PSNR从25.55提升至26.58。在前景评估中，PISCO-14B（首末帧）的前景FVD仅为138（VACE为273），前景LPIPS为0.022，均大幅领先。令人印象深刻的是，即使只有1.3B参数，PISCO-1.3B（首末帧）的全视频FVD（269）也优于14B的VACE（371），凸显了方法的有效性。在参考无关评估（VBench）中，PISCO-14B（首末帧）的主题一致性达到91.57（VACE为90.29），美学质量50.08（VACE为48.69）。五帧设置进一步提升性能：PISCO-14B全视频FVD降至136，前景LPIPS降至0.015，主题一致性提升至91.98，验证了方法随控制信号增加的单调提升能力。定性比较显示，Agent式流水线严重破坏背景一致性，修复模型生成模糊或错误物体，V2V模型（如UniVideo）出现透视错误或丢失目标实例。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视频实例插入（首末帧控制） | 全视频FVD | PISCO-14B: 204 | VACE-14B: 371 | 降低45%，相对提升167点 |
| 视频实例插入（首末帧控制） | 全视频LPIPS | PISCO-14B: 0.097 | VACE-14B: 0.103 | 降低6% |
| 视频实例插入（首末帧控制） | 前景FVD | PISCO-14B: 138 | VACE-14B: 273 | 降低49%，相对提升135点 |
| 视频实例插入（首末帧控制） | 主题一致性 | PISCO-14B: 91.57 | VACE-14B: 90.29 | 提升1.28点 |
| 视频实例插入（五帧控制） | 全视频FVD | PISCO-14B: 136 | VACE-14B (2帧): 371 | 降低63%，额外控制帧带来显著提升 |
局限与改进
尽管PISCO取得了显著成果，但仍存在若干局限性。首先，在仅首帧控制下，轨迹可能随时间轻微漂移，这表明稀疏控制的固有模糊性仍未完全解决。其次，实验在832x480分辨率和49帧的固定设置下进行，虽然Stage V扩展到1280x720和120帧，但未提供更高分辨率或更长视频的定量评估。第三，PISCO-Bench仅包含100个视频，场景覆盖可能不足以代表真实世界的全部多样性。第四，方法依赖预训练的实例移除模型生成配对训练数据，数据质量受限于该模型的性能。第五，重光照增强使用IC-Light生成随机光照变体，但未评估对极端光照条件的泛化能力。此外，虽然PISCO支持多种控制模式，但未深入分析不同控制组合（如仅首帧、首末帧、五帧）之间的最优选择策略。计算效率方面，14B模型需要大量GPU资源，可能限制实际部署。
独立分析的弱点
PISCO的弱点主要集中在以下几个方面。首先，DPTM的像素空间最近帧插值是一种简单的启发式方法，对于快速运动或遮挡严重的场景，最近帧可能不是最佳填充，改进方向可以探索基于光流的插值或学习的帧补全网络。其次，VIG的混合采样策略虽然覆盖了不同稀疏程度，但未考虑用户控制的语义重要性（如关键转折帧），可以引入自适应采样策略。第三，模态补全增强依赖预训练的图像编辑模型，可能引入补全伪影，改进方向包括端到端学习补全模块或使用3D感知的补全方法。第四，深度条件依赖Depth Anything V3的估计质量，对透明、反光等材质可能不准确，可以探索多模态深度估计或不确定性建模。最后，PISCO未处理实例与背景的语义一致性（如插入的物体是否符合场景逻辑），可以引入语义约束或场景理解模块。
未来方向
PISCO的未来研究方向广阔。作者提出PISCO可扩展到背景更改、实例重定位、速度更改、实例缩放和动态模拟等更广泛的应用场景。基于现有成果，可以进一步探索：（1）交互式控制界面，允许用户实时调整控制点并观察效果；（2）多实例同时插入，处理实例间的交互和遮挡；（3）视频到视频的实例迁移，将一个视频中的实例动态应用到另一个视频；（4）与大型语言模型集成，实现文本驱动的实例选择和放置；（5）实时或近实时推理，通过模型压缩或蒸馏技术降低计算成本；（6）扩展到3D或4D场景理解，实现更精确的几何推理；（7）无监督或自监督训练范式，减少对配对数据的依赖。
复现评估
PISCO的复现性评估需要考虑多个因素。在开源方面，论文提供了项目主页（https://xiangbogaobarry.github.io/PISCO/），但未明确说明代码和模型权重是否开源。数据方面，PISCO-Bench基于BURST数据集构建，包含100个经过人工验证的视频，数据来源公开可用，但配对的背景视频需要使用ROSE模型重新生成。算力要求较高：训练使用NVIDIA H100 GPU，PISCO-14B基于14B参数的Wan骨干，需要大量计算资源；推理需要50步扩散去噪，单个视频可能需要数分钟。复现难度中等偏高：需要掌握视频扩散模型训练、VACE适配器修改、多阶段训练策略等技术细节。建议复现者首先从1.3B模型开始，使用提供的训练配置逐步验证各组件效果。
论文图表
该图展示了PISCO的核心能力：给定干净的输入视频和少量用户提供的实例分割帧（在选定时间戳），PISCO能够插入具有连贯时间传播和物理效果的实例，同时保持原始背景动态。图中展示了首帧控制、首末帧控制等不同稀疏控制模式的效果。
这是论文的核心概念图，直观展示了PISCO要解决的问题和期望的效果，是理解整个工作的起点
该图展示了两种动态场景（A和B）中不同方法的定性比较：Agent式图像编辑+I2V严重破坏背景一致性；修复模型（CoCoCo、VideoPainter）生成模糊或错误物体；V2V模型（UniVideo、VACE）出现透视错误或丢失目标实例。PISCO在首帧控制和首末帧控制下都展现出优越的视觉保真度和时空对齐。
提供了各方法的直观对比，展示了PISCO在视觉质量上的优势，特别是稀疏控制下的表现