VOID：视频对象与交互删除

用物理因果推理实现视频对象及其交互的真实移除

前置知识

视频对象移除

从视频中删除指定对象并填补空白的计算机视觉任务，传统方法关注像素级修复和外观伪影（如阴影、反射）的消除，但忽略了对象之间的物理交互效应，如碰撞、支撑关系等动态因果关系。

这是本文的核心任务，理解当前方法的局限性（只能处理外观效应）是理解本文创新点（处理物理交互）的关键。

扩散模型

一类生成模型，通过逐步去噪从随机噪声生成高质量数据。在视频领域，扩散模型通过在潜空间进行时间上的一致去噪来生成连贯的视频序列，是当前视频生成和编辑的主流方法。

VOID 基于 CogVideoX 扩散变换器架构，理解扩散模型的工作原理有助于理解本文的训练策略和推理流程。

反事实推理

因果推理的核心概念，回答如果某个条件发生变化会发生什么。在视频编辑中，反事实推理意味着：如果移除某个对象，场景会如何演变为与现实不同的合理替代结果。

本文的核心创新就是生成物理一致的反事实视频，理解这个概念有助于理解为什么传统方法失败而VOID成功。

视觉语言模型

能同时理解和处理图像/视频与文本的多模态大模型，具备丰富的世界知识和语义理解能力，可以识别视频中的对象、关系、交互和物理场景。

VOID 在推理时使用 VLM 识别受影响区域并生成 quadmask，VLM 的高层世界知识是模型实现物理推理的关键组件。

研究动机

现有视频对象移除方法存在根本性局限。以多米诺骨牌场景为例，当用视频修复模型移除中间的骨牌时，后续骨牌继续倒塌，这在物理上是不可能的。当前方法擅长处理外观级别的人工伪影如阴影和反射，但当移除的对象有更重要的交互（如碰撞、支撑、推动）时，模型无法修正这些交互。论文指出，这种失败是因为现有方法仅依赖低级视觉特征进行空间空洞填充，而无法模拟对象在缺失情况下场景会如何演化的反事实推理。

本文的目标是本文的目标是构建一个能够进行物理合理修复的视频对象移除框架 VOID，不仅要移除指定对象，还要建模其移除对场景中其他对象的影响。具体而言，框架需要：(i) 消除目标对象，(ii) 通过可能复杂的关系重新生成受影响区域，(iii) 保留未受影响区域。这要求模型首先想象如果对象被移除会发生什么，然后合成现实的视频答案。

与已有工作不同的是，本文的独特切入角度是将视频对象移除从简单的层分离任务扩展到动态的反事实重写任务。与现有的视频分解方法（如 Omnimatte 系列关注阴影、反射等外观效应）不同，本文专门针对需要因果推理的物理交互场景。核心创新在于引入 VLM 引导的四掩码（quadmask）机制、使用物理模拟引擎生成反事实训练数据，以及两阶段推理策略来处理对象变形问题。这使得模型不仅是移除对象和其效果，而是正确模拟世界通过高级因果推理来生成反事实场景。

核心方法

VOID 框架的整体思路是结合物理模拟数据、四掩码条件训练和 VLM 引导推理来实现物理一致的视频对象移除。从直觉上讲，当移除一个对象时，我们需要推理它如何影响其他对象（如支撑的东西会掉落，被阻挡的东西会继续运动），然后生成相应的反事实视频。技术路线上，模型首先使用 Kubric 和 HUMOTO 生成反事实视频对作为训练数据，然后提出 quadmask 扩展了传统的 trimask，增加了第四种颜色表示对象与受影响区域的重叠。推理时，VLM 识别受影响区域并生成 quadmask，模型通过两阶段流程生成反事实轨迹并使用流对齐噪声稳定变形。

核心创新点在于三个层面的突破：数据层面，首次生成包含物理交互反事实的配对数据集，使用 Kubric 模拟引擎和 HUMOTO 人体动作捕捉数据创建移除对象需要改变下游物理交互的视频对；训练层面，提出 quadmask 条件机制，相比 trimask 增加深灰色区域表示对象与受影响区域的重叠，以及视频外观细化器在第二阶段去除伪影；推理层面，使用 VLM 识别场景中受移除对象影响的区域，将这些区域用于引导视频扩散模型生成物理一致的反事实结果。这些改进使模型从层分离模型转变为动态反事实重写模型。

方法步骤详情

方法步骤包括三个主要阶段：数据准备、模型训练和推理。在数据准备阶段，使用 Kubric 刚体动力学模拟生成约1900个视频对，通过采样多个物体的初始条件并模拟交互，然后定义一个或多个对象为移除目标，通过保持其他对象初始条件不变并重新模拟来创建反事实视频。使用 HUMOTO 人体动作捕捉数据生成约4500个视频对，通过带有人体和不带人体的两次渲染来教学体移除。在模型训练阶段，从 Generative Omnimatte 初始化 CogVideoX 扩散变换器骨干，使用 quadmask 条件在反事实视频对上微调。第一阶段生成初始反事实预测 $\hat{V}_{p1} = ext{VOID}(z, V, M_q)$，其中 $z \sim \mathcal{N}(0, I)$ 是高斯扩散噪声。在推理阶段，用户提供输入视频 $V = \{I_t\}_{t=1}^T$ 和识别目标对象的掩码序列 $M_o = \{m_t\}_{t=1}^T$。VLM 识别受移除对象影响的区域描述列表，使用 Segment Anything 3 获取覆盖列表中所有对象的掩码 $M_{orig}^{a}$，然后将 $M_{orig}^{a}$ 输入 VLM 预测反事实场景中这些对象的位置掩码序列，得到块结构掩码 $M_{counter}^{a}$。组合得到最终受影响区域掩码 $M_a := M_{orig}^{a} \lor M_{counter}^{a}$，通过设置 quadmask $M_q$：仅在 $M_o$ 中的像素为黑色；$M_o$ 和 $M_a$ 重叠的像素为深灰色；仅在 $M_a$ 中的像素为浅灰色；其他地方为白色。当 VLM 检测到对象移除导致显著动态重配置时，触发第二阶段使用流对齐噪声：$\hat{V} = ext{VOID}_{ ext{warp}}(z_{ ext{warp}}, V, M_q)$。

技术新颖性

技术新颖性体现在多个方面。数据方面，这是第一个专门针对物理交互反事实的视频数据集，使用真实物理模拟引擎生成训练数据，提供了前所未有的因果监督信号。掩码机制方面，quadmask 扩展了 trimask 的三元设置为四元，明确表示对象与受影响区域的重叠，解决了 trimask 的两个歧义问题（浅灰色区域过大、对象与受影响区域重叠时的分类模糊）。推理流程方面，引入 VLM 进行场景分析，利用其世界知识扩展简单对象掩码为更丰富的像素空间指导。第二阶段流对齐噪声借鉴 Go-with-the-Flow，使用第一阶段预测运动轨迹的光流场生成时域相关噪声，鼓励扩散模型沿这些轨迹一致去噪。这使得 VOID 不仅是移除对象，而是应用高级推理和来自 VLM 的世界知识以及底层视频扩散模型到视频编辑。

**Figure 2**: Counterfactual supervision examples.

**Figure 3**: Void: Interaction-Aware Counterfactual Video Generation.

**Figure 4**: Frames from generated videos featuring a guitar entering free-fall and a thrown ball following a new trajectory.

实验结果

论文在两个数据集上进行了测试：75个真实世界视频涉及物体操作、支撑移除、碰撞、铰接交互和阴影/反射移除；30个合成视频结合现有的合成对象移除数据集。在真实世界数据上，VOID 在用户偏好研究中被选中64.8%的时间，显著优于所有基线，包括商业 Runway 模型。VLM-as-a-judge 评估显示，VOID 在三个法官（Gemini 3 Pro、GPT-5.2 和 Qwen 3.5-32B）上都获得最高总分，最强的增益出现在交互与物理维度。在合成数据集上，VOID 在 PSNR、DreamSim、DINOv2、FVD 和 VLM-Judge 五个指标上达到最佳性能，FVD 为260.31显著优于次优的 ROSE 480.18。泛化能力方面，VOID 展示了令人惊讶的泛化到未见过的效应的能力：当移除持气球的人时，气球向上漂浮，尽管训练数据中没有漂浮物体；当移除开搅拌机的人时，搅拌机内的食物停止运动，尽管训练数据中没有电器设备。这些外推表明 VOID 不仅从训练数据中回忆简单视觉线索，而是应用来自 VLM 和底层视频扩散模型的高级推理和世界知识。消融研究表明，混合 Kubric 和 HUMOTO 数据比单独使用任一数据集更好，即使保持数据集大小不变，quadmask 策略也优于 trimask。

**Table 1**: Human preferences on real-world edits.

**Table 2**: VLM-as-a-judge evaluation on real-world videos.

**Table 3**: Synthetic benchmark evaluation on 10 classic shadow/reflection removal cases and 30 dynamic interaction cases.

**Table 4**: Ablation study evaluated by VLM judge on 75 real-world test cases.

**Table 5**: VLM-judge evaluation on 75 real-world videos when Void uses different VLMs for mask generation during inference.

**Table 6**: Per-category average scores across the 10 samples that are selected by the VLM for pass 2 refinement.

**Table 7**: Metrics calculated for the example shown in Figure 9.

**Figure 5**: Qualitative comparisons on real-world videos.

**Figure 6**: Generalization on various object interactions.

查看结构化数据

任务	指标	本文	基线	提升
真实世界视频对象移除偏好研究	用户选择率	64.8%	Runway 18.4%	+46.4个百分点
真实世界视频 VLM-Judge 总分	总分 (0-30)	26.13	Runway 25.05	+1.08
真实世界视频交互与物理得分	分数 (0-5)	3.66	Runway 2.61	+1.05
合成数据集 FVD	FVD 分数（越低越好）	260.31	Gen-Omni 437.88	-177.57
合成数据集 VLM-Judge	总分 (0-30)	25.10	Gen-Omni 20.40	+4.70

局限与改进

作者承认的局限性包括：测试视频相机角度异常或距离对象太近时仍存在领域差距；生成的视频长度仍在几秒范围内，分辨率有待进一步提高。从论文中还可以观察到一些潜在局限：VLM 引导的推理增加了计算复杂度和延迟；两阶段流程在75个真实世界测试视频中只有10个触发第二阶段，说明多数场景不需要变形稳定；依赖物理模拟引擎生成训练数据可能限制了真实世界场景的多样性；方法在处理非常复杂的铰接交互（如多关节机器人）时的表现尚不明确；没有评估方法在极端情况（如快速运动、剧烈光照变化）下的鲁棒性。

独立分析的弱点

独立分析的弱点包括：第一，VLM 引导的 quadmask 生成依赖于 VLM 的世界知识，如果 VLM 对特定物理场景理解不足（如非常规的物理定律或专业设备），生成的掩码可能不准确，导致修复失败。改进方向可以是集成多个 VLM 的集成投票或引入物理引擎的模拟验证。第二，两阶段推理增加了计算开销，第一阶段的变形问题可能在生成更长的视频时更严重，改进方向可以是设计更强的时域一致性约束或使用更大的骨干模型。第三，依赖物理模拟引擎生成训练数据虽然提供了准确的因果监督，但可能无法覆盖所有真实世界的复杂交互，改进方向可以是从真实视频中挖掘反事实对或使用强化学习从演示中学习物理规则。第四，当前方法专注于对象移除，扩展到对象替换或插入需要进一步研究，改进方向可以是引入对象级的编辑操作和属性控制。

未来方向

作者提出的未来工作方向包括获取比渲染引擎更好的训练数据集、改进生成的视频长度和分辨率。基于本文成果可以延伸的方向包括：将 VLM 引导的物理推理扩展到其他视频编辑任务，如对象替换、场景重组、动作修改；研究如何从更少的模拟数据学习更强的物理泛化，可能通过元学习或迁移学习；探索如何将VOID的因果推理能力集成到更广泛的视频生成和编辑框架中，使其成为通用世界模拟器的组件；研究如何评估和改进物理推理的真实性，可能需要开发新的物理一致性指标和数据集；探索如何降低VLM引导的计算成本，可能通过模型蒸馏或高效的注意力机制；研究如何处理更长、更高分辨率的视频，可能通过分层生成或时空分解策略。

复现评估

论文提供了项目网站 https://void-model.github.io，但没有明确说明代码和数据集的开放情况。训练数据使用 Kubric 和 HUMOTO 生成，这两个数据集本身是公开的，但论文中生成的具体反事实对是否公开尚不明确。模型基于 CogVideoX 5B 参数模型并从 Generative Omnimatte 初始化，这些权重是公开的，但需要一定的计算资源进行微调。推理时使用 Gemini 3 Pro、GPT-5.2 和 Qwen 3.5 VL 作为 VLM，这些都是商业或大型开源模型，需要相应的 API 访问或计算资源。总体而言，复现需要一定的技术难度和计算资源，特别是重新生成训练数据集和微调大型扩散模型。论文提供了详细的实验设置和超参数信息，但如果没有代码和数据集的完整发布，复现会比较困难。

VOID：视频对象与交互删除 VOID: Video Object and Interaction Deletion