LooseControlVideo：使用空间阻滞实现导演级视频控制 LooseControlVideo: Directorial Video Control using Spatial Blocking
通过稀疏3D边界框实现精确的多对象视频生成与编辑控制
前置知识
Diffusion Transformer (DiT)
一种结合扩散模型和Transformer架构的生成模型，使用注意力机制处理长期时序依赖关系。DiT将传统的U-Net架构替换为Transformer，在视频生成中能够处理更长的时间上下文，实现更好的时序一致性。本文中的基础模型WAN 2.2就是一个DiT架构的视频生成模型。
本文基于WAN 2.2 DiT架构进行控制适配，理解DiT有助于理解为什么我们的控制信号可以通过VACE条件 pathway注入到模型中，以及模型如何处理时序信息。
ControlNet
一种在预训练扩散模型上添加控制网络的技术，通过零卷积层复制预训练模型的权重，使得控制网络能够学习额外的控制信号（如边缘图、深度图等）并注入到主模型中。ControlNet通过添加残差连接的方式，在不破坏原模型生成能力的前提下引入结构控制。
本文采用ControlNet风格的架构WAN-VACE，通过LoRA微调VACE模块实现控制。理解ControlNet有助于理解我们如何在不修改基础DiT架构的前提下添加3D边界框控制。
空间阻滞（Spatial Blocking）
源自电影制作和戏剧导演的专业术语，指在早期规划阶段使用简单的空间代理（如人体模型、纸片、3D立方体）来编排场景布局和运动轨迹。这种loose控制让导演专注于高层的编排（布局、运动路径和时机），而将具体的执行（物体姿势和变形）留给演员或艺术家。
这是本文的核心设计理念，通过类比专业电影制作流程，解释了为什么使用稀疏的3D边界框就能实现精确的视频控制。理解这个概念有助于理解本文将编排与变形解耦的设计思想。
归一化对象坐标空间（NOCS）
一种将3D物体表面的每个点映射到物体局部坐标归一化空间的技术。对于刚性物体，表面点在NOCS中的坐标是视角不变的，这使得模型可以从2D观测推断物体的3D姿态。传统NOCS使用固定颜色编码物体的局部坐标，形成类似法线图的彩色表示。
本文的DNOCS表示基于NOCS，但增加了深度调制。理解NOCS有助于理解我们如何通过颜色编码物体的方向信息，以及为什么这种表示对视角变化具有鲁棒性。
场景流（Scene Flow）
3D场景中每个点的运动向量场，是光流在3D空间的扩展。场景流估计需要同时获得2D光流和深度信息，通过Raft光流估计器和VideoDepthAnything深度估计器计算。场景流包含了物体在3D空间中的完整运动信息，可以分解为刚体运动和非刚性变形。
本文提出的评估指标（RMC、GMFA）基于场景流计算，用于衡量生成视频对控制信号的遵从性。理解场景流有助于理解这些评估指标的含义和计算方式。
研究动机
现有的视频扩散模型虽然在照片级真实感方面取得了显著进展，但在编排涉及复杂时空同步和多对象交互的叙事场景方面仍然存在重大挑战。这些模型往往缺乏编排特定物理事件所需的导演级控制，导致生成能力和创作意图之间存在显著差距。现有控制模态呈现了艰难的权衡：自然语言对于描述精确的空间轨迹来说过于不精确，而密集的视频信号（如逐帧深度或边缘图）对于动态场景（特别是涉及可变形物体）来说几乎不可能由用户手动创建。例如，要求用户提供一只鹰俯冲捕捉兔子的逐帧深度序列——捕捉每一次翅膀拍打和骨骼收缩——是一个不切实际的前提条件。深度引导等结构指导混淆了两个不同的控制轴：（i）场景中相机和物体的布局、运动和交互；（ii）从这些交互产生的细粒度物体姿势和变形。
本文的目标是本文的目标是引入LooseControlVideo (LCV)，一种通过使用稀疏的定向3D边界框作为阻滞代理来实现直观且富有表现力控制的方法。这允许用户编排高层布局和轨迹，同时利用视频生成模型来生成真实的遮挡、动态和交互。我们希望用户只需提供由定向3D框组成的（稀疏）关键帧集合，从目标相机的视角渲染。本文还旨在实现局部细化——如调整跳跃轨迹或添加交互——同时最小化对全局场景上下文的干扰。
与已有工作不同的是，本文的独特切入角度是将专业电影制作中的阻滞阶段引入到视频生成领域。与现有方法不同，我们专注于将编排与局部变形解耦：用户只关注高层编排（布局、运动路径和时机），而我们的生成模型推断次要动态和真实变形（执行）。与2D中心方法（如2D边界框或光流）不同，我们引入了定向3D原语，结合了密集/稀疏关键帧的直观灵活性与宽松的3D场景阻滞，能够编排复杂的、变形的多对象事件。与需要完整3D绑定或密集跟踪的密集3D感知方法不同，我们展示了简单的定向3D框序列足以作为大规模视频生成器微调的几何先验，实现精确的运动控制。
核心方法
LooseControlVideo的整体思路是使用稀疏的定向3D边界框作为视频生成的控制信号，通过将这些3D框渲染为2D图像空间的条件信号，与基础视频模型（WAN 2.2 DiT）的操作域对齐。方法的直觉来源于专业电影制作中的阻滞阶段：导演使用简单的空间代理（如人体模型、3D立方体）来编排场景布局和运动，将高层编排与低层执行分离。技术路线包括四个关键组件：（1）DNOCS表示，一种混合颜色表示，联合编码局部方向和全局深度；（2）虚拟渲染设置，将3D定向框投影到2D图像平面；（3）自动训练数据管道，从野外视频数据集中提取时序跟踪的3D定向框；（4）基于ControlNet风格的训练策略，使用LoRA微调VACE模块。这种方法的关键洞察是提前渲染边界框，将几何投影步骤摊销，使深度排序、遮挡和透视线索显式化，而不是要求模型从抽象参数中推断它们。
本文的核心创新点是将稀疏的3D定向边界框渲染为2D控制信号（DNOCS），然后通过标准的条件pathway注入到视频扩散模型中。与直接将3D坐标参数编码为token的方法相比，我们的方法将控制信号与基础视频模型操作的2D图像域对齐。这种对齐使关键空间线索（如深度排序、遮挡关系和透视投影）直接在条件帧中可观察，而不是要求模型从抽象参数中推断它们。这大大减轻了学习负担，使控制更容易被利用。另一个关键创新是DNOCS表示，它结合了深度独立的颜色（编码局部方向）和深度相关的亮度（编码全局距离），在单个3通道信号中携带完整的6自由度信息。与2D中心方法相比，我们的定向3D原语能够捕捉完整的3D空间关系（包括方向和深度排序），同时保持了密集引导方法所缺乏的灵活性。
方法步骤详情
方法步骤的完整描述如下：（1）控制信号定义：用户提供定向3D边界框序列 := \{b_t\}_{t=1}^T$ 和相机序列 := \{c_t\}_{t=1}^T$。每个边界框由中心 \in \mathbb{R}^3$、尺度 \in \mathbb{R}^3$ 和旋转 \in SO(3)$ 参数化。（2）虚拟渲染：对于每个像素 $，使用相机内参 $ 和外参 $ 计算相机空间射线方向 (u, v) = (?rac{u-c_x}{f_x}, ?rac{v-c_y}{f_y}, 1)$。转换到世界空间 (u, v) = R_{wc}d_c(u, v)$，然后到边界框局部坐标 (u, v) = R_{bw}d_w(u, v)$，其中 {bw} = R_{wb}^ op$。（3）射线-边界框相交：使用标准slab测试计算相交参数 (u, v)$ 和局部表面点 (u, v) = o_b + t(u, v)d_b(u, v)$。（4）DNOCS渲染：计算表面单位方向 (u, v) = ?rac{p_b(u, v)}{\|p_b(u, v)\| + \epsilon}$，使用球形颜色轮映射为RGB颜色 $ ext{rgb}_{ ext{orient}}(u, v) = ext{unit\_sphere\_color}(n(u, v); L, a)$。计算归一化逆深度 (u, v) = ext{clamp}(?rac{z(u, v) - z_{\min}}{z_{\max} - z_{\min}}, 0, 1)$，然后转换为乘法亮度 (d) = ?eta_{\min} + (1 - ?eta_{\min})\exp(-k(1-d))$。最终DNOCS表示为 $ ext{rgb}_{ ext{DNOCS}}(u, v) = ext{rgb}_{ ext{orient}}(u, v) \odot b(d(u, v))$，其中 $\odot$ 是通道乘法。（5）训练数据准备：对于每个视频，使用GroundingDINO和SAM获取对象掩码，使用VideoDepthAnything估计单目深度，在掩码区域内估计每个对象的点云，并逐帧拟合定向3D边界框。使用3D卡尔曼滤波细化原始边界框轨迹，产生时序一致的边界框序列。（6）训练：在4个H100 80GB GPU上对VACE模块进行LoRA微调（rank 64）10K次迭代，保持基础模型冻结。控制视频通过标准VACE条件pathway提供，将控制残差注入到主干DiT模型中。（7）推理：对于纯生成模式，控制视频仅包含DNOCS渲染；对于编辑和插值模式，控制视频是输入视频和DNOCS渲染的组合。
技术新颖性
本文的技术新颖性体现在多个方面：首先，我们提出了3D感知的空间阻滞范式，使用定向边界框将编排与局部变形解耦，这是视频生成领域首次将专业电影制作的阻滞概念引入。其次，我们专门为Diffusion Transformers设计了DNOCS控制机制和编码，这种混合颜色表示在单个3通道信号中同时编码局部方向和全局深度，避免了传统方法需要多个分离通道的复杂性。第三，我们提出了自动化管道，将2D视频数据集提升为3D条件训练集，通过GroundingDINO、SAM、VideoDepthAnything和3D卡尔曼滤波的组合，从约10K个真实视频中创建RGB-DNOCS视频对。第四，我们提出了新的评估指标来衡量视频模型对空间控制的遵从性，包括Containment（包含度）、Trajectory Error（轨迹误差）、Occlusion Accuracy（遮挡准确性）、Rigid Motion Consistency（刚性运动一致性）、Global Motion Field Agreement（全局运动场一致性）和Global Overlap Winner（全局重叠胜者），这些指标填补了该领域缺乏系统评估标准的空白。最后，我们证明了简单的定向3D框序列足以作为大规模视频生成器微调的几何先验，这一发现挑战了传统观念，即需要密集的结构引导才能实现精确的运动控制。
实验结果
本文在nuScenes、HO-3D和BEHAVE三个真实世界数据集上进行了全面的定量和定性评估。在nuScenes数据集上的实验结果显示，LooseControlVideo在结构遵从性方面取得了显著改进：轨迹误差为5.79，远低于2D Flow基线（VACE ft为6.78）和2D Boxes基线（16.66）；遮挡准确性为92.69%，显著高于2D Flow（79.32%）和2D Boxes（42.45%）；刚性运动一致性为0.318，优于2D Flow（0.528）和2D Boxes（0.735）；全局运动场一致性为0.066，优于2D Flow（0.093）和2D Boxes（0.232）。这些结果证明了定向3D边界框渲染在DNOCS中为建模真实世界场景动态提供了强大的几何先验。在HO-3D数据集上，LooseControlVideo在运动对齐（GMFA为0.045，RMC为0.122）和轨迹准确性（TrajErr为3.9）方面持续优于基线，展示了定向3D原语对于复杂/变形运动（如涉及旋转和转弯）和近距离接触交互提供了比2D流或轴对齐边界框更强的结构先验。在BEHAVE数据集上，LooseControlVideo取得了类似的优势：GMFA为0.062，RMC为0.207，TrajErr为5.8，OcclAcc为90.2%。定性结果显示LooseControlVideo能够创作极其复杂的视频故事，包括产生交互的轨迹（如Fig. 1中的鹰和兔子）、设计避免交互的轨迹（Fig. 3中的编织车辆）、因遮挡而消失和重现的对象（Fig. 3中的猫）以及方向传达深刻叙事的场景（Fig. 3中面对面玩耍的小狗）。视频编辑结果显示LooseControlVideo能够编辑场景中单个对象的运动，同时保持场景的整体身份和外观，生成基于物理的次要效果（Fig. 4中汽车的漂移和轮胎痕迹）并忠实于场景几何和遮挡（Fig. 4中的足球）。与传统控制信号的比较实验（Fig. 5）表明，我们的空间阻滞范式结合DNOCS控制信号在处理视角和运动模糊方面表现最佳，同时保持了推断自然运动和次要效果的灵活性。
![Real-world structural control on nuScenes [6].](/papers/2606.19495/images/table_1.jpg)
![Comparison of object-centric structural control on HO-3D [10] and BEHAVE [2].](/papers/2606.19495/images/table_2.jpg)
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 自动驾驶场景结构控制 | Trajectory Error (TrajErr ↓) | 5.79 | VACE ft (2D Flow): 6.78, VACE ft (2D Boxes): 16.66 | 相比2D Flow提升14.6%，相比2D Boxes提升65.3% |
| 自动驾驶场景结构控制 | Occlusion Accuracy (OcclAcc ↑) | 92.69% | VACE ft (2D Flow): 79.32%, VACE ft (2D Boxes): 42.45% | 相比2D Flow提升16.9%，相比2D Boxes提升118.4% |
| 自动驾驶场景结构控制 | Rigid Motion Consistency (RMC ↓) | 0.318 | VACE ft (2D Flow): 0.528, VACE ft (2D Boxes): 0.735 | 相比2D Flow提升39.8%，相比2D Boxes提升56.7% |
| 手-对象交互场景 | Trajectory Error (TrajErr ↓) | 3.9 | VACE ft (2D Flow): 5.4, VACE ft (2D Boxes): 9.7 | 相比2D Flow提升27.8%，相比2D Boxes提升59.8% |
| 手-对象交互场景 | Global Motion Field Agreement (GMFA ↓) | 0.045 | VACE ft (2D Flow): 0.071, VACE ft (2D Boxes): 0.126 | 相比2D Flow提升36.6%，相比2D Boxes提升64.3% |
| 全身人-对象交互场景 | Occlusion Accuracy (OcclAcc ↑) | 90.2% | VACE ft (2D Flow): 78.5%, VACE ft (2D Boxes): 49.7% | 相比2D Flow提升14.9%，相比2D Boxes提升81.5% |
局限与改进
作者承认的主要局限性包括身份到边界框的分配问题：我们并没有显式地将特定视觉身份绑定到单个3D边界框。这个问题在残差ControlNet风格的架构中特别具有挑战性，因为全局特征经常混合。作者计划在未来引入分配给特定3D锚点的多视角参考图像，允许在复杂、多角色场景中保持一致的身份。另一个局限性是手动时机：虽然我们的方法将变形与轨迹解耦，但用户仍然负责创作交互的时机节奏。虽然这与专业动画师的工作流程一致，但一个有趣的未来方向是能够稀疏地指定空间轨迹并让生成模型推断时机。此外，本文方法依赖于单目深度估计和对象跟踪的准确性，这些组件的误差可能会传播到控制信号中。虽然3D卡尔曼滤波可以平滑轨迹，但在极端遮挡或快速运动场景中仍然可能出现不稳定的控制信号。最后，由于训练数据主要来自内部库存视频，模型在特定领域（如医学影像或极端天气条件）的泛化能力可能有限。
独立分析的弱点
独立分析的弱点包括：（1）身份一致性问题：在复杂多对象场景中，当多个相似外观的对象（如多个相同类型的车）同时存在时，模型可能无法保持对象身份的一致性。改进方向：引入对象特定的参考图像或外观嵌入，将视觉身份显式绑定到3D边界框。（2）时序插值限制：当前方法需要在关键帧之间均匀插值边界框轨迹，这可能不适用于变速运动或加速/减速场景。改进方向：学习时序插值策略，允许模型根据物理约束自适应地调整运动速度。（3）复杂交互建模：对于紧密接触的交互（如拥抱、摔跤），刚性边界框表示可能无法充分捕捉变形。改进方向：引入可变形的3D原语（如胶囊体）或自适应细化机制，允许在关键交互区域进行更细粒度的控制。（4）训练数据偏差：当前训练数据主要来自库存视频，可能在场景类型、相机运动和对象多样性方面存在偏差。改进方向：扩展训练数据集，包括更多样化的场景和领域，如动作序列、体育广播和无人机拍摄。（5）计算效率：虚拟渲染步骤需要为每个边界框和每个像素计算射线-边界框相交，在高分辨率场景中可能成为瓶颈。改进方向：使用加速结构（如BVH）或可微分渲染优化计算效率。
未来方向
未来研究方向包括：（1）多模态身份绑定：将多视角参考图像分配给特定3D锚点，实现复杂多角色场景中的一致身份保留。（2）自动时机推断：允许用户稀疏地指定空间轨迹，让生成模型根据物理约束和交互逻辑自动推断运动时机和节奏。（3）层次化控制：引入多层次的3D原语，从粗糙的边界框到更精细的关节或顶点控制，允许用户在不同细节级别上进行控制。（4）物理感知生成：集成物理引擎，确保生成的运动符合物理定律（如重力、碰撞检测、动量守恒），特别是在极端动态场景中。（5）交互式编辑工具：开发实时交互式编辑界面，允许用户直接在3D空间中操纵边界框，并立即看到生成的结果。（6）跨模态应用：将空间阻滞范式扩展到其他生成任务，如3D场景生成、动态场景重建和多视角视频合成。（7）评估标准完善：建立更全面的评估基准，包括主观用户研究和更多样化的场景类型，以更好地衡量导演级控制的实用性。
复现评估
复现评估：论文提供了详细的方法描述和算法公式，包括DNOCS渲染的完整数学推导和训练数据管道的实现细节。作者使用了约10K个内部库存视频创建训练数据，虽然这些数据不公开，但自动化管道的设计使得可以在公开视频数据集（如nuScenes、HO-3D、BEHAVE）上复现数据准备过程。训练在4个H100 80GB GPU上进行10K次迭代，使用LoRA微调（rank 64），这对于有足够计算资源的研究实验室是可行的。然而，基础模型WAN 2.2的权重可能不公开，这可能是复现的主要障碍。评估代码和指标计算公式在论文中详细描述，包括Containment、Trajectory Error、Occlusion Accuracy、RMC、GMFA和GOW的完整数学定义，这有助于其他研究者实现相同的评估。总体而言，复现难度中等，主要挑战在于基础模型的访问和训练数据的准备，但方法的核心思想和实现细节足够透明，有经验的研究团队应该能够复现主要结果。
论文图表
