Tri-Prompting：统一控制场景、主体和运动的视频扩散模型

统一视频扩散框架，实现场景、多视角主体和运动的解耦控制

前置知识

视频扩散模型

基于扩散过程的视频生成模型，通过逐步去噪从随机噪声生成视频。早期模型在UNet主干上添加时间层扩展文本到图像LDMs，但卷积架构限制容量。最新研究转向Transformer架构，将视频表示为时空token，应用全自注意力捕获长程依赖和时间上下文。

理解视频扩散模型是理解Tri-Prompting的基础，因为该方法基于现有的视频扩散模型进行改进和扩展。

ControlNet

一种用于扩散模型的条件控制架构，通过复制基础模型并添加零初始化层来注入额外的控制信号。在训练时固定基础模型权重，只训练ControlNet模块。控制信号通过公式 z_V ← z_V + s · ControlNet(z_M) 注入，其中 s 是控制尺度。

Tri-Prompting在第二阶段使用ControlNet来集成双条件运动控制，理解其工作机制对于掌握方法设计至关重要。

3D跟踪点

从视频中提取的3D空间轨迹点，用于表示相机运动或背景运动。每个点的3D坐标（XYZ）根据其在第一帧中的位置和深度确定，然后归一化到[0,1]并转换为伪RGB颜色。相同跟踪点的颜色保持不变以保持点身份。

Tri-Prompting使用3D跟踪点作为场景（背景）运动的控制信号，理解其构建方式有助于理解双条件设计。

多视角一致性

指在视频生成过程中，主体在不同视角下保持外观和几何结构的一致性。传统的单视角参考方法在大姿态变化时无法维持3D一致性，而多视角参考可以提供更完整的主体表示。3D一致性通过重建3D点并测量对齐误差来评估。

这是Tri-Prompting的核心创新之一，也是与Phantom等单视角方法的关键区别。

研究动机

现有视频扩散模型虽然在视觉质量上取得了显著进展，但缺乏精细的控制能力，限制了实际创作中的可定制性。对于AI视频创作者而言，三种形式的控制至关重要：场景构图（故事发生的地方）、多视角一致的主体定制（故事中的人物）、相机姿态或物体运动调整（故事如何发展）。现有方法通常只处理这些控制维度的孤立子集，存在三个关键限制。首先是缺乏统一框架：MotionPrompting和DaS专注于运动控制，但难以保持第一帧以外的主体身份；Subject-to-video方法如Phantom保持主体图像的外观但缺乏运动控制。其次是背景和主体的不同运动分布：场景运动通常来自6自由度相机移动，而主体运动涉及任意刚性变换和复杂非刚性变形的组合。DaS使用3D跟踪点坐标作为控制信号，这对背景场景有效，但不能表示新可见的主体区域；之前的人体动画工作利用预定义的人体骨架，但不适用于一般物体。最后是有限的单视角主体：当前subject-driven方法限于单视角参考，因此在剧烈姿态变化时根本无法维持3D一致性或多视角身份。

本文的目标是本文的目标是引入Tri-Prompting，一个统一的框架和两阶段训练范式，整合场景构图、多视角主体一致性和运动控制。具体而言，希望在一个单一的视频扩散模型中同时支持三种形式的控制，使创作者能够选择主体、将其插入或操纵到任何场景中，并使用键盘以自然且物理感知的方式控制相机姿态和角色运动，同时保持与提供的参考图像匹配的外观一致性。

与已有工作不同的是，本文的独特切入角度在于提出双条件运动模块，将背景场景运动和前景主体运动解耦处理。对于场景运动，采用XYZ轨迹的3D点；对于主体运动，引入降采样RGB网格作为粗略代理。这种低分辨率网格编码主体的主要运动，同时抑制精细运动细节，鼓励模型利用其生成先验实现自然的主体-场景交互。此外，本文将单视角subject-to-video方法扩展到多视角，支持完整主体的任意视图一致移动。这种统一设计带来了三个主要优势：双条件信号自然解耦背景和前景运动；RGB代理支持大视角变化（如360度旋转），而多视角图像恢复缺失的外观细节并保持3D一致性；基于低分辨率RGB的主体运动控制可以泛化到刚性和非刚体对象，并允许自然的对象-场景交互。

核心方法

Tri-Prompting是一个由第一帧和多视角参考图像引导的视频扩散模型，以及由双条件3D控制线索驱动的运动控制模块。这个框架在视频生成中联合控制场景、多视角主体和运动，同时保持给定主体的多视角外观身份，并实现前景对象和背景场景之间的灵活解耦运动控制。推理时，Tri-Prompting需要三个输入：定义第一帧和整体场景的图像和文本提示；与第一帧一起，模型还可以接收同一主体的多视角图像（最多三个）；包含XYZ点用于控制背景运动和低分辨率RGB点用于控制3D感知主体运动的运动控制视频。这个运动控制视频可以用参考视频、使用姿态矩阵的变换或类似游戏的用户控制界面生成。输出是最终的视频。

核心创新是双条件运动模块，将背景和前景的运动控制信号解耦。对于场景运动，采用3D跟踪点的XYZ轨迹；对于主体运动，引入降采样RGB网格作为粗略代理。这种设计基于直觉：3D跟踪点主要控制有限旋转角度内的相机姿态，而降采样RGB引导可以产生对象极端姿态（如360度转身）的灵活控制。低分辨率RGB网格隐藏运动细节，鼓励模型利用生成先验获得更好的主体-场景交互。更具体地，定义锚点运动控制视频为M的场景、M的主体两部分组成。对于场景（背景）控制，构建XYZ跟踪点视频，每个点的3D坐标（XYZ）根据其在第一帧中的位置和深度确定，然后归一化到[0,1]并转换为伪RGB颜色。对于主体（前景）控制，使用在主体区域内降采样主体像素到固定网格（如70乘70）获得的低分辨率降采样RGB点代理。将这两个条件在空间上互斥的方式合成为单个锚点视频。

方法步骤详情

方法包含两个训练阶段。第一阶段专注于将单视角subject-to-video模型扩展为联合图像和多视角subject-to-video模型，建立对背景场景（通过第一帧图像）和主体身份（通过多视角参考图像）的基础控制。具体地，使用基础视频扩散的VAE编码器编码第一帧图像和多视角主体图像得到潜在表示，然后将第一帧潜在表示前置到原始噪声视频潜在，随后追加多视角主体潜在表示成为DiT块的输入token序列。在注意力块和MLP块上应用LoRA来条件化第一帧生成和跨视角身份。解码时只保留视频潜在生成最终视频。第一阶段已经产生一个遵循第一帧场景并在主体的多个视角中保持身份的视频扩散模型。第二阶段添加显式的场景和主体运动控制，使用双条件线索。通过复制第一阶段检查点的前18层初始化ControlNet，然后冻结基础扩散模型，只训练ControlNet模块。控制注入采用零初始化（零卷积）。运动控制视频由VAE编码器编码为潜在表示，ControlNet DiT块的输入通过连接第一帧潜在、运动控制潜在和多视角主体潜在生成，只有输出的运动控制潜在部分用于更新视频潜在。第二阶段在32张A100 GPU上使用AdamW优化器训练2074步，学习率为1乘10的负4次方，批大小为32。

技术新颖性

技术新颖性体现在多个方面。首先是统一的三提示视频扩散框架，这是首个将场景、主体和运动控制通过三个互补提示整合的统一框架。其次是双条件运动控制和多视角一致性，设计了一个运动控制模块，结合XYZ轨迹和RGB点代理，实现解耦的背景和前景运动控制，并支持大视角变化，同时具有高外观保真度和多视角一致性。第三是ControlNet尺度调度策略，为了在推理时平衡可控性和视频真实性，引入ControlNet尺度调度策略。虽然模型以固定ControlNet尺度1.0训练，但在推理期间逐渐减少这个影响以防止过度约束生成。对于50个去噪步的采样过程，在前10步中线形衰减尺度到0.005，之后保持不变。最后是新颖的应用工作流，包括3D感知主体插入到任意场景和图像中对象操纵，这是之前难以或不可能实现的。

**Fig. 1**: The proposed Tri-Prompting framework unifies scene control, multi-view subject control, and scene–subject motion control within a single video diffusion model.

**Fig. 2**: Overview of the proposed Tri-Prompting.

**Fig. 1 (Appendix)**: Keyboard Motion GUI.

实验结果

在视频重建任务中评估运动可控性时，Tri-Prompting在DAVIS数据集上与DaS对比，使用PSNR、SSIM和LPIPS指标量化评估多条件下的视频重建性能。当使用XYZ跟踪和RGB双条件时，在Phantom 14B基座模型上达到PSNR 16.5130、SSIM 0.4017、LPIPS 0.2395，优于仅使用XYZ跟踪的15.9306、0.3708、0.2786，接近DaS在CogVideoX 5B基座上的16.4916、0.4123、0.2725。这表明双条件提供更可靠的大姿态和3D运动引导。在多视角subject-to-video生成任务中评估身份一致性和质量时，策划106个测试用例生成318个视频（3个随机种子），与Phantom在三个维度对比：视频质量、多视角主体相似性和3D一致性。对于视频质量，使用VBench的四个指标：美学质量、动态程度、成像质量和运动平滑度。Tri-Prompting在所有指标上都超过Phantom，Stage 2模型达到美学0.665、运动0.989、动态0.903、图像0.715、身份0.746，相比Phantom的0.655、0.988、0.742、0.709、0.723有提升。对于多视角ID，使用DINO、CLIP特征的相似度衡量，Tri-Prompting达到0.862，超过Phantom的0.855。对于3D一致性，测量重建3D点的对齐误差，Tri-Prompting达到0.025，相比Phantom的0.034提高了26.5%。这个结果突出了一个基本优势：Phantom只强制有限的2D外观主体一致性，而Tri-Prompting在遵循运动控制的同时保持跨帧的3D完整性。

**Table 1**: Factorized controllability across Where, Who, and How.

**Table 2**: Main Results. Tri-Prompting introduces a novel task of unified scene, subject, and motion control; we compare it with specialized models DaS and Phantom.

**Table 1 (Appendix)**: Detail Hyperparameter Settings.

**Fig. 3**: Comparison with DaS and Phantom.

**Fig. 4**: Applications. Tri-Prompting supports both insertion and manipulation of 3D subjects and joint control.

**Fig. 5**: Effect of multi-view subject images.

**Fig. 3 (Appendix)**: Subject Insertion Applications Across Scene, Subject and Motion.

**Fig. 4 (Appendix)**: Subject Insertion Applications in Real-world Cases.

**Fig. 5 (Appendix)**: Subject Manipulation Applications in Anime, Movie and Game Scenes.

查看结构化数据

任务	指标	本文	基线	提升
视频重建（运动控制）	PSNR、SSIM、LPIPS	16.5130、0.4017、0.2395（XYZ跟踪加RGB）	DaS: 16.4916、0.4123、0.2725（XYZ跟踪）	PSNR相近，LPIPS从0.2725降至0.2395，改善12%
多视角subject-to-video生成	VBench美学质量	0.665	Phantom: 0.655	提升1.5%
多视角subject-to-video生成	VBench动态程度	0.903	Phantom: 0.742	提升21.7%
多视角subject-to-video生成	3D一致性对齐误差	0.025	Phantom: 0.034	提高26.5%

局限与改进

作者承认了几个局限性。首先是主体模糊性：当多视角参考高度对称时，可能出现主体模糊，偶尔导致短暂的身份不一致，如瞬间的翻转。这可以通过更强的消歧线索（如不对称参考、更多运动约束）来缓解。其次是推理成本：当前实现使用14B骨干网络，导致推理成本较高（在8乘A100上以480乘832分辨率49帧50个去噪步约5分钟），尚未支持实时交互。延迟可以通过正交的视频扩散加速技术降低。此外，从论文中还可以观察到其他潜在局限性：系统目前针对离线生成设计，缺乏实时交互能力；对于极端姿态变化（如360度旋转），虽然多视角参考有帮助，但仍可能在高对称物体上出现问题；训练数据主要集中在游戏视频和常见物体，可能在某些特殊场景或风格上泛化性有限；当前UI主要用于构建运动控制视频，可能需要一定的学习成本。

独立分析的弱点

独立分析的弱点包括：在处理高度对称物体时，如论文中提到的失败案例，由于前后视图外观相似，模型在运动时可能出现短暂的定向不一致问题，可以通过提供更多不对称的参考视角或引入更强的姿态约束来改进；当前系统不支持实时交互，推理延迟较高（约5分钟），可以通过模型压缩、量化或采用更高效的扩散采样技术来加速；训练数据主要来自OmniWorld-Game（9.7千）和CO3D（1.3千），可能对某些特殊场景或风格的泛化性有限，可以扩展更多样化的训练数据；当前使用14B骨干模型，计算成本高，可以探索更小的模型架构或知识蒸馏技术；运动控制信号的构建依赖于多个辅助模块（如TRELLIS、DepthPro、SAM 2），这些模块本身的性能和错误传播可能影响最终结果，可以探索端到端的简化流程。

未来方向

作者提出的未来方向包括探索更高效的设计来减少推理时间，迈向更好的支持world-simulator风格应用的交互式体验。基于成果可延伸的方向包括：将Tri-Prompting扩展到实时交互场景，通过模型加速和优化实现低延迟视频生成；探索更多样的控制信号，如音频控制、文本描述控制等，进一步增强创作的灵活性；将方法扩展到多主体场景，实现多个可控主体的协同运动；探索更高效的多视角表示和融合方法，降低对输入视角数量的依赖；研究如何更好地处理非刚体对象的极端变形和复杂运动模式；探索与其他媒体形式（如3D场景、VR、AR）的集成，实现更丰富的创作工具链；开发更友好的用户界面，降低使用门槛。

复现评估

复现评估方面，论文提供了详细的技术细节：训练数据包括11千元组（来自OmniWorld-Game的9.7千游戏视频和来自CO3D的1.3千真实世界视频），总计少于7小时视频。训练分为两个阶段：第一阶段使用Phantom S2V 14B骨干，用LoRA（rank 64）在注意力和MLP块上微调，使用AdamW（学习率1乘10的负4次方），批大小8，训练2500步，在8张A100 GPU上耗时20小时；第二阶段从第一阶段检查点复制前18层初始化ControlNet，冻结基础扩散模型，只训练ControlNet模块，使用AdamW（学习率1乘10的负4次方），批大小32，训练2074步，在32张A100 GPU上耗时28小时。推理配置为49帧、832乘480分辨率、50个去噪步。论文提供了详细的超参数设置表，包括视频帧数、空间分辨率、去噪步数、基础模型、两阶段学习率、批大小、步数、LoRA rank、ControlNet层数、衰减步数和最小控制尺度等。项目页面可能提供更多实现细节和资源。总体而言，虽然论文提供了较为完整的技术细节，但复现仍需要大量计算资源（40张A100 GPU的48小时训练时间），这对大多数研究团队来说是相当高的门槛。

Tri-Prompting：统一控制场景、主体和运动的视频扩散模型 Tri-Prompting: Video Diffusion with Unified Control over Scene, Subject, and Motion