SpaceTimePilot：跨时空动态场景的生成式渲染

首个实现相机运动与时间序列完全解耦的视频扩散模型，支持从单目视频生成自由时空探索的新视角视频。

前置知识

扩散模型

扩散模型是一类生成模型，通过逐步添加噪声破坏数据，再学习逆转过程从噪声中恢复数据。在视频生成中，通常采用3D VAE将视频压缩到潜在空间，然后用DiT（Diffusion Transformer）逐步去噪生成视频。扩散过程通过多个时间步的逐步去噪实现高质量生成，每个时间步都预测并去除部分噪声。

论文基于扩散模型构建，理解其去噪原理和潜在空间表示是理解SpaceTimePilot架构的基础。

时空解耦

时空解耦是指将视频中的空间维度（相机运动、视角变化）与时间维度（场景动态、物体运动）分离为独立的控制信号。传统方法中这两个维度往往耦合在一起，比如改变相机视角时同时影响场景动态的感知。解耦后可以独立控制相机轨迹和时间进度，实现如子弹时间（时间冻结+相机环绕）等效果。

这是本文的核心创新，理解时空解耦的概念有助于理解方法动机和技术路线。

相机参数表示

相机参数通常用3×4或4×4矩阵表示，包含旋转（R）和平移（t）信息。在视频生成中，相机轨迹是一系列相机参数序列，描述了拍摄过程中相机在3D空间中的运动。相对姿态表示的是相对于参考帧的变换，而绝对姿态是世界坐标系中的完整变换。

论文使用相机参数作为条件信号进行视角控制，理解其表示方式对理解相机条件机制至关重要。

研究动机

现有的可控视频生成方法存在根本性限制：要么只能控制相机运动保持时间单调递进（如CameraCtrl系列、ReCamMaster），要么只能在固定相机视角下生成离散的时间条件视图（如4DiM、CAT4D）。这种时空耦合使得无法实现子弹时间、慢动作回放、时间倒流等同时操控相机和时间的视觉效果。更重要的是，现有数据集（如RE10k、DL3DV-10K）只提供单一时间模式，缺乏不同时间播放方式的成对视频样本，导致模型难以学习时空解耦。真实世界采集多样化时空数据需要受控工作室环境，成本极高且难以规模化。

本文的目标是本文目标是构建首个能够在生成过程中同时解耦空间（相机轨迹）和时间（场景动态）控制的视频扩散模型。给定单目视频，模型应能独立改变相机视角和时间序列，如在新视角下生成慢动作播放、子弹时间效果、时间倒流等，同时保持底层场景动态的真实性。

与已有工作不同的是，本文的独特切入角度是提出「动画时间」（animation time）这一新概念，将时间状态显式表示为与相机参数独立的控制信号。与依赖显式4D重建的方法不同，本文直接在扩散模型的条件注入层面实现时空解耦，避开了重建误差累积和几何先验依赖的问题。另一个创新点是通过时间变换增强现有数据集和构建Cam×Time合成数据集，解决了缺乏多样化时空训练数据的核心瓶颈。

核心方法

SpaceTimePilot的整体思路是在扩散模型的去噪过程中同时注入相机条件和动画时间条件，实现两个维度的独立控制。方法采用基于Transformer的潜在视频扩散架构（类似Wan-2.1 T2V-1.3B），包含3D VAE编码器和DiT去噪器。关键创新在于设计专门的时间编码模块Eani(t)和改进的相机条件机制，将源视频和目标视频的相机轨迹、时间状态联合编码后注入到扩散过程。训练采用两阶段策略：先用时间变换增强现有的多视角视频数据集（ReCamMaster、SynCamMaster），再在合成Cam×Time数据集上精细训练，实现高精度时空控制。

核心创新点是显式引入独立的动画时间参数t∈R^F，表示输出视频相对于源视频的时间状态。传统方法使用RoPE(f')作为帧位置编码时发现它会同时约束时间和相机运动，难以实现解耦。本文改用正弦位置编码结合1D卷积压缩器，将源时间tsrc和目标时间ttrg编码后与相机特征相加：x'=x+Ecam(c)+Eani(t)。这种设计使模型能够理解「保持场景在第40帧的状态同时让相机做环绕运动」这样的组合指令。另一个关键改进是源感知相机条件，同时注入源视频轨迹csrc和目标轨迹ctrg，支持从任意起始帧和相机角度开始生成。

方法步骤详情

方法步骤包含数据预处理、模型训练和推理生成三个阶段。训练时，对每个源视频Vsrc={I_f^src}_{f=1}^F和目标视频Vtrg={I_f^trg}_{f=1}^F，应用时间变换函数τ:[1,F]→[1,F]到目标序列，生成扭曲视频Vtrg'={I_{τ(f)}^trg}_{f=1}^F。支持的时间变换包括：（1）反转播放，（2）加速/减速，（3）帧冻结，（4）分段慢动作，（5）往复运动。相机轨迹使用预训练姿态估计器获取源视频轨迹csrc和目标轨迹ctrg。扩散模型联合条件化：x'_src=x_src+Ecam(csrc)+Eani(tsrc)，x'_trg=xtrg+Ecam(ctrg)+Eani(ttrg)，然后将两者沿帧维度拼接输入DiT。推理时，用户指定目标相机轨迹ctrg和时间控制信号ttrg（如常数序列实现子弹时间），模型生成保持场景动态的新视角视频。对于长视频生成，采用自回归策略，每段生成81帧，以先前生成的片段作为附加条件源。

技术新颖性

技术新颖性体现在多个方面：首次在视频扩散模型中实现完全解耦的时空联合控制；提出时间变换数据增强策略，无需额外采集即可为模型提供多样化时间控制信号；构建首个全覆盖时空渲染数据集Cam×Time，包含180k视频，覆盖500个动画、100个场景、3条相机路径，每个路径提供每帧相机视角的完整时间序列；改进相机条件机制支持任意起始帧，突破了ReCamMaster等方法的限制；采用1D卷积时间嵌入压缩器，相比直接RoPE编码和MLP压缩器在PSNR/SSIM上提升显著。

**Figure 1**: SpaceTimePilot enables unified control over both camera and time within a single diffusion model, producing continuous and coherent videos along arbitrary space–time trajectories.

**Figure 3**: Temporal Wrapping for Spatiotemporal Disentanglement.

**Figure 4**: Cam×Time dataset visualization.

实验结果

在Cam×Time测试集上的时间控制评估显示，SpaceTimePilot在方向控制（正向/反向）、速度控制（慢动作）、子弹时间三类任务上均显著优于基线。PSNR达到21.16，比ReCamM+jointdata（17.86）提升18.6%；SSIM达到0.7674，比基线（0.7250）提升5.8%；LPIPS降至0.1764，比基线（0.3073）降低42.6%。这表明时空解耦显著提升了生成质量。在OpenVideoHD数据集上的相机控制评估中，相对旋转误差降至2.71°（ReCamM为4.26°），相对平移误差降至0.33（基线为0.32），RTA@15（15°内准确率）达到35.19%（ReCamM为7.61%），证明改进的相机条件机制大幅提升了轨迹跟随精度。VBench视觉质量评估显示，SpaceTimePilot在图像质量、背景一致性、运动一致性等六个维度上与基线相当，证明时空解耦没有牺牲生成质量。消融实验验证了1D卷积时间嵌入（PSNR 14.75）优于均匀采样（14.10）和MLP压缩器；加入Cam×Time数据集后PSNR从15.41提升至21.16，证明了密集时空监督的重要性。

**Table 2**: Quantitative comparison across temporal controls

**Table 3**: VBench visual-quality evaluation across six dimensions.

**Table 4**: Camera accuracy and first-frame estimation.

**Table 5**: Time-embedding compressor ablation.

**Figure 5**: Qualitative results of SpaceTimePilot.

**Figure 6**: Qualitative comparison of disentangled camera-time control.

**Figure 7**: Temporal compression ablation.

查看结构化数据

任务	指标	本文	基线	提升
时间控制（方向/速度/子弹时间）	PSNR/SSIM/LPIPS	21.16/0.7674/0.1764	ReCamM+jointdata: 17.86/0.7250/0.3073	PSNR提升18.6%, SSIM提升5.8%, LPIPS降低42.6%
相机控制精度	相对旋转误差/RTA@15	2.71°/35.19%	ReCamM: 4.26°/7.61%	旋转误差降低36.4%, RTA@15提升4.6倍
视觉质量	VBench综合评分	0.6486/0.9199/0.9947/0.9325/0.9781/0.5315	ReCamM: 0.6302/0.9114/0.9945/0.9181/0.9825/0.5332	图像质量提升2.9%，其他指标相当或略优

局限与改进

作者承认的局限性包括：每次生成限制在81帧窗口内，生成更长视频需要自回归策略，可能累积误差；相机轨迹估计依赖预训练模型（SpatialTracker-v2、DUSt3R），姿态估计误差会影响控制精度；合成Cam×Time数据集虽然提供密集时空采样，但场景和动画多样性仍有限，可能影响真实场景泛化。作者观察到的额外限制：时间变换增强虽然有效，但仍可能残存时空耦合痕迹，如极端时间变换时相机运动略显不稳定；模型对快速相机运动和快速场景动态的组合控制存在挑战，可能产生运动模糊或抖动；自回归生成在长序列中可能出现一致性漂移，需要更精细的上下文管理机制。

独立分析的弱点

独立分析的弱点：（1）实时性不足，生成81帧视频需要数秒，无法实时交互控制；（2）对源视频长度敏感，源视频帧数少于目标帧数时需要插值，可能引入伪影；（3）相机控制精度依赖外部姿态估计器，端到端训练可能提升鲁棒性；（4）时间控制粒度受限于离散帧级别，无法实现帧间精细时间插值；（5）对极端视角变化（如超过90°）和剧烈时间跳跃（如从帧0跳到帧80）的组合场景控制能力有限。改进方向：开发轻量级实时变体；集成相机估计模块进行端到端训练；采用连续时间表示提升控制精度；设计层次化控制机制应对极端变化。

未来方向

作者提出的未来方向：扩展Cam×Time数据集规模和多样性，覆盖更多场景类型、物体类别和动画风格；探索更复杂的时间控制信号，如非线性时间曲线、局部时间加速/减速；研究文本到时空轨迹的直接映射，实现自然语言驱动的相机和时间联合控制。基于成果可延伸的方向：将时空解耦应用于视频编辑任务，如时空一致的物体替换和场景重光照；结合3D感知生成模型实现真实场景的4D重建和新视角合成；开发交互式时空导航系统，支持用户实时探索4D场景；研究时空一致性评价的自动化指标，推动可控视频生成的标准化评估。

复现评估

复现评估：论文提供了详细的架构描述和训练配置，网络架构如Fig. 8所示。核心组件包括动画时间编码器Eani、相机编码器Ecam、3D自注意力层和投影层。训练数据使用ReCamMaster、SynCamMaster和自建Cam×Time数据集，论文描述了Cam×Time的构建细节（Blender渲染、Mixamo/HUMOTO动画资产）。基线对比包括TrajectoryCrafter、ReCamMaster及其变体，评估指标公开标准。但论文未提及代码开源计划，Cam×Time数据集的完整发布情况有待确认。算力方面，基于Wan-2.1 T2V-1.3B模型训练需要多GPU集群，推理可在单GPU上运行。复现难度中等偏高，主要挑战在于数据集获取和训练资源需求。

SpaceTimePilot：跨时空动态场景的生成式渲染 SpaceTimePilot: Generative Rendering of Dynamic Scenes Across Space and Time