← 返回 2026-01-09

VerseCrafter：基于4D几何控制的动态逼真视频世界模型 VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control

Sixiao Zheng, Minghao Yin, Wenbo Hu, Xiaoyu Li, Ying Shan, Yanwei Fu 📅 2026-01-08 👍 19 2026-07-13 08:35
3D几何控制 多物体运动控制 扩散模型 视频世界模型 视频生成
arXiv HuggingFace PDF

提出4D几何控制表示，统一控制相机和多物体运动，生成高保真动态视频

前置知识

视频扩散模型 (Video Diffusion Model)

视频扩散模型是生成视频的深度学习方法，通过逐步去噪随机噪声来生成视频帧。它通常在VAE学习的潜在空间中工作，使用扩散变换器处理时空潜在token，并通过注意力机制注入文本、图像等条件信号。视频扩散模型通过训练去噪器来预测噪声，最终生成高质量视频。

VerseCrafter基于Wan2.1-14B视频扩散模型构建，理解其工作原理对于理解GeoAdapter如何注入4D几何控制信息至关重要。

3D高斯 (3D Gaussian)

3D高斯是一个由均值向量和协方差矩阵定义的概率分布，能够紧凑地编码物体的位置、形状和方向。协方差矩阵的特征值表示物体在三个主方向的尺度，特征向量表示主方向。3D高斯轨迹是一系列时变的3D高斯，用于建模物体随时间变化的3D占用概率。

VerseCrafter使用3D高斯轨迹作为物体运动的核心表示，理解它对于理解本文如何实现灵活的、与类别无关的物体运动控制至关重要。

相机轨迹 (Camera Trajectory)

相机轨迹描述了相机在3D空间中的运动路径，通常由一系列外参矩阵表示，包括旋转矩阵R_t和平移向量t_t。每个外参矩阵定义了相机在时刻t的位姿，指定了如何将3D世界点投影到2D图像平面。相机轨迹控制允许在生成的视频中精确指定视角变化。

VerseCrafter支持与物体运动统一的相机轨迹控制，理解相机轨迹的概念对于理解本文如何实现精确的视角控制和几何一致性至关重要。

点云 (Point Cloud)

点云是由一组3D点{p_i}_{i=1}^N表示的场景几何表示，其中每个点包含位置信息，可能还包括颜色、法线等附加属性。点云可以通过单目深度估计和相机内参从2D图像反投影获得，用于重建场景的3D结构。在VerseCrafter中，背景点云表示静态场景几何。

VerseCrafter使用背景点云来表示静态场景几何，理解点云表示对于理解本文如何实现相机控制下的几何一致性渲染至关重要。

研究动机

现有的视频世界模型和可控视频生成方法在控制相机和多物体运动方面存在根本性挑战。理想的世界模型应该模拟完整的4D时空空间以反映物理现实，但视频本质上是在投影的2D图像平面上捕获动态的，这导致了几个关键问题：首先，许多方法局限于静态场景或无法控制多物体运动。其次，现有方法通常依赖2D控制信号，如点轨迹、光流、掩膜或边界框，这些信号缺乏3D意识，在大幅视角变化下经常失败。更先进的3D感知方法使用深度图、稀疏3D轨迹、3D边界框或SMPL-X等参数化人体模型来对齐相机和物体运动，但这些控制表示仍然不足以将多物体动态建模为统一的、紧凑的、可编辑的4D几何场景状态。例如，稀疏轨迹通常嘈杂且不完整，3D边界框施加了刚性约束不适合自然物体，SMPL-X表示则受限于人体类别。此外，几个现有工作专注于合成游戏环境，其中精确的标注可用于训练，但具有多物体运动的复杂真实世界4D场景的可控建模仍然探索不足。

本文的目标是本文提出VerseCrafter，一个逼真的动态视频世界模型，能够在统一的4D几何世界状态内实现对相机和多物体运动的精确控制。VerseCrafter的目标是提供一个紧凑的、与类别无关的4D几何场景状态表示，能够统一控制相机运动和多个物体的运动，同时保持高保真的视觉质量和几何一致性。具体而言，本文希望实现：(1) 联合控制相机轨迹和多个物体的3D运动；(2) 生成的视频能够精确遵循指定的4D几何控制；(3) 支持真实世界场景的动态、逼真视频生成；(4) 提供可编辑的界面，允许用户通过拖动和关键帧操作轻松修改4D几何状态。

与已有工作不同的是，本文的独特切入角度是引入了4D几何控制表示，这是第一个将相机和多物体运动统一在共享世界坐标系中的紧凑、与类别无关的4D几何场景状态表示。与现有方法相比，VerseCrafter的创新之处在于：(1) 使用静态背景点云表示场景几何，每个物体使用3D高斯轨迹表示物体动态，所有表示都在共享世界坐标系中定义；(2) 3D高斯轨迹采用概率公式，提供了比刚性3D边界框更灵活、比SMPL-X等参数化模型更通用、与类别无关的方式来建模多样化的物体形状和运动；(3) 背景点云和每个物体的3D高斯轨迹共享共同的参考帧，实现了对相机和物体运动的连贯和统一控制；(4) 通过将4D几何控制渲染到多通道4D控制映射中，并使用轻量级GeoAdapter条件化预训练的视频扩散模型，实现了高保真、视角一致的视频生成。这种4D几何控制表示本质上是3D感知的，自然更具视角一致性和对遮挡的鲁棒性，因此是视频世界建模更有效和可靠的接口。

核心方法

VerseCrafter的核心思想是将场景状态表示为显式的4D几何场景状态，称为4D几何控制，然后使用轻量级GeoAdapter将渲染的4D控制映射注入到冻结的Wan2.1-14B视频扩散骨干网络中，生成高保真、视角一致的视频。方法流程分为三个主要步骤：首先，从输入图像和文本提示构建4D几何控制，包括估计单目深度和相机内参，使用Grounded SAM2获取物体掩膜，将像素反投影到3D世界空间形成背景点云和每个物体的点云，然后为每个物体拟合3D高斯轨迹。其次，将4D几何控制渲染到目标相机视角的4D控制映射中，包括背景RGB/深度映射、3D高斯轨迹RGB/深度映射和软合并掩膜。最后，将渲染的4D控制映射输入GeoAdapter，它通过残差调制将几何信息注入到冻结的Wan-DiT块中，同时文本嵌入通过umT5编码并注入到Wan-DiT和GeoAdapter块中。这种设计允许VerseCrafter在保持Wan2.1强视觉先验的同时，实现对相机和多物体运动的精确、解耦控制。

VerseCrafter的核心创新是4D几何控制表示，它将场景状态表示为静态背景点云和每个物体的3D高斯轨迹，所有表示都在共享世界坐标系中定义。这种表示有几个关键优势：首先，每个3D高斯轨迹使用概率公式建模物体随时间的3D占用，均值mu_o^t定义运动路径，协方差Sigma_o^t捕获物体的空间范围和方向。这种概率公式以软的、连续的方式描述物体的3D占用，产生比刚性3D边界框更灵活、比参数化身体模型更通用、与类别无关的控制空间。其次，背景点云和每个物体的3D高斯轨迹共享共同的参考帧，使得背景点云在帧t在相机姿态下渲染，视角变化在固定3D世界中实现为刚性相机运动，而不是在每帧幻象新背景。第三，低维参数{mu_o^t, Sigma_o^t}自然支持灵活的、用户驱动的编辑：在实践中，将每个G_o^t转换为椭球体网格，以便在3D编辑器中可视化，并让用户通过在世界坐标空间中拖动和关键帧操作该椭球体来指定或细化轨迹。第四，4D几何控制是本质3D感知的，自然更具视角一致性和对遮挡的鲁棒性，因此是视频世界建模更有效和可靠的接口。

方法步骤详情

VerseCrafter的完整工作流程包括以下步骤：(1) 输入图像x_1和文本提示p，使用MoGe-2估计单目深度D_1(u)和相机内参K。(2) 使用Grounded SAM2获取物体掩膜{M_o}，用户通过文本提示或点击选择一个或多个要控制的物体。(3) 将输入视图作为参考世界坐标系，参考相机姿态为R_1 = I和t_1 = 0。每个像素u = (u, v, 1)^T与深度D_1(u)反投影为p(u) = R_1^T(D_1(u)K^{-1}u - t_1)。(4) 使用物体掩膜将重构点云划分为每个物体的点云P_o = {x_{o,k} = p(u_k) | u_k in M_o}和静态背景点云P_bg = {p(u) | u not in union_o M_o} = {p_i}_{i=1}^{N_bg}。(5) 为每个可控制物体o初始化轨迹：对点云P_o拟合全协方差高斯，初始高斯G_o(x) = N(x | mu_o, Sigma_o)，其中mu_o = (1/N_o)sum_k x_{o,k}，Sigma_o = (1/N_o)sum_k (x_{o,k} - mu_o)(x_{o,k} - mu_o)^T。(6) 用户可以在3D编辑器中通过拖动和关键帧操作椭球体来编辑轨迹，编辑的姿态和形状映射回{mu_o^t, Sigma_o^t}作为控制信号。(7) 给定相机轨迹{(R_t, t_t)}_{t=1}^T，将4D几何控制渲染到每帧4D控制映射中：背景RGB/深度映射RGB_bg^t和Depth_bg^t通过在相机姿态下投影静态背景点云P_bg获得；3D高斯轨迹RGB/深度映射RGB_traj^t和Depth_traj^t通过将每个物体的高斯{G_o^t}投影到软椭圆足迹并从相应椭球体表面获取深度获得；软合并掩膜M_t通过反转背景可见性并将其与投影的3D高斯足迹合并，然后高斯平滑获得，标记扩散模型应合成或覆盖内容的区域。(8) 四个RGB/深度映射通过冻结的Wan编码器编码为潜在特征，掩膜M in R^{1 x T x H x W}重塑并插值到潜在分辨率，通道-wise连接形成时空几何张量G。(9) GeoAdapter是轻量级DiT风格分支，在几何张量G上操作，共享与Wan-DiT相同的隐藏维度，但使用更少的层。(10) GeoAdapter块与冻结的Wan-DiT交错：每隔k个DiT块配对一个GeoAdapter块，其输出通过线性投影并添加到相应DiT块作为残差调制。(11) 文本提示通过umT5编码为文本嵌入，通过相同的文本条件接口注入到Wan-DiT和GeoAdapter块中。(12) 推理时，VerseCrafter支持仅相机、仅物体和联合控制：仅相机控制时渲染背景控制映射，将3D高斯轨迹RGB/深度映射设置为零；仅物体控制时保持相机姿态固定，渲染静态背景控制映射和3D高斯轨迹映射；联合控制时从相同的4D几何场景状态渲染背景和轨迹控制映射。

技术新颖性

VerseCrafter的技术新颖性体现在多个方面。首先，4D几何控制表示是第一个将相机和多物体运动统一在共享世界坐标系中的紧凑、与类别无关的4D几何场景状态表示。与现有方法相比，3D高斯轨迹的概率公式提供了比刚性3D边界框更灵活、比SMPL-X等参数化模型更通用的控制空间。其次，VerseCrafter提出了GeoAdapter，这是一个轻量级DiT风格的适配器分支，通过残差调制将渲染的4D控制映射注入到冻结的Wan2.1-14B视频扩散骨干网络中。这种适配器设计的优势是只需要少量额外参数注入4D几何信息，同时保持所有骨干网络权重固定。第三，VerseCrafter构建了VerseControl4D，这是一个大规模真实世界视频数据集，包含自动导出的提示和渲染的4D控制映射，有35K训练样本。这个数据集解决了真实世界多物体动态视频生成的关键数据瓶颈。第四，VerseCrafter的解耦设计将背景和前景控制分离到不同的通道，使得模型能够更好地保持静态几何并产生更精确和稳定的物体运动。消融实验表明，合并背景和前景控制导致物体运动控制明显下降，而解耦设计在保持静态几何的同时产生更精确和稳定的物体运动。第五，VerseCrafter采用深度感知控制，在控制映射中同时使用RGB和深度信息，使得模型能够恢复一致的视差和遮挡，产生更接近真实几何的结果。消融实验表明，没有深度输入时，模型经常产生错误的前景-背景排序，遮挡边界随时间漂移。

Framework of VerseCrafter. Given an input image and a text prompt, we estimate depth and obtain user-specified object masks to construct 4D Geometric Control consisting of a static background point cloud and per-object 3D Gaussian trajectories in a shared world coordinate frame. A camera trajectory is specified in the shared frame, and together with the 4D Geometric Control, rendered into per-frame background RGB/depth, 3D Gaussian trajectory RGB/depth, and a soft merged mask, forming multi-channel 4D control maps. The 4D control maps are encoded and fed into the proposed GeoAdapter, which conditions a frozen Wan2.1-14B backbone together with text embeddings from umT5, enabling geometry-consistent video generation with precise control over camera and multi-object motion.
Figure 2: Framework of VerseCrafter. Given an input image and a text prompt, we estimate depth and obtain user-specified object masks to construct 4D Geometric Control consisting of a static background point cloud and per-object 3D Gaussian trajectories in a shared world coordinate frame. A camera trajectory is specified in the shared frame, and together with the 4D Geometric Control, rendered into per-frame background RGB/depth, 3D Gaussian trajectory RGB/depth, and a soft merged mask, forming multi-channel 4D control maps. The 4D control maps are encoded and fed into the proposed GeoAdapter, which conditions a frozen Wan2.1-14B backbone together with text embeddings from umT5, enabling geometry-consistent video generation with precise control over camera and multi-object motion.
Construction pipeline of VerseControl4D. Starting from Sekai-Real-HQ and SpatialVID-HQ, we extract 81-frame clips and apply quality filtering. For each retained clip, Qwen2.5-VL-72B, Grounded-SAM2, and MegaSAM provide captions, object masks, depth, and camera trajectory, which are lifted into background/object point clouds, from which 3D Gaussian trajectories are fitted, and then rendered into background/trajectory maps and a soft merged mask that constitute our 4D control maps.
Figure 3: Construction pipeline of VerseControl4D. Starting from Sekai-Real-HQ and SpatialVID-HQ, we extract 81-frame clips and apply quality filtering. For each retained clip, Qwen2.5-VL-72B, Grounded-SAM2, and MegaSAM provide captions, object masks, depth, and camera trajectory, which are lifted into background/object point clouds, from which 3D Gaussian trajectories are fitted, and then rendered into background/trajectory maps and a soft merged mask that constitute our 4D control maps.

实验结果

VerseCrafter在联合相机和物体运动控制以及仅相机运动控制任务上实现了最先进的性能。在联合控制任务上，VerseCrafter在VBench-I2V评估中实现了88.10的Overall Score，比最佳基线Uni3C的83.55提高了4.55分。在3D控制指标上，VerseCrafter显著降低了旋转误差、平移误差和物体运动误差：旋转误差为0.890，比Uni3C的1.361降低了34.6%；平移误差为3.103，比Yume的8.735降低了64.5%；物体运动误差为2.507，比Perception-as-Control的6.556降低了61.8%。定性比较进一步突出了这些差异：Perception-as-Control和Uni3C表现出明显的人体变形，而Yume粗略遵循文本描述的运动但缺乏精确的相机控制，Uni3C还局限于单人且不能很好地推广到多样化的多物体场景。相比之下，VerseCrafter更忠实地遵循相机轨迹和多物体运动，同时保持锐利的外观和几何一致的背景。在仅相机控制任务上，VerseCrafter在静态场景子集上实现了86.80的Overall Score，比最佳基线FlashWorld的85.33提高了1.47分。在3D相机指标上，VerseCrafter显著降低了旋转和平移误差：旋转误差为0.650，比ViewCrafter的2.101降低了69.1%；平移误差为2.587，比Voyager的3.880降低了33.3%。定性比较证实了这些趋势：ViewCrafter和Voyager表现出扭曲的立面、漂移的结构或不准确的相机运动，FlashWorld倾向于产生模糊的场景边界和不精确的相机运动。相比之下，VerseCrafter更好地遵循目标相机轨迹，同时保持锐利的细节和全局一致的3D几何。消融实验验证了三个关键设计选择的有效性：(1) 3D高斯轨迹比3D边界框和3D点轨迹产生更好的视觉质量和控制精度；(2) 深度感知控制比仅RGB控制显著提高几何一致性；(3) 解耦的背景和前景控制比合并控制产生更精确的物体运动控制。完整模型在所有指标上均优于所有消融变体。

Joint camera and object motion control on VerseControl4D. We report VBench-I2V scores and 3D control metrics (RotErr, TransErr, ObjMC). VerseCrafter achieves the best overall video quality and the most accurate joint control of camera and object motion.
Table 1: Joint camera and object motion control on VerseControl4D. We report VBench-I2V scores and 3D control metrics (RotErr, TransErr, ObjMC). VerseCrafter achieves the best overall video quality and the most accurate joint control of camera and object motion.
Camera-only motion control on static scenes. On the static subset of VerseControl4D, we report VBench-I2V scores and camera control metrics (RotErr, TransErr). VerseCrafter achieves the best overall visual quality while substantially reducing camera pose errors.
Table 2: Camera-only motion control on static scenes. On the static subset of VerseControl4D, we report VBench-I2V scores and camera control metrics (RotErr, TransErr). VerseCrafter achieves the best overall visual quality while substantially reducing camera pose errors.
Ablation study on 3D representation, depth, and decoupled controls. We compare different variants of VerseCrafter using VBench-I2V and 3D control metrics (RotErr, TransErr, ObjMC). Our full model with 3D Gaussian trajectories, depth-aware rendering, and decoupled background/foreground controls achieves the best visual quality and the most accurate camera and object motion control.
Table 3: Ablation study on 3D representation, depth, and decoupled controls. We compare different variants of VerseCrafter using VBench-I2V and 3D control metrics (RotErr, TransErr, ObjMC). Our full model with 3D Gaussian trajectories, depth-aware rendering, and decoupled background/foreground controls achieves the best visual quality and the most accurate camera and object motion control.
Qualitative comparison of joint camera and object motion control. Perception-as-Control and Uni3C exhibit noticeable human deformation, while Yume roughly follows the text-described motion but lacks precise camera control. Uni3C is also limited to single human. In contrast, VerseCrafter more faithfully follows both the camera trajectory and multi-object motion while maintaining sharp appearance and geometrically consistent backgrounds.
Figure 4: Qualitative comparison of joint camera and object motion control. Perception-as-Control and Uni3C exhibit noticeable human deformation, while Yume roughly follows the text-described motion but lacks precise camera control. Uni3C is also limited to single human. In contrast, VerseCrafter more faithfully follows both the camera trajectory and multi-object motion while maintaining sharp appearance and geometrically consistent backgrounds.
Qualitative comparison of camera-only motion control on static scenes. ViewCrafter and Voyager exhibit distorted facades, drifting structures, or inaccurate camera motion, while FlashWorld tends to produce blurred scene boundaries and imprecise camera motion. In contrast, VerseCrafter better follows the target camera trajectory while preserving sharp details and globally consistent 3D geometry.
Figure 5: Qualitative comparison of camera-only motion control on static scenes. ViewCrafter and Voyager exhibit distorted facades, drifting structures, or inaccurate camera motion, while FlashWorld tends to produce blurred scene boundaries and imprecise camera motion. In contrast, VerseCrafter better follows the target camera trajectory while preserving sharp details and globally consistent 3D geometry.
Ablation on 3D representations for object motion control. We compare object control using 3D point trajectory (top), 3D bounding box (middle), and 3D Gaussian trajectory (bottom). 3D point trajectory and 3D bounding box often cause scale drift and misaligned motion (red boxes), whereas 3D Gaussian trajectory better follows the intended object motion while preserving plausible shapes and background interactions.
Figure 6: Ablation on 3D representations for object motion control. We compare object control using 3D point trajectory (top), 3D bounding box (middle), and 3D Gaussian trajectory (bottom). 3D point trajectory and 3D bounding box often cause scale drift and misaligned motion (red boxes), whereas 3D Gaussian trajectory better follows the intended object motion while preserving plausible shapes and background interactions.
Ablation on depth-aware control. We compare VerseCrafter without depth inputs (Ours (w/o depth), top) and with RGB+depth inputs (middle) under the same camera trajectory. Without depth, the model often produces incorrect foreground-background ordering, e.g., lampposts are pulled in front of distant buildings, and occlusion boundaries drift over time (red boxes). With RGB+depth, the model recovers consistent parallax and occlusion, producing geometry much closer to the ground truth.
Figure 7: Ablation on depth-aware control. We compare VerseCrafter without depth inputs (Ours (w/o depth), top) and with RGB+depth inputs (middle) under the same camera trajectory. Without depth, the model often produces incorrect foreground-background ordering, e.g., lampposts are pulled in front of distant buildings, and occlusion boundaries drift over time (red boxes). With RGB+depth, the model recovers consistent parallax and occlusion, producing geometry much closer to the ground truth.
Ablation on decoupled background and foreground controls. We compare a variant that merges background and foreground controls into a single map (Ours (BG & FG Merged), top) with our default decoupled design (middle). When the controls are merged, object motion control degrades significantly (red boxes), whereas the decoupled design better preserves the static background and produces more accurate and stable object motion.
Figure 8: Ablation on decoupled background and foreground controls. We compare a variant that merges background and foreground controls into a single map (Ours (BG & FG Merged), top) with our default decoupled design (middle). When the controls are merged, object motion control degrades significantly (red boxes), whereas the decoupled design better preserves the static background and produces more accurate and stable object motion.
查看结构化数据
任务指标本文基线提升
联合相机和物体运动控制 VBench-I2V Overall Score 88.10 Uni3C: 83.55 +4.55
联合相机和物体运动控制 旋转误差 (RotErr, 越低越好) 0.890 Uni3C: 1.361 -34.6%
联合相机和物体运动控制 平移误差 (TransErr, 越低越好) 3.103 Yume: 8.735 -64.5%
联合相机和物体运动控制 物体运动误差 (ObjMC, 越低越好) 2.507 Perception-as-Control: 6.556 -61.8%
仅相机运动控制 VBench-I2V Overall Score 86.80 FlashWorld: 85.33 +1.47
仅相机运动控制 旋转误差 (RotErr, 越低越好) 0.650 ViewCrafter: 2.101 -69.1%
仅相机运动控制 平移误差 (TransErr, 越低越好) 2.587 Voyager: 3.880 -33.3%
联合控制-消融 VBench-I2V Overall Score 88.10 (完整模型) 3D边界框: 85.45 +2.65
联合控制-消融 物体运动误差 (ObjMC, 越低越好) 2.507 (完整模型) 3D点轨迹: 6.896 -63.7%
联合控制-消融 旋转误差 (RotErr, 越低越好) 0.890 (完整模型) 无深度: 1.177 -24.4%

局限与改进

作者承认了VerseCrafter的几个局限性。首先，当前的对象表示仅通过每个物体的单个3D高斯提供椭球体级控制，这限制了精细的姿态和部分级关节控制，特别是对于类人或近对称物体。更表达性的对象表示，如每个物体的多个高斯或关节3D结构，可能会改善精细的方向和姿态控制。其次，背景点云从第一帧重构并主要作为静态几何支架，它锚定视角变化下的场景几何，但不显式建模每帧非刚性背景变形。这种设计对于适度的动态背景效果（如风吹动的草地和流动的河流）仍然有效，但在瀑布等高度非刚性和纹理主导的场景动态下控制能力有限。第三，虽然VerseCrafter通过显式相机控制和3D高斯轨迹控制强制4D几何一致性，但它不在生成过程中施加显式物理约束。集成更强的物理先验，如碰撞感知损失、接触约束、地面约束或可微分物理引导，可能会在复杂交互中提高物理现实主义和可控性。第四，VerseCrafter在高分辨率和长时间范围内仍然计算昂贵，因为它条件化大型冻结视频扩散骨干网络并为所有帧渲染多通道4D控制。未来的工作可以探索更高效的骨干网络、蒸馏采样、缓存控制编码和流式或长视频合成，以实现更快和更长的世界展开。此外，作者观察到了一些边界情况下的局限性：对于强各向异性刚性物体（如汽车和公共汽车），椭球体级方向控制可靠，因为旋转产生渲染足迹和深度的明显变化，产生稳定的方向线索；但对于类人主体，方向变化主要对应于椭球体主长轴周围的旋转，当其他两个轴相似时，投影足迹/深度变化变得微妙和模糊，几何线索可能太弱而不能完全确定朝向，扩散先验可能占主导地位，偶尔导致朝向不匹配。

独立分析的弱点

VerseCrafter在特定场景下存在几个独立分析的弱点。首先，对于类人或近对称物体，椭球体级方向控制可能不够精细。当物体的其他两个轴相似时，围绕主长轴的旋转（如人改变朝向）在2D投影中产生的变化很小，几何线索微弱，扩散先验可能占主导地位，导致朝向不匹配。改进方向是引入更表达性的对象表示，如每个物体的多个3D高斯或关节3D结构，以提供更精细的姿态和部分级控制。其次，对于高度非刚性和纹理主导的背景动态（如瀑布），静态背景点云支架不能显式建模每帧非刚性背景变形，控制能力有限。改进方向是引入显式动态背景表示或随时间演化的场景几何，如动态点云或可变形场景表示。第三，VerseCrafter在生成过程中不施加显式物理约束，可能导致在复杂交互中缺乏物理现实主义（如物体穿透地面或相互穿透）。改进方向是集成更强的物理先验，如碰撞感知损失、接触约束、地面约束或可微分物理引导。第四，VerseCrafter在高分辨率和长时间范围内计算昂贵，生成81帧720P视频在8x96GB GPU上需要约1152秒，峰值为每GPU内存约90GB。改进方向是探索更高效的骨干网络（如蒸馏的小型模型）、蒸馏采样（如更少的去噪步骤）、缓存控制编码（避免重复编码相同的4D几何状态）和流式或长视频合成（逐步生成视频块）。第五，单视图重构可能在剧烈视角变化下几何覆盖不足，导致新视图合成不够真实。改进方向是支持多视图输入以扩展点云覆盖，或使用先进的单视图3D重建方法以提高几何质量。

未来方向

作者提出了几个有前景的未来研究方向。首先，引入更表达性的对象表示，如每个对象的多个3D高斯或关节3D结构，以提供更精细的姿态和部分级关节控制。这对于类人或近对称物体特别重要，当前的椭球体级控制在这些情况下可能不够精确。其次，引入显式动态背景表示或随时间演化的场景几何，以提高对高度非刚性和纹理主导场景动态（如瀑布）的控制能力。这可能包括动态点云、可变形场景表示或时变几何先验。第三，集成更强的物理先验，如碰撞感知损失、接触约束、地面约束或可微分物理引导，以提高复杂交互中的物理现实主义和可控性。这将使生成的视频更加符合物理规律，特别是在物体间交互或物体与环境交互的场景中。第四，探索更高效的骨干网络、蒸馏采样、缓存控制编码和流式或长视频合成，以实现更快和更长的世界展开。这对于实际应用至关重要，因为当前的推理成本（生成81帧720P视频约1152秒）仍然很高。第五，扩展4D几何控制表示以支持更多类型的控制，如光照控制、材质编辑或部分级关节控制。这将使VerseCrafter成为更通用和强大的世界建模工具。第六，构建更大规模和更多样化的数据集，覆盖更广泛的场景类型、物体类别和控制模式，以提高模型的泛化能力和鲁棒性。第七，将4D几何控制表示与其他控制方式（如文本、动作或音频）结合，实现更丰富和灵活的多模态控制界面。

复现评估

作者在论文中提供了详细的实现细节和评估协议，支持复现性。模型配置在Table 4中总结，包括最终输出分辨率（720P）、Wan-DiT层数（40）、GeoAdapter注入块（[0, 5, 10, 15, 20, 25, 30, 35]）、预训练骨干（Wan2.1 T2V-14B）和训练计划（480P上2500次迭代+720P上2500次迭代）。VerseControl4D数据集构建管道详细描述，包括数据收集、剪辑提取、质量过滤和数据注释四个阶段。数据集统计在Table 5中报告，包括35000个训练样本和1000个验证样本，以及按源数据集和场景类型的分布。评估指标在附录D中详细描述，包括VBench-I2V、旋转误差、平移误差和物体运动误差（ObjMC）的计算方法。消融实验在Section 5.3中详细描述，验证了三个关键设计选择的有效性：3D表示、深度感知控制和解耦背景/前景控制。推理效率分析在Section G中提供，包括内存-时间权衡和分阶段端到端推理延迟。作者提到项目页面（https://sixiaozheng.github.io/VerseCrafter_page/）将提供更多信息和可能的代码/数据发布。然而，论文没有明确声明代码和数据集的开源状态，也没有提供模型检查点的访问方式。从计算资源的角度来看，复现VerseCrafter需要大量资源：训练在16个96GB GPU上进行，总训练时间约380小时；生成81帧720P视频在8个96GB GPU上需要约1152秒，峰值为每GPU内存约90GB。这对大多数研究团队来说是一个显著的障碍。此外，论文没有提供详细的超参数设置（如学习率预热、梯度裁剪、数据增强等），这可能影响复现的准确性。总体而言，虽然论文提供了相当详细的实现细节和评估协议，但由于高昂的计算成本和未明确的开源状态，完全复现VerseCrafter仍然具有挑战性。

论文图表

VerseCrafter enables precise control of camera motion and multi-object motion via a 4D Geometric Control representation built from a static background point cloud and per-object 3D Gaussian trajectories, producing videos that better follow the desired motion than Yume [63] and Uni3C [11] and more closely match the ground-truth video.
Figure 1: VerseCrafter enables precise control of camera motion and multi-object motion via a 4D Geometric Control representation built from a static background point cloud and per-object 3D Gaussian trajectories, producing videos that better follow the desired motion than Yume [63] and Uni3C [11] and more closely match the ground-truth video.

图1展示了VerseCrafter的整体概念和与基线方法的定性比较。输入图像（左侧）通过4D几何控制表示（静态背景点云+每个物体的3D高斯轨迹）生成视频。比较了Yume、Uni3C和本文方法的结果，以及真实视频。可以看到本文方法更好地遵循相机轨迹和多物体运动，同时保持锐利的外观和几何一致的背景。

这张图对理解论文至关重要，因为它直观地展示了VerseCrafter的核心创新——4D几何控制表示——与现有方法的对比。读者可以清楚地看到本文方法在相机控制和多物体运动控制方面的优势，以及生成视频与真实视频的相似性。