Holo-World：统一相机、物体和天气控制的视频世界模型 Holo-World: Unified Camera, Object and Weather Control for Video World Model
提出首个统一控制相机、物体和天气的视频世界模型，从单张图像生成精确可控的目标天气场景
前置知识
视频世界模型
视频世界模型是一种生成式模型，能够预测和模拟世界的动态演化。它不仅生成视觉上合理的视频，还能够理解场景的三维结构、相机运动、物体动态等物理规律，在给定控制条件下生成一致的未来帧。与传统的视频生成不同，世界模型强调对场景内在状态的理解和预测能力，使其能够在复杂的动态场景中进行推理和生成。这种模型通常结合了计算机视觉、机器学习和物理模拟的技术，为虚拟环境创建、自动驾驶仿真、游戏内容生成等应用提供基础支撑。
本文的核心目标是构建一个统一的视频世界模型，理解世界模型的概念对于理解论文的整体定位和技术路线至关重要，有助于读者把握论文在视频生成领域中的创新点和贡献。
Flow Matching
Flow Matching是一种生成建模方法，通过学习一个时间依赖的速度场来在数据分布和简单先验分布之间传输样本。与扩散模型类似，但它直接预测速度场而非噪声。数学公式通过定义从数据分布到高斯分布的概率路径来实现，模型需要预测路径上的速度向量。这种方法在生成质量和采样效率方面都有良好表现，已成为大规模视频生成模型的主流训练目标之一。本文基于Wan2.1模型，保留了其Flow Matching目标，同时通过适配器结构引入额外的控制能力。
这是本文模型的基础训练目标，理解Flow Matching有助于理解模型如何生成视频，以及适配器结构如何在不改变基础训练目标的情况下引入控制能力。
Classifier-Free Guidance (CFG)
分类器自由引导是一种在扩散模型中增强条件控制的技术。它在采样时同时使用有条件预测和无条件预测，通过线性组合来增强条件信号的影响。引导强度参数控制条件信号在最终预测中的权重，较大的值可以增强条件控制但可能导致过度饱和。标准的CFG使用一个全局引导方向，将所有条件变化耦合在一起。本文提出了Scene-Weather Decomposed CFG，将传统的单一引导方向分解为场景残差和天气残差两个独立方向，分别控制场景保持和天气效果强度。
本文的核心创新之一就是改进CFG，理解原始CFG有助于理解本文的创新点，以及如何通过分解引导方向来解决场景保持与天气传递的冲突。
G-buffer
G-buffer是计算机图形学中的概念，指渲染过程中生成的几何缓冲区，通常包含深度图、法线图、位置图等几何信息。这些缓冲区描述了场景中每个像素的几何属性，可以用于后处理效果、抗锯齿、景深等操作。在视频生成中，G-buffer作为场景结构的几何锚点，帮助模型保持相机控制下的场景一致性。深度图提供场景中每个像素的距离信息，法线图提供表面朝向信息，这些几何约束可以防止生成过程中出现结构漂移和纹理漂移等问题。
G-buffer控制是本文方法的关键组成部分，理解它有助于理解如何保持场景结构一致性，以及几何信息如何指导视频生成过程。
Image-to-Video (I2V) vs Video-to-Video (V2V)
Image-to-Video是从单张图像生成视频，模型必须自主预测未来的布局、运动和时序连续性，这是一个更难的任务，因为缺乏显式的未来约束。Video-to-Video是基于完整源视频进行编辑，源视频已经提供了未来的布局、运动和时序连续性，模型只需要修改外观而保持结构。本文研究的是更难的I2V场景，即从单张图像开始，在给定相机、物体和天气控制条件下生成目标天气视频。这要求模型同时解决视频生成、结构控制和天气传递三个挑战，而V2V方法只需要解决天气传递。
这是本文与现有天气编辑方法的关键区别，理解这个区别有助于理解本文的贡献和挑战，以及为什么本文的实验结果更具说服力。
研究动机
现有的可控视频生成方法通常沿着分离的控制轴发展，相机控制方法专注于指定视点变化，物体控制方法引导动态实体的运动轨迹，而天气导向方法则专注于合成或编辑环境外观。这种分离导致两个主要障碍。首先是数据障碍，现有方法分别监督部分控制空间，但它们的训练数据假设不是围绕统一的相机-物体-天气接口组织的，导致缺乏联合捕获相机姿态、背景几何、物体控制和目标天气状态监督的样本。其次是建模障碍，需要在同一个可控视频模型中支持背景保持和天气传递。真实视频为源外观和几何一致性提供监督，而配对天气视频为匹配的结构控制下的天气状态传递提供监督。如果这两个目标纠缠在同一个适配器参数空间中，学习的残差要么抑制天气变化，要么干扰相机、物体和背景一致性。在采样时，标准的分类器自由引导使用一个耦合场景保持与天气变化的全局残差，增强天气效果的同时可能过度放大源场景，导致颜色偏移、过度饱和或纹理伪影。
本文的目标是本文的目标是构建一个统一的视频世界模型，从单张观察图像开始，同时精确控制相机运动、物体动态和场景天气状态。模型应该能够在保持源世界结构一致性的前提下，将场景转换到目标天气状态，包括雨天、雪天、雾天、多云等天气效果。具体而言，给定第一帧图像、相机轨迹、物体控制、几何锚点和目标天气描述，模型需要生成一个视频，该视频遵循指定的相机运动和物体动态，同时将场景渲染到目标天气状态。这个目标在理论和实践上都具有挑战性，因为它要求模型理解场景的内在几何结构、天气对场景外观的影响机制，以及如何在不破坏结构一致性的前提下实现天气传递。
与已有工作不同的是，本文的独特切入点是研究第一帧锚定的源到状态问题，即模型只观察单张图像，必须在显式的相机和物体控制下合成未来帧，同时将场景渲染到目标天气状态。这与现有的视频到视频天气编辑方法形成鲜明对比，后者依赖完整的源视频或重建场景来提供未来布局、运动和时序连续性。现有的天气生成方法大多被表述为视频到视频编辑或仿真，其中完整的源视频或重建场景已经提供了未来布局、运动和时序连续性。这些设计在强证据下对天气传递是有效的，但它们不直接解决单图像视频生成问题，其中模型必须遵循显式的相机和物体控制，同时合成目标天气状态。本文是首个在I2V设置下统一控制相机、物体和天气的工作，填补了世界模型研究中环境状态控制与结构控制分离的空白。
核心方法
Holo-World方法的核心思想是构建一个统一的源到状态接口，将需要保持的观察世界和需要传递的目标天气状态分离。方法包含三个关键组件，HoloStateData数据集提供源到状态监督，将真实视频、配对的模拟天气视频和天气传递视频组织成统一的控制样本。统一场景适配器通过World Adapter和State Adapter两个参数不共享的适配器块，在冻结的视频主干网络中引入两个解耦的残差子空间，分别学习世界保持和天气传递。场景-天气分解分类器自由引导在推理时将引导方向分解为场景残差和天气残差，独立控制场景保持和天气强度。这种设计使得模型能够在同一控制界面下支持无编辑的背景保持和天气状态传递，避免了世界保持监督抑制天气变化，也避免了天气监督干扰几何和物体遵循的问题。
本文的核心创新点是两个层面的分离设计，在架构层面和推理层面分别实现世界保持与天气传递的解耦。在架构层面，统一场景适配器通过World Adapter和State Adapter两个参数不共享的适配器块，将世界保持残差和天气传递残差解耦到不同的参数子空间。World Adapter学习相机、背景几何和物体布局的保持残差，而State Adapter学习从源外观锚点到目标天气文本的天气传递残差。两个适配器块具有相同的结构并产生相同形状的残差提示，但它们不共享可训练参数。在推理层面，场景-天气分解分类器自由引导将传统的单一引导方向分解为场景残差和天气残差两个独立的方向，分别用不同的引导强度控制。这种双重分离避免了世界保持监督抑制天气变化，也避免了天气监督干扰几何和物体遵循，同时防止了过度放大源场景的问题。
方法步骤详情
Holo-World的完整流程包括数据构建和模型推理两个阶段。数据构建阶段通过三个步骤将原始视频转换为训练样本。首先是数据收集，从SpatialVID-HQ收集真实视频，从Unreal Engine获取配对的模拟天气视频，并通过视频到视频生成在真实视频上生成天气传递配对。然后是视频标注，对每个八十一帧视频片段进行自动标注，使用Qwen3-VL生成场景提示和天气提示，使用Grounded-SAM2检测第一帧对象并传播掩码，转换为每帧边界框，同时使用Depth Anything和UniDepth提供单目深度先验，MegaSaM估计相机参数，MoGe提供密集深度和法线锚点。最后是场景构建，渲染源侧背景RGB、深度和法线控制视频，源外观锚点也使用渲染的RGB。模型推理阶段给定第一帧图像、世界控制集合、状态控制集合、场景提示和天气提示，Wan主干网络通过Flow Matching目标预测流目标，统一场景适配器在指定层注入两个残差提示。场景-天气分解分类器自由引导在每步去噪时计算三个预测，得到场景残差和天气残差，最终通过加权组合得到预测结果。
技术新颖性
Holo-World的技术新颖性体现在问题定义、数据构建和架构设计三个层面。在问题定义层面，首次提出了统一相机、物体和天气控制的视频世界模型任务，在图像到视频设置下联合控制这三个维度，这是一个更难的任务，因为模型必须同时预测未来布局、运动和天气相关的外观变化。在数据构建层面，HoloStateData通过源到状态记录而非独立的标注视频来组织数据，强制源侧控制和目标天气监督的分离，确保目标天气像素从不用于渲染模型面对的控制，这为学习统一控制提供了必要的数据基础。在架构设计层面，统一场景适配器和场景-天气分解分类器自由引导实现了训练和推理两个层面的分离，通过参数解耦和引导分解解决了世界保持与天气传递的建模冲突，这是首个在单一冻结视频主干中实现这种分离的设计。与需要级联视频到视频编辑器或重建三维场景的现有方法不同，Holo-World让天气相关的外观和粒子效果在同一个受控场景中涌现，而不是依赖后期编辑。
实验结果
实验结果验证了Holo-World在统一状态控制方面的有效性。在Real子集上，Holo-World实现了最佳的VBench-I2V总体得分，在图像到视频主体一致性和图像到视频背景一致性方面表现突出，这些结果表明模型能够在不改变天气的情况下保持源世界的外观和结构。更重要的是，Holo-World获得了最低的相机和物体控制误差，包括旋转误差、平移误差和物体运动控制误差，这些指标显著优于基线方法。这表明为天气传递训练并没有阻止模型在结构控制下保持源世界，证明了统一控制设计的有效性。在Weather子集上，Holo-World在更难的图像到视频设置下超越了视频到视频天气编辑基线，天气对齐率和视觉语言模型评估得分都明显高于现有方法。人类评价者在盲测中显著偏好Holo-World超过基线方法，这进一步证明了方法的优势。定性结果显示，Holo-World能够在保持相同视点演化和场景布局的前提下，通过改变天气提示生成明显不同的雨天、雾天、多云和雪天状态。雨变体使场景变暗并引入湿润或雨天外观，雾变体降低长距离可见性并软化远处结构，云变体将照明转向阴天条件，雪变体改变地面和表面外观。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 世界保持（Real子集） | VBench-I2V Overall Score | 89.05 | VerseCrafter 88.41 | 提升0.64分，在总体质量上取得最优结果 |
| 世界保持（Real子集） | 旋转误差RotErr（度） | 0.719 | VerseCrafter 0.834 | 误差降低13.8%，相机旋转控制精度最高 |
| 世界保持（Real子集） | 平移误差TransErr | 1.123 | VerseCrafter 1.197 | 误差降低6.2%，相机平移控制精度显著提升 |
| 世界保持（Real子集） | 物体控制误差ObjMC | 6.549 | VerseCrafter 7.002 | 误差降低6.5%，物体运动控制精度最优 |
| 天气传递（Weather子集） | 天气对齐率 | 86.00% | Wan2.7-Edit 79.00% | 提升8.9个百分点，天气生成正确率显著提高 |
| 天气传递（Weather子集） | 视觉语言模型评估得分（0-100） | 68.51 | Wan2.7-Edit 61.92 | 提升10.6%，天气生成质量明显改善 |
| 天气传递（Weather子集） | 人类偏好（对比Cosmos-Transfer2.5） | 83.00% | Cosmos-Transfer2.5 17.00% | 偏好率高出66个百分点，人类评价者显著偏好本文方法 |
局限与改进
作者承认的局限性包括，Holo-World的范围仍然是可控视频生成而非完整的物理模拟器，无法模拟复杂的物理交互如流体动力学、刚体碰撞等。天气控制目前仅支持四种天气族，即云、雨、雪、雾，每个族内部的强度变化主要依赖文本描述，可能不够精确。方法依赖于第一帧的几何估计和相机轨迹估计，当初始几何不准确或相机运动过于复杂时，控制精度可能下降。从我们的观察来看，还存在一些潜在局限性，模型在极端天气条件下的视觉效果可能不够真实，例如暴风雪或浓雾等极端情况下的天气效果可能缺乏物理准确性。天气效果的空间分布可能不够精确，例如雨滴的位置和运动轨迹可能不完全符合物理规律，雪花的大小和下落速度可能不够自然。长时间序列生成中天气效果的时序一致性可能存在波动，特别是在生成较长的视频时，天气强度和分布可能会出现不自然的跳变。此外，方法依赖于多个预训练模型，整个流水线的计算开销较大，推理速度可能较慢，这在实际应用中可能成为瓶颈。
独立分析的弱点
Holo-World的弱点可以从多个角度进行分析。在数据依赖方面，方法严重依赖准确的几何估计和相机轨迹估计，当场景中存在大面积均匀区域或动态物体较多时，深度估计和相机追踪可能不稳定，导致控制精度下降。改进方向可以是引入多帧几何约束或使用更鲁棒的同步定位与建图系统。在天气效果方面，当前的天气控制主要通过文本描述实现，缺乏对天气参数的细粒度控制，例如雨滴密度、雾浓度、雪花大小等参数无法精确调整。改进方向可以是引入天气参数的显式控制接口，或者从视频样本中逆向学习天气参数，建立天气效果的参数化模型。在计算效率方面，整个流水线涉及多个预处理步骤和大型模型推理，实时性较差，难以满足实际应用的需求。改进方向可以是端到端训练简化流水线，或者使用知识蒸馏技术减少模型规模，提高推理速度。在生成质量方面，天气效果的物理真实性还有提升空间，特别是在极端天气条件下，例如暴风雨场景中雨滴与物体的交互效果不够真实。改进方向可以是引入物理约束或使用专门的天气渲染模块，结合物理模拟和神经网络的优势。在泛化能力方面，模型可能在未见过的场景类型或天气组合上表现不佳。改进方向可以是扩大训练数据的多样性和覆盖范围，包括更多场景类型和天气条件的组合。
未来方向
作者提出的未来工作方向包括扩展天气控制到更多环境状态，如不同的光照条件、季节变化、水面波动等，以支持更丰富的环境状态控制。支持更细粒度的天气参数控制，如雨滴大小、雾浓度、风力影响等，使用户能够更精确地控制天气效果。提高模型在长时间序列上的几何一致性和时序稳定性，解决长视频生成中的漂移问题。探索与其他世界模型任务的结合，如物理交互模拟、多智能体行为预测等，构建更完整的世界模型。基于本文成果，可以延伸的研究方向包括将统一控制框架扩展到其他模态，如音频控制，实现雨声、风声等音频与视觉天气效果的同步生成。研究天气与相机、物体控制的更深层次交互，例如雨天对路面摩擦力的影响、雾天对能见度限制对相机运动的影响等，使生成的场景更加符合物理规律。开发更高效的训练和推理方法，例如通过模型压缩或并行计算提高实用性，降低计算资源需求。探索在真实世界中的应用场景，如自动驾驶仿真、影视后期制作、游戏内容生成等，将研究成果转化为实际生产力。研究如何将物理约束引入生成过程，使天气效果更加真实和可控，结合物理模拟和生成模型的优势。
复现评估
从复现性角度看，Holo-World的复现难度属于中等水平。开源方面，论文提供了项目页面，但未明确说明是否开源代码、模型权重和HoloStateData数据集，这可能影响复现的便利性。数据方面，HoloStateData包含约一万五千个训练样本和一百五十个基准样本，构建过程涉及多个数据源和复杂的标注流水线，复现完整数据集需要大量计算资源和时间。算力方面，训练在八张图形处理器上进行，使用八十一帧的高分辨率片段，批量大小为一，梯度累积因子为二，训练三千步，这对于大多数研究团队来说是可获取的，但仍需要相当的计算资源。代码实现方面，方法基于Wan2.1视频生成模型，需要集成多个预训练模型，整个流水线的实现复杂度较高，需要较强的工程能力。评估方面，论文使用了多种自动指标和人类偏好研究，评估协议相对完整，指标选择合理，能够全面评估模型的性能。总体而言，复现Holo-World需要较强的工程能力和充足的计算资源，但论文提供了足够的技术细节使得有能力的团队能够实现复现。如果作者能开源代码、模型权重和数据集样本，将大大降低复现门槛，促进研究的进一步发展。
论文图表
这个表格展示了天气生成和用户研究结果。列包括天气对齐率、视觉语言模型评估、用户研究（分别报告对Cosmos和Wan2.7的偏好率）。方法包括Wan2.7-Edit、Cosmos-Transfer2.5和Holo-World。Holo-World在天气对齐率和视觉语言模型评估上取得最佳结果，分别为86.00%和68.51。用户研究显示83.00%的受访者偏好Holo-World超过Cosmos，62.00%偏好超过Wan2.7-Edit。表格清楚地表明Holo-World在天气生成任务上超越了现有的视频到视频编辑方法。
这个表格对理解论文的天气传递能力至关重要，因为它在自动指标和人类偏好两方面都证明了Holo-World的优势。特别值得注意的是，Holo-World在更难的图像到视频设置下超越了视频到视频天气编辑基线。这个表格应该放在结果部分，它展示了天气传递的主要结果，为方法的天气生成能力提供了全面的评估。
这张图展示了主要的定性比较。上半部分展示了世界保持结果，比较了参考图像、真实相机姿态与GEN3C、VerseCrafter和Holo-World的生成结果。下半部分展示了天气传递结果，比较了参考图像、真实相机姿态与Cosmos-Transfer、Wan-2.7-Edit和Holo-World的生成结果，天气条件包括雪和雾。图示清楚地显示Holo-World能够在保持源控制世界的前提下生成目标天气状态，而基线方法要么结构控制不准确，要么天气效果不自然。
这张图对理解论文的定性表现很重要，因为它直观地展示了Holo-World在世界保持和天气传递两个任务上的视觉质量。图示清楚地显示Holo-World能够在保持源控制世界的前提下生成目标天气状态。这张图应该放在结果部分，它展示了主要的定性比较结果，为定量结果提供了视觉证据。
这个表格展示了场景-天气分解分类器自由引导的消融实验。列包括背景峰值信噪比、背景结构相似性、背景感知差异和天气对齐率、视觉语言模型评估。行比较了无引导、标准分类器自由引导、场景-天气分解分类器自由引导和场景-天气分解分类器自由引导的结果。场景-天气分解分类器自由引导在保持背景指标的同时显著提升了天气指标，天气对齐率从51.00%提升到86.00%，视觉语言模型评估从51.60提升到68.51。场景-天气分解分类器自由引导进一步提升了天气指标，但可能过度放大天气效果。
这个表格对理解论文的引导策略很重要，因为它验证了场景-天气分解分类器自由引导相对于传统分类器自由引导的优势。表格清楚地显示场景-天气分解分类器自由引导能够在不损害背景保持的前提下显著增强天气效果，而传统分类器自由引导会牺牲背景指标。这个表格应该放在结果部分，它展示了引导策略的消融结果，为引导策略的创新提供了证据。
这张图展示了模型设计消融的可视化。上半部分展示天气样本，下半部分展示真实样本。从左到右依次添加组件，无几何控制、添加几何缓冲区控制、添加统一场景适配器、添加场景-天气分解分类器自由引导。图中可以清楚地看到每个组件如何逐步改善天气传递效果和世界保持质量。完整模型在保持世界一致性的同时生成自然的天气效果，而缺少某些组件时要么天气效果不明显，要么世界结构被破坏。
这张图对理解消融实验的视觉效果很重要，因为它直观地展示了每个组件如何影响生成结果。图示清楚地显示统一场景适配器和场景-天气分解分类器自由引导减少了真实子集保持和天气子集编辑之间的干扰。这张图应该放在结果部分，它补充了消融实验的定性展示，为消融实验提供了视觉证据。
这张图展示了Holo-World的额外可视化。左侧展示世界保持，包括参考图像、渲染的RGB、渲染的法线、渲染的深度、输出和真实相机姿态。右侧展示天气传递，天气条件包括雾和雪，同样包括参考图像、渲染的RGB、渲染的法线、渲染的深度、输出和真实相机姿态。图示清楚地展示了渲染的控制如何指导生成，以及天气传递如何在相同的控制接口下工作。真实示例显示模型能够保持世界结构，天气示例显示模型能够在保持结构的前提下传递天气状态。
这个图对理解模型的中间表示很重要，因为它展示了渲染的控制如何指导生成，以及天气传递如何在相同的控制接口下工作。这个图应该放在结果部分，它补充展示了更多定性结果，为方法的工作机制提供了直观解释。