DreamWorld：视频生成中的统一世界建模

通过联合建模多源世界知识（运动、语义、几何），实现物理一致的视频生成。

前置知识

Diffusion Transformer (DiT)

扩散 Transformer 是一类将 Transformer 架构与扩散生成模型结合的生成范式。它将图像/视频生成建模为从高斯噪声到目标数据的逐步去噪过程，使用 Flow Matching 学习一个速度场 $v_\theta$ 来引导 ODE 求解。与传统 U-Net 扩散模型不同，DiT 用 Transformer 替代卷积骨干，获得了更好的可扩展性和长距离建模能力。代表性模型包括 Stable Diffusion 3、Wan2.1、HunyuanVideo 等。

DreamWorld 的骨干网络 Wan2.1 即基于 DiT 架构，理解其去噪原理是理解本文方法的基础

Representation Alignment (REPA)

表征对齐是一种在扩散模型训练过程中引入预训练基础模型（如 DINOv2、CLIP）的结构化先验知识的技术。其核心思想是通过额外的对齐损失，迫使生成模型的内部表征与预训练专家模型的特征空间保持一致，从而让生成模型「继承」专家模型对世界结构的理解。VideoREPA 将这一范式扩展到视频领域，通过 Token Relation Distillation (TRD) 从单一专家模型中蒸馏知识。

本文的核心创新建立在 REPA 的基础上，但将其从单专家对齐扩展到多源统一建模

Flow Matching

Flow Matching 是一种生成建模框架，它学习一个常微分方程（ODE）的速度场 $v_\theta(z_t, t, c)$，将噪声分布 $z_1$ 映射到数据分布 $z_0$。给定插值路径 $z_t = tz_1 + (1-t)z_0$，模型通过回归目标速度 $z_1 - z_0$ 来训练。相比 DDPM 等去噪扩散方法，Flow Matching 提供更直的概率路径，训练更稳定，已在 LTX-Video、Pyramid Flow 等模型中验证有效。

DreamWorld 的训练目标基于 Flow Matching 框架，理解速度场回归才能理解其损失函数设计

Classifier-Free Guidance (CFG)

无分类器引导是一种在扩散模型推理时增强条件遵循的技术。其核心是在去噪过程中同时计算有条件预测和无条件预测，然后将两者进行线性组合：$\tilde{v} = (1+w) \cdot v_\theta(z_t, c) - w \cdot v_\theta(z_t, \varnothing)$。权重 $w$ 控制条件强度，越大则生成结果越贴合条件，但过高会导致过度饱和。本文将此机制扩展为对文本、时间、语义、空间四个条件源的独立引导。

本文提出的 Multi-Source Inner-Guidance 是对经典 CFG 的多条件扩展，理解 CFG 原理是理解推理引导机制的前提

Video Foundation Models (VFMs)

视觉基础模型是在大规模数据上预训练的通用视觉特征提取器。本文使用了三个关键 VFM：RAFT 用于估计光流（像素级运动轨迹），DINOv2 提供自监督语义特征（物体识别与分割），VGGT 显式建模 2D 空间几何关系（深度、点云）。这些模型各自专注于世界的某一维度，本文的核心挑战在于如何将它们的知识协同注入视频生成模型。

DreamWorld 依赖多个预训练视觉基础模型提取世界知识先验，理解这些模型的能力边界有助于理解论文的贡献和局限

研究动机

当前最先进的视频生成模型（如 Wan2.1、HunyuanVideo、OpenSora）虽然通过大规模数据和计算实现了令人印象深刻的视觉保真度，但本质上仍停留在「表面合理」的像素分布匹配层面，缺乏对世界的结构化理解。这导致生成的视频在世界基准测试（如 VBench 2.0）上表现有限，具体表现为：物理常识违背（物体穿透、流体行为不合理）、语义幻觉（物体消失或融合）、时间不一致（身份漂移、高频闪烁）。此前的代表工作 VideoREPA 虽然通过表征对齐从单一专家模型（如 DINOv2）蒸馏了语义先验，但论文作者的实验表明，简单地将 REPA 扩展到同时对齐多个异构专家（DINOv2 + VGGT + VideoMAEv2）会导致多目标优化困境——不同教师模型的冲突梯度引发优化不稳定，VideoPhy 的物理常识分数从 29.7 下降到 24.1，说明关系对齐范式不足以支撑统一世界模型所需的多源知识整合。

本文的目标是本文的目标是构建一个统一的视频生成框架，能够同时内化三种互补的世界知识维度——时间动力学（运动轨迹）、空间几何（3D 结构约束）和语义一致性（物体身份与交互逻辑）——使生成模型从「视觉生成器」进化为「世界模拟器」。具体地，作者希望在 VBench 总分上超过 Wan2.1 基线和 VideoJAM，在 VideoPhy 的物理常识（PC）指标上取得显著提升，同时保持视觉质量和时间平滑性不退化。

与已有工作不同的是，本文的独特视角在于：(1) 它不采用此前工作常用的隐式对齐策略（如 Token Relation Distillation），而是提出将世界知识作为显式的联合预测目标——模型不仅要预测视频像素，还要同时预测来自多源专家的特征，这是一种更深层的知识内化方式；(2) 它识别到多源异构知识整合的核心瓶颈不是「如何引入更多知识」，而是「如何在训练过程中平衡知识注入与生成保真度」，并针对性地提出了退火策略来逐步调和这一矛盾；(3) 它在推理阶段引入了多源自引导机制，让模型利用自身预测的世界知识特征来校正生成轨迹，而非仅依赖外部信号。

核心方法

DreamWorld 的核心思路可以用一个类比来理解：如果说传统视频扩散模型是一个「画家」只学习画出看起来逼真的画，那么 DreamWorld 试图让这个画家同时理解「物理学家的运动定律」「建筑师的空间结构」和「语义学家的物体逻辑」，并在绘画过程中同步创作这些「知识画作」。技术路线上，DreamWorld 首先构建一个复合世界知识空间 $Z_{\text{world}}$，将光流（时间动力学）、DINOv2（语义）、VGGT（空间几何）的特征统一编码后，与视频潜在表示拼接输入扩散 Transformer。关键设计在于：模型的输出不仅是视频噪声的预测，而是一个联合速度场，同时预测视频像素和所有世界特征。训练时通过 CCA 退火策略逐步降低世界知识的损失权重，推理时通过多源自引导机制利用模型自身预测的知识来校正生成。

DreamWorld 最本质的创新在于「联合世界建模范式」（Joint World Modeling Paradigm）——将世界知识从辅助条件或对齐目标升级为与视频像素平级的联合预测目标。这意味着世界知识不再是一个外部的软约束（如 REPA 的对齐损失），而是模型必须主动生成的内容。具体地，作者扩展了扩散 Transformer 的输入和输出投影层：输入端将世界知识特征 $Z_{\text{world}}$（维度 $C_{\text{total}}=48$，包含 $C_{\text{temporal}}=16$、$C_{\text{semantic}}=8$、$C_{\text{spatial}}=8$ 以及 $C_{\text{vae}}=16$）与视频潜在表示拼接，输出端让模型同时预测 $\hat{z}_{\text{vae}}$、$\hat{z}_{\text{temporal}}$、$\hat{z}_{\text{semantic}}$、$\hat{z}_{\text{spatial}}$。新增投影层的权重初始化为零，确保训练初期模型行为与原始 Wan2.1 完全一致，随着训练逐步学习世界知识的生成能力。这种设计让模型内化了像素与世界知识之间的互信息，而非仅仅在表征空间做软对齐。

方法步骤详情

DreamWorld 的完整方法流程分为四个阶段。第一阶段是知识预提取：使用 RAFT 计算光流场 $d \in \mathbb{R}^{H \times W \times 2}$，将其转换为 RGB 可视化（运动幅度调制亮度，运动方向调制色相），再由 Wan2.1 的 VAE 编码为时间潜在 $z_{\text{temporal}}$；同时用 DINOv2 和 VGGT 分别提取语义和空间特征。第二阶段是统一对齐：将所有异构特征通过空间插值对齐到 $H_{\text{lat}} \times W_{\text{lat}}$，通过时间池化调整序列长度，标准化到统一统计流形，再用 PCA 压缩通道维度，最终拼接为 $Z_{\text{world}} = [z_{\text{temporal}}, z_{\text{semantic}}, z_{\text{spatial}}]$。第三阶段是联合训练：将 $Z_{\text{world}}$ 与噪声视频潜在拼接 $z_t = [z_{\text{vae}}, Z_{\text{world}}]_t$，通过扩展的投影层 $W^+_{\text{in}}$（零初始化世界知识部分）输入 Transformer，输出联合速度场后分解为各模态分量，总损失为 $\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{vae}} + \lambda_{\text{temp}}(t)\mathcal{L}_{\text{temporal}} + \lambda_{\text{sem}}(t)\mathcal{L}_{\text{semantic}} + \lambda_{\text{spa}}(t)\mathcal{L}_{\text{spatial}}$，其中权重由 CCA 退火调度。第四阶段是推理引导：在去噪过程中对文本、运动、语义、空间四个条件源分别计算有条件和无条件预测，通过线性组合进行多源自引导校正。

技术新颖性

DreamWorld 的技术新颖性体现在三个层面。首先是范式层面的创新：不同于 REPA 系列方法将世界知识作为对齐目标（表征空间的软约束），DreamWorld 将其作为联合生成目标（像素空间的硬预测），这是一种从「外部知识注入」到「内在知识生成」的范式转换。其次是训练策略层面的创新：CCA 退火机制 $\lambda(t) = \lambda_{\text{base}} \cdot \frac{1}{2}(1 + \cos(\pi \frac{t}{T_{\text{total}}}))$ 解决了多源异构知识引入时的优化冲突问题——通过余弦退火将世界知识的约束强度从 0.2 逐步降到 0，避免了后期训练中知识约束干扰视觉保真度。这与此前工作的静态权重方案形成鲜明对比。最后是推理机制层面的创新：Multi-Source Inner-Guidance 将标准 CFG 扩展为四条件独立引导，且利用的是模型自身预测的世界知识特征而非外部提取的特征，实现了「自我校正」的效果。

实验结果

DreamWorld 在四个基准测试上进行了全面评估。在 VBench 上，DreamWorld 以总分 80.97 超过 Wan2.1-T2V-1.3B（76.93）、Wan2.1 微调版（78.71）和 VideoJAM（78.76），提升幅度达 2.26 分。特别值得注意的是，DreamWorld 在 Dynamic Degree（79.16 vs VideoJAM 73.88）和 Spatial Relationship（70.47 vs VideoJAM 66.17）上取得了显著提升，表明多源知识注入有效增强了动态理解和空间一致性。在 VBench 2.0 上，DreamWorld 以总分 52.97 领先所有基线，在 Human Fidelity（80.11）和 Physics Score（55.07）上表现突出。在 VideoPhy 物理常识基准上，DreamWorld 取得了 SA=52.9%、PC=26.2% 的总体成绩，在 Solid-Fluid 交互场景中 PC 达到 32.7%（Wan2.1 仅 23.6%），在 Fluid-Fluid 场景中 SA 达到 60.1%（Wan2.1 为 45.4%），说明多源世界知识对流体物理行为的理解有显著提升。在 WorldScore 上，DreamWorld 以总分 51.48 略胜 Wan2.1（51.03），在 3D Consistency（73.16）和 Photometric Consistency（77.55）上取得最高分。消融实验进一步验证了各组件的有效性：仅用 VGGT 时总分 79.68，加入 DINOv2 后升至 79.98，完整模型达 80.97；移除文本引导会导致 Semantic Score 从 70.89 暴跌至 47.41；移除时间先验对 Quality Score 影响最大。

查看结构化数据

任务	指标	本文	基线	提升
VBench 综合评估	Overall Score	80.97	Wan2.1-T2V-1.3B: 76.93; VideoJAM: 78.76	比 Wan2.1 提升 4.04 分，比 VideoJAM 提升 2.21 分
VBench 2.0 综合评估	Total Score	52.97	Wan2.1-T2V-1.3B: 50.77; VideoJAM: 52.33	比 Wan2.1 提升 2.20 分，比 VideoJAM 提升 0.64 分
VideoPhy 物理常识	Overall PC	26.2	Wan2.1-T2V-1.3B: 21.2; VideoJAM: 25.3	比 Wan2.1 提升 5.0 分，比 VideoJAM 提升 0.9 分
VideoPhy 语义遵循	Overall SA	52.9	Wan2.1-T2V-1.3B: 47.7; VideoJAM: 45.3	比 Wan2.1 提升 5.2 分，比 VideoJAM 提升 7.6 分
WorldScore 世界模型评估	Overall Score	51.48	Wan2.1-T2V-1.3B: 51.03; VideoJAM: 49.38	比 Wan2.1 提升 0.45 分，比 VideoJAM 提升 2.10 分

局限与改进

作者坦诚指出两个主要限制：(1) 计算资源约束——实验仅在 8 张 A100 GPU 上完成，训练数据集为 32k 视频的 WISA 子集，这限制了模型的能力上限和泛化性；(2) 训练数据多样性不足——当前数据集的场景和主题覆盖范围有限，可能无法充分验证框架在更广泛世界知识上的有效性。从独立观察来看，还存在以下问题：WorldScore 上的提升幅度相对较小（仅 0.45 分），说明在综合世界建模能力上优势并不显著；VBench 2.0 的 Creativity Score（50.89）低于 VideoJAM（49.32）的差距很小，且 Controllability Score（16.95）低于 Wan2.1 微调版（18.41），暗示多源知识注入可能在一定程度上限制了生成的多样性和可控性；实验仅在 1.3B 参数的小模型上验证，能否扩展到更大规模模型（如 7B、14B）尚不确定。

独立分析的弱点

从独立分析角度，DreamWorld 存在以下弱点和改进方向。第一，知识源的选择较为保守——仅使用光流、DINOv2 和 VGGT 三个专家，而未探索更丰富的世界知识维度，如物理仿真器的输出、深度估计网络、或大型语言模型的常识推理。可以考虑引入可学习的知识源选择机制，根据任务自适应地组合不同专家。第二，PCA 压缩可能造成信息损失——将 DINOv2 和 VGGT 的高维特征分别压缩到 8 通道，不可避免地丢失了细粒度的空间和语义信息。可以探索更精细的压缩策略，如向量量化或自适应维度分配。第三，推理时的多源自引导需要额外计算四次去噪（文本、运动、语义、空间各一次无条件前向），显著增加了推理开销。可以研究缓存机制或蒸馏策略来降低这一成本。第四，退火策略是全局的（仅依赖训练步数），未考虑不同样本对世界知识的需求差异——简单场景可能不需要强约束，而复杂物理交互可能需要更持久的知识引导。第五，实验规模较小（1.3B 模型、32k 视频、8 GPU），在大规模模型和数据上的表现未经验证。

未来方向

未来研究可以从多个方向展开。首先，扩展知识源维度是自然的延伸方向——将物理引擎、深度估计、音频同步等更多维度的世界知识纳入联合建模范式，构建更完整的「世界模拟器」。其次，探索自适应退火策略——根据生成样本的复杂度（如场景中的物体数量、物理交互类型）动态调整世界知识的约束强度，而非使用统一的余弦调度。第三，在更大规模的模型（如 7B+）和更高质量的数据集上验证框架的可扩展性，特别是验证 CCA 策略在长时间训练中的稳定性。第四，将框架扩展到视频编辑、视频预测和交互式世界模拟等下游任务，验证其作为通用世界模型的能力。第五，研究世界知识特征的可解释性——模型是否真的学习到了有意义的物理规律，还是仅仅在统计上拟合了教师模型的输出。第六，探索知识蒸馏——将多专家集成的知识蒸馏到更轻量的模型中，降低训练和推理成本。

复现评估

复现评估方面，论文承诺代码将公开发布在 GitHub 上，这对复现非常有利。模型基于开源的 Wan2.1-T2V-1.3B 架构，LoRA 微调在 WISA 开源数据集的 32k 视频子集上完成，训练 2000 步。硬件需求为 8 张 NVIDIA A100 GPU，batch size 16，BF16 混合精度训练，对于学术实验室属于可接受的门槛。推理时 81 帧 480×832 分辨率，50 步去噪，配合多源自引导（额外 4 次前向传播）需要中等偏高的 GPU 内存。世界知识的离线预提取（RAFT 光流、DINOv2 语义、VGGT 空间）需要额外的预处理时间，但只需一次性完成。总体而言，复现难度中等——关键依赖均为开源模型，训练数据可获取，但多源特征提取和对齐的实现细节（特别是 PCA 维度选择、运动到 RGB 的转换参数 $\sigma$）需要仔细对齐论文附录中的超参数设置。

DreamWorld：视频生成中的统一世界建模 DreamWorld: Unified World Modeling in Video Generation