OmniWeaving: 面向自由形式组合与推理的统一视频生成框架 OmniWeaving: Towards Unified Video Generation with Free-form Composition and Reasoning
开源统一视频生成模型，融合多模态组合与推理能力，支持文本/图像/视频自由形式输入
前置知识
Multimodal Large Language Model (MLLM)
多模态大语言模型是一种能够同时处理文本、图像、视频等多种模态输入的大型语言模型。它通过视觉编码器（如 ViT）将图像/视频转化为 token，与文本 token 一起输入 Transformer 架构进行统一的语义理解。在本文中，MLLM 不仅用于理解用户的多模态输入，还被激活了「思考模式」来生成中间推理步骤，从而为视频生成提供更精确的语义引导。代表模型包括 Qwen2.5-VL、GPT-4o 等。
OmniWeaving 的核心架构之一就是 MLLM，理解它如何处理多模态输入、如何生成推理 trace，是理解本文方法的关键。
Multimodal Diffusion Transformer (MMDiT)
多模态扩散 Transformer 是一种基于 Transformer 架构的扩散生成模型，能够接受多种模态条件（文本嵌入、图像特征等）来指导去噪过程。与传统 UNet 架构不同，MMDiT 使用全 Transformer 结构，在处理高分辨率和长时序视频生成时更具扩展性。本文使用的 MMDiT 基于 HunyuanVideo-1.5，包含 conditioning branch（编码语义条件）和 generative branch（生成视频 latent）。
MMDiT 是 OmniWeaving 的生成骨干，理解它的 conditioning 机制对于理解 DeepStacking 如何注入多粒度语义特征至关重要。
VAE (Variational Autoencoder) 视觉分词器
变分自编码器在视频生成中充当视觉分词器（Visual Tokenizer），将高分辨率的图像/视频压缩到低维潜在空间（latent space），同时保留足够的细粒度视觉信息用于重建。编码器将像素空间映射到潜在空间，解码器则将潜在表示还原为视频帧。这种压缩使得扩散模型在潜在空间而非像素空间进行去噪，大幅降低了计算成本。
VAE 提供了低层视觉重建信号，与 MLLM 提供的高层语义信号形成互补，是理解 OmniWeaving 双流条件输入的基础。
VLM-as-a-Judge
一种利用视觉语言模型（VLM）作为自动评估器的范式。具体做法是将生成的视频、输入条件和评估指令一起提供给强大的 VLM（如 Gemini2.5-Pro），让 VLM 对视频质量在多个维度上打分（1-5分）。相比传统指标（如 FID、CLIP Score），VLM-as-a-Judge 能更准确地评估语义一致性、指令遵循度等高阶能力，与人类评分的相关性也更高。
本文提出的 IntelligentVBench 评测基准全面采用 VLM-as-a-Judge 范式，理解这一评估方法才能正确解读实验结果的含义和可信度。
DeepStacking 机制
DeepStacking 是本文提出的一种多粒度语义注入策略。传统方法通常只使用 MLLM 最后一层的隐藏状态来条件化生成模型，但这丢失了中间层蕴含的丰富语义信息。DeepStacking 从 MLLM 的多个中间层（如第 8、16、24 层）提取隐藏状态，通过 MLP 投影后注入到 MMDiT conditioning branch 的前三层中。浅层特征包含细粒度的视觉细节，深层特征包含抽象的语义理解，这种多粒度融合对复杂的组合式生成至关重要。
DeepStacking 是本文的核心技术创新之一，直接决定了模型在多主体组合场景下的表现，是理解实验中 ablation study 结果的关键。
研究动机
当前开源视频生成领域存在严重的碎片化问题。绝大多数学术模型（如 Wan2.1、HunyuanVideo、CogVideoX 等）是针对单一任务设计的专家模型，分别聚焦于文本生成视频（T2V）、图像生成视频（I2V）或视频编辑（V2V），依赖任务特定的模块和独立的流水线，无法在单一框架内统一处理多种输入格式。尽管近期出现了一些统一视频生成的尝试（如 VACE、UniVideo、VINO），但这些模型要么仅覆盖基础的任务组合，要么未能充分利用深层视觉理解来驱动统一生成。具体而言，VINO 和 VACE 在 Compositional MI2V 任务上表现尚可，但在 Interpolative DI2V 和 TIV2V 任务上严重退化；UniVideo 虽然融合了 MLLM，但在推理密集型场景（如 Implicit I2V）中表现不佳。与此同时，商业系统如 Seedance-2.0 已经实现了真正的「全能型」视频生成，集成了多模态组合和抽象推理能力，开源社区与之之间的差距在持续拉大。此外，现有评测基准（如 VBench、TGVE+）大多局限于简单的单模态输入场景，无法有效评估模型的组合和推理能力，进一步阻碍了该领域的发展。
本文的目标是本文的目标是构建一个开源的全能级（omni-level）视频生成模型 OmniWeaving，使其能够：（1）无缝处理自由形式的多模态交错输入（文本、多张图像、视频的任意组合），实现真正的统一视频生成；（2）具备强大的多模态组合能力，能够从不同输入中提取主体和场景元素，在时空维度上进行一致性组合；（3）具备抽象推理能力，当用户输入模糊或隐含意图时，能够主动推理出合理的视频内容；（4）在开源统一模型中达到 SOTA 性能，缩小与商业系统的差距。同时，本文还目标推出 IntelligentVBench，一个专门评估组合能力和推理能力的综合评测基准。
与已有工作不同的是，本文的独特切入点在于三个层面的创新协同。首先，在架构层面，它不仅仅将 MLLM 和扩散模型拼接在一起，而是通过激活 MLLM 的「思考模式」来实现从被动特征提取到主动推理的跃迁，让模型先理解再生成。其次，在数据层面，它构建了包含推理增强任务（Reasoning-Augmented Tasks）的大规模训练数据集，这类数据在现有工作中几乎完全缺失——现有统一模型的训练数据主要覆盖基础任务和简单组合，而缺乏需要模型进行因果推理、意图理解的复杂场景。最后，在评测层面，现有基准无一能够同时评估组合能力和推理能力，IntelligentVBench 是第一个将这两者统一在一个评测框架下的基准。这种「架构-数据-评测」三位一体的策略，使得 OmniWeaving 能够系统性地弥补现有开源统一视频生成模型的核心短板。
核心方法
OmniWeaving 的整体思路可以用一个「编织」的比喻来理解：想象一个技艺精湛的织工，手中有各种颜色和材质的线（文本、图像、视频等不同模态的输入），他需要理解这些线的特性（视觉理解），推理出最终织物的图案（抽象推理），然后在时空维度上将它们交织成一幅完整的画面（视频生成）。在技术路线上，OmniWeaving 由三个核心组件构成：（1）MLLM 作为语义解析器，接收自由形式的多模态输入，将其投影到高层语义空间；（2）VAE 作为视觉分词器，将输入视觉信息压缩为低层潜在表示；（3）MMDiT 作为扩散生成骨干，其 conditioning branch 编码 MLLM 的语义特征，generative branch 整合 VAE latent 和噪声进行视频生成。在此基础上，本文引入了两个关键改进：激活 MLLM 的思考模式（使其从被动编码器变为主动推理器），以及 DeepStacking 机制（从 MLLM 多层提取特征注入 MMDiT）。训练采用渐进式三阶段策略，逐步从模态对齐发展到多任务预训练，最终进行推理增强微调。
OmniWeaving 最核心的创新在于「理解驱动生成」（comprehension-guided generation）的范式转变。现有统一视频生成模型大多将 MLLM 视为一个被动的特征提取器——接收输入、编码特征、传递给扩散模型。这种模式在面对模糊、隐含或多模态组合的输入时，会因为语义歧义而导致生成质量下降。OmniWeaving 的关键洞察是：MLLM 应该像一个「思考中的助手」，在生成视频之前先进行推理。具体而言，当激活 MLLM 的思考模式后，模型会生成一段中间推理 trace——对于隐含意图的输入，它会推断出具体的视频内容描述；对于多张差异较大的关键帧，它会推理出帧之间的过渡逻辑；对于多主体组合场景，它会规划各元素的时空关系。这个推理 trace 的隐藏状态与原始输入的隐藏状态一起传递给 MMDiT，从而弥合了抽象用户意图与像素级生成之间的认知鸿沟。这一设计使得模型从「被动渲染器」进化为「主动推理-生成器」，在 Implicit I2V 任务上，开启思考模式后 AVG 分数从 3.72 提升至 3.93，验证了推理能力对生成质量的实质性贡献。
方法步骤详情
OmniWeaving 的完整流程包括数据处理、模型推理和训练三个层面。在推理阶段：（1）用户输入自由形式的多模态条件（文本提示、参考图像、源视频等），MLLM 接收这些交错输入；（2）对于推理增强场景，MLLM 激活思考模式，生成中间推理 trace（如详细描述目标视频的视觉、时间和语义特征）；（3）MLLM 的最后一层隐藏状态通过 MLP connector 投影到 MMDiT 嵌入空间；（4）同时，DeepStacking 机制从 MLLM 的第 8、16、24 层提取中间层隐藏状态，经 MLP 投影后注入到 MMDiT conditioning branch 的前三层；（5）VAE 将参考视觉信息编码为低层 latent，与噪声一起输入 MMDiT 的 generative branch；（6）MMDiT 在两个分支的联合条件下执行去噪，生成视频的潜在表示；（7）VAE 解码器将潜在表示还原为最终视频。在训练阶段，采用三阶段渐进策略：Stage 1（5K 步，128 张 H20 GPU）仅训练基础 T2V 和 I2V 任务，冻结 MLLM，对齐 MLLM 和 MMDiT 的模态；Stage 2（50K 步，400 张 H20 GPU）引入所有任务（除推理任务），先排除视频输入任务训练 20K 步，再联合训练 30K 步，MLLM 仍冻结；Stage 3（3K 步，400 张 H20 GPU）解冻 MLLM，引入推理增强任务和 Stage 2 的高质量子集，同时优化扩散损失和推理 trace 的下一个 token 预测损失，损失权重为 CE:MSE = 0.25:1。
技术新颖性
OmniWeaving 在技术新颖性上主要体现在以下几个方面。第一，思考模式激活（Thinking Mode Activation）是视频生成领域的首次尝试。虽然在 LLM 领域，Chain-of-Thought 推理已是标准范式，但将其引入视频生成模型的 MLLM 组件，使其在编码多模态输入时自动生成推理 trace 并用于指导扩散模型，这在方法论上是全新的。第二，DeepStacking 机制借鉴了 Qwen3-VL 的设计思路，但将其创造性地应用于视频生成的条件注入——不是简单地用最后一层特征条件化生成模型，而是从多个深度提取特征形成语义光谱，这与 UniVideo 仅使用 query token 机制或直接使用最后一层隐藏状态的方式形成了鲜明对比。第三，训练数据构建中的推理增强任务设计具有独创性，特别是 Event-Deductive Multi-Image-to-Video 任务，要求模型在多张差异显著的关键帧之间进行事件推理和过渡描述，这在现有工作中从未被系统化地提出过。第四，局部物体添加 V2V 的数据构建策略——通过反转物体移除过程来获得物理一致的添加样本——也是一个巧妙的数据工程创新。
实验结果
OmniWeaving 在多个评测基准上取得了全面的 SOTA 表现，展现了统一框架相比专家模型和现有统一模型的优势。在 IntelligentVBench 的四项任务中：（1）Implicit I2V 任务上，OmniWeaving (think) 的 AVG 达到 3.93，超越了最佳专用模型 Wan2.2-I2V 的 3.86，以及最佳统一模型 UniVideo(hidden) 的 3.61。值得注意的是，在不开启思考模式时（w/o think），OmniWeaving 的 AVG 为 3.72，低于 Wan2.2-I2V，但激活思考模式后性能反转，证明了推理能力对生成质量的关键作用。（2）Interpolative DI2V 任务上，OmniWeaving (think) 的 AVG 达到 4.54，大幅超越专用基线 Wan2.1-FLF2V 的 4.42，以及统一模型中表现最好的 UniVideo(hidden) 的 2.58。（3）Compositional MI2V 任务上，OmniWeaving 在 1 主体（AVG 4.49 vs VACE-Wan2.1 的 4.35）、2 主体（AVG 4.27 vs VINO 的 4.16）和 3 主体（AVG 4.03 vs VACE-Wan2.1 的 3.34）子任务中均取得最优，尤其在 3 主体场景下优势最为显著，领先第二名 0.69 分。（4）TIV2V 任务上，OmniWeaving 的 AVG 为 3.89，大幅超越 UniVideo(query) 的 3.46。在 OpenVE-Bench 的视频编辑评测中，OmniWeaving 获得 3.15 的整体分数，与 VINO 的 3.11 相当，但展示了更均衡的跨子任务能力。在 VBench 的 T2V 评测中，OmniWeaving 获得 83.10 的总分，接近专用模型 HunyuanVideo 的 83.24，尽管 T2V 数据仅占训练语料的不到 10%。这些结果表明 OmniWeaving 成功实现了多任务的协同整合，避免了任务间的竞争和抑制。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| IntelligentVBench - Implicit I2V | AVG (IF+CP+VQ)/3 | 3.93 (think) | 3.86 (Wan2.2-I2V) | +0.07 (超越最佳专用模型) |
| IntelligentVBench - Interpolative DI2V | AVG (IF+CP+VQ)/3 | 4.54 (think) | 4.42 (Wan2.1-FLF2V) | +0.12 |
| IntelligentVBench - Compositional MI2V (3 Subjects) | AVG (IF+CP+VQ)/3 | 4.03 | 3.34 (VACE-Wan2.1) | +0.69 |
| IntelligentVBench - TIV2V | AVG (IF+CP+VQ)/3 | 3.89 | 3.46 (UniVideo) | +0.43 |
| OpenVE-Bench (视频编辑) | Overall | 3.15 | 3.11 (VINO) | +0.04 |
| VBench (文本生成视频) | Total | 83.10 | 83.24 (HunyuanVideo) | -0.14 (接近专用模型) |
局限与改进
尽管 OmniWeaving 在开源统一模型中取得了 SOTA，但论文坦诚地指出了若干局限。首先，与商业系统如 Seedance-2.0 之间仍存在显著差距，不仅在整体性能上，还在支持的输入模态多样性和格式灵活性上——闭源模型受益于远超学术研究的计算资源和训练数据规模。其次，在 OpenVE-Bench 的 Local-Add 子任务上，OmniWeaving 的表现相对较低（2.30 分），低于 UniVideo(query) 的 2.87 分，原因是该子任务主要涉及动画内容的添加，而 OmniWeaving 的训练明确优先考虑了真实物体的添加。此外，模型的生成分辨率目前仅支持 480p，与商业系统的 720p 或 1080p 输出存在差距。从评测角度看，虽然 IntelligentVBench 引入了 VLM-as-a-Judge 范式，但 Table 7 的相关性分析显示 Gemini2.5-Pro 与人类评分的 Pearson 相关系数最高为 0.81（IF），这意味着自动评估仍有一定误差空间。最后，模型在面对极端复杂的多主体组合（如 3 个以上主体 + 背景）时，身份保持和交互逻辑仍有提升空间。
独立分析的弱点
从独立分析的角度来看，OmniWeaving 存在以下几个值得改进的弱点。第一，思考模式的推理质量高度依赖于 MLLM 的能力上限。当前使用 Qwen2.5-VL 作为 MLLM，当面对极端模糊或创意性很强的输入时，推理 trace 可能产生不准确的描述，从而误导后续的视频生成。改进方向是引入更强大的推理型 MLLM（如 DeepSeek-R1 系列的视觉版本），或对推理 trace 进行多轮自校验。第二，DeepStacking 机制选择了固定的三层（第 8、16、24 层），但从 Figure 5(b) 的 ablation 结果来看，最优层选择可能因任务类型而异——对于 Compositional MI2V 任务，[8,16,24] 最优，但对于 Implicit I2V 任务，可能需要更多深层特征。改进方向是设计自适应的层选择机制，根据输入任务动态调整。第三，三阶段训练策略虽然有效，但 Stage 2 的 50K 步训练需要 400 张 H20 GPU，总计算量巨大。未来可以探索更高效的数据采样策略或课程学习方法，减少对计算资源的依赖。第四，模型对视频输入的处理仍然较为粗糙——仅提取代表性帧并平均其 SigLIP 嵌入，这丢失了丰富的时序动态信息。改进方向是引入视频专用编码器或时序注意力机制来更好地捕获视频内容。
未来方向
论文在结论部分明确提出了几个未来研究方向。首先，支持更复杂的输入格式，如交错的多图像-多视频序列，这需要模型具备更强的长上下文理解和跨模态对齐能力。其次，引入音频模态，实现视听同步的视频生成——这将使模型从「全能视觉」走向「全能多模态」。此外，基于本文的推理增强范式，未来可以探索更多类型的推理能力，如物理推理（物体如何受重力、摩擦力影响）、因果推理（事件 A 如何导致事件 B）和社会推理（人物的情绪状态如何驱动行为）。从技术路线来看，将 OmniWeaving 扩展到更长视频生成（当前 33-161 帧）、更高分辨率（720p/1080p）、以及实时交互式生成都是有价值的探索方向。最后，IntelligentVBench 可以进一步扩展，增加更多评估维度（如物理一致性、音频同步性）和更复杂的评测场景，推动社区对统一视频生成的全面评估。
复现评估
OmniWeaving 的开源情况良好——代码、模型权重均已公开发布。代码托管在 GitHub（https://github.com/Tencent-Hunyuan/OmniWeaving），模型权重托管在 HuggingFace（https://huggingface.com/tencent/HY-OmniWeaving），项目主页也提供了详细说明。然而，复现面临的主要挑战在于算力需求：训练使用了 400 张 NVIDIA H20 GPU，Stage 2 的 50K 步训练对于大多数学术团队而言是巨大的资源投入。数据方面，虽然论文描述了详细的数据构建流水线，但使用了大量内部数据集（in-house datasets）和商业模型（如 Gemini2.5-Pro、Veo3）进行数据合成，完整复现训练数据的构建过程需要这些资源的访问权限。模型架构上，基座模型 Qwen2.5-VL 和 HunyuanVideo-1.5 均为开源模型，降低了复现的技术门槛。评测方面，IntelligentVBench 的 1030 个测试用例和评估 prompt 模板在论文附录中有详细展示，但使用 Gemini2.5-Pro 作为评估器需要 API 访问权限。综合来看，对于拥有充足算力的团队（如大型研究机构或企业），复现是可行的；对于资源有限的学术团队，基于预训练权重进行下游微调或推理是更现实的路径。
论文图表
