MOVA：迈向可扩展且同步的视频-音频生成

32B参数非对称双塔架构，实现高保真唇形同步与音视频对齐的开源联合生成模型

前置知识

Diffusion Transformer (DiT)

DiT 是将 Transformer 架构引入扩散模型的核心范式，用 Transformer 替代了传统扩散模型中的 U-Net 骨干网络。其核心思想是将图像或视频的潜空间表示（latent）分割为 patch 序列，通过自注意力机制在序列维度上建模全局依赖关系。DiT 的优势在于天然支持大规模扩展（scaling），通过增加参数量和数据量可以持续提升生成质量，这也是 Sora、Wan 等视频生成模型的技术基础。在 MOVA 中，视频塔和音频塔均采用 DiT 架构，分别处理视觉和音频模态。

MOVA 的核心架构就是基于 DiT 的双塔设计，理解 DiT 的工作原理是理解整个模型的前提，尤其是 self-attention、cross-attention 以及条件注入机制。

Flow Matching

Flow Matching 是一种生成模型训练方法，它定义了从噪声到数据的线性插值路径 $x_t = (1-t)x_0 + t\epsilon$，模型学习预测该路径上的速度场 $v_t = \epsilon - x_0$。相比传统扩散模型的多步噪声添加和去噪过程，Flow Matching 提供了更简洁的数学框架和更稳定的训练目标。其损失函数 $\mathcal{L}_{FM} = \mathbb{E}_{t,\epsilon}[\|\hat{v}_\theta(x_t, t, c) - v_t\|^2]$ 直接回归速度向量，避免了噪声预测中常见的尺度不匹配问题。

MOVA 的训练目标就是 Flow Matching 风格的速度场回归，理解这一框架有助于理解模型的训练过程、噪声调度策略（sigma shift）以及双模态独立时间步采样的设计动机。

Classifier-Free Guidance (CFG)

CFG 是扩散模型推理时的核心技术，通过同时运行有条件和无条件的去噪步骤，然后将两者的预测进行线性组合来增强条件控制力。标准公式为 $\tilde{v} = v_\theta(z_t, \emptyset) + s \cdot [v_\theta(z_t, c) - v_\theta(z_t, \emptyset)]$，其中 $s$ 是引导强度。CFG 本质上是在推理时放大条件信号的方向向量，使得生成结果更忠于输入条件。MOVA 在此基础上提出了 Dual CFG，同时考虑文本条件和跨模态桥接条件两个引导源。

Dual CFG 是 MOVA 推理策略的核心创新之一，直接影响音视频同步质量和语义保真度之间的权衡，是理解论文实验结果的关键。

Aligned RoPE (旋转位置编码对齐)

RoPE（Rotary Position Embedding）是 Transformer 中广泛使用的位置编码方式，通过旋转矩阵将位置信息注入 query 和 key 向量。然而视频和音频的潜空间时间粒度不同：视频 VAE 时间下采样后帧率较低，而音频 VAE 的 token 密度远高于视频。Aligned RoPE 通过缩放因子 $s = f_a / f_v$ 将视频位置索引映射到音频时间尺度上，确保同一物理时刻的视频 token 和音频 token 在交叉注意力中能正确对应。这避免了位置错配导致的音视频漂移问题。

这是 MOVA 实现精准音视频同步的基础机制之一，不理解 Aligned RoPE 就无法理解双塔架构如何在不同模态间建立时间对应关系。

Mixture-of-Experts (MoE)

MoE 是一种稀疏激活架构，将模型的前馈网络层（FFN）拆分为多个专家子网络，每个输入 token 只激活其中 Top-K 个专家。这使得模型可以在总参数量很大的同时保持较低的推理计算量。MOVA 的视频塔采用 Wan2.2 I2V A14B 架构，其中 A14B 表示总参数约 14B 但推理时仅激活部分参数。整个 MOVA 模型总参数 32B，推理时激活 18B，在保持强大生成能力的同时控制了计算成本。

理解 MoE 的稀疏激活特性有助于理解 MOVA 的参数规模（32B 总参/18B 激活）以及训练中的交替优化策略（奇数步优化高噪声 DiT、偶数步优化低噪声 DiT）。

研究动机

当前视频生成领域的一大盲区是音频的缺失。尽管 Diffusion Transformer 架构已使视频生成达到接近真实的质量，但主流视频生成模型（如 Sora、OpenSora、Wan 等）几乎完全忽略了音频成分。在实际多媒体内容中，音频是不可或缺的——没有声音的视频就像默片一样不完整。现有的音视频生成方案主要依赖级联管线（cascaded pipeline），即先生成视频再合成音频（或反之），这种方式存在三个核心问题：第一，音视频模态在生成过程中无法交互，导致同步精度受限；第二，级联管线的误差会逐级累积，视频中的微小时序偏差会在音频生成时被放大；第三，两阶段管线的成本和延迟都显著高于端到端方案。虽然 Veo 3 和 Sora 2 等闭源系统已展示了端到端音视频联合生成的可行性，但它们的闭源特性严重限制了学术界的可复现性和研究推进。

本文的目标是MOVA 的核心目标是构建一个开源的、可扩展的音视频联合生成基础模型，能够生成高质量的同步音视频内容。具体而言，模型需要实现三项能力：一是精确的唇形同步（lip sync），支持中英文多说话人的语音生成；二是环境感知的音效生成，确保音频事件与视觉内容在时间上精确对齐；三是内容对齐的音乐生成。在架构层面，MOVA 旨在通过非对称双塔设计利用预训练的单模态模型，在最小化额外成本的前提下实现跨模态同步生成。同时，论文希望通过规模化训练验证音视频模型是否能像纯视频模型一样持续受益于更大的数据量和模型规模。

与已有工作不同的是，MOVA 抓住了一个被已有工作忽视的关键问题：音视频模态的信息密度不对称性。视频每秒的 token 数量与音频存在巨大差异，这种差异使得简单的联合生成面临梯度不均衡和模态间对齐困难。此外，已有开源工作（如 UniVerse-1、Ovi、Harmony 等）大多在小规模架构和有限数据集上验证，未能展示音视频模型在规模扩展后的性能增益。MOVA 的独特视角是：通过非对称双塔架构（14B 视频塔 + 1.3B 音频塔）+ 双向桥接模块 + 解耦时间步采样（Dual Sigma Shift）来解决模态不对称问题，并通过三阶段渐进式训练策略（360p 到 360p 质量过滤再到 720p）在超过 10 万小时数据上验证可扩展性。

核心方法

MOVA 的方法可以用搭桥来类比：想象两岸各有一座成熟的建筑（预训练的视频模型和音频模型），MOVA 不是拆掉重建，而是在两座建筑之间架设一座双向通行的桥梁（Bridge 模块），让信息可以自由流通。技术路线上，MOVA 采用非对称双塔 Diffusion Transformer 架构：视频塔基于 Wan2.2 I2V A14B（约 14B 参数的 MoE 模型），音频塔是一个 1.3B 参数的 Wan2.1 风格 DiT。两个塔通过一个 2.6B 参数的双向 Bridge 模块连接，在每一层通过交叉注意力实现视频到音频和音频到视频的双向信息注入。在潜空间中，视频通过 Wan2.1 视频 VAE 压缩，音频通过 DAC 风格的音频 VAE（来自 HunyuanVideo-Foley）编码，所有后续模块都在这两个潜空间中操作。训练目标采用 Flow Matching 框架，推理时使用 Dual CFG 策略分别控制文本引导和跨模态对齐强度。

MOVA 最核心的创新是三个设计的协同：第一，非对称双塔架构直接复用预训练的单模态模型，避免从零训练的巨大成本，同时保持各模态的生成质量。这与 Ovi、LTX-2 等从头训练双塔的做法本质不同——MOVA 让成熟的视频和音频模型原地不动，只训练轻量的桥接模块。第二，解耦时间步采样（Dual Sigma Shift）允许视频和音频各自遵循最适合的去噪轨迹。视频使用激进的噪声调度（shift_v=5.0），音频在初期使用温和调度（shift_a=1.0）以保证训练稳定性，后期对齐到 5.0 以提升音色保真度。这解决了两个模态对噪声敏感度不同的根本矛盾。第三，异构学习率设计：Bridge 使用较高的学习率（$\eta_{br}=2\times10^{-5}$）以加速跨模态学习，骨干塔使用较低学习率（$\eta_b=1\times10^{-5}$）以保持预训练先验不被遗忘。这三个设计共同解决了如何在不破坏已有单模态能力的前提下实现高质量跨模态同步这一核心难题。

方法步骤详情

MOVA 的完整流程分为数据工程、模型训练和推理三个阶段。数据工程阶段：首先对原始视频进行预处理，包括裁剪检测、720p 缩放、24fps 重采样、基于 Silero VAD 的语音活动检测和 PySceneDetect 的场景转换分析，将视频切分为 8.05 秒（193 帧）的固定长度片段。然后从音频质量（静音比、带宽、AudioBox 评分）、视频质量（DOVER 技术和美学评分）和音视频对齐（SynchFormer 时间偏移、ImageBind 语义分数）三个维度进行质量过滤，原始数据保留率约 26.39%。接着使用 MiMo-VL-7B-RL 生成视频描述，Qwen3-Omni 分别处理语音转写和非语音音效描述，最后由 GPT-OSS-120B 融合为统一的多模态标注。训练阶段分三步：第一步，独立训练 1.3B 音频塔，使用音乐、通用音效和 TTS 数据；第二步，将预训练的视频塔和音频塔通过随机初始化的 Bridge 连接，在 360p 分辨率上进行联合训练（约 61,500 小时数据，15 天）；第三步，在 720p 分辨率的最高质量子集上微调（约 11,000 小时，20 天）。推理阶段：给定用户输入的文本提示和初始帧，先通过 Qwen3-VL 提取结构化视觉描述，再用 Gemini 2.5 Pro 结合上下文学习生成增强提示，最后 MOVA 以双条件（文本+图像）生成同步的视频和音频。

技术新颖性

MOVA 的技术新颖性体现在几个方面。首先，与 Ovi 和 LTX-2 从头训练双塔不同，MOVA 直接耦合预训练的单模态模型，通过 Bridge 模块实现跨模态交互，这大幅降低了训练成本同时保留了强大的单模态先验。其次，Dual Sigma Shift 是首次在音视频联合扩散模型中解耦两个模态的噪声时间步，允许每个模态遵循自然的去噪轨迹，而非强制共享相同的噪声水平。这一设计源于对音视频信息密度不对称性的深刻理解——音色保真度对噪声调度极为敏感，而视频在不同场景下的有效不确定性差异巨大。第三，Dual CFG 将 Classifier-Free Guidance 从单条件扩展到双条件（文本 + 桥接），通过贝叶斯分解推导出原则性的双分支引导公式，允许在推理时独立控制对齐强度和语义保真度。此外，MOVA 还展示了 T2VA（纯文本到音视频）的涌现能力——即使不提供初始帧，模型仍能生成同步良好的音视频内容，这说明模型已内化了音视频联合生成的先验知识。

实验结果

MOVA 在多项关键指标上全面超越已有基线。在 Verse-Bench 上，MOVA-360p 取得了 IS 4.269（音频保真度）和 DNSMOS 3.797（语音质量），显著优于 LTX-2（IS 3.066）和 Ovi（IS 3.680）。在音视频对齐方面，MOVA-360p 配合 Dual CFG（$s_B$=3.5）实现了 DeSync 0.351 和 IB-Score 0.315，相比 LTX-2（DeSync 0.451 / IB-Score 0.213）和 Ovi（DeSync 0.515 / IB-Score 0.190）有巨大提升，IB-Score 相比 Ovi 提升约 66%。唇形同步指标同样出色：MOVA-360p w/ dual CFG 取得 LSE-D 7.004 和 LSE-C 7.800，远超 LTX-2（LSE-D 7.261 / LSE-C 6.109）和 Ovi（LSE-D 7.468 / LSE-C 6.378）。在多说话人场景中，MOVA-720p 的 cpCER 仅 0.149，而 Ovi 高达 0.436，说明 MOVA 在说话人身份-语音匹配上远优于基线。值得注意的是，MOVA 的 T2VA（纯文本驱动）变体也展现出涌现能力，IS 达到 4.370、DeSync 降至 0.441，表明模型即使没有视觉条件约束也能生成高质量同步内容。在人类偏好评估中，MOVA 的 ELO 评分为 1113.8，对 Ovi 和 WAN+MMAudio 的胜率均超过 70%。

**Table 2**: Text-to-audio 性能基准测试（AudioCaps 数据集）

查看结构化数据

任务	指标	本文	基线	提升
音频保真度（IS）	Inception Score	4.269（MOVA-360p）	3.680（Ovi）	提升 16.0%
语音质量（DNSMOS）	DNSMOS	3.797（MOVA-360p）	3.635（LTX-2）	提升 4.5%
时间同步（DeSync）	DeSync↓	0.351（MOVA-360p w/ dual CFG）	0.451（LTX-2）	降低 22.2%
跨模态语义对齐（IB-Score）	ImageBind Score	0.315（MOVA-360p w/ dual CFG）	0.190（Ovi）	提升 65.8%
唇形同步置信度（LSE-C）	LSE-C↑	7.800（MOVA-360p w/ dual CFG）	6.378（Ovi）	提升 22.3%
唇形同步距离（LSE-D）	LSE-D↓	7.004（MOVA-360p w/ dual CFG）	7.261（LTX-2）	降低 3.5%
多说话人字符错误率（cpCER）	cpCER↓	0.149（MOVA-720p）	0.220（LTX-2）	降低 32.3%
人类偏好 ELO	ELO Rating	1113.8	925.4（LTX-2）	+188.4

局限与改进

论文在讨论部分坦诚地指出了三个主要局限。第一，音频建模能力受限于 1.3B 参数的音频塔，对于歌唱、复杂音色纹理和乐器演奏等需要精细音高/谐波结构和长程时序依赖的场景，表现明显下降。此外，物理推理能力（如正确反映闪电与雷声之间的传播延迟）在当前目标函数和数据中未被显式建模。第二，多说话人同步仍是挑战。快速的说话人切换、重叠语音和模糊的屏幕归属会导致嘴部-音频分配错误和时间漂移，数据管线中的说话人分离错误也会传播到训练中。第三，序列长度和计算成本构成瓶颈——720p、8 秒、24fps 的片段产生约 1.6x10^5 个 token，导致高内存和计算开销，尤其在使用通用 Dual CFG 设置（NFE=3）时延迟显著增加。从我的观察来看，论文在音频质量评估中主要使用客观指标，缺乏对主观音质（如自然度、空间感）的系统评估；另外，虽然论文展示了 T2VA 的涌现能力，但对这一能力的边界条件和失败模式分析不足。

独立分析的弱点

从独立分析的角度，MOVA 存在几个值得关注的弱点。首先，音频塔仅 1.3B 参数，与视频塔的 14B 参数形成巨大不对称，虽然论文强调这是为了最小化额外成本，但在音乐生成、复杂音效等需要精细音频建模的场景中，这一瓶颈可能成为性能天花板。改进方向包括引入更大的音频骨干网络，或采用类似 MoE 的稀疏激活策略来扩展音频塔容量。其次，Dual CFG 在提升同步性的同时显著损害了语音质量（DNSMOS 下降）和指令遵循能力（cpCER 上升），这说明当前的引导策略存在条件干扰问题。一个潜在改进方向是设计自适应引导强度，根据输入内容动态调整 $s_B$ 和 $s_T$，而非使用固定的全局超参数。第三，数据管线虽然系统化但仍依赖大量闭源模型（GPT-OSS-120B、Gemini 2.5 Pro），这增加了可复现性风险。此外，训练总耗时 42 天、约 43,000 GPU-days 的成本对大多数研究团队来说仍过高，未来可探索更高效的训练策略如课程学习的自适应调度。

未来方向

论文和基于成果可延伸的未来方向包括几个维度。在模型架构方面，更高效的时序/空间压缩、分层或分块生成是降低序列长度和计算成本的可行路径，也是作者明确提出的改进方向。在数据方面，多说话人场景需要更强的主动说话人检测、跨模态说话人追踪和更好的噪声片段过滤来提升监督质量。在能力扩展方面，MOVA 的双塔架构天然支持更多模态的接入——例如引入深度图、光流等视觉信号作为额外条件，或扩展到更长视频的生成。在推理效率方面，探索模型蒸馏、采样加速（如一致性模型）等技术可以大幅降低部署成本。此外，MOVA 展示的 T2VA 涌现能力值得深入研究，理解什么条件下模型能仅凭文本生成高质量同步音视频，可能揭示多模态生成模型的内在结构。

复现评估

MOVA 在可复现性方面做得相当出色。论文承诺开源所有模型权重、训练代码、推理管线和微调代码，并提供了完整的训练超参数表格（Table 7）和数据过滤阈值（Table 9）供复现参考。数据来源全部为公开数据集（VGGSound、AutoReCap、ChronoMagic-Pro、ACAV-100M、OpenHumanVid、SpeakerVid-5M、OpenVid-1M）加部分内部数据，数据管线的每个阶段（预处理、质量评估、标注）都有详细描述。然而，复现的主要障碍在于计算资源：1024 GPU 训练 42 天（约 43,000 GPU-days）的成本对学术团队来说非常高昂。此外，数据管线依赖的闭源模型（GPT-OSS-120B、Gemini 2.5 Pro）可能影响数据准备阶段的完全复现。总体评估：代码和权重开源、训练细节透明，但计算资源门槛高，属于可复现但需要大量算力的类型。

MOVA：迈向可扩展且同步的视频-音频生成 MOVA: Towards Scalable and Synchronized Video-Audio Generation