APOLLO：统一多任务音视频联合生成框架

首个性能媲美 Veo 3 的开源音视频联合生成模型，通过统一单塔架构实现高保真、语义时间同步的联合生成

前置知识

扩散模型与 Flow Matching

扩散模型通过学习从噪声到数据的逆向过程来生成样本。Flow Matching 是其优化版本，直接学习从噪声分布到数据分布的速度场，通过线性插值 xt = (1-t)x0 + tx1 构建时间步t的分布，模型预测目标速度 ut = x1 - x0。相比传统扩散模型，Flow Matching 具有更稳定的训练过程和更少的采样步数，特别适用于大规模音视频生成任务。

APOLLO 使用 Flow Matching 作为去噪目标，理解这一机制有助于理解模型如何从联合噪声表示中同时生成音视频。

Diffusion Transformer (DiT)

DiT 是将 Transformer 架构引入扩散模型的技术，用 Transformer 的自注意力机制替代传统 U-Net 的卷积操作。Multimodal DiT (MMDiT) 进一步扩展到多模态场景，将不同模态的序列作为输入，通过统一的注意力机制进行融合。APOLLO 采用单塔 MMDiT 架构，将视频、视频字幕、音频字幕、音频四个输入流编码后联合处理。

APOLLO 的核心创新在于单塔 MMDiT 架构，理解 DiT 和 MMDiT 是理解论文架构设计的基础。

Rotary Position Embedding (RoPE)

RoPE 是一种位置编码方法，通过旋转矩阵将相对位置信息注入注意力计算中，使模型能够捕获序列中的位置依赖关系。APOLLO 提出 MixD-RoPE，对视频使用 3D RoPE 编码（时间、宽度、高度三个维度），对音频使用兼容的 1D 时间编码，并将音频位置 ID 初始化为视频最大时间位置 ID 加一，实现音视频间的时间位置共享。

MixD-RoPE 是 APOLLO 的重要架构创新，理解其原理有助于理解模型如何处理不同帧率和时长的视频。

音视频同步评估指标

论文使用多个指标评估音视频同步：(1) AV-A (Audio-Video Alignment) 距离，基于 Synchformer 模型计算的音视频对齐误差；(2) SyncNet Confidence (SNC) 分数，基于 SyncNet 模型评估唇形同步置信度；(3) ImageBind (IB) 分数，评估全局跨模态语义对齐。数值上 AV-A 越小越好，SNC 和 IB 越大越好。

这些指标直接衡量论文解决的核心问题——音视频同步，理解它们有助于评估实验结果的实际意义。

研究动机

现有音视频联合生成方法存在三个主要问题。首先，架构设计上，大多数 T2AV 模型如 JavisDiT、UniVerse-1 和 Ovi 采用双塔架构或单塔加交叉注意力模块，导致音视频交互和对齐有限，难以实现深度融合。其次，数据构建方面，缺乏多样化、高质量、密集标注的音视频对齐生成数据集，现有的标注方法难以扩展到百万级规模。最后，训练策略上，主流方法仅针对文本到音视频生成进行单任务训练，这会导致表示偏置，无法充分利用底层的音视频相关性和世界知识，进而影响泛化能力和单模态性能下降。具体表现为音频-视频异步、唇形-语音不匹配以及单模态质量退化等问题，即使是一些商业系统也未能完全解决这些问题。

本文的目标是本文的具体目标是构建一个统一的音视频联合生成框架，能够在单个模型内同时生成高质量的音频和视频，实现语义和时间上的紧密对齐，并支持多种任务（T2AV、TI2AV、TI2V、T2V、T2A）。该框架需要确保单模态生成质量不因联合训练而下降，并且能够泛化到分布外（OOD）场景。此外，通过可扩展的数据构建流程，构建大规模、高质量、密集标注的音视频数据集，为模型训练提供充足的数据支持。

与已有工作不同的是，本文的独特切入角度是从架构、训练策略和数据构建三个维度进行协同改进，而非单一维度的优化。在架构上，采用统一单塔设计，通过 Omni-Full Attention 机制实现四个输入流（视频、视频字幕、音频字幕、音频）的深度融合，打破现有双塔架构或浅层融合的限制。在训练策略上，提出渐进式多任务训练，结合随机模态掩码，使模型能够从单模态任务中学到泛化表示，再逐步联合训练，避免单模态性能退化。在数据构建上，设计自动化标注流水线，构建 8100 万样本的大规模音视频数据集，并实现严格的时间语义对齐过滤。这三个维度的协同改进使 APOLLO 成为首个性能可媲美 Veo 3 的开源音视频联合生成模型。

核心方法

APOLLO 的整体思路是采用统一架构、多任务训练和大规模数据来解决音视频联合生成的核心挑战。从直觉上看，如果音视频在同一个模型中通过深层交互联合生成，而不是分别生成再拼接，那么它们在语义和时间上的对齐会更自然、更紧密。技术路线上，APOLLO 首先采用单塔 MMDiT 架构，将视频、视频字幕、音频字幕、音频四个输入流编码后，通过 Omni-Full Attention 机制进行联合全注意力计算，实现深度融合。其次，采用渐进式多任务训练策略，从单模态任务（T2V、T2A）开始预训练，逐步引入联合任务（T2AV、TI2AV），并在高质量数据上精调。最后，构建大规模自动化数据流水线，生成 8100 万高质量、密集标注的音视频-字幕三元组，为模型训练提供充足数据支持。

APOLLO 的核心创新点包括三个方面。第一，统一单塔架构与 Omni-Full Attention 机制。与现有双塔架构或交叉注意力方法不同，APOLLO 将四个输入流在同一个 Transformer 块中通过全注意力机制联合处理，Query、Key、Value 分别是视频、视频字幕、音频字幕、音频对应特征的逐元素乘积，计算后分发给各模态。这种设计实现了更深层的跨模态融合，避免了浅层交叉注意力的信息损失。第二，MixD-RoPE 位置编码。对视频使用 3D RoPE 编码（时间、宽度、高度），对音频使用兼容的 1D 时间编码，并将音频位置 ID 初始化为视频最大时间位置 ID 加一，实现音视频间的时间位置共享，支持不同帧率和时长的视频。第三，渐进式多任务训练策略。通过随机模态掩码，使模型在训练时可以退化为 T2V 或 T2A 任务，学习泛化表示，避免单模态性能退化，并采用三阶段训练流程（预训练、专业化后训练、质量精调后训练）逐步提升模型能力。

方法步骤详情

APOLLO 的工作流程包含四个主要步骤。第一步是数据预处理和编码。输入包括视频（采用 CogVideoX 的 3D casual visual encoder 编码）、视频相关文本（使用 Qwen3-8B Embedding 编码）、音频相关文本（使用 Qwen2.5-7B 编码）和原始音频（经过 Audio-VAE 处理，44.1 kHz 输入，43 Hz 输出，1024倍下采样）。第二步是 MMDiT 处理。编码后的四个输入流分别经过缩放和归一化，然后拼接在一起进行 Omni-Full Attention 计算。注意力计算公式为 Attn(Q, K, V) = Softmax(QK^T / √dk)V，其中 Q = QV ⊙ QVT ⊙ QAT ⊙ QA，K 和 V 类似计算。注意力值分发给各模态后，经过缩放、归一化、残差连接和前馈网络，输入下一个 MMDiT 模块。第三步是去噪生成。使用 Flow Matching 作为去噪目标，损失函数为 LFM = E_{t,c,x0,x1} ||(x1 - x0) - εθ(tx1 + (1-t)x0, t, c)||^2，模型学习从噪声到数据的速度场。第四步是解码。MMDiT 输出的视频和音频潜在变量分别经过 Video-VAE（3 Hz 输出，16倍压缩）和 Audio-VAE 解码，生成最终的视频和音频。

技术新颖性

APOLLO 的技术新颖性体现在三个方面。第一，架构层面，首次在音视频联合生成中采用统一单塔 MMDiT 架构配合 Omni-Full Attention 机制，实现了四个输入流的深度融合，相比双塔架构减少了信息传递的层次，相比交叉注意力机制实现了更全面的跨模态交互。第二，位置编码层面，提出的 MixD-RoPE 创新性地将 3D RoPE 和 1D 位置编码结合，通过共享时间位置 ID 实现音视频间的时间对齐，支持不同帧率和时长的视频，这在现有方法中未见报道。第三，训练策略层面，渐进式多任务训练结合随机模态掩码，使模型能够从单模态任务中学到泛化表示，再逐步联合训练，避免单模态性能退化，这为多模态生成模型的训练提供了新的思路。此外，自动化数据构建流水线和 8100 万样本的大规模密集标注数据集也是重要的新颖性贡献，为音视频生成研究提供了宝贵的数据资源。

**Figure 2**: Overview of APOLLO. The model takes four inputs: video, video-related text, audio-related text, and audio. Each input is individually encoded by respective encoders, then fed into the MM-DiT. The MM-DiT module outputs the latent variables of video and audio, which are then decoded separately into video and audio.

**Figure 5**: Ablations of different training stages. Metrics include video, audio, TTS, and audio-video consistency, with arrows indicating optimization directions.

实验结果

APOLLO 在多个实验中表现出色。在 Verse-Bench 音视频联合生成基准测试中，APOLLO 在视频质量指标（Motion Score 0.48，Aesthetic Score 0.51，Identity Consistency 0.59）和音频质量指标（Frechet Distance 1.36，KL Divergence 1.06，CLAP Score 0.232）上均大幅超越现有方法。在音视频同步方面，APOLLO 的 AV-A 距离为 0.65，SyncNet Confidence 为 6.79，ImageBind Score 为 0.316，显著优于所有基线方法，表明其音视频语义和时间对齐能力大幅提升。在单模态任务上，APOLLO 的 T2V 和 T2A 性能也超过专门的 T2V 和 T2A 模型，表明多任务训练利用了音视频互补知识，强化了单模态表示。消融实验表明，单塔架构比双塔架构在所有指标上都有显著提升，多任务训练比仅 T2AV 训练在视频 ID、音频 CLAP、唇形同步 WER、全局对齐 IB 上分别提升 12%、23%、36% 和 57%，渐进式训练策略进一步提升了模型性能。定性结果显示，APOLLO 在唇形同步（音素级对齐）、情感表达（面部线索与音频情感高度一致）、说唱和歌唱表演（音高、节奏、呼吸控制紧密对齐）、音视频同步（背景音乐和音效情感一致）以及图像到音视频（保持身份一致性）方面都表现出色。

**Table 1**: Main comparisons of audio-visual joint generation.

**Table 2**: Comparison of different methods. The Dual Tower uses standard cross-attention, while the Single Tower utilizes our proposed Omni-Full Attention.

**Table 3**: Ablation of multi-task masking, with arrows indicating optimization directions.

**Figure 1**: We propose APOLLO, a unified audio–video generation framework which delivers high fidelity, strong semantic and temporal alignment, and reliable instruction following in both joint and unimodal settings, with robust OOD generalization. Across tasks (T2AV/TI2AV/TI2V/T2V/T2A), it attains performance comparable to Veo-3 among open-source models.

**Figure 4**: Qualitative evaluation of audio-video joint generation across various aspects.

查看结构化数据

任务	指标	本文	基线	提升
音视频联合生成 (T2AV)	Motion Score (MS) ↑	0.48	Ovi: 0.58 / UniVerse-1: 0.20	超越 UniVerse-1 140%，与 Ovi 相当但整体对齐更优
音视频联合生成 (T2AV)	Aesthetic Score (AS) ↑	0.51	Ovi: 0.48 / UniVerse-1: 0.47	超越 Ovi 6.25%，超越 UniVerse-1 8.51%
音视频联合生成 (T2AV)	Identity Consistency (ID) ↑	0.59	Ovi: 0.46 / UniVerse-1: 0.25	超越 Ovi 28.26%，超越 UniVerse-1 136%
音视频联合生成 (T2AV)	Frechet Distance (FD) ↓	1.36	Ovi: 1.50 / UniVerse-1: 1.55	优于 Ovi 9.33%，优于 UniVerse-1 12.26%
音视频联合生成 (T2AV)	AV-A (DeSync) ↓	0.65	Ovi: 0.82 / UniVerse-1: 0.98	优于 Ovi 20.73%，优于 UniVerse-1 33.67%
音视频联合生成 (T2AV)	SyncNet Confidence (SNC) ↑	6.79	Ovi: 4.28 / UniVerse-1: 3.92	超越 Ovi 58.64%，超越 UniVerse-1 73.21%
音视频联合生成 (T2AV)	ImageBind Score (IB) ↑	0.316	Ovi: 0.214 / UniVerse-1: 0.198	超越 Ovi 47.66%，超越 UniVerse-1 59.60%
唇形同步 (TTS)	Word Error Rate (WER) ↓	0.028	Ovi: 0.035 / UniVerse-1: 0.180	优于 Ovi 20%，优于 UniVerse-1 84.44%

局限与改进

作者承认的局限性包括：模型参数规模达 26B，计算资源需求高，部署成本大；数据集虽然规模大（8100万样本），但主要来自网络视频，可能存在领域偏差；一些复杂场景（如多人对话、复杂声学环境）的生成质量仍有提升空间。我观察到的额外局限性包括：模型在长视频生成（超过当前支持的帧率）上的能力未充分探索；音视频的因果关系生成（如特定动作导致特定声音）可能不够精确；一些文化特定的音视频模式（如特定语言的音乐风格）可能因训练数据分布而表现不佳；模型的可控性（如精确控制某个时间点的音频或视频）未详细讨论。此外，论文未充分讨论模型在实时应用中的延迟和性能优化，这对于实际部署很重要。

独立分析的弱点

独立分析的弱点包括：首先，计算效率低。单塔 MMDiT 虽然实现了深度融合，但全注意力机制的计算复杂度高，对于高分辨率长视频生成，计算成本可能成为瓶颈。改进方向是探索稀疏注意力或分层注意力机制，在不显著损失对齐效果的情况下提升效率。其次，长视频生成能力有限。论文未详细讨论如何处理超过当前支持的帧率和时长的视频，生成的一致性可能下降。改进方向是引入分块生成和一致性约束，或者设计更长的上下文窗口。第三，因果生成能力不足。模型可能无法精确控制特定的音视频因果关系（如某个动作必须导致特定声音）。改进方向是引入显式的因果建模或可控生成机制。第四，领域泛化挑战。数据集主要来自网络视频，可能在某些专业领域（如医学影像、工业声学）表现不佳。改进方向是引入领域自适应或少样本学习机制。第五，实时部署难度大。26B 参数规模的模型推理延迟高，不适合实时应用。改进方向是模型蒸馏、量化或设计轻量级变体。

未来方向

作者提出的未来方向包括：探索更长视频和更复杂场景的生成能力；进一步优化模型架构以提升计算效率；扩展到更多模态（如触觉、文本的多模态联合生成）。基于本文成果可延伸的方向包括：开发轻量级 APOLLO 变体，通过模型蒸馏、知识压缩或架构搜索实现参数规模缩小，同时保持核心性能；引入显式的可控生成机制，允许用户精确控制音视频的某些方面（如情感、节奏、镜头运动）；探索零样本或少样本的领域适应能力，使模型能够快速适应新的领域或风格；研究实时推理优化，包括模型并行、流水线推理和硬件加速；扩展到更多任务，如视频到音频、音频到视频、音视频编辑、音视频风格迁移等；探索音视频联合生成的评估基准和可解释性，深入理解模型如何学习音视频对齐。

复现评估

复现评估方面，论文未明确声明是否开源代码、模型权重或数据集，这对复现性有影响。模型参数规模达 26B，训练和推理需要大量计算资源（可能需要数百个 GPU），这对大多数研究者来说是不可行的。数据构建流水线使用了多个模型（Whisper-Large-v3、SenseVoice、Qwen2.5-Omni、Gemini 2.5-Pro 等），其中 Gemini 2.5-Pro 是商业 API，可能存在访问限制和成本问题。音频和视频的 VAE 编码器、RoPE 实现等具体细节描述不够详细，可能需要参考相关代码或论文。实验细节（如学习率调度、训练轮数、数据混合比例）有所提及但不够系统。复现难度较高，需要大量的计算资源和技术储备。如果能开源核心组件（如模型架构、数据构建脚本、训练代码）或提供预训练模型，将大大降低复现门槛。此外，详细的实现文档和基准测试代码也有助于社区复现和扩展。

APOLLO：统一多任务音视频联合生成框架 Klear: Unified Multi-Task Audio-Video Joint Generation