用于生成的原生音频-视频对齐 Native Audio-Visual Alignment for Generation
提出NAVA框架，通过原生音频-视频对齐实现高质量联合音视频生成
前置知识
MMDiT (Multimodal Diffusion Transformer)
多模态扩散Transformer通过自注意力和交叉注意力处理去噪过程，将不同模态编码为token序列进行交互，支持变长序列和模态关系建模。
本文核心架构Align-then-Fuse MMDiT基于MMDiT改进，理解它才能明白NAVA如何实现音频-视频的原生对齐和联合去噪
Classifier-Free Guidance (CFG)
无分类器引导通过结合有条件和无条件预测提高条件保真度，公式为$\hat{v}_\theta = v_\theta|c + s\cdot(v_\theta|c - v_\theta|\emptyset)$，兼顾多样性和条件遵循。
本文扩展CFG为条件因子化CFG，分别控制文本、对齐和音色引导，是实现可控生成的关键技术
音色 (Timbre)
音色是区分声源或说话人声音特征的声音属性，由频谱包络、谐波结构等决定。在语音生成中指让模型生成具有指定说话人或乐器声音风格的能力。
本文提出Timbre-in-Context Conditioning机制，将音色作为上下文条件绑定到特定语音片段，是多说话人生成的核心创新
研究动机
现有开源音频-视频生成方法主要采用双塔架构和完全统一三模态架构。双塔架构在独立特征空间中分别生成，仅通过后期交互建立对应，这种后验对齐削弱了音频和视频在生成过程中的协同演化，使细粒度同步依赖辅助模块。完全统一方法将文本、视频、音频混合在同一注意力空间，将高层语义控制与低级音频-视频同步耦合，可能阻碍专用同步结构形成。在复杂场景如多说话人对话、动态运动语音、乐器演奏等，两种方法都难以实现精确的事件级对应和时序一致性。
本文的目标是本文提出NAVA（Native Audio-Visual Alignment）框架，目标是实现高质量、时序同步、语义连贯的联合音频-视频生成。具体目标包括：将音频-视频同步与上下文条件化解耦，在专用对齐空间建立原生对应关系，而非后期添加约束或混合表示；保持与预训练文本到视频主干网络的兼容性，充分利用现有视频生成能力；支持灵活的音色控制，实现多说话人场景中的内容-音色绑定，无需额外分支；在合理的模型规模下（6.3B参数）达到或超越更大基线模型的性能，平衡效果与效率。
与已有工作不同的是，本文的独特切入角度是将音频-视频同步作为原生生成过程的一部分，而非后期约束或与语义控制混合的联合表示。NAVA通过上下文条件化的原生音频-视频对齐实现这一思想：先在专用交互空间建立音频-视频对应关系，然后引入上下文作为外部条件引导对齐后的表示。这与双塔方法分别建模后对齐不同，也与完全统一方法将上下文、音频、视频混合在同一空间不同。这种解耦让模型专注于事件级对应、时序一致性和协同去噪，同时保持语义和可控性引导的灵活性。
核心方法
NAVA的整体思路是将联合音频-视频生成分解为两个阶段：先建立音频-视频的原生对应关系，再用上下文条件引导生成。直觉上，这类似于先让音频和视频相互理解彼此的时序结构，然后再根据文本等外部指令调整生成内容。技术路线上，NAVA采用Align-then-Fuse MMDiT架构：早期层次化对齐层保持模态感知的投影，稳定异构音频-视频交互；后期统一融合层共享生成参数，鼓励紧凑协同去噪。上下文（文本和可选参考音色）通过交叉注意力注入，不进入音频-视频自注意力空间，保持同步空间的纯净性。
核心创新点在于上下文条件化的原生音频-视频对齐。与双塔方法的区别在于对齐时机：双塔在独立特征空间中分别生成音频和视频，仅在后期通过额外模块建立对应关系，而NAVA让音频和视频在生成过程的早期就直接交互，形成事件级对应。与完全统一方法的区别在于条件注入方式：完全统一将上下文、音频、视频混合在同一自注意力空间，将语义控制与低级同步耦合，而NAVA将上下文作为外部条件通过交叉注意力注入，保持专用同步空间。这一本质区别使NAVA学习更精细的音频-视频协同演化。
方法步骤详情
NAVA包含四个主要步骤：（1）编码阶段：视频和音频分别由VAE编码为潜在令牌，文本和参考音色编码为条件令牌。（2）层次化对齐层：前10个MMDiT块，音频和视频通过模态解耦对齐投影映射到共享交互空间，通过音频-视频联合自注意力和前馈网络进行重复交叉模态交互。为处理令牌率不匹配，音频令牌的旋转位置嵌入按$\theta_{rope} = \frac{TR_v}{TR_a}$重新缩放。上下文通过交叉注意力和前馈网络注入。（3）统一融合层：后20个MMDiT块，音频和视频通过模态共享统一投影和共享Transformer块更新。（4）Timbre-in-Context Conditioning：将参考音色编码为$ s_i = E_{tim}(R_i)$，将语音片段增强为$S_i \to \langle S\rangle, s_i, \text{Text}(S_i), \langle E\rangle$。
技术新颖性
NAVA的技术新颖性体现在三个方面：一是架构创新，Align-then-Fuse MMDiT是首个明确区分模态感知对齐阶段和共享融合阶段的多模态扩散Transformer，渐进式设计平衡了异构模态的稳定交互和高效协同去噪；二是条件注入机制创新，将上下文作为外部条件而非对等令牌，解耦了语义控制与低级同步，这一机制可推广到其他需要分离结构和控制的多模态生成任务；三是音色控制创新，Timbre-in-Context Conditioning将音色信息编码到上下文路径，支持组合式内容-音色绑定，无需额外分支或主干修改。
实验结果
实验在Verse-Bench和Seed-TTS基准上进行，覆盖语音视频、音效和乐器场景。在Verse-Bench上，NAVA以6.3B参数实现最佳音频-视频同步性能，Sync-C得分7.791（最高）和Sync-D得分7.566（最低），证明卓越时序同步。视频质量得分0.659也为最佳，表明Align-then-Fuse设计在保持音频生成能力同时维持强大视觉生成能力。语义一致性ImageBind得分0.313，优于Ovi-1.1。音频质量WER 0.099为所有模型最低，PQ 6.861和FD 0.833具有竞争力。在Seed-TTS上，NAVA作为音频-视频生成模型达到66.7说话人相似度和4.20 WER，显著优于DreamID-Omni的35.7和31.76。用户研究覆盖250个案例，NAVA在T2AV整体质量胜率分别为67.5%、60.0%、80.0%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 音频-视频联合生成（Verse-Bench） | Sync-C（同步置信度） | 7.791 | Ovi-1.1: 7.484, LTX-2.3: 7.248 | 比最佳基线Ovi-1.1提升4.1% |
| 音频-视频联合生成（Verse-Bench） | Sync-D（同步时序偏移） | 7.566 | Ovi-1.1: 7.979, LTX-2.3: 7.690 | 比最佳基线LTX-2.3降低1.6% |
| 音频-视频联合生成（Verse-Bench） | 视频质量 | 0.659 | Ovi-1.1: 0.199, LTX-2.3: 0.337 | 比最佳基线LTX-2.3提升95.6% |
| 音频-视频联合生成（Verse-Bench） | WER（词错误率） | 0.099 | Ovi-1.1: 0.102, LTX-2.3: 0.106 | 比最佳基线LTX-2.3降低6.6% |
| 参考音色生成（Seed-TTS） | 说话人相似度 | 66.7 | DreamID-Omni: 35.7 | 提升86.8% |
| 参考音色生成（Seed-TTS） | WER | 4.20 | DreamID-Omni: 31.76 | 降低86.8% |
局限与改进
作者承认NAVA在生成某些长尾和高组合性音频事件方面仍然有限，如稀有动物声音、音乐、歌唱和复杂场景声音混合。这些限制需要更广泛和更精心策划的音频-视频数据，特别是对于罕见事件和组合丰富的场景。从论文内容看，NAVA在ImageBind得分上（0.313）略低于LTX-2.3（0.337），说明在跨模态语义一致性方面仍有提升空间。此外，NAVA的渐进式训练策略需要精心设计三个阶段的采样比例和数据集选择，这增加了训练调优的复杂性。音色控制虽然不需要额外分支，但需要预先提取参考音色令牌并进行文本提示增强，增加了预处理步骤。
独立分析的弱点
独立分析的弱点包括：稀有事件生成能力不足，如稀有动物叫声、特殊音效等，原因是训练数据中这些样本稀少，改进方向是构建更平衡的音频-视频数据集，或采用数据增强和合成技术增加稀有样本；音乐和歌唱场景性能有限，音乐生成需要建模复杂的谐波结构和旋律关系，改进方向是引入音乐特定的表示学习或预训练音乐模型；复杂声音混合生成困难，如同时包含语音、音效和背景音乐的场景，改进方向是设计层次化声音生成模块或采用源分离思想；ImageBind得分略低，改进方向是增强语义注入机制。
未来方向
作者提出的未来方向包括探索更早期的融合机制，如联合音频-视频标记器或统一表示模型，以进一步增强同步、语义一致性和泛化能力。基于论文成果可延伸的方向有：扩展到更多模态，如触觉、力反馈等，实现更丰富的多感官生成；支持更精细的控制信号，如情感、语调、镜头运动等，实现导演级别的可控生成；研究实时音频-视频生成，用于虚拟会议、直播等交互场景；探索音频-视频联合编辑能力，如修改语音内容同时调整唇部运动；研究更高效的架构，减少参数量和计算开销；将条件因子化CFG扩展到更多引导维度。
复现评估
论文使用128个NVIDIA H100 GPU训练70K步，有效批大小512，学习率$5 \times 10^{-5}$，采用AdamW优化器。模型6.3B参数，包含30个MMDiT块。渐进式多任务训练分三个阶段调整音频-音频视觉比例。随机交叉模态注意力掩码和音色条件dropout概率均为20%，图像条件采样概率50%。评估使用Verse-Bench和Seed-TTS基准。论文提供了项目页面（ernie-research.github.io/NAVA.2026），但未明确说明代码和数据是否开源。128个H100 GPU的高昂算力需求和可能的私有训练数据使完整复现难度较大，但详细实验设置有助于理解方法。
论文图表
该图比较了三种音频-视频生成范式：双塔架构、完全统一架构和NAVA架构。双塔在独立特征空间分别生成，仅后期对齐。完全统一将文本、视频、音频混合在单一注意力空间。NAVA先在专用对齐空间建立音频-视频对应，再用上下文条件引导。
这张图直观展示NAVA与现有方法的本质区别，帮助读者快速理解核心创新点。