LTX-2：高效联合音视频基础模型 LTX-2: Efficient Joint Audio-Visual Foundation Model
首个开源高效音视频联合生成模型
前置知识
扩散模型（Diffusion Model）
扩散模型是一类生成模型，通过逐步向数据中添加噪声构建前向过程，然后学习反向去噪过程来生成新样本。在图像和视频生成中，扩散模型通过在潜在空间进行去噪来生成高质量内容，其中需要学习预测噪声或速度场。扩散过程通常由时间步 t 参数化，模型需要根据当前噪声状态和时间步预测干净信号。
LTX-2 的核心是扩散 Transformer（DiT）架构，理解扩散模型的基本原理对于理解其去噪过程和时间步条件机制至关重要。论文中涉及的多模态去噪和 classifier-free guidance 都建立在扩散模型框架之上。
分类器无关引导（Classifier-Free Guidance，CFG）
CFG 是一种在推理时增强生成样本与条件信号一致性的技术。标准 CFG 通过放大条件预测和无条件预测之间的差异来提高生成质量和对 prompt 的遵循程度，而不需要训练额外的分类器。公式形式为有条件预测加上引导强度乘以有条件和无条件预测的差值。
LTX-2 提出了模态感知的 CFG 扩展，允许独立控制文本引导强度和跨模态引导强度。理解标准 CFG 对于理解这一创新和论文中的引导公式至关重要。
旋转位置编码（Rotary Positional Embedding，RoPE）
RoPE 是一种将相对位置信息注入注意力机制的方法。它通过将 query 和 key 向量在复数域中旋转角度来编码位置信息，其中角度由位置索引和预设频率决定。这种编码方式在计算注意力时自然地保持相对位置关系，相比绝对位置编码具有更好的外推能力和相对位置感知能力。
LTX-2 使用 3D RoPE 处理视频的时空信息，使用 1D RoPE 处理音频的时间信息，并在跨模态注意力中仅使用时间 RoPE。这种设计确保了音视频在时间轴上的精确对齐，是实现音视频同步的关键技术。
变分自编码器（Variational Autoencoder，VAE）
VAE 是一种生成模型，通过编码器将输入数据压缩到低维潜在空间，再通过解码器重建。训练时优化 ELBO（证据下界），平衡重建质量和潜在空间正则化。在扩散模型中，VAE 用于将高维数据（如图像、音频）压缩到紧凑的潜在空间，大幅降低扩散模型的计算开销。
LTX-2 采用模态特定的 VAEs 分别编码视频和音频，视频使用时空因果 VAE，音频使用基于 mel 频谱图的因果 VAE。这种解耦设计允许独立优化每种模态的压缩级别和位置编码，是整个架构的基础。
研究动机
现有的文本到视频（T2V）模型虽然能生成高质量视频，但本质上是静默的，完全缺少音频所承载的语义、情感和环境信息。这些模型如 LTX-Video、WAN 2.1 和 HunyuanVideo 虽然在视觉逼真度上表现优异，但输出的视频往往感觉不完整，实际应用价值受限。与此同时，文本到音频（T2A）模型仍然专业化于特定领域（如语音、音乐、foley 音效），缺乏统一的音频生成方法。目前的音视频生成（T2AV）尝试通常采用解耦的顺序流水线：先生成视频再填充音频（V2A），或者先有音频再生成视频（A2V）。这种解耦方法存在根本性缺陷，因为它们无法建模两个模态的完整联合分布。例如，虽然唇部同步主要由音频驱动，但声学环境（如混响或背景音效）由视觉语境决定。统一模型是必要的，以捕捉这些双向依赖关系。
本文的目标是本文的目标是开发一个开放、高效、高保真的文本到音频+视频（T2AV）统一框架，能够以集成方式同时学习视觉和听觉模态。LTX-2 旨在实现三个核心目标：第一，在保持高视觉质量的同时生成与视频紧密同步的高质量音频；第二，设计高效的架构，使计算开销最小化，推理速度显著快于现有系统；第三，开源模型权重和代码，为研究社区提供可访问的多模态生成基础。模型需要生成包含语音、背景音乐和环境音效的完整音景，而不仅仅是单一类型的音频。此外，模型应支持多语言提示，能够在生成语音时准确反映音韵和语义，并与视觉唇部运动同步。
与已有工作不同的是，本文的独特切入角度在于采用不对称双流架构结合双向跨模态注意力，而非简单地复制和组合现有的 T2V 和 T2A 主干网络。与 Veo 3 等专有系统和 Ovi、BridgeDiT 等开源努力不同，LTX-2 不对称地分配参数：14B 参数用于视频流，5B 参数用于音频流。这种设计认识到视频和音频具有根本不同的信息密度，应该根据各自的需求独立扩展。此外，本文引入了模态感知的 CFG 和深度多语言文本理解（使用 Gemma 3 加上思考 tokens），专门针对语音生成中的音韵精度要求。这种端到端联合建模的方法与顺序流水线形成鲜明对比，能够建模音频和视觉之间的双向影响，如唇部同步和环境声学。
核心方法
LTX-2 的整体思路是将文本条件下的音频和视频信号联合分布建模为三个组件的协同工作：模态特定的 VAEs 将原始信号压缩到高效潜在表示；精炼的文本嵌入管道提供深度的语义和音韵基础；不对称双流 DiT 通过双向跨模态交换进行联合去噪。模型的直觉是：音频和视频应该在它们共享的时间轴上紧密对齐，但可以在各自的空间中独立处理。技术路线上，原始视频和音频信号通过因果 VAEs 编码为模态特定的潜在 tokens，文本通过 Gemma 3 编码器处理并经过多层特征提取和思考 tokens 增强。双流扩散 transformer 同时对音频和视频潜在 tokens 进行去噪，通过双向音频-视频交叉注意力层和文本条件进行信息交换，最终生成同步的音视频输出。
LTX-2 的核心创新是不对称双流扩散 Transformer（DiT）架构，将视频和音频处理解耦为专用流，同时保持共享深度。与对称架构或简单复制现有主干的方法不同，这种设计允许每个模态根据自己的信息密度进行扩展。视频流使用 14B 参数和 3D RoPE 处理复杂的时空动态，音频流使用 5B 参数和 1D RoPE 处理一维时间性质。这种不对称性确保了大部分参数专用于视觉复杂的视频合成任务，而音频流保持高效。另一个关键创新是模态感知的分类器无关引导（modality-CFG），允许独立控制文本引导强度和跨模态引导强度，公式包含两个独立的引导项：一个用于文本条件，一个用于跨模态条件。这允许在推理时独立调制文本和跨模态的影响，显著提高音视频对齐。
方法步骤详情
方法分为四个主要步骤。第一步是信号编码：视频通过时空因果 VAE 编码器获得潜在表示，音频通过 mel 频谱图（16kHz）和因果音频 VAE 编码为一维时序潜在 tokens。第二步是文本处理：提示词通过 Gemma3-12B 编码器，多层特征提取器跨所有解码层提取特征，经过中心化缩放和投影后，与可学习的思考 tokens 一起输入文本连接器，通过双向注意力 transformer 块精炼。第三步是联合去噪：视频和音频潜在 tokens 分别通过线性投影到 transformer 内部宽度，然后在不对称双流 DiT 中处理。每个双流块顺序执行四个操作：同模态内的自注意力、文本条件的文本交叉注意力、跨模态交换的音频-视频交叉注意力、以及用于精炼的前馈网络（FFN）。RMS 归一化层交织在主要操作之间，跨模态 AdaLN 门允许一个模态的缩放和移位参数以另一个模态的隐藏状态为条件。第四步是信号重建：处理后的潜在 tokens 通过学习的输出投影映射回原始维度，视频潜在通过视频 VAE 解码为帧，音频潜在通过音频 VAE 解码为 mel 频谱图，最后通过神经网络声码器重建 24kHz 波形。
技术新颖性
LTX-2 的技术新颖性体现在多个方面。首先，解耦潜在表示设计是基础性创新：不强制视频和音频进入共享潜在空间，而是使用独立的模态特定 VAEs。这允许使用模态适当的位置编码（视频用 3D，音频用 1D），独立优化每种信号类型的压缩级别，并精确分配给视觉与声音的模型容量。其次，不对称双流设计认识到视频和音频的根本信息密度差异，通过高容量视频流处理复杂时空动态，而窄的专用流处理音频的一维时间本质。第三，跨模态注意力通过在整个模型深度集成双向交叉注意力层，并在这些交互期间使用一维时间 RoPE，使模型能够以亚帧精度将视觉线索（如物理对象的冲击）映射到听觉事件（如产生的 foley 声音）。第四，深度多语言基础通过高参数多语言文本编码器（Gemma 3）、专用多层特征提取策略和多 token 预测的专用文本处理块，实现了高水平的提示遵循，允许高度表达和准确的语音合成。第五，模态感知的 CFG 允许独立控制跨模态引导尺度，显著改善音视频对齐。
实验结果
LTX-2 在三个关键维度评估中表现出色：音视频质量、视频基准测试性能和计算效率。在音视频评估中，内部基准测试显示 LTX-2 显著超越开源替代方案如 Ovi。更重要的是，LTX-2 在人类偏好研究中实现了与领先专有模型（包括 Veo 3 和 Sora 2）相当的人类偏好分数，建立了 LTX-2 作为统一音视频合成首选开源基础的地位。在视频基准测试方面，尽管 LTX-2 是多模态模型，但其视觉流在标准视频生成任务上保持顶尖性能。在 Artificial Analysis 公共排名（截至 2025 年 11 月 6 日）中，LTX-2 在图像到视频生成中排名第 3，在文本到视频生成中排名第 4。值得注意的是，它超越了专有系统如 Sora 2 Pro 和大规模开源模型如 Wan 2.2-14B，证明联合训练策略和架构选择没有损害视觉质量。在推理性能方面，LTX-2 展现了极致效率。在 NVIDIA H100 GPU 上的对比测试显示，使用 121 帧的 720p 分辨率、单步 Euler 求解器和 CFG=1，Wan 2.2-14B（仅视频，14B 参数）需要每步 22.30 秒，而 LTX-2（音频+视频，19B 参数）仅需每步 1.22 秒，速度提升约 18 倍。在推理时使用的具体 CFG 参数为：视频流文本引导强度 3、跨模态引导强度 3，音频流文本引导强度 7、跨模态引导强度 3。此外，LTX-2 能够生成长达 20 秒的连续视频和同步立体声音频，这超过了现有替代方案的时间限制，包括专有模型如 Veo 3（12 秒）和 Sora 2（16 秒），以及开源模型如 Ovi（10 秒）和 Wan 2.5（10 秒）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 推理速度 | 每扩散步时间（秒） | 1.22s | Wan 2.2-14B | 约 18 倍加速 |
| 图像到视频生成 | Artificial Analysis 排名 | 第 3 名 | Sora 2 Pro | 超越专有系统 |
| 文本到视频生成 | Artificial Analysis 排名 | 第 4 名 | Wan 2.2-14B | 超越大规模开源模型 |
| 最大生成时长 | 连续秒数 | 20 秒 | Veo 3 / Sora 2 / Ovi | 超越专有和开源替代方案 |
局限与改进
LTX-2 虽然展现了强大的音视频生成能力，但仍存在几个局限性。首先，性能在不同语言间存在差异：在训练数据中代表性不足的语言或方言的提示可能导致不太准确的语音合成或较弱的音视频对齐。这是因为多语言文本编码器 Gemma 3 的表示能力在不同语言间不均匀，以及训练数据中的语言偏差。其次，在多说话者场景中，模型可能不一致地将口语内容分配给角色，偶尔混淆哪个角色应该说特定的台词。这个问题源于模型缺乏明确的说话者跟踪机制，在复杂场景中难以区分不同说话者的声学特征。在时间范围方面，生成超过大约 20 秒的连贯音视频序列可能导致时间漂移、同步退化或场景多样性降低。这是因为扩散模型在长期生成中难以维持一致的时序结构和语义连贯性。最后，LTX-2 是生成扩散模型，没有显式推理或世界建模能力；更深的叙事连贯性、事实基础或复杂情境理解依赖于外部系统（如用于生成条件文本的大型语言模型）。
独立分析的弱点
LTX-2 的主要弱点集中在长时一致性、多说话者处理和语言覆盖上。在长时一致性方面，超过 20 秒的生成会出现时间漂移和同步退化，改进方向可以是引入时序一致性模块（如时序记忆机制或自校正机制），或者在训练时使用更长的视频片段。在多说话者场景中，模型无法可靠地跟踪和区分不同说话者，改进方向可以引入显式的说话者嵌入或说话者标识机制，类似于语音合成中的说话者自适应技术。在语言覆盖方面，对代表性不足的语言的性能下降，改进方向可以是扩展多语言训练数据，使用专门针对低资源语言的文本编码器，或者采用跨语言迁移学习技术。另一个潜在弱点是缺乏显式推理能力，模型无法理解复杂的因果关系或世界知识，改进方向可以是将 LTX-2 与推理模型（如大型语言模型或世界模型）集成，在生成前进行更高级的规划和推理。此外，模型的计算开销虽然相对较低，但对于资源受限的环境仍然可能过高，可以通过模型蒸馏、量化或知识蒸馏来进一步压缩模型。
未来方向
作者提出的未来工作方向包括改进模型在不同语言和方言上的表现，解决多说话者场景中的分配不一致问题，以及扩展模型的时间范围以支持更长的视频生成。基于 LTX-2 的成果，可以延伸的研究方向包括：1) 探索更复杂的跨模态对齐机制，如基于 Transformer 的跨模态记忆网络，以更好地建模音视频之间的长期依赖关系；2) 研究条件控制的扩展，如通过额外的音频条件（如音乐风格、情感标签）或视频条件（如相机运动、场景类型）来精细控制生成结果；3) 开发更先进的编辑和交互工具，如基于文本的音视频编辑、时空局部编辑或风格迁移；4) 探索与其他模态的集成，如添加文本字幕生成、场景理解或动作识别能力，以构建更完整的多模态理解生成系统；5) 研究模型的可解释性和可控性，分析跨模态注意力如何影响生成结果，以及如何通过干预注意力机制来控制特定方面（如唇部同步、环境声学）；6) 探索实时生成应用，如直播虚拟主播、交互式媒体创作或实时游戏内容生成。
复现评估
LTX-2 的复现性良好，作者已公开所有模型权重和代码（https://github.com/Lightricks/LTX-2）。论文中提供了详细的架构描述和实现细节，包括双流 DiT 的具体配置、音频 VAE 的参数、文本处理管道的设计和推理时的 CFG 设置。训练数据使用了 LTX-Video 数据集的一个子集，专注于包含重要和丰富音频组件的视频片段，虽然完整数据集未公开，但作者描述了数据来源和标注过程。模型在 NVIDIA H100 GPU 上训练和评估，推理时支持多尺度、多瓦片策略以实现高分辨率合成。对于研究社区来说，复现 LTX-2 需要相当的计算资源（至少一个高端 GPU），但由于代码和权重的开源，理论上可以复现论文中的结果。论文提供了详细的实验设置和基准测试方法，包括人工偏好研究的协议，这有助于其他研究者进行公平比较。总体而言，LTX-2 的复现难度中等偏高，主要障碍是计算资源需求，但开源策略和详细的文档大大降低了复现门槛。
论文图表
