JavisGPT：用于有声视频理解与生成的统一多模态大语言模型 JavisGPT: A Unified Multi-modal LLM for Sounding-Video Comprehension and Generation
首个统一实现音频-视频理解与生成的多模态大语言模型
前置知识
多模态大语言模型
能够处理和理解多种模态输入（文本、图像、音频、视频）的大型语言模型。它们通常在文本LLM基础上增加视觉/音频编码器，通过跨模态注意力或投影层实现特征对齐，使模型能够进行图像描述、视觉问答、音频分类等任务。关键挑战是如何在保持LLM推理能力的同时，有效融合不同模态的语义信息。
JavisGPT是多模态LLM在音频-视频联合任务上的重要扩展，需要理解MLLM如何编码和融合多模态信息，以及如何将LLM的语义理解能力用于生成任务。
Diffusion模型
一种基于去噪过程的生成模型，通过向数据逐步添加噪声并学习逆向去噪过程来生成样本。DiT（Diffusion Transformer）是Diffusion模型与Transformer架构的结合，用Transformer替代UNet作为去噪网络。Rectified Flow是一种特定调度器，通过在噪声分布和数据分布之间学习直线轨迹来加速收敛。
JavisGPT使用预训练的JAV-DiT（基于rectified flow的DiT）作为音频-视频生成器，需要理解Diffusion模型如何通过条件嵌入控制生成过程。
时序同步建模
在处理音频-视频等时序模态时，精确建模不同模态之间的时间对应关系。例如视频中人物说话时，嘴唇运动与语音信号需要在时间上精确对齐。这要求模型能够感知跨模态的时序依赖，捕获事件发生的相对时刻和持续时间。
这是JavisGPT的核心贡献之一，论文提出的SyncFusion模块专门用于捕获音频-视频的时空同步性，这是传统简单拼接或交错方法无法做到的。
LoRA（Low-Rank Adaptation）
一种高效的大模型微调方法，通过在原模型权重旁添加低秩矩阵来实现参数高效更新。LoRA冻结预训练权重，仅训练秩较小的分解矩阵，大幅减少可训练参数量（通常减少99%以上），同时保持与全量微调相近的性能。rank r和缩放因子alpha是关键超参数。
JavisGPT在AV-FineTune阶段使用LoRA（r=128, alpha=256）适配LLM骨干，理解LoRA有助于理解如何在有限计算预算下有效微调大模型。
研究动机
现有方法在音频-视频联合任务上存在严重局限。在理解方面，如PandaGPT、Video-LLaMA、MiniOmni等多模态LLM通常将音频和视频作为独立输入处理，采用简单特征拼接或帧级交错，这忽略了细粒度的时空交互，无法有效捕获音频-视频同步性。例如在AVQA数据集上，VideoLLaMA2.1准确率为80.9%，Qwen2.5-Omni为91.5%，但都无法真正理解声画对应关系。在生成方面，如HuggingGPT、NExT-GPT、UnifiedIO-2采用流水线架构，分别独立生成音频和视频，导致输出不同步、错误传播严重。在JavisBench-mini上，UnifiedIO-2的FVD高达1597.4，JavisScore仅0.053，说明生成质量和同步性都很差。
本文的目标是构建首个统一实现音频-视频理解和生成的多模态大语言模型，能够同时接收音频、视频和文本输入，经过语义推理后输出文本响应或同步的有声视频。具体目标包括：设计有效的音频-视频融合机制捕获时空同步性；开发与预训练生成器的高效对齐策略；构建大规模高质量指令数据集支持复杂多模态交互；在音频-视频理解和生成基准上达到或超越现有方法性能。
与已有工作不同的是，本文的独特切入角度是首次将统一的encoder-LLM-decoder架构应用于音频-视频联合任务。与现有方法相比，JavisGPT不仅关注理解或生成单一方向，而是通过共享的表示空间和条件嵌入实现双向统一理解与生成。更重要的是，论文提出了专门的SyncFusion模块和分层JavisQueries来显式建模音频-视频的时空同步性，这是以往工作缺乏的。此外，论文构建了首个针对音频-视频联合理解与生成的大规模指令数据集，填补了该领域的数据空白。
核心方法
JavisGPT采用经典的encoder-LLM-decoder三段式架构，在Qwen2.5-VL-7B-Instruct基础上扩展音频感知和生成能力。整体思路是：首先通过视觉编码器（Qwen2.5-VL的encoder）和音频编码器（BEATs）分别提取视频和音频特征；然后通过创新的SyncFusion模块将音频特征注入视觉特征，产生同步的SyncAV token；这些token与文本token一起输入LLM；在生成时，LLM输出JavisCond token用于与预训练的JAV-DiT生成器对齐，实现音频-视频生成。这种设计通过统一的表示空间实现理解与生成的双向交互，同时通过专门的同步机制确保生成的音频-视频在时空上精确对应。
核心创新点包括三个方面。第一是SyncFusion模块，它不同于传统简单拼接或帧级交错的方法，而是通过cross-attention将时间对齐的音频特征注入到视觉patch特征中，显式捕获音频-视频的时空同步性。每个SyncAV token编码了第t帧第i行第j列位置的音频-视觉事件，这种细粒度的表示是传统方法无法达到的。第二是分层JavisQueries设计，包括语义条件查询和时空先验查询。语义条件查询捕获整体音频-视觉事件语义（如汽车启动并离开屏幕），而时空先验查询捕获细粒度的时空同步信息（如汽车在屏幕左上角，声音从2秒开始7秒结束9秒淡出）。第三是三阶段训练策略，从基础多模态预训练到音频-视频微调，再到大规模指令微调，逐步构建和增强模型的音频-视频联合能力。这种渐进式训练使得模型能够有效从视觉语言模型扩展到音频-视频领域。
方法步骤详情
方法包括三个主要步骤。步骤一：模态特定编码。视觉编码器将视频编码为帧级特征，音频编码器将原始音频波形转换为2D mel频谱图（Ta时间帧乘以128频率仓），再通过两层MLP投影到LLM token嵌入空间。步骤二：同步音频-视频融合。首先将音频特征在时间上均匀分割以匹配视频帧数，其中r等于Ta向上取整除以Tv，如果需要使用零填充。然后使用共享cross-attention模块将音频线索注入帧级视觉表示，再通过两层MLP生成SyncAV表示。步骤三：时空同步音频-视频生成。当LLM遇到特殊token <|av_start|>时，插入N个可学习查询，经过LLM的因果注意力层处理后，通过两层MLP将隐藏状态投影到DiT的条件嵌入空间，得到语义条件嵌入。此外，设计N个可学习查询估计时空先验嵌入。最终使用复合损失函数联合优化，该损失包括语义条件对齐损失、时空先验对齐损失和扩散损失。该损失函数将预测的噪声与真实噪声之间的差异作为扩散损失部分。
技术新颖性
技术新颖性体现在四个方面。第一，SyncFusion是首个专门为音频-视频同步设计的融合模块，相比传统的Concat、Interleave、BiCrossAttn和Q-Former策略，它在保持性能的同时将token数减少43%、延迟降低9%，实现了性能和效率的更好平衡。第二，分层JavisQueries设计将语义条件和时空先验解耦，这与MetaQueries完全替换原始条件且需要全量微调DiT的方法不同。JavisGPT通过alignment loss对齐到T5-XXL编码的条件空间，冻结DiT参数，大大降低了训练成本。第三，三阶段训练策略（MM-PreTrain：239.95M参数；AV-FineTune：654.68M参数；MM-InstTune：717.09M参数）系统地构建了从基础能力到复杂指令的渐进式学习流程，这是该领域首个系统化的训练方案。第四，JavisInst-Omni数据集包含200K+由GPT-4o标注的音频-视频-文本对话轨迹，覆盖多轮交互和多样化任务类型，是该领域首个大规模高质量指令数据集。
实验结果
实验结果表明JavisGPT在音频-视频理解和生成任务上均达到先进水平。在理解方面，论文使用ActivityNet、Perception、MVBench三个视频理解基准，以及ClothoAQA、TUT2017两个音频理解基准，和AVQA、MU-AVQA、AVSD三个音频-视频理解基准。JavisGPT在视频理解上达到ActivityNet 58.1%、Perception 70.2%、MVBench 68.4%，保持了Qwen2.5-VL骨干的视觉理解能力。在音频理解上达到ClothoAQA 67.3%、TUT2017 82.1%，略优于Qwen2.5-Omni。最重要的是在音频-视频同步理解上，JavisGPT在AVQA上达到93.8%，比VideoLLaMA2.1提升12.9个百分点，比Qwen2.5-Omni提升2.3个百分点；在MU-AVQA上达到82.1%，比VideoLLaMA2.1提升24.9个百分点，比Qwen2.5-Omni提升2.2个百分点；在AVSD上达到62.2%。这些结果证明了SyncFusion在捕获音频-视频同步性方面的有效性。在生成方面，论文在JavisBench-mini上评估了FVD、KVD、FAD、TV-IB、TA-IB、CLIP、CLAP、AV-IB、CAVP、AVHScore和JavisScore等多个指标。JavisGPT达到FVD 317.5、KVD 1.8、FAD 7.6、JavisScore 0.157，相比NExT-GPT（FVD 1463.2、JavisScore 0.038）分别降低78.3%和提升313.2%；相比UnifiedIO-2（FVD 1597.4、JavisScore 0.053）分别降低80.1%和提升196.2%。更重要的是，JavisGPT的JavisScore（0.157）甚至超过了基础生成器JavisDiT（0.153），这表明LLM的语义理解能力可以增强生成质量。消融实验显示，缺少AV-FineTune时FVD高达537.4，JavisScore仅0.069；缺少MM-PreTrain时虽然FVD降低到349.6，但训练不稳定；完整三阶段训练达到最佳效果。SyncFusion对比实验显示，相比简单Concat策略（准确率93.3%、延迟246ms），SyncFusion在略高准确率（93.4%）的同时将token数从3.5K降到2.0K、延迟降到224ms；相比Interleave策略（准确率93.3%、延迟555ms），SyncFusion大幅降低延迟；相比Q-Former策略（准确率71.4%、延迟182ms），SyncFusion大幅提升准确率。联合训练对比实验显示，联合训练相比分离训练在生成质量（FVD从488.2降到317.5）、文本一致性（TA-IB从0.148到0.180）和同步性（JavisScore从0.119到0.157）上均有显著提升，其中质量提升34.4%。人工评估在100个多轮对话上进行，覆盖指令遵循、主动思考、上下文推理和生成质量四个维度。JavisGPT在指令遵循上比NExT-GPT和UnifiedIO-2分别提升54.2%和66.7%，在主动思考上分别提升40%和50%，在上下文推理上分别提升35%和45%，在生成质量上分别提升54.2%和66.7%。这表明JavisGPT在复杂交互场景下显著优于现有方法。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 音频-视频理解(AVQA) | 准确率(%) | 93.8 | VideoLLaMA2.1: 80.9 | +12.9个百分点 |
| 音频-视频理解(MU-AVQA) | 准确率(%) | 82.1 | VideoLLaMA2.1: 57.2 | +24.9个百分点 |
| 音频-视频生成 | FVD↓ | 317.5 | UnifiedIO-2: 1597.4 | 降低80.1% |
| 音频-视频生成 | JavisScore↑ | 0.157 | NExT-GPT: 0.038 | 提升313.2% |
| 音频-视频理解 | 推理延迟(ms) | 224 | Interleave: 555 | 降低59.6% |
局限与改进
作者在讨论中承认了几个局限性。首先，当前的音频编码器BEATs主要针对音频分类和检索任务，对语音信号的建模能力有限，未来可以考虑使用Whisper或WavTokenizer等更先进的语音模型。其次，生成器虽然质量高但灵活性有限，未来可以探索通过额外的条件信号实现更精细可控的音频-视频生成和编辑。第三，当前模型支持的指令相对简单，复杂指令需要更强的LLM推理能力和密集的上下文条件。此外，从论文中可以观察到更多局限性：模型严重依赖预训练的JAV-DiT生成器，如果生成器本身有缺陷会直接影响JavisGPT的表现；计算开销较大，三阶段训练需要大量数据和算力；当前评估主要关注离线基准，在实际交互场景中的表现尚未充分验证；音频-视频同步性的评估指标相对主观，JavisScore等指标的定义和可靠性有待进一步验证；模型在处理长时序音频-视频内容时的能力未明确测试；当前使用rectified flow作为调度器，与其他调度器的比较缺失。
独立分析的弱点
JavisGPT存在几个可改进的弱点。第一，计算开销过大。三阶段训练涉及大量参数（MM-PreTrain 239.95M、AV-FineTune 654.68M、MM-InstTune 717.09M），需要大规模GPU集群，对中小实验室不友好。改进方向是探索更高效的训练方法，如使用秩更低的LoRA（当前r=128）、渐进式解冻、知识蒸馏等。第二，同步建模仍不够精细。虽然SyncFusion实现了细粒度的时空融合，但音频-视频同步性的量化提升有限（JavisScore从0.119到0.157，仅提升32%），说明当前机制可能不够强。改进方向是引入更显式的同步约束，如时序对齐损失、音频-视频一致性正则化、或者使用专门的同步判别器。第三，生成质量受限于预训练DiT。JavisGPT虽然超越了JavisDiT，但提升幅度很小（JavisScore 0.157 vs 0.153），说明生成器本身可能是瓶颈。改进方向是同时微调DiT或开发更强大的生成器。第四，数据集覆盖有限。JavisInst-Omni虽然达到200K规模，但在某些任务（如复杂条件生成、长时序推理）上的样本可能不足。改进方向是针对薄弱任务定向增强数据集。第五，评估不够全面。缺少实际应用场景的评估，如实时对话、用户偏好学习、跨域泛化等。改进方向是增加真实场景评估。
未来方向
作者提出了两个主要未来方向。方向一是扩展JavisGPT的能力以实现更高保真的音频-视频内容。具体包括：通过替换BEATs为Whisper或WavTokenizer实现语音输入输出；通过在JAV-DiT中引入额外条件信号实现细粒度可控的音频-视频生成和编辑；通过增强LLM推理能力和密集上下文条件实现复杂指令生成。方向二是探索统一的音频-视频理解和生成框架。当前的encoder-LLM-decoder架构和基于diffusion的解码器虽然效果良好，但端到端的统一建模可能更有潜力。具体可以探索端到端自回归多模态token建模，其中离散和连续表示展现出理解与生成的强协同效应。从文本-图像扩展到文本-音频-视频建模可能带来显著的性能提升。基于现有成果，可以延伸的未来工作包括：探索多轮对话中的上下文学习和用户偏好建模；研究音频-视频内容的安全性和可控性；开发轻量化版本以在边缘设备上部署；与其他多模态任务（如图像-音频、文本-音乐）的扩展；研究模型的zero-shot和few-shot泛化能力。
复现评估
JavisGPT的复现情况较为良好。论文承诺开源代码、模型权重和数据集，项目页面在https://JavisVerse.github.io/JavisGPT-page。使用的骨干模型Qwen2.5-VL-7B-Instruct、音频编码器BEATs和生成器JAV-DiT都是公开可用的。JavisInst-Omni数据集的构建过程描述详细，使用GPT-4o标注并人工验证质量。训练配置在附录B中详细说明，包括三个阶段的学习率、batch size、优化器等超参数。然而，复现难度仍然较高。主要挑战包括：三阶段训练需要大量计算资源，估计需要A100 GPU集群训练数周；JavisInst-Omni数据集虽然详细描述但尚未发布，需要等待官方发布；实验使用多个基准测试，需要准备不同的评估环境；SyncFusion和JavisQueries的实现细节可能存在细微差异；rectified flow调度器的实现需要精确复现。对于资源有限的实验室，可以考虑先在小规模数据上验证方法的有效性，或使用更小的骨干模型（如Qwen2-VL-2B）进行初步实验。论文在附录中提供了足够的实现细节，包括训练配置、数据集统计、评估指标定义等，这有助于提高复现成功率。总体而言，JavisGPT的复现难度属于中等到较高，需要较好的计算资源和实验经验。
论文图表
这张图展示了JavisGPT的四大核心能力。左侧展示音频-视频理解能力，包括实体定位、关系理解、全局感知等子任务，示例问题包括视频和音频中有多少人被识别、引擎启动的声音何时发生、视频和音频的氛围是什么。中间展示指令遵循的音频-视频生成和上下文推理能力，示例包括将这些细节转化为吸引人的视频和这个视角很差，手指动作细节丢失太多。右侧展示主动对话能力，包括汽车颜色偏好讨论、车辆描述生成等，模型能够主动提出问题、理解用户偏好、基于上下文生成内容。这张图通过具体示例直观地展示了JavisGPT作为统一理解生成系统的完整能力。
这张图对理解论文至关重要，因为它展示了JavisGPT试图解决的核心问题和达成的最终目标。与只关注理解或只关注生成的现有工作不同，Figure 1展示JavisGPT能够在理解、生成、上下文推理和多轮对话四个维度上同时处理音频-视频内容，这直接体现了统一理解与生成的核心贡献。读者可以从这张图快速理解JavisGPT的应用场景和技术目标，为后续理解架构和方法奠定基础。