JavisDiT++：面向联合音视频生成的统一建模与优化框架 JavisDiT++: Unified Modeling and Optimization for Joint Audio-Video Generation

JavisDiT++ 的完整流程分为数据处理、三阶段训练和推理三个阶段。数据处理阶段：音频方面，将所有音频重采样至 16kHz 并转换为 64-bin mel-spectrogram，经 AudioLDM2 的 VAE 压缩为 8 通道音频嵌入，再通过 2x2 patchify 操作减少 token 数量；视频方面，使用 Wan2.1 的 VAE 进行 8x8 空间压缩和 4x 时间压缩，得到 16 通道视频嵌入，同样进行 2x2 patchify。第一阶段（音频预训练）：冻结 Wan2.1 骨干网络的所有原始参数，仅训练新增的音频 FFN、音频嵌入层和预测头，使用 780K 音频-文本对训练 50 个 epoch，学习率为 $1 \times 10^{-4}$，可训练参数量约 794M。第二阶段（音视频 SFT）：引入 LoRA 对整个 DiT 进行参数高效微调，使用 330K 音视频文本三元组训练 2 个 epoch，学习率 $1 \times 10^{-4}$，LoRA rank 设为 64，可训练参数量约 121M。第三阶段（音视频 DPO）：保留 SFT 阶段的 LoRA 参数，在 25K 偏好对数据上训练 1 个 epoch，学习率降至 $1 \times 10^{-5}$。偏好数据的构建过程为：从 30K 个文本 prompt 出发，参考模型为每个 prompt 生成 3 个音视频对，加上真实数据构成候选集，然后用 AudioBox（音频质量）、VideoAlign（视频质量）、ImageBind（语义对齐）和 SyncFormer（时序同步）等多个奖励模型进行评分，通过模态感知的归一化排名选择 winning-losing 对，最终得到约 25K 个偏好对。推理阶段：从噪声出发，沿 ODE 求解 $dx/dt = v_\theta(x,t)$，同时生成音频和视频，额外推理开销仅为 Wan2.1 骨干的 1.6%。

JavisDiT++ 的技术新颖性体现在三个方面。与 UniForm 相比，MS-MoE 的关键区别在于：UniForm 用单套参数（共享注意力 + 共享 FFN）处理所有模态，在从预训练 T2V 模型扩展时会严重损害视频生成能力（FVD 从 221.3 升至 269.3，如 Tab. 2 所示）；而 MS-MoE 在 FFN 层进行模态隔离，保持了视频生成能力的同时赋予了音频生成能力。与 JavisDiT 的双流 DiT + ST-Prior 相比，MS-MoE 更简洁高效——JavisDiT 需要 3.1B 参数和 30 秒推理时间，而 JavisDiT++ 仅需 2.1B 参数和 10 秒。在 TA-RoPE 方面，与 Qwen2.5-Omni 的 RoPE 策略相比，关键区别在于避免位置 ID 重叠——Qwen2.5-Omni 将音频视为 1D 序列，允许音频位置 ID (0,0,0) 与视频位置 ID (0,0,0) 重合，这对生成任务会导致位置混淆；而 TA-RoPE 通过偏移量彻底避免了重叠。在 AV-DPO 方面，与单模态 DPO 的本质区别在于采用模态感知排名而非全局平均分数，实验表明 Average-Micro/Macro 策略可能形成视频更好但音频更差的 winning 样本，与损失函数的假设矛盾。

基于对论文的深入分析，JavisDiT++ 存在以下可改进的弱点。第一，MS-MoE 的确定性分配策略虽然简单高效，但缺乏灵活性——当音频和视频 token 在某些层需要不对称的信息交互量时（例如在视频主导的场景中音频需要更多来自视频的引导），固定的模态分配无法动态调整信息流向。改进方向可以是引入轻量级的门控机制，在保持低开销的同时允许少量跨模态 token 交换。第二，AV-DPO 的偏好数据构建依赖多个独立的奖励模型，这些模型各自的偏差会累积传播到偏好对选择中。例如 AudioBox 可能偏好某种特定风格的音频，而 VideoAlign 可能偏好某种特定的视觉风格，两者的方向可能不一致。改进方向是训练一个端到端的多模态奖励模型，或引入对抗性训练来降低奖励模型偏差的影响。第三，当前模型仅在 240p-480p 分辨率和 2-5 秒时长上验证，缺乏对更高分辨率和更长视频的实验验证。在实际应用中，短视频通常需要 720p 以上的分辨率和 10 秒以上的时长，这限制了模型的实用价值。改进方向包括引入渐进式分辨率训练策略和时长外推技术。第四，LoRA rank 的选择（r=64）缺乏充分的理论依据，消融实验显示性能对 rank 不敏感（Fig. 7），这可能意味着当前的训练数据规模尚未充分挖掘模型容量，或者 LoRA 本身的表达能力已成为瓶颈。

作者提出了五个明确的未来方向，基于论文成果还可进一步延伸。作者提出的：（1）扩大训练数据规模以提升泛化性和鲁棒性；（2）扩展到更大的骨干网络以获得更强的表示能力；（3）探索全参数微调的可能性；（4）扩展到音乐、语音等需要精细控制的领域；（5）构建音频到视频、视频到音频等统一的跨模态生成框架。基于论文成果可延伸的方向：（6）将 TA-RoPE 的思想推广到更多模态（如文本、图像、3D），构建真正的任意模态生成系统；（7）探索在线 DPO 或 RLHF，利用用户实时反馈持续优化模型；（8）引入时序可控性，允许用户通过时间轴标注指定何时出现何种声音和画面；（9）将 AV-DPO 的模态感知排名策略应用到其他跨模态生成任务（如文本到图文混排、文本到带配乐的动画）；（10）探索自适应的 MoE 路由策略，根据输入内容动态决定哪些层需要更强的跨模态交互。

JavisDiT++ 的复现条件相当友好。作者承诺公开所有代码、预训练模型和处理后的数据集，项目主页为 https://JavisVerse.github.io/JavisDiT2-page。数据方面，音频预训练使用了 780K 公开音频-文本对（来自 AudioSet、AudioCaps、VGGSound、WavCaps 等公开数据集），音视频 SFT 和 DPO 数据来自 TAVGBench 的子集。算力需求方面，音频预训练需要 16 个 H100 GPU 天，音视频 SFT 需要 16 个 H100 GPU 天，音视频 DPO 仅需 3 个 H100 GPU 天，总计约 35 个 H100 GPU 天，这对于学术实验室是可承受的。模型基于开源的 Wan2.1-1.3B-T2V 骨干网络，LoRA 微调的参数量仅 121M，推理时合并后总参数量为 2.1B。复现难度中等偏低——主要挑战在于需要集成多个奖励模型（AudioBox、VideoAlign、ImageBind、SyncFormer）来构建偏好数据，以及需要对 TAVGBench 进行数据筛选（美学评分阈值 0.4、运动评分阈值 0.1、OCR 评分阈值 5.0）。如果仅复现 SFT 阶段而不做 DPO，难度会大幅降低。