DIFFA-2：面向通用音频理解的实用扩散大语言模型 DIFFA-2: A Practical Diffusion Large Language Model for General Audio Understanding
扩散大语言模型用于音频理解，四阶段训练超越自回归基线
前置知识
扩散大语言模型（dLLM）
扩散大语言模型是一种非自回归的语言建模框架，其核心思想源自连续域扩散模型但应用于离散文本序列。与传统自回归模型从左到右逐个生成token不同，dLLM通过迭代去噪过程来生成序列：首先将目标序列中的token以概率 $t$ 随机替换为特殊的掩码符号 $M$，得到损坏序列 $x_t$，然后训练一个掩码预测器 $p_\theta(x^0 | x_t)$ 来重构原始token。这种设计允许模型利用双向上下文信息，并在推理时支持并行token更新。LLaDA是这一方向的代表性工作，其预训练目标为 $\mathcal{L}(\theta) = -\mathbb{E}_{t,x^0,x_t}\left[\frac{1}{t}\sum_{i=1}^{L} \mathbb{I}[x_i^t = M] \log p_\theta(x_i^0 | x_t)\right]$。
本文的核心就是将dLLM应用于音频理解任务，理解dLLM的基本原理是理解整个论文方法论的基础，包括其训练目标、推理过程以及与自回归模型的本质区别。
自回归大音频语言模型（AR LALM）
自回归大音频语言模型是当前音频理解领域的主流范式，典型代表包括Qwen-2.5-Omni、Kimi-Audio等。这类模型将语音编码器（如Whisper）与大型语言模型通过轻量级桥接模块连接，然后以自回归方式逐token生成文本输出。其解码过程严格遵循从左到右的顺序，每个token的生成都依赖于之前所有token。虽然这种方法在音频理解上取得了强劲性能，但其顺序解码特性限制了推理效率，且在数据受限场景下的扩展成本较高。
AR LALM是本文的主要对标对象和竞争基线，理解其工作原理和局限性有助于理解为什么作者要探索扩散模型作为替代方案，以及本文的实验结果意味着什么。
方差缩减偏好优化（VRPO）
VRPO是一种专为扩散语言模型设计的偏好对齐方法，由Zhu等人在2025年提出。与标准的直接偏好优化（DPO）不同，VRPO针对dLLM的ELBO估计方差问题进行了优化。它采用DPO风格的目标函数，结合蒙特卡洛ELBO估计，并引入最优预算分配和对偶采样策略来显式降低估计方差。具体来说，VRPO执行 $K$（本文取4）次独立采样步骤，关键在于策略模型和参考模型在计算对数似然时共享相同的掩码模式，这有效地实现了扩散轨迹上的对偶采样，从而稳定了偏好学习过程。其目标函数为 $\mathcal{L}_{VRPO} = -\log \sigma\left(\beta\left[s_\theta(y^+) - s_\theta(y^-)\right]\right)$。
VRPO是本文四阶段训练流程中第四阶段的核心技术，也是DIFFA-2相比前代DIFFA的重要改进之一。理解VRPO的工作机制对于理解本文如何通过偏好对齐来提升音频理解能力至关重要。
双适配器架构（Dual-Adapter）
双适配器架构是DIFFA-2的核心设计之一，由语义适配器和声学适配器组成。语义适配器包含一个两层卷积下采样模块和一个两层线性投影，将语音编码器输出的时间分辨率从50Hz降低到12.5Hz，使时间聚合的音频特征与文本语义对齐。声学适配器实现为一个两层Q-former，包含64个可训练查询向量，能够关注编码器的中间状态，有效捕获副语言学和非语言学的声学线索，如韵律、情感相关模式、环境声音和音乐。两个适配器为骨干网络提供音频信号的互补视图：内容导向流和紧凑声学摘要流。
双适配器是本文区别于前代DIFFA的关键架构升级之一，它使模型能够同时理解音频的语义内容和声学特征，这对于统一理解语音、声音和音乐至关重要。
基于因子的并行解码（FPD）
基于因子的并行解码来自fast-dLLMs工作，是一种用于加速扩散语言模型推理的训练无关方法。与固定阈值的解码策略不同，FPD根据模型的置信度自适应地选择每次并行更新的token数量。当模型对预测结果高度确信时，算法允许更激进的并行解码；而在不确定区域则减少并行度。这种自适应策略使得推理延迟大幅降低，同时保持了接近标准解码的准确率。在DIFFA-2的Stage-1 ASR实验中，使用FPD后实时因子（RTF）从0.6792降至0.0820（clean集），甚至低于自回归基线的0.1402。
FPD解决了扩散模型推理效率的关键瓶颈，使DIFFA-2在实际应用中具有竞争力的延迟表现，是将dLLM从概念验证推向实用的重要技术支撑。
研究动机
当前最先进的大型音频语言模型（LALM）仍然以自回归（AR）架构为主导，如Qwen-3-Omni（30B-A3B参数）、Qwen-2.5-Omni和Kimi-Audio等系统虽然在音频理解和对话基准上取得了强劲性能，但面临三个核心挑战。首先，自回归模型的扩展在数据和计算方面成本高昂，高质量的音频-文本跨语音、声音和音乐的监督数据比纯文本数据收集成本高得多。其次，严格顺序的解码机制限制了推理效率，对于长音频和交互式应用场景，逐token生成的延迟成为瓶颈。第三，现有AR LALM需要大量训练数据才能达到高性能，这在音频领域尤其受限。之前的DIFFA工作虽然证明了用扩散骨干替换AR骨干可以在匹配设置下显著提升音频理解性能（在MMAU上从49.71提升），但该工作仅停留在概念验证阶段，没有进行大规模指令调优、偏好对齐或实用解码方案的探索。
本文的目标是DIFFA-2的具体目标是将扩散大语言模型从概念验证阶段转化为具有竞争力的实用音频模型。具体而言，作者希望通过以下方式实现这一目标：一是通过全面的语义-声学对齐来增强声学建模能力；二是设计可扩展的四阶段训练课程，结合大规模监督微调和基于偏好的强化学习；三是引入基于因子的并行解码来实现推理加速；四是仅使用完全开源的语料库进行训练，验证dLLM在实际数据约束下的可行性。最终目标是在MMSU、MMAU和MMAR等音频理解基准上与强AR LALM相竞争，证明扩散建模是大规模音频理解的可行骨干架构。
与已有工作不同的是，本文的独特切入角度在于系统性地解决了将dLLM应用于音频理解的三个关键缺口。第一，前代DIFFA仅使用较小的Whisper编码器且主要面向语音中心的监督，而DIFFA-2采用了更强大的Whisper-Large-V3编码器并引入双适配器架构（语义适配器+声学适配器），使模型能够同时处理语音、声音和音乐三种模态。第二，DIFFA保持扩散骨干冻结，而DIFFA-2通过LoRA微调解冻扩散骨干，仅更新约1.1%的参数（约99M），在训练效率和模型适应性之间取得平衡。第三，前代工作缺乏偏好对齐，DIFFA-2引入VRPO进行方差缩减的偏好优化，通过构造包含微妙音频相关事实错误的偏好对来增强模型对副语言线索的敏感性。此外，DIFFA-2还整合了基于因子的并行解码来实现实际可用的推理速度。
核心方法
DIFFA-2的整体方法可以概括为：在冻结的Whisper-Large-V3语音编码器基础上，通过双适配器（语义适配器+声学适配器）将音频特征映射到与LLaDA-8B-Instruct扩散骨干兼容的表示空间，然后采用四阶段渐进式训练课程逐步提升模型的音频理解能力。直觉上，这种方法的核心思想是让模型从两个互补的视角理解音频信号：一个内容导向的语义流，与文本语义时间对齐；一个紧凑的声学摘要流，突出韵律、风格和非语言线索。技术路线上，Stage 1进行语义对齐（仅训练语义适配器），Stage 2进行联合语义-声学对齐（冻结骨干，训练两个适配器），Stage 3通过LoRA解冻扩散骨干进行监督微调，Stage 4使用VRPO进行偏好优化。推理时采用半自回归策略，将响应按从左到右的块解码，块内并行预测token，并跨扩散步骤选择性重掩码。
DIFFA-2的核心创新点在于将扩散语言模型的「损坏-重构」训练范式与音频理解任务深度结合，并通过精心设计的多阶段训练来逐步释放其潜力。与已有AR LALM的本质区别体现在三个层面：首先，dLLM的训练目标 $\mathcal{L}_{sft-a} = -\mathbb{E}_{t,a,p,r^0,r_t}\left[\frac{1}{t}\sum_{i=1}^{L'} \mathbb{1}[r_i^t = M] \log p_\theta(r_i^0 | a, p, r_t)\right]$ 允许模型利用双向上下文，而AR模型只能看到左侧上下文，这在理解需要全局信息的音频场景中具有天然优势。其次，dLLM被证明是「强数据学习者」，在训练数据有限时仍能持续改进甚至超越AR模型，这对于数据稀缺的音频领域尤其重要——DIFFA-2仅用11,000小时ASR数据和3,767小时SFT数据就达到了竞争力。第三，双适配器设计暴露了两个互补的音频视图给骨干网络，而非单一的编码器输出，使得模型能同时捕获语义内容和声学细节。
方法步骤详情
DIFFA-2的训练分为四个阶段，每个阶段有不同的训练目标和可训练组件。Stage 1（语义对齐）：冻结扩散骨干和声学适配器，仅训练语义适配器，使用ASR数据（约11,000小时，包括LibriSpeech和GigaSpeech），将语音识别构建为指令跟随任务（使用Qwen3-32B生成25种不同指令模板），目标是对齐语义适配器输出与扩散骨干的语义空间。Stage 2（联合语义-声学对齐）：保持扩散骨干冻结，同时训练语义适配器和声学适配器，使用精心构建的SFT数据（3,767小时），包括四种类型的音频问答数据：基于字幕的AQA、通过TTS生成的直接音频QA、多选AQA和ASR子集，旨在增强副语言学和声学理解。Stage 3（LoRA微调解冻骨干）：使用低秩适配（LoRA）微调扩散骨干，在保持训练效率的同时增强模型的音频理解能力，缓解灾难性遗忘问题。Stage 4（VRPO偏好优化）：使用约3,000个偏好对进行方差缩减的偏好优化，偏好对包含音频输入、问题和参考答案，其中「被拒绝」的回答由LLM生成，包含流畅但有微妙音频相关事实错误的内容，通过共享掩码模式的对偶采样稳定训练过程。推理时，从全掩码响应序列开始，执行T步迭代去噪，每步预测掩码token并重掩码最低置信度的token，采用半自回归策略和基于因子的并行解码来加速推理。
技术新颖性
DIFFA-2的技术新颖性体现在多个层面。首先，它是首个将扩散大语言模型系统性地应用于通用音频理解（涵盖语音、声音和音乐）的实用框架，超越了前代DIFFA的概念验证阶段。其次，双适配器架构是全新的设计，语义适配器通过卷积下采样实现时间对齐，声学适配器通过Q-former捕获副语言线索，两者的互补设计为dLLM提供了前所未有的音频表示丰富度。第三，四阶段渐进式训练课程是针对音频领域的创新设计，特别是Stage 2的联合对齐使用了四种互补类型的AQA数据，以及Stage 4的VRPO采用了共享掩码模式的对偶采样策略来稳定偏好学习。第四，在仅更新1.1%参数的极低训练成本下实现了与强AR LALM的竞争力，验证了dLLM作为「强数据学习者」的特性在音频领域的适用性。第五，将基于因子的并行解码应用于音频dLLM推理，实现了RTF从0.6792到0.0820的大幅降低，甚至优于AR基线的0.1402，证明了扩散模型在实际延迟上可以与AR模型竞争。
实验结果
DIFFA-2在三个主要音频理解基准上展现了强劲且一致的性能。在MMSU基准上，DIFFA-2取得了60.45的总体准确率，在同等规模的开源LALM中最佳，略优于Kimi-Audio（59.28）和Qwen2.5-Omni（59.09），与更大的专有模型Qwen3-Omni（65.63）保持约5个点的差距。特别值得注意的是，DIFFA-2在感知平均分（45.58）上取得最高，副语言学感知（41.92）明显领先，推理平均分（76.40）在开源模型中最优。与前代DIFFA相比，总体提升+4.41个点。在MMAU基准上，DIFFA-2在Test-mini和Test两个分割上都取得了开源模型中的最佳平均准确率（69.60和67.00），超越Qwen2.5-Omni和Kimi-Audio，在声音和语音理解上尤为突出。与DIFFA相比，Test-mini平均准确率提升了近20个点（49.71→69.60）。在MMAR基准上，DIFFA-2取得了50.80%的平均准确率，大幅超越DIFFA（37.20%，+13.6个点），在单模态任务上一致改进。消融实验表明，Stage-1的ASR任务中AR骨干仍有小幅WER优势（2.43 vs 2.72），但启用FPD后RTF大幅降低至0.0820，优于AR的0.1402。多阶段训练消融显示，从Stage 2到Stage 4，DIFFA-2的性能持续提升，且在每个阶段都优于匹配的LLaMA-Audio基线。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MMSU总体准确率 | Overall Accuracy (%) | DIFFA-2: 60.45 | Kimi-Audio (7B): 59.28, Qwen2.5-Omni (7B): 59.09 | 较Kimi-Audio +1.17，较Qwen2.5-Omni +1.36，较前代DIFFA +4.41 |
| MMSU感知平均 | Perception Avg (%) | DIFFA-2: 45.58 | Kimi-Audio: 43.52, Qwen2.5-Omni: 43.97 | 较Kimi-Audio +2.06，较前代DIFFA (40.28) +5.30 |
| MMSU推理平均 | Reasoning Avg (%) | DIFFA-2: 76.40 | Kimi-Audio: 76.03, Qwen2.5-Omni: 75.21 | 较Kimi-Audio +0.37，较前代DIFFA (72.92) +3.48 |
| MMAU Test-mini平均 | Test-mini Avg Accuracy (%) | DIFFA-2: 69.60 | Qwen2.5-Omni: 65.20, Kimi-Audio: 68.20 | 较Qwen2.5-Omni +4.40，较前代DIFFA (49.71) +19.89 |
| MMAU Test平均 | Test Avg Accuracy (%) | DIFFA-2: 67.00 | Qwen2.5-Omni: 66.64, Kimi-Audio: 64.40 | 较Qwen2.5-Omni +0.36，较Kimi-Audio +2.60 |
| MMAR平均准确率 | Avg Accuracy (%) | DIFFA-2: 50.80 | Qwen2.5-Omni (7B): 51.40, MiniCPM-O (8B): 48.60 | 较MiniCPM-O +2.20，较前代DIFFA (37.20) +13.60 |
| Stage-1 ASR推理效率 | RTF (clean) | DIFFA-2 (S1 w/ FPD): 0.0820 | LLaMA-Audio (S1 AR): 0.1402 | RTF降低41.5%，WER仅增加0.63 (2.43→3.05) |
局限与改进
作者在论文中坦诚地承认了DIFFA-2的几个重要局限性。首先，训练目标和数据策划主要面向细粒度音频理解而非开放域口语对话，因此DIFFA-2仅接触到有限的对话和对齐风格监督，这反映在VoiceBench上的中等表现——落后于GPT-4o-Audio和Qwen3-Omni等重度指令调优的omni模型。其次，本文仅关注基于文本的音频理解，未考虑语音生成或流式全双工交互，DIFFA-2在离线语音输入/文本输出设置下评估，尚未整合到端到端的语音输入/语音输出系统中。第三，虽然基于因子的并行解码带来了明显的延迟收益，但DIFFA-2在所有设置下并不一致地快于强AR音频LALM。从我自己的观察来看，MMAR基准上三模态混合（Sound-Music-Speech）的表现（37.50%）明显低于Qwen2.5-Omni（54.17%），反映了训练数据中混合模态监督的缺失；此外，虽然仅用1.1%可训练参数是效率上的优势，但也可能限制了模型在更复杂任务上的上限表现。
独立分析的弱点
尽管DIFFA-2取得了令人印象深刻的成果，仍存在几个值得关注的弱点。第一，在MMAR的三模态混合任务上，DIFFA-2的表现（37.50%）远低于Qwen2.5-Omni（54.17%），这表明模型在处理复杂的多源音频组合时能力不足，改进方向可以是增加混合模态的训练数据和专门的混合模态损失函数。第二，VoiceBench上的表现落后于重度对话调优的omni模型，说明当前训练课程过度偏向音频理解而忽视了对话能力，可以通过增加对话风格的SFT数据和多轮交互训练来平衡。第三，Stage-1 ASR任务中DIFFA-2的WER（2.72）仍高于AR基线（2.43），虽然差距不大，但在需要高精度转录的场景中可能成为瓶颈，可以探索更精细的掩码策略或课程学习来缩小这一差距。第四，模型仅使用约3,000个偏好对进行VRPO，数据量相对较少，可能限制了偏好对齐的效果，扩大偏好数据规模和多样性有望进一步提升性能。第五，推理时虽然使用了FPD加速，但扩散模型的迭代去噪本质上仍需要多次前向传播，计算开销的天花板仍高于单次前向的AR模型。
未来方向
基于DIFFA-2的成果和作者提出的方向，未来研究可以在多个维度展开。作者明确提出了三个方向：一是设计更平衡的训练方案，联合优化音频理解和口语对话能力，弥合在VoiceBench上的差距；二是将DIFFA-2整合到端到端的语音输入/语音输出系统中，评估延迟和交互质量等用户中心指标；三是从文本dLLM领域借鉴更先进的训练无关加速方法来进一步降低推理延迟。此外，基于本文成果可以延伸出几个方向：探索将DIFFA-2的架构扩展到更大规模的扩散骨干（如更大的LLaDA变体），验证在更多数据和更大模型下dLLM的扩展规律；将双适配器设计应用于其他多模态任务（如视频-音频联合理解）；研究扩散模型在流式音频处理中的应用，实现实时音频理解和交互；以及探索更先进的偏好优化方法，如结合人类反馈的在线强化学习来进一步提升模型的指令遵循能力。
复现评估
DIFFA-2在可复现性方面表现优秀。作者完全开源了训练和推理管道（GitHub: https://github.com/NKU-HLT/DIFFA），这对于促进dLLM音频模型的后续研究非常有价值。训练数据方面，所有使用的语料库都是完全开源的，包括LibriSpeech、GigaSpeech等ASR数据集，以及自构建的SFT和偏好数据，数据构建方法在附录中有详细说明。算力需求方面，DIFFA-2仅更新约1.1%的参数（约99M），使用LoRA进行骨干微调，大大降低了训练的GPU内存和计算需求，相比全参数微调的AR模型更加高效。模型基础为LLaDA-8B-Instruct，这是一个开源的扩散语言模型。复现难度方面，主要挑战在于SFT数据的构建（需要使用Qwen3-32B生成指令模板和合成AQA数据）以及偏好数据的构造（需要LLM生成包含微妙错误的拒绝回答），但这些步骤的方法论在论文中有清晰描述。总体而言，DIFFA-2的复现门槛在当前大模型研究中属于中等偏低水平。
论文图表