Omni-Diffusion：基于掩码离散扩散的统一多模态理解与生成 Omni-Diffusion: Unified Multimodal Understanding and Generation with Masked Discrete Diffusion
首个基于掩码离散扩散的any-to-any多模态模型，统一文本/语音/图像处理
前置知识
掩码离散扩散模型 (Masked Discrete Diffusion Models, MDMs)
掩码离散扩散模型是一类生成模型，其核心思想是通过掩码标记预测来建模离散token序列的分布。在训练阶段，MDM将干净数据序列中的一部分token随机替换为特殊的[MASK]标记，然后训练神经网络根据部分掩码的上下文预测原始未掩码的token。在推理阶段，MDM从完全掩码的序列开始，通过迭代解码掩码token，逐步重建干净的数据分布。与连续扩散模型不同，MDM直接在离散token空间操作，适用于文本、语音等离散模态数据。MDM的关键优势在于支持并行解码，可以在单次前向传递中生成多个token，相比自回归模型具有更高的生成效率。
本文的核心贡献就是将MDM从单一模态扩展到统一多模态系统，理解MDM的工作原理是理解整个论文技术方案的基础
Any-to-Any多模态模型
Any-to-any多模态模型是指能够接受任意模态输入并生成任意模态输出的统一模型。例如，模型可以接受语音输入生成图像（语音到图像），或接受图像输入生成语音描述（图像到语音），以及传统的文本到图像、图像到文本等任务。与专门针对特定模态对设计的模型不同，any-to-any模型需要在统一的表示空间中对齐所有模态，这要求模型具备跨模态的语义理解和生成能力。目前大多数any-to-any模型基于自回归架构，而本文首次探索了基于扩散模型的方案。
本文提出的Omni-Diffusion是首个基于离散扩散的any-to-any模型，理解这一概念有助于把握论文的定位和创新点
Dream-7B离散扩散语言模型
Dream-7B是一个预训练的离散扩散语言模型，由Ye等人在2025年提出。它采用掩码扩散机制来建模文本token序列的分布，支持并行解码。Dream-7B基于Transformer架构，但在训练和推理方式上与传统的自回归语言模型有本质区别：训练时使用掩码预测目标，推理时从完全掩码的序列迭代解码。该模型具有70亿参数，在多个自然语言处理任务上展现出与自回归模型相当的性能，同时具备扩散模型特有的并行生成能力。本文选择Dream-7B作为基础模型，并扩展其词汇表以容纳图像和语音token。
Omni-Diffusion是在Dream-7B基础上构建的，理解这个基础模型的特性对于理解本文的技术选择和架构设计至关重要
MAGVIT-v2图像分词器
MAGVIT-v2是一种先进的视觉tokenizer，能够将图像压缩为离散token序列。它采用视觉编码器将图像压缩为紧凑表示，下采样因子为f=16，然后使用码本大小为8192的量化器将紧凑表示转换为离散token。这意味着一张256×256的图像可以被表示为16×16=256个离散token，每个token对应码本中的一个条目。MAGVIT-v2在图像生成和理解任务中都表现出色，被Show-o、MMaDA等多个视觉语言模型采用。在本文中，MAGVIT-v2生成的离散图像token与文本和语音token一起构成统一的多模态token序列。
MAGVIT-v2是本文图像模态处理的核心组件，理解其工作原理有助于理解多模态token统一表示的技术细节
SenseVoiceSmall语音编码器
SenseVoiceSmall是一个语音理解模型，采用内存增强的自注意力网络从输入语音中提取语义丰富的表示。它能够将语音波形转换为连续的语义表示向量，这些向量随后通过轻量级MLP适配器投影到离散扩散模型的隐藏维度空间。SenseVoiceSmall在自动语音识别、语音情感识别等任务上表现出色，能够捕捉语音中的语义信息而不仅仅是声学特征。在本文中，它负责将输入语音转换为模型可以处理的语义表示，是语音理解能力的关键组件。
SenseVoiceSmall是本文语音编码的核心组件，理解其作用有助于理解语音模态如何融入统一的多模态框架
GLM-4-Voice语音解码器
GLM-4-Voice是一个端到端语音对话模型，包含语音tokenizer和语音解码器。其语音tokenizer通过有限标量量化层将语音转换为离散token，token率为12.5 Hz，码本大小为16384。这意味着每秒语音被表示为12.5个离散token，每个token可以从16384个可能值中选择。在本文中，Omni-Diffusion模型预测的语音token序列会被送入GLM-4-Voice解码器，将其重建为语音波形。GLM-4-Voice的tokenizer和解码器共同构成了语音生成的输出管道。
GLM-4-Voice是本文语音生成的关键组件，理解其工作原理有助于理解语音token如何转换为可听的语音波形
Attenuated Tail-Pad Masking
Attenuated Tail-Pad Masking是本文提出的一种特殊掩码策略，用于解决变长序列生成中pad token过拟合的问题。在训练中，为支持变长生成，会在序列末尾添加随机数量的pad token。简单的均匀掩码策略会导致模型过度拟合pad token，推理时生成过多pad token。Attenuated Tail-Pad Masking通过对pad token应用缩放因子γ（γ<1）来降低其掩码比例，确保模型的梯度更新主要由常规语义token驱动，而非pad token。在本文中γ=0.6，即pad token的掩码比例被降低到原来的60%。
这是本文解决变长生成问题的关键技术之一，理解其动机和实现有助于理解训练策略的设计
Position Penalty位置惩罚策略
Position Penalty是本文为改善图像生成质量而提出的推理策略。作者观察到模型有时会在图像中生成重复模式，推测这是因为模型倾向于同时从序列的开头和结尾向中心解码掩码token。由于扩散模型通常在连续时间步生成语义相关的token，同时在序列两端解码可能导致图像顶部和底部出现相同模式。Position Penalty在推理的早期阶段，将序列最后N个token的logits乘以固定因子γp（γp<1，本文中γp=0.5），从而抑制模型同时从两端解码。这与半自回归生成不同，Position Penalty施加的是软约束而非强制按块生成。
这是本文针对图像生成质量的重要改进策略，理解其原理有助于理解扩散模型在图像生成中的特有挑战和解决方案
研究动机
当前多模态大语言模型（MLLMs）领域面临两个核心挑战。首先，大多数现有方法采用自回归架构作为骨干网络，这限制了架构设计的探索空间。自回归模型虽然在文本生成中表现出色，但在多模态场景中存在明显的局限性：它们通常需要额外的输出模型将文本隐藏状态转换为其他模态的数据（如NExT-GPT需要连接预训练的扩散解码器），导致模态对齐不够紧密。其次，现有的any-to-any模型如NExT-Omni虽然采用了离散流匹配模型，但仍受限于纯文本骨干网络，需要额外的模型进行多模态生成。AnyGPT作为自回归any-to-any模型，在语音任务上的表现相对较弱（LibriSpeech WER为8.50）。这些问题表明，探索基于扩散模型的多模态架构具有重要的研究价值，因为扩散模型在初始token序列和生成轨迹控制、并行解码效率等方面具有独特优势。
本文的目标是本文的核心目标是构建首个完全基于掩码离散扩散模型的any-to-any多模态语言模型Omni-Diffusion，实现文本、语音和图像三种模态的统一理解与生成。具体而言，模型需要能够：(1) 接受任意模态输入（文本、语音或图像）并生成任意模态输出；(2) 处理涉及多个模态的复杂任务，如语音驱动的视觉交互（speech-to-image生成和语音视觉问答）；(3) 在各种多模态基准测试上达到与现有方法相当或更好的性能；(4) 利用扩散模型的并行解码能力实现高效的多模态生成。
与已有工作不同的是，本文的独特切入角度体现在三个层面。首先，在架构层面，本文首次将掩码离散扩散模型从单一模态扩展到统一多模态系统，这与现有any-to-any模型（如NExT-Omni的离散流匹配、AnyGPT的自回归）有本质区别。其次，在表示空间层面，本文直接在离散多模态token空间建模联合分布，而不是依赖文本中间表示和额外的跨模态投影，这使得不同模态在共享语义表示空间中实现内在对齐。第三，在训练策略层面，本文针对掩码离散扩散模型的特点设计了专门的技术方案（Attenuated Tail-Pad Masking、Position Penalty、Special Token Pre-Infilling等），这些技术充分利用了扩散模型的特性，而非简单套用自回归模型的训练方法。
核心方法
Omni-Diffusion的整体思路可以概括为'统一token表示+掩码扩散建模+渐进式训练'。直觉上，如果能够将文本、语音和图像都转换为离散token序列，并在一个统一的扩散模型中学习它们的联合分布，那么模型就能自然地实现跨模态的理解和生成。技术路线如下：首先使用模态特定的tokenizer将原始数据转换为离散token——文本使用现有的文本tokenizer，图像使用MAGVIT-v2（码本大小8192，下采样因子16），语音使用GLM-4-Voice的tokenizer（码本大小16384，token率12.5 Hz）。然后，将不同模态的token序列用特殊的开始和结束标记包裹，形成统一的token序列。在训练时，按照扩散模型的标准流程，以比例r随机将token替换为[MASK]标记，其中r来自均匀采样的时间步t。模型接收被掩码的序列，预测干净序列，训练目标是掩码token的交叉熵损失。
本文的核心创新在于首次将掩码离散扩散模型（MDM）扩展为统一的多模态any-to-any系统。与已有方法的本质区别体现在：(1) 与NExT-GPT等方法不同，本文不需要额外的输出模型将文本特征转换为其他模态，而是直接在统一的离散token空间中建模多模态联合分布，实现内在的模态对齐；(2) 与AnyGPT等自回归any-to-any模型不同，本文利用扩散模型的并行解码能力，在单次前向传递中可以生成多个token，潜在地提高生成效率；(3) 与NExT-Omni的离散流匹配不同，本文采用掩码token预测机制，这种机制天然支持条件生成和可控生成，可以通过修改初始掩码序列来控制输出格式；(4) 本文针对MDM的特点设计了专门的训练和推理技术，包括Attenuated Tail-Pad Masking（解决变长生成）、Position Penalty（改善图像质量）、Special Token Pre-Infilling（增强语音对话）等，这些技术充分利用了MDM的独特特性。
方法步骤详情
Omni-Diffusion的方法步骤可以分为模型构建、训练和推理三个阶段。在模型构建阶段，基于预训练的Dream-7B离散扩散语言模型，扩展词汇表以容纳16384个语音token和8192个图像token，同时保留原有的文本token。模型架构保持不变，仅扩展词汇表及对应的embedding和输出层。在训练阶段，采用三阶段渐进式训练管道：Stage 1（视觉-语言预对齐）在文本到图像和图像描述任务上优化模型，目标是将视觉模态与预训练语言模型的语义空间对齐，使用LAION-2B（10M图像描述）和JourneyDB（4M图像）数据集；Stage 2（语音-视觉-语言联合对齐）保留Stage 1的视觉-文本数据，引入ASR和TTS数据（包括LibriSpeech、Common Voice、GigaSpeech、LibriTTS等）实现语音-文本对齐；Stage 3（语音驱动的视觉交互）在自建的SDVI数据集（30K语音问答+30K语音到图像样本）上微调，并结合SQA和VQA数据。在推理阶段，采用熵基解码策略决定哪些token解码，同时应用Position Penalty、Special Token Pre-Infilling和Adaptive Token Length Assignment等技术优化特定任务的生成质量。
技术新颖性
本文的技术新颖性体现在多个方面。首先，Attenuated Tail-Pad Masking策略通过缩放因子γ=0.6降低pad token的掩码比例，解决了变长序列生成中pad token过拟合的问题，这是一个针对MDM特性的创新训练技术。其次，Position Penalty策略通过在推理早期阶段将序列最后N个token的logits乘以因子γp=0.5，抑制模型同时从序列两端解码导致的重复模式问题，这与半自回归生成有本质区别——Position Penalty施加的是软约束而非强制按块生成。第三，Special Token Pre-Infilling策略利用MDM的灵活性，在初始掩码序列的0.25L位置放置[begin-of-speech]特殊标记，引导模型在前0.25L段生成文本、后0.75L段生成对应语音，使模型在语音生成过程中能够显式关注文本内容。第四，Adaptive Token Length Assignment根据语音时长和文本长度的相关性（TTS任务中初始token长度设为文本token长度的3.5倍，ASR任务中设为语音token长度的0.2倍），既提高性能又加速采样过程。此外，本文构建的SDVI数据集包含语音驱动的视觉问答和语音到图像生成样本，是首个针对MDM设计的跨模态交互数据集。
实验结果
本文在多个多模态基准测试上进行了全面评估，核心发现如下：在语音任务方面，Omni-Diffusion在ASR任务上（LibriSpeech WER 7.05）超越了自回归any-to-any模型AnyGPT（WER 8.50），但与专业语音模型CosyVoice相比仍有差距；在TTS任务上（LibriTTS WER 3.07）超越了语音专用LLM GLM-4-Voice（WER 5.64），接近专业TTS模型CosyVoice（WER 2.89）。在视觉任务方面，Omni-Diffusion在VQA任务上表现强劲：POPE得分76.6（超越LLaVA的76.3，接近InstructBLIP的78.9），MME-Perception得分1216.7（超越mPLUG-Owl的976.34和InstructBLIP的1212.8），Seed-2-Plus得分34.5（超越所有对比方法，包括mPLUG-Owl的31.8和LLaVA的30.1）。在文本到图像生成任务上，CLIP-T得分为0.235，CLIP-I得分为0.667，与DreamLLM（0.238/0.697）相当，超越NExT-GPT（0.225/0.691）。特别值得注意的是，在语音-视觉对齐评估中，Omni-Diffusion在语音条件和文本条件下的图像生成质量相近（CLIP-T/CLIP-I分别为0.225/0.645和0.235/0.667），证明了模型在不同模态间的一致对齐能力。在采样效率方面，图像生成在时间步从256减少到50甚至10时仍保持较好的质量（CLIP-T/CLIP-I从0.235/0.667降至0.226/0.650），TTS在时间步超过总token长度的0.25倍时也能保持稳定性能（WER从3.07增至3.74）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 自动语音识别 (ASR) | WER (Word Error Rate) ↓ | LibriSpeech: 7.05 | AnyGPT: 8.50, GLM-4-Voice: 2.82 | 超越AnyGPT 1.45个百分点，但落后于专业语音模型 |
| 文本到语音 (TTS) | WER (Word Error Rate) ↓ | LibriTTS: 3.07 | CosyVoice: 2.89, GLM-4-Voice: 5.64 | 超越GLM-4-Voice 2.57个百分点，接近专业TTS模型 |
| 图像问答 (VQA) | POPE Accuracy ↑ | 76.6 | LLaVA: 76.3, InstructBLIP: 78.9 | 超越LLaVA 0.3个百分点，接近14B参数的InstructBLIP |
| 图像问答 (VQA) | MME-Perception ↑ | 1216.7 | mPLUG-Owl: 976.34, InstructBLIP: 1212.8 | 超越mPLUG-Owl 240.36分，超越InstructBLIP 3.9分 |
| 图像问答 (VQA) | Seed-2-Plus ↑ | 34.5 | mPLUG-Owl: 31.8, LLaVA: 30.1 | 超越最佳基线mPLUG-Owl 2.7个百分点 |
| 文本到图像生成 | CLIP-T ↑ | 0.235 | DreamLLM: 0.238, NExT-GPT: 0.225 | 超越NExT-GPT 0.01，接近DreamLLM |
| 文本到图像生成 | CLIP-I ↑ | 0.667 | DreamLLM: 0.697, Emu: 0.656 | 超越Emu 0.011，但落后于DreamLLM 0.03 |
局限与改进
本文存在以下几个方面的局限性。首先，作者承认模型在ASR任务上落后于专业语音模型（WER 7.05 vs CosyVoice的2.89），这表明统一模型在特定模态任务上可能不如专门优化的模型。其次，模型规模相对较大（7B参数），但实验未详细讨论推理延迟和计算资源需求，这可能限制其在资源受限场景中的应用。第三，训练数据中SDVI数据集仅包含30K样本（语音问答和语音到图像各30K），相比其他训练阶段的数据量（LAION-2B的10M图像描述、GigaSpeech的1000小时语音等）规模较小，可能影响语音-视觉交互能力的充分发展。第四，作者观察到模型偶尔会在图像中生成重复模式（这也是提出Position Penalty的原因），说明扩散模型在图像生成质量上仍有改进空间。第五，论文未讨论模型在长文本或多轮对话场景中的表现，也未评估在现实世界噪声环境下的鲁棒性。此外，模型的采样效率优势在实验中未得到充分体现——虽然展示了减少时间步后的性能，但未与自回归模型在相同硬件上进行端到端延迟对比。
独立分析的弱点
本文存在以下几个值得深入分析的弱点。首先，ASR性能与专业模型差距明显（WER 7.05 vs 2.82），这可能源于统一模型在语音理解任务上需要平衡多种模态的能力，改进方向包括引入更强的语音编码器（如Whisper）或在训练中增加ASR数据的权重。其次，CLIP-I指标（0.667）落后于使用外部预训练扩散模型的方法如DreamLLM（0.697），说明端到端扩散模型在图像质量上仍有差距，可考虑引入视觉质量损失或多阶段生成策略。第三，Position Penalty虽然缓解了重复模式问题，但属于后处理技巧而非根本解决方案，更优的方法可能是在训练时引入多样性正则化或改进注意力机制。第四，SDVI数据集规模较小（30K样本），可能导致语音-视觉交互能力不够泛化，扩大数据集规模或引入数据增强策略可能改善这一问题。第五，模型未讨论推理效率的实际对比，虽然理论上扩散模型支持并行解码，但在实际部署中可能受限于迭代解码步骤，需要与自回归模型进行端到端延迟对比以验证效率优势。
未来方向
本文为多个研究方向奠定了基础。作者提出的框架可以自然扩展到更多模态（如视频、3D数据），通过为新模态设计相应的tokenizer并扩展词汇表即可。在训练策略方面，可以探索更高效的渐进式训练方法，例如课程学习或自适应模态采样。在推理优化方面，可以研究更快的扩散采样算法（如DDIM风格的加速采样）或知识蒸馏方法，以进一步提高生成效率。基于本文的多模态对齐能力，可以探索跨模态迁移学习——例如在图像理解任务上训练的知识能否迁移到语音理解任务。此外，本文的Special Token Pre-Infilling策略启发了一种新的可控生成范式，可以进一步研究如何通过修改初始掩码序列实现更精细的生成控制。在应用层面，Omni-Diffusion的语音-视觉交互能力可以应用于多模态对话系统、辅助技术（如为视障人士提供语音描述）等场景。
复现评估
本文在复现性方面提供了较好的支持。代码和模型权重通过项目网页公开（https://omni-diffusion.github.io），这降低了复现门槛。基础模型Dream-7B是开源的，使用的tokenizer（MAGVIT-v2、SenseVoiceSmall、GLM-4-Voice）也都有公开的实现。训练数据方面，大部分数据集是公开可用的（LAION-2B、LibriSpeech、LibriTTS、GigaSpeech等），但Stage 2中提到的In-house Dataset（2000K样本）可能影响完整复现。SDVI数据集的构建过程有详细描述（使用LLaVA-OneVision和CosyVoice2），但作者未明确说明是否公开该数据集。计算资源方面，论文未详细说明训练所需的GPU数量和时间，但考虑到模型规模（7B参数）和数据量（数十M样本），预计需要大规模GPU集群。总体而言，有经验的研究者应该能够在公开资源的基础上复现主要结果，但完整复现所有训练阶段可能需要显著的计算投入。
论文图表
