← 返回 2026-04-01

Dynin-Omni：全模态统一大扩散语言模型 Dynin-Omni: Omnimodal Unified Large Diffusion Language Model

Jaeik Kim, Woojin Kim, Jihwan Hong, Yejoon Lee, Sieun Hyeon, Mintaek Lim, Yunseok Han, Dogeun Kim, Hoeun Lee, Hyunggeun Kim, Jaeyoung Do 📅 2026-03-09 👍 19 2026-07-13 08:36
全模态统一 多模态大模型 扩散模型 掩码扩散 文本-图像-语音联合建模
arXiv HuggingFace PDF

首个基于掩码扩散的8B全模态统一模型，在单一架构中实现文本、图像、语音、视频的任意理解与生成

前置知识

掩码扩散模型

掩码扩散是离散扩散的一种形式，它将生成过程建模为迭代预测掩码token。在训练时，随机mask掉输入序列中的部分token（用[MASK]替换），模型需要在剩余可见token的上下文中重建被mask的token。推理时，目标序列从全mask状态开始，通过多步迭代逐步去噪恢复。这种方法的优势是支持双向上下文建模和并行token更新，避免了自回归模型的严格因果约束。在语言建模中，LLaDA等工作证明了掩码扩散可以达到与AR模型相当的性能。

本文的核心技术基础，理解掩码扩散的运作机制对于掌握Dynin-Omni的生成机制至关重要。

离散Token空间

离散Token空间是指将连续信号（如图像、音频）通过向量量化（Vector Quantization, VQ）编码为离散的码本索引。图像使用MAGVIT-v2风格的tokenizer，将图像下采样并量化为8192个视觉token的码本；语音使用EMOVA的SPIRAL编码器+FSQ量化器，将语音波形式量化为4096个语音token。所有模态的token都被映射到统一的词汇表V = Vtext ∪ Vvision ∪ Vspeech中，共享同一个embedding矩阵和Transformer架构。这种设计使得不同模态可以在token级别进行直接交互和统一建模。

理解本文如何统一不同模态的表示空间，这是实现全模态建模的关键技术手段。

模型合并

模型合并是一种将多个训练好的模型权重进行融合的技术，通常用于灾难性遗忘缓解。当扩展新模态时（如加入语音），词汇表会扩展导致embedding矩阵和LM head维度不匹配。本文提出模态解耦合并策略：对于原始词汇表对应的参数，保留backbone的权重；对于新增的语音token维度，直接继承Stage 1的权重；对于其他维度匹配的backbone权重，使用线性插值θmerged = αθ^(0) + (1-α)θ^(1)，其中α=0.6。这种策略在保留原有能力的同时稳定地引入新模态能力。

本文三阶段训练策略的核心组件，理解它对于把握如何稳定扩展模态至关重要。

置信度重掩码

置信度重掩码是掩码扩散推理时的一种策略。每步预测后，模型为每个预测token分配置信度分数（通常定义为被选中token的最大预测概率max p(xi|xt)）。置信度较低的token会被重新mask，允许在后续步骤中修正不确定的预测，而高置信度token保持不变。这种策略借鉴了LLaDA的低置信度重掩码和MaskGIT的top-k重掩码思想。在Dynin-Omni中，这种方法被扩展到所有模态，使得长序列（如语音）的稳定细化成为可能。

理解本文如何实现稳定的生成过程，特别是对长序列和复杂任务的处理机制。

研究动机

现有的统一多模态模型存在两个主要问题。首先，基于自回归（AR）的模型如AnyGPT、Chameleon-7B等，必须将所有模态强制序列化生成，即使对于图像这种本身不存在严格从左到右顺序的模态也是如此。这导致生成过程并行性差，限制了模型跨模态全局细化输出。其次，当前的组合式统一模型如HyperCLOVAX-8B-Omni、NExT-OMNI等，虽然支持更灵活的生成，但依赖外部模态特定的生成器（如FLUX），这引入了多个异构的训练目标和额外的编排瓶颈，阻碍了无缝的跨模态集成。更重要的是，这些系统往往在文本推理能力和多模态建模之间进行权衡，而强大的推理能力对于未来的agent系统和通用AI界面至关重要。

本文的目标是本文的目标是构建首个基于掩码扩散的开源8B级全模态基础模型，能够在单一架构中原生统一文本、图像、语音的理解和生成，以及视频理解。通过在共享离散token空间上制定统一的掩码扩散目标，消除对模态特定生成专家或多阶段生成交接的需求，同时保持强大的跨模态生成质量。具体来说，模型需要在文本推理（如GSM8K数学问题）、多模态理解（如MME-P图像理解、VideoMME视频理解）、图像生成与编辑（如GenEval）、语音识别与合成（如LibriSpeech ASR/TTS）等多个基准上达到或超越现有统一模型的性能。

与已有工作不同的是，本文的独特切入点在于将掩码扩散范式扩展到真正的全模态设置，而现有的扩散多模态工作主要集中在视觉-语言场景（如MMaDA、LaViDa），未能扩展到更丰富的感知流如视频理解或高保真语音识别与合成。同时，本文提出模态解耦的多阶段训练策略，明确分离模态扩展与能力扩展，解决了直接联合训练导致的灾难性遗忘问题。这种设计与NExT-OMNI等结合流匹配生成和模态特定重构损失的方法不同，Dynin-Omni采用完全离散的掩码扩散形式，在单一统一目标下原生建模所有模态的感知和生成。

核心方法

Dynin-Omni的整体思路是将全模态理解与生成建模为在单一离散token序列上的迭代掩码扩散。如图4所示，所有模态的输入（文本、图像、视频、语音）首先通过模态特定的冻结tokenizer被编码为共享离散token空间中的token序列。训练时，随机mask掉部分token（用[MASK]替换），模型需要根据剩余可见token预测被mask位置的原始token，训练目标是负对数似然L(θ) = -∑_{i=1}^L I[xt,i=MASK] log pθ(x0,i|xt)。推理时，根据任务类型采用不同的mask配置：对于理解任务（如VQA），输入模态token保持固定，答案文本token初始化为全mask并逐步去噪；对于生成任务（如文本到图像），条件输入token保持固定，目标模态token初始化为全mask并并行细化。所有模态共享同一个Transformer backbone和同一个预测目标，不同行为仅由mask配置和解码调度决定。

Dynin-Omni的核心创新点在于首次将掩码扩散扩展到真正的全模态统一建模。与自回归模型必须序列化生成不同，掩码扩散支持双向上下文建模和并行token细化，这对于像图像和语音这样本身不存在严格因果顺序的模态特别有利。与需要外部生成器的组合式模型不同，Dynin-Omni通过轻量级的确定性detokenizer直接在统一backbone内预测离散token，保持了完全统一的架构。另一个关键创新是模态解耦的多阶段训练策略：Stage 1进行文本中心的新模态适配（视频→文本、语音→文本、文本→语音）；Stage 2通过模态解耦模型合并（α=0.6）保留原有能力后进行全模态联合SFT；Stage 3进行持续SFT增强推理、高分辨率图像生成、长语音合成等高级能力。这种设计明确分离了模态扩展与能力扩展，有效缓解了灾难性遗忘。

方法步骤详情

Dynin-Omni的训练和推理过程分为三个阶段。Stage 1（新模态适配）：使用WebVid-10M（10.7M视频-文本对）进行视频理解训练，使用GigaSpeech+LibriSpeech+CommonVoice（约14K小时）进行ASR和TTS训练。此时模型不预测 token，专注于新模态与文本的语义对齐。Stage 2（全模态SFT）：首先进行模态解耦模型合并，对于原始词汇表参数保留backbone权重，对于新增语音维度继承Stage 1权重，其余参数按α=0.6线性插值。然后在32×H100上训练34,560 GPU小时，数据包括文本对话（Evol-Instruct、Magpie-Pro）、图像理解（Cambrian10M）、图像生成（JourneyDB、FLUX-Reason-6M）、视频理解（LLaVA-Video-178K、OpenVid1M）、语音（同Stage 1）。此时开始预测 token以支持灵活长度生成。Stage 3（持续SFT）：在40×H100上训练23,665 GPU小时，引入高质量推理数据（200K样本经严格过滤）、高分辨率图像（480×480理解、512×512生成）、长语音（最长21秒）等。推理时采用模态特定的解码策略：文本和语音使用块级解码（block size 16-128），图像使用完全并行解码。置信度重掩码机制在每步后重新mask低置信度token以支持迭代细化。

技术新颖性

Dynin-Omni的技术新颖性体现在多个方面。首先，它是首个将掩码扩散扩展到全模态统一的开源8B级模型，证明了掩码扩散可以原生支持文本、图像、语音和视频的任意理解与生成。其次，模态解耦的多阶段训练策略和scheduled padding learning（Stage 1不预测）在稳定模态扩展的同时缓解了灾难性遗忘，实验显示合并模型保留了高达84%的原有backbone性能。第三，通过统一的离散token空间和单一的掩码扩散目标，Dynin-Omni避免了组合式模型的外部生成器编排，实现了真正的端到端全模态建模。第四，置信度重掩码机制被扩展到所有模态，使得长序列（如21秒语音）的稳定生成成为可能。最后，实验表明即使在8-16个采样步这样低的推理预算下，Dynin-Omni仍能保持强性能，这使其适合计算受限或实时导向的多模态场景。

Overview of Dynin-Omni.
Figure 2: Overview of Dynin-Omni.
Architectural comparison of omnimodal modeling paradigms.
Figure 3: Architectural comparison of omnimodal modeling paradigms.
Training and inference pipeline of Dynin-Omni.
Figure 4: Training and inference pipeline of Dynin-Omni.
Multi-stage training strategy of Dynin-Omni.
Figure 5: Multi-stage training strategy of Dynin-Omni.
Training loss over the first 20K steps of Stage 2 for text-to-text (T→T), text-to-image (T→I), and video-to-text (V→T).
Figure 6: Training loss over the first 20K steps of Stage 2 for text-to-text (T→T), text-to-image (T→I), and video-to-text (V→T).
Impact of stage-aware <EOS> supervision on ASR and TTS Word Error Rate (WER).
Figure 7: Impact of stage-aware <EOS> supervision on ASR and TTS Word Error Rate (WER).
Distribution of training data across stages and tasks.
Figure 8: Distribution of training data across stages and tasks.
Impact of merging strategies under varying interpolation ratios α.
Figure 12: Impact of merging strategies under varying interpolation ratios α.
Comparison of model merging strategies under vocabulary extension.
Figure 14: Comparison of model merging strategies under vocabulary extension.

实验结果

Dynin-Omni在19个多模态基准上实现了强大且平衡的性能。在文本推理方面，GSM8K达到87.6（数学推理），MATH达到49.6，GPQA达到33.7，超越了所有对比的统一模型（Show-o2、HyperCLOVAX-8B-Omni），与纯文本专家模型相当，证明加入全模态能力不会损害核心语言推理。在图像理解方面，POPE达到87.7（幻觉鲁棒性），MME-P达到1733.6（感知评估），超越了所有统一模型，接近专家模型InternVL3-8B的1748.4。在视频理解方面，NextQA达到81.9，TempCompass达到68.4，VideoMME达到61.4，匹配或超越了其他统一模型。在图像生成方面，GenEval Overall达到0.87，DPGBench达到86.3，与专家模型Qwen-Image的0.87和88.3相当，远超HyperCLOVAX-8B-Omni的0.64。在图像编辑方面，ImgEdit Overall达到3.77，与LaViDa-O的3.81相当。在语音方面，LibriSpeech ASR达到2.1 WER（test-clean），超越了AnyGPT的8.5，接近专家模型Qwen3-ASR-1.7B的1.6；LibriSpeech TTS达到4.3 WER，显著超越HyperCLOVAX-8B-Omni的7.7和NExT-OMNI，大幅缩小了与专家模型的差距。消融实验显示模态解耦合并策略在α=0.6时提供最佳平衡，图6显示合并策略加速收敛并降低最终损失，特别是对于backbone不支持的V→T任务，6:4合并策略使初始高损失稳定收敛到低损失。图13显示推理步数的影响：GSM8K需要512-1024步才能达到最佳推理性能，GenEval在64-128步饱和，DPGBench在4-128步保持稳定，ImgEdit在8-32步就已达到强性能。

Supported modality capabilities and architectural characteristics of representative perception-centric and unified perception–generation models.
Table 1: Supported modality capabilities and architectural characteristics of representative perception-centric and unified perception–generation models.
Input–output template families across training stages.
Table 2: Input–output template families across training stages.
Evaluation on textual reasoning benchmarks (higher is better for all metrics).
Table 3: Evaluation on textual reasoning benchmarks (higher is better for all metrics).
Evaluation on multimodal understanding (MMU) benchmarks (Video).
Table 5: Evaluation on multimodal understanding (MMU) benchmarks (Video).
Evaluation on image generation benchmarks.
Table 6: Evaluation on image generation benchmarks.
Evaluation on the ImgEdit benchmark.
Table 7: Evaluation on the ImgEdit benchmark.
Evaluation on automatic speech recognition (ASR) and text-to-speech (TTS) benchmarks.
Table 8: Evaluation on automatic speech recognition (ASR) and text-to-speech (TTS) benchmarks.
Comparison of merging strategies across text, vision, and speech benchmarks.
Table 9: Comparison of merging strategies across text, vision, and speech benchmarks.
Detailed data composition across training stages for Dynin-Omni.
Table 10: Detailed data composition across training stages for Dynin-Omni.
Detailed hyperparameters and configurations of the training recipe across different stages.
Table 11: Detailed hyperparameters and configurations of the training recipe across different stages.
Unified omnimodal performance of Dynin-Omni across understanding and generation benchmarks.
Figure 1: Unified omnimodal performance of Dynin-Omni across understanding and generation benchmarks.
Qualitative examples of Dynin-Omni for image generation task.
Figure 10: Qualitative examples of Dynin-Omni for image generation task.
Effect of diffusion sampling steps on reasoning and generation tasks.
Figure 13: Effect of diffusion sampling steps on reasoning and generation tasks.
查看结构化数据
任务指标本文基线提升
数学推理 GSM8K准确率 87.6% HyperCLOVAX-8B-Omni 87.3% +0.3%
图像感知理解 MME-P分数 1733.6 HyperCLOVAX-8B-Omni 1307.0 +32.6%
视频理解 VideoMME分数 61.4 Qwen2.5-Omni-7B 64.3 -4.5%（但Dynin-Omni还支持生成）
图像生成 GenEval Overall 0.87 HyperCLOVAX-8B-Omni 0.64 +35.9%
语音识别 LibriSpeech test-clean WER 2.1% NExT-OMNI 3.1% +32.3%

局限与改进

作者承认的局限性包括：虽然Dynin-Omni在多个基准上超越了统一模型，但与模态特定专家系统（如图像生成的Qwen-Image、语音识别的Qwen3-ASR-1.7B）相比仍有差距。模型在视频生成方面尚未支持，目前仅支持视频理解。推理步数对任务影响差异较大，推理任务需要512-1024步才能达到最佳性能，而图像生成在64-128步就已饱和，这增加了计算复杂度。训练资源需求较高，总共使用了超过63,425 GPU小时。此外，本文未提供详细的部署效率分析和实际场景的性能评估。我自己的观察：模态解耦合并策略虽然有效，但需要额外设计不同模态的权重分配规则，这可能限制了其在新模态扩展时的通用性。视频理解仅使用5帧（224×224）的轻量化配置，虽然实验显示与20帧配置相当，但这可能限制了模型对复杂时序关系的建模能力。

独立分析的弱点

Dynin-Omni的主要弱点包括：首先，与模态特定专家模型相比仍有性能差距，这在高精度要求的场景下可能不够理想。改进方向可以是在保持统一架构的前提下，引入轻量级的模态特定适配器或专家混合机制。其次，推理步数的依赖性较强，特别是推理任务需要512-1024步，这增加了延迟。改进方向可以是研究更高效的解码策略，如自适应步数控制或知识蒸馏的快速变体。第三，视频理解仅使用5帧可能限制复杂时序建模能力，改进方向可以是探索更高效的帧采样策略或可学习的时序建模模块。第四，训练资源需求高（63K+ GPU小时），改进方向可以是研究参数高效的微调方法如LoRA在全模态设置下的应用。第五，当前模型不支持视频生成，改进方向可以是在统一掩码扩散框架下扩展视频tokenization策略。最后，本文未提供详细的部署优化和量化分析，这对于实际应用很重要，未来工作可以包含这些方面的系统研究。

未来方向

作者提出的未来研究方向包括扩展支持视频生成以实现真正的全模态任意生成，以及探索实时多模态系统的部署。基于论文成果可以延伸的方向包括：研究更高效的掩码扩散解码策略，如自适应置信度阈值、early stopping机制或分层解码以降低推理延迟；探索参数高效的模态扩展方法，如只更新新增模态参数的LoRA式训练；研究跨模态推理增强，如通过thinking-mode机制推广到更多模态；扩展到更多模态如3D、触觉、化学等；探索更细粒度的控制机制，如图像生成的局部编辑、语音的情感风格控制等；研究多模态对齐的可解释性，分析不同模态在token级别的交互模式；探索增量学习和在线学习机制以支持持续扩展新模态而不重新训练整个模型；研究压缩和量化技术以降低部署成本，特别是对于实时应用场景。

复现评估

论文未明确说明是否开源代码、模型权重和数据，但提到Project Page、Code、Model、Demo链接，表明有开源计划。训练数据主要来自公开数据集（WebVid-10M、GigaSpeech、LibriSpeech、CommonVoice、Evol-Instruct、Magpie-Pro等）和内部合成数据。训练使用32-40×H100 GPU，总GPU小时超过63,425。模型参数约8B级。实现细节包括学习率1-2×10^-5、Cosine学习率调度、AdamW优化器（β1=0.9, β2=0.999）、批量大小128、梯度裁剪1.0。消融实验详细分析了模型合并策略和推理步数的影响。复现难度中等偏高，主要挑战在于大规模计算资源需求和复杂的训练流程。如果代码和权重开源，复现会相对容易；如果需要从头训练，则资源门槛较高。建议未来工作提供更详细的训练日志、checkpoint和推理脚本以降低复现难度。

论文图表

Figure 9: Qualitative examples of Dynin-Omni for textual reasoning (top-left), image understanding (top-right), and video understanding (bottom).

图9展示了Dynin-Omni在三个任务上的定性示例。左上：文本推理，解决数学问题（约翰开车的距离计算问题）。右上：图像理解，详细描述图像内容（人手搅拌土豆泥）。底部：视频理解，分别描述两个视频场景（跑道上的比赛、韩国城市街道）。每个示例都展示了问题和模型的详细答案。

这张图对理解论文的重要性在于它提供了模型实际输出的具体示例，让读者直观感受模型在不同模态理解任务上的能力，是定量指标的重要补充。

Figure 11: Qualitative examples of Dynin-Omni for image editing task.

图11展示了Dynin-Omni在图像编辑任务上的定性示例，分为三组：(1) 对象替换和背景修改：将车辆颜色改为红色、背景改为城市景观、将汽车替换为热气球。(2) 风格迁移：折纸艺术风格、手塑黏土动画风格、乐高砖定格动画风格。(3) 对象操作：提取动物、移除动物、替换动物为岩石；添加物体；提取/替换/修改椅子。每组展示原图和编辑后的结果。

这张图对理解论文的重要性在于它全面展示了模型在多样化图像编辑任务上的能力，包括对象级别的语义编辑、风格迁移和背景操作，证明了模型在复杂视觉编辑任务上的实用性。

Table 4: Evaluation on multimodal understanding (MMU) benchmarks (image).

表4比较了图像多模态理解基准的表现，包括POPE（幻觉鲁棒性）、MME-P（感知评估）、GQA（组合VQA）、MMMU（多学科多能力）、MMB（多模态基准）。模型分为MMU-Experts（InternVL3-8B、Ovis2-8B、Qwen2.5-VL-7B、LLaDA-V）、Perception-centric（OpenOmni、Qwen2.5-Omni-7B、Baichuan-Omni-1.5、OmniVinci）和Unified（SEED-X、Janus-Pro、BAGEL、Chameleon-7B、Emu3、MMaDA、Fudoki、Lumina-DiMOO、Show-o2、NExT-OMNI、HyperCLOVAX-8B-Omni、Dynin-Omni）。Dynin-Omni在POPE（87.7）和MME-P（1733.6）上超越所有统一模型，接近专家InternVL3-8B的1748.4。

这个表格对理解论文的重要性在于它证明了Dynin-Omni在图像理解任务上的强性能，特别是在需要细粒度感知和组合推理的MME-P任务上的突出表现。