LLaDA-o：高效且长度自适应的全能扩散模型 LLaDA-o: An Effective and Length-Adaptive Omni Diffusion Model

LLaDA-o的方法分为以下几个关键步骤：第一步，模态编码。输入图像分别经过两条路径：(a) SigLIP视觉编码器提取语义视觉token，经过两层MLP投影到语言token空间，送入理解专家；(b) FLUX VAE将图像编码为视觉潜变量v_0，送入生成专家。文本提示词经过LLaDA的tokenizer编码后送入理解专家。第二步，理解专家训练。将投影后的图像token v、提示词token p和响应token r_0拼接，随机采样时间步t，按概率α_t保留token或替换为[MASK]，训练模型预测被掩码的token。损失函数仅计算在响应token上。第三步，生成专家训练。将图像潜变量v_0与高斯噪声ε按时间步t线性插值得到v_t = (1-t)v_0 + tε，训练模型预测速度场v_0 - ε。提示词作为条件输入，损失仅计算在图像token上。第四步，自适应长度增强。训练时以概率p_ext在响应末尾追加k个[EOS] token，以概率p_trunc截断响应到前l个token，使模型学会在不同位置正确终止或继续生成。第五步，推理阶段。采用分块生成策略：缓存固定的条件部分（图像和提示词），逐块生成响应token。每块初始化为[MASK]序列，迭代去噪，置信度超过阈值τ的token被接受，否则保持掩码继续去噪。若检测到[EOS]则终止，否则将完成的块加入缓存继续下一块。

LLaDA-o的技术新颖性体现在三个层面。首先，MoD框架是首个明确将离散和连续扩散解耦并共享注意力骨干的多模态架构。与Lumina-DiMOO、MMaDA等使用统一掩码扩散的方法相比，MoD避免了图像离散化带来的信息损失；与LaViDa-O等混合方法相比，MoD的解耦更彻底，两个专家各自使用最优的扩散机制，互不干扰。其次，模态内双向注意力是针对MoD设计的高效推理方案。不同于全局注意力在每步重新计算整个序列的KV，该方案将序列划分为模态块，块内全注意力、块间因果注意力，使得条件部分的KV缓存可以跨去噪步复用。实验显示相比全局注意力实现5.9倍加速。最后，自适应长度增强是一种纯数据驱动的解决方案，无需修改模型架构或注意力机制，仅通过训练时随机追加[EOS]或截断响应，就能让模型学会灵活控制生成长度。这与之前依赖架构修改（如Yang等人2025b的工作）或多样本打包（如Wu等人2025d的工作）的方法形成鲜明对比。

基于独立分析，LLaDA-o存在以下弱点及改进方向。第一，MoD框架中两个专家共享注意力骨干的设计虽然减少了参数冗余，但也意味着专家间的梯度会通过共享层相互影响。在训练早期，生成专家的连续扩散损失可能干扰理解专家的离散扩散学习，导致训练不稳定。改进方向可以是引入梯度裁剪或异步训练策略，如先单独训练理解专家若干epoch，再引入生成专家。第二，自适应长度增强仅在Stage 3激活，这意味着前两个阶段的模型已形成固定长度的生成习惯，Stage 3的微调可能不足以完全纠正。改进方向是将长度增强从Stage 1就引入，或设计更渐进的长度变化策略。第三，模态内双向注意力虽然高效，但块间因果注意力限制了后生成的块对前文的双向建模能力。在需要回溯修正的任务（如长文本生成中的连贯性维护）中，这可能导致质量下降。改进方向可以是引入轻量级的全局注意力层，仅在特定层或特定间隔应用。第四，推理时的置信度阈值τ需要手动调整（论文选择0.9），不同任务可能需要不同的阈值。改进方向是设计自适应阈值策略，如根据当前块的置信度分布动态调整。

论文作者指出，随着掩码扩散模型在语言建模方面的持续进步，LLaDA-o为未来的全能扩散方法提供了有前景的基础。基于本文成果，可以延伸以下研究方向：(1) 扩展到更多模态，如音频、视频，验证MoD框架的通用性。由于MoD的设计理念是"让每个模态用最适合的扩散机制"，理论上可以为音频引入波形扩散或梅尔频谱扩散专家。(2) 探索更高效的注意力机制，如Flash Attention与模态内双向注意力的结合，进一步提升推理速度。(3) 研究自适应长度增强的理论基础，理解为什么追加[EOS]和截断能有效训练长度控制，以及如何设计更优的增强策略。(4) 将MoD框架与强化学习结合，如基于人类偏好的RLHF微调，提升生成内容的质量和对齐性。(5) 探索更强大的语言骨干，如将LLaDA-8B替换为更大规模的扩散语言模型，缩小与自回归模型的差距。

论文在复现性方面表现良好。代码已在GitHub开源（https://github.com/ML-GSAI/LLaDA-o），为复现提供了基础。然而，复现面临若干挑战：(1) 数据方面，训练使用了多个公开数据集（Infinity-MM、MAmmoTH-VL、LLaVA-OneVision-1.5等）和部分内部数据集（10M SFT数据集），内部数据的缺失可能影响完整复现。(2) 算力需求较高，三阶段训练总计需要约87,552 H800 GPU小时（约256卡×342小时），对大多数研究团队构成挑战。(3) 模型初始化依赖LLaDA-8B-Instruct预训练权重，这是一个在2.3T token上训练的扩散语言模型，其可用性和获取方式需确认。(4) 论文提供了详细的训练超参数和数据配置（Appendix B.1），但部分细节（如学习率调度、批大小）可能需要进一步查阅代码。总体而言，对于拥有充足算力和数据访问权限的研究团队，复现是可行的；对于资源受限的团队，建议从Stage 3的微调开始，基于开源的LLaDA-o权重进行实验。