重新思考统一多模态模型的视觉生成：基于掩码建模的高效纯图像预训练方法 Rethinking UMM Visual Generation: Masked Modeling for Efficient Image-Only Pre-training

IOMM的训练流程包含以下步骤：第一步从图像数据集D采样图像x和标准正态噪声z，以及均匀分布的时间步t；第二步计算加噪图像 $x_t = (1-t) \cdot x + t \cdot z$；第三步使用冻结的ViT编码器v提取图像patch嵌入 $c_{img} = v(x) \in \mathbb{R}^{P^2 \times D}$；第四步生成随机遮盖掩码M（遮盖比例为r），应用到patch嵌入；第五步构建初始条件序列 $c = \text{concat}(c_{aux}, c_{img})$，其中 $c_{aux}$ 是固定辅助提示的嵌入；第六步使用残差查询适配器优化条件；第七步通过冻结的MLLM g获得潜在条件 $h = g(c)$；第八步计算损失 $\mathcal{L}(\theta) = \|F_\theta(x_t, t, h) - (z - x)\|_2^2$；第九步更新可训练参数。第二阶段使用混合数据微调，混合比例约为0.5。

IOMM的技术新颖性体现在多个层面。首先在范式层面，它首次证明了UMM的视觉生成组件可以完全通过纯图像数据预训练达到最先进性能，这挑战了该领域对大规模配对数据依赖的传统认知。其次在架构设计上，残差查询适配器采用前置处理而非后置处理的策略，这种设计哲学不同于MetaQuery等方法，它在保持参数高效的同时实现了更好的适配效果。第三，掩码图像建模策略的引入是受MAE启发但又有所创新：它不是用于传统的表示学习，而是用于模拟文本条件的稀疏性，这是一个全新的应用场景。最后，混合数据微调策略的发现也很有价值：它证明了在微调阶段同时使用图像数据和配对数据可以获得最优性能，这为现有UMM的改进提供了简单有效的方法。

基于独立分析，IOMM存在几个可改进的弱点。首先，残差查询适配器使用的256个可学习查询token是固定的，对于不同复杂度的生成任务可能不够灵活，未来可以探索自适应查询数量或动态查询机制。其次，掩码策略采用简单的随机伯努利遮盖，没有考虑图像的空间结构或语义重要性，设计更智能的基于注意力或语义的遮盖策略可能进一步提升性能。第三，混合数据微调的最优比例是通过实验确定的，缺乏理论分析或自适应调整机制，开发自动确定最优混合比例的方法会更实用。最后，当前方法使用固定的辅助文本提示，探索可学习的或条件自适应的提示可能会进一步提高生成质量。

论文作者和基于研究成果可延伸出多个有价值的未来方向。首先，探索IOMM在更大规模模型上的表现，验证当前的效率优势是否能够保持，以及是否能够进一步提升性能上限。其次，将掩码图像建模策略扩展到视频生成领域，探索时间维度的稀疏重建是否能够带来类似的效率提升。第三，研究IOMM预训练获得的视觉表征是否能够迁移到其他下游任务，如视觉问答、图像描述等理解任务。第四，探索更先进的适配器架构来替代当前的残差查询适配器，例如结合LoRA或Adapter的混合方案。最后，将混合数据微调策略系统地应用到更多现有的UMM中，建立其作为通用改进技术的更广泛验证。

IOMM的复现条件相对友好。论文明确声明代码已在GitHub开源，这大大降低了复现门槛。数据方面，预训练使用的是公开数据集Megalith-10M和text-to-image-2M（共约1100万图像），微调使用BLIP3-o-60K、Echo-4o-Image和ShareGPT-4o-Image（约21万高质量图像），这些数据集都可以公开获取。算力需求是其一大优势：IOMM-B仅需约1050 H800 GPU小时，远低于同类模型的训练成本。架构方面，基于FLUX的MM-DiT实现，使用冻结的InternVL3-2B作为MLLM，这些组件都有开源实现。总体而言，对于拥有中等计算资源的研究团队来说，复现IOMM是可行的，这使得该工作具有很强的社区价值。