LatentUM：通过潜在空间统一模型释放交织跨模态推理的潜力 LatentUM: Unleashing the Potential of Interleaved Cross-Modal Reasoning via a Latent-Space Unified Model

LatentUM的完整流程包含四个主要步骤。第一步是视觉tokenizer训练，采用多码本量化将d维CLIP特征分割为C个块，每个块用独立的K大小码本量化，产生K的C次方的有效词汇表。量化器在LLaVA-v1.5-665K数据集上使用MBAQ损失训练，结合MCQ承诺损失加权lambda。第二步是LatentUMBase模型构建，基于InternVL3.5-4B架构，理解分支直接从预训练权重初始化并冻结，只训练生成分支。训练数据是32M来自BLIP3o的图像-文本对，使用多码本next token预测目标。第三步是像素解码器训练，独立微调MMDiT的条件分支将量化特征映射到像素。第四步是后训练激活交织推理能力，包括监督微调和使用GRPO强化学习通过自奖励机制优化生成质量。

LatentUM的技术新颖性体现在多个维度。在表示学习方面，首次提出以VLM行为对齐作为量化目标，与传统特征重建目标形成本质区别。这一设计使量化特征能够被同一模型直接理解，无需像素中介。在架构设计方面，MoME的模态解耦但注意力共享的设计平衡了两个冲突需求：避免跨模态梯度干扰与保持跨模态信息流动。在训练策略方面，将像素重建完全解耦，核心模型从不优化像素损失，这是对主流统一模型训练范式的根本性突破。在应用范式方面，首次将统一模型定位为跨模态推理系统而非视觉生成器，并系统展示了在视觉空间规划、自反思生成和世界建模等任务上的能力。这些创新使得LatentUM在GenEval上达到0.85分数，在Visual Spatial Planning上达到0.99平均精度，验证了语义对齐表示的有效性。

LatentUM的第一个弱点是固定分辨率限制。当前448乘448的分辨率对于高保真图像生成和细粒度视觉任务可能不足，特别是在处理文字、小物体和复杂纹理时。改进方向是扩展到可变分辨率生成，可能通过分层token表示或动态patch大小实现。第二个弱点是像素空间循环接口。当前世界建模需要在rollout时反复进行像素渲染和重新编码，破坏了纯语义推理的一致性。改进方向是开发完全潜在循环预测，让模型直接在语义token空间中递推未来状态，避免像素空间往返。第三个弱点是单VLM对齐限制。MBAQ目前仅对齐到InternVL3.5的行为，可能不能最优地泛化到所有理解任务。改进方向是对齐多个VLM的集成行为，或设计更通用的语义对齐目标。第四个弱点是长序列推理效率。虽然MoME减少了梯度冲突，但处理多步推理时的计算复杂度仍然较高。改进方向可以探索稀疏注意力或层次化推理机制。第五个弱点是缺乏实际部署验证。文章主要关注学术基准，未在真实应用场景中验证。改进方向应在机器人导航、交互式创作等实际任务中测试。第六个弱点是训练资源需求高，限制了学术社区的复现和改进。改进方向可以探索更高效的训练方法或蒸馏到更小模型。

作者提出的未来研究方向包括四个方面。第一是扩展预训练数据和模型容量，通过更大规模的多模态数据提升模型性能和泛化能力。第二是扩展到可变分辨率和更长上下文生成，支持高分辨率图像和长视频任务。第三是改进长时序预测的一致性，这对世界建模和长期规划至关重要。第四是开发完全潜在的世界建模和规划管道，避免rollout期间的像素空间重新渲染。基于LatentUM的成果，可以延伸多个有前景的方向。在架构方面，可以探索更灵活的模态专家路由机制，如动态专家激活或软路由，平衡参数效率和性能。在应用方面，可以将交织推理范式扩展到更多任务，如多模态对话、代码生成与执行、科学推理等。在训练方面，可以探索更高效的强化学习方法，如直接偏好优化或离线RL，减少rollout计算成本。在理论方面，可以深入分析语义潜在空间的特性，如可解释性、解耦性和迁移性。在安全方面，需要研究如何控制生成内容的语义一致性，避免自反思循环中的错误放大。在效率方面，可以探索模型压缩和加速技术，使LatentUM适用于边缘设备部署。

LatentUM的复现性评估显示中等难度。作者公开了代码，这是积极信号。然而，完整复现面临几个挑战。训练资源需求巨大：LatentUMBase预训练需要64块NVIDIA H100 GPU运行4天，像素解码器需要32块H100 GPU运行2天。这对学术研究机构来说是相当高的门槛。数据方面，使用了32M图像-文本对和LLaVA-v1.5-665K，这些数据集大多公开可用但需要整理。模型初始化依赖InternVL3.5-4B的预训练权重，这些权重应该可以获取。后训练数据大多有公开资源。实验方面，作者提供了详细的训练设置和超参数，但一些实现细节可能在附录中。评估方面，使用公开基准，便于比较。总体而言，有代码和权重的情况下复现中等难度，但完整训练需要大量计算资源，大多数研究者可能只能复现后训练或推理部分。改进复现性的建议是提供更多实现细节、检查点采样和轻量级训练配置。