超越语言建模：多模态预训练的探索 Beyond Language Modeling: An Exploration of Multimodal Pretraining
从零开始系统研究统一多模态预训练的设计空间，揭示视觉与语言的互补性和缩放不对称性
前置知识
Transfusion 框架
Transfusion 是一种统一多模态训练框架，对文本使用下一 token 预测（自回归），对视觉使用扩散模型（flow matching）。文本和视觉信号在同一个 Transformer 骨干网络中共享注意力计算，但各自使用不同的损失函数。具体来说，文本通过标准的交叉熵损失 $\mathcal{L}_{LM}$ 进行训练，视觉通过流匹配损失 $\mathcal{L}_{flow}$ 进行训练，联合优化目标为 $\mathcal{L} = \lambda_{LM}\mathcal{L}_{LM} + \lambda_{flow}\mathcal{L}_{flow}$。这种设计允许模型在一个统一架构中同时处理离散的文本 token 和连续的视觉表示。
本文完全基于 Transfusion 框架进行所有实验，理解它是理解全文方法论的基础。
表示自编码器 RAE（Representation Autoencoder）
RAE 是一种高维语义视觉编码器，它将图像映射到高维潜在空间（如 SigLIP 2 的 1152 维），然后通过专门训练的解码器将潜在表示重建回像素空间。与传统 VAE 将图像压缩到低维空间不同，RAE 保持高维语义表示。研究表明扩散模型可以在这些高维潜在空间中有效工作，无需低维 VAE 压缩。RAE 同时具备语义理解和视觉生成的能力，无需为两种任务使用不同的编码器。
RAE 是本文最核心的技术发现之一，作者证明用单个 RAE 编码器同时处理理解和生成任务，优于使用双编码器（VAE+语义编码器）的传统方案。
混合专家（Mixture-of-Experts, MoE）
MoE 是一种稀疏架构，将 FFN 层分解为多个专家子网络，每个 token 通过路由器选择激活其中的 Top-K 个专家。这使得模型总参数量远大于每次推理的激活参数量，从而在不增加推理成本的情况下大幅扩展模型容量。本文定义了粒度（Granularity）参数 $G = 4d_{model} / d_{expert}$，当 $G$ 增大时，专家数量增加但每个专家维度缩小，允许更精细的容量分配。
MoE 是本文的另一核心发现，作者证明 MoE 能自动学习模态分离，有效调和视觉与语言之间的缩放不对称性。
IsoFLOP 缩放定律分析
IsoFLOP 是一种 Chinchilla 风格的缩放定律研究方法。在固定的计算预算（FLOPs）下，系统性地扫描不同的模型参数量 $N$ 和训练 token 数 $D$，找到使验证损失最低的最优配置。通过在多个 FLOP 预算下重复此过程，拟合幂律关系 $N_{opt} \propto C^a$ 和 $D_{opt} \propto C^b$（其中 $a+b=1$），从而推导出计算最优的模型大小和数据量分配比例。
这是本文发现视觉-语言缩放不对称性的关键方法论：语言的缩放指数接近 Chinchilla 的平衡分配，而视觉显著更数据饥渴。
Flow Matching（流匹配）
流匹配是一种连续生成模型的训练方法，它通过在干净样本 $z_0$ 和噪声 $\epsilon$ 之间进行线性插值构造中间状态 $z_t = (1-t)\epsilon + t z_0$，然后训练模型预测速度场 $v_\theta(z_t, t, \cdot) \approx z_0 - \epsilon$。与扩散模型类似，推理时从纯噪声出发，通过多步采样（本文使用 25 步 Euler 采样器）逐步去噪生成图像。流匹配的一个关键参数是噪声调度策略，RAE 使用偏移噪声调度以适应高维视觉表示。
本文对视觉 token 的生成完全依赖 flow matching，理解它是理解本文如何统一文本自回归生成和视觉连续生成的关键。
研究动机
当前基础模型的发展主要由语言预训练驱动，但文本本质上是对现实的有损压缩——用柏拉图洞穴的比喻来说，语言模型掌握了墙上影子的描述，却从未见过投射影子的物体。更重要的是，高质量文本数据正在接近枯竭（Sutskever, 2025），而视觉世界提供了无穷无尽的原始信号。现有的统一多模态预训练研究面临严重的混杂变量问题：大多数方法（如 BAGEL、Janus 等）依赖预训练语言模型的初始化，模型中已嵌入的知识使得人们无法区分哪些能力来自统一训练、哪些继承自语言预训练。此外，为了同时处理理解和生成，这些方法通常使用双编码器方案（如 SigLIP 2 用于理解、SD-VAE 用于生成），显著增加了模型设计和训练推理的复杂性。视觉和语言之间的模态竞争问题（一个模态的训练是否会损害另一个模态）也缺乏系统性的实证研究。
本文的目标是本文的目标是为统一多模态预训练的设计空间提供实证清晰度。具体而言，作者希望系统性地研究五个关键设计维度——视觉表示、数据组成、世界建模、架构设计和缩放特性——通过控制变量实验逐一隔离每个因素的影响。核心目标包括：找到最优的视觉表示方案来同时支持理解和生成；理解不同类型训练数据（文本、视频、图文对、动作条件视频）之间的相互作用；验证统一多模态模型是否能自然获得世界建模能力；以及推导出视觉和语言各自的缩放定律。
与已有工作不同的是，与已有工作的关键区别在于，本文完全从零开始训练（from scratch），不依赖任何预训练语言模型的初始化。这使得作者能够干净地隔离多模态预训练本身的效果，排除语言预训练的混杂因素。此外，作者采用系统性的控制变量方法，每次只改变一个设计维度，而不是像以往工作那样同时改变多个因素。本文还首次将导航世界模型（NWM）的评估引入统一多模态预训练的研究中，并创新性地将导航动作直接表示为文本 token（而非专门的连续向量），从而完全无需架构修改即可进行世界建模。
核心方法
本文的方法可以类比为一个系统性的科学实验：想象你要建造一个既能理解又能生成视觉内容的统一智能体，但面对一个巨大的设计空间——用什么视觉编码器？训练数据怎么混合？架构怎么设计？规模怎么扩大？作者的做法是像做化学实验一样，每次只改变一个变量，保持其他条件不变，系统性地探索每个维度。技术路线上，基于 Transfusion 框架，使用单一的 decoder-only Transformer 骨干网络，对文本进行标准的自回归下一 token 预测，对视觉进行帧级 flow matching 扩散生成。视觉输入通过冻结的视觉编码器映射为潜在 token 序列，文本通过 BPE 分词器映射为离散 token，两者在同一个序列中交替排列，通过混合注意力掩码（文本用因果掩码，视觉用块状因果掩码）实现统一处理。
本文的核心创新在于四个发现，而非单一的技术突破。第一，RAE（高维语义表示）可以同时胜任理解和生成，打破了"VAE 用于生成、语义编码器用于理解"的传统二分法。一个 SigLIP 2 编码器就能在 DPGBench 和 GenEval 上超越双编码器方案。第二，模态竞争并非不可避免，而是特定设计选择的副产品——纯视频数据甚至能改善语言建模，I/T 数据的质量（如标注分布与预训练文本的余弦距离）才是关键。第三，世界建模能力可以从通用多模态预训练中自然涌现，只需最少的领域数据——仅 1% 的导航数据就能达到竞争性能。第四，MoE 能自动学习最优的模态容量分配，且这种学习到的分配比人工设计的固定分离更优。
方法步骤详情
方法的整体流程如下：首先，选择视觉编码器（默认 SigLIP 2 So400m，也测试了 DINOv2-L、WebSSL-L、SD-VAE、FLUX.1 和原始像素），将 224×224 的图像映射为 256 个视觉 token。然后，将文本 token 和视觉 token 在序列中交错排列，每个图像/视频帧用 和 标记包围。训练时，文本 token 使用标准交叉熵损失，视觉 token 使用帧级 flow matching 损失（每帧采样独立的噪声时间步 $t \sim U[0,1]$，构造噪声潜在表示 $z_t$，预测速度场）。联合损失为 $\mathcal{L} = \lambda_{LM}\mathcal{L}_{LM} + \lambda_{flow}\mathcal{L}_{flow}$，默认 $\lambda_{LM}=1.0$、$\lambda_{flow}=3.0$。训练数据包含四大类：大规模网页文本（DCLM）、原始视频（YouTube 等，1 FPS）、图文对（MetaCLIP + Shutterstock）、动作条件导航轨迹。推理时，文本自回归生成，视觉通过 25 步 Euler 采样器去噪，使用固定 CFG=3.0 的 classifier-free guidance。
技术新颖性
本文的技术新颖性体现在多个层面。首先，这是第一个完全从零开始、系统性地控制变量研究统一多模态预训练设计空间的工作，排除了预训练语言模型的混杂因素。其次，证明了单个 RAE 编码器可以同时替代 VAE 和语义编码器的双编码器方案，这挑战了 Janus、BAGEL 等主流架构的设计假设。第三，将导航动作直接表示为文本 token（如 "action: dx=+4.96, dy=+1.50"），而非 NWM 原始方法中的专用连续向量，实现了零架构修改的世界建模。第四，首次推导出视觉和语言各自的缩放定律，发现视觉的最优数据指数 $b \approx 0.63$ 远高于语言的 $b \approx 0.53$，揭示了根本性的缩放不对称性。第五，证明 MoE 能自动学习模态分离策略，且这种从数据中学到的分离优于人工设计的 MoT 或固定模态 FFN。
实验结果
本文的实验结果围绕四个关键维度展开，每项都有具体数据支撑。在视觉表示方面（Section 3），以 SigLIP 2 为代表的 RAE 在所有评估指标上全面超越 VAE：SigLIP 2 在 DPGBench 上达到 0.55+，GenEval 上达到 0.28+，而 FLUX.1 分别仅为 0.42 和 0.18 左右。更重要的是，双编码器方案（SigLIP 2 + SD-VAE）在 DPG 和 VQA 上均不如单个 SigLIP 2。在数据组成方面（Section 4），Text + Video 组合在 DCLM PPL 上甚至优于纯文本基线（约 13.4 vs 13.5），证明视觉数据不会损害语言建模。纯视频数据（无 I/T 对）虽然无法支持图像生成，但在 VQA 上仍有显著贡献。关键发现是，20B VQA 数据加上 80B 通用数据（文本/视频/图文）的 VQA 准确率达到 37.9%，超过了 100B 纯 VQA 数据的 35.7%，表明多样化预训练优于单纯扩展任务特定数据。在世界建模方面（Section 5），仅 1% 的导航数据就能达到竞争性能，加入纯视频数据能将 ATE 从 1.974 降至 1.410，RPE 从 0.516 降至 0.414。模型还能零样本地用自然语言（如 "get out of the shadow!"）控制导航。在架构方面（Section 6），MoE 在 G=16 粒度下效果最佳，从 32 到 1008 个专家的稀疏化在固定计算下持续改善语言和视觉性能。MoE 模型（13.5B 总参数，1.5B 激活）在 DCLM PPL 上达到 14.80，DPG 达到 0.63，全面优于 dense 和 MoT 基线。在缩放定律方面（Section 7），视觉的数据指数 $b \approx 0.63$ 远高于语言的 $b \approx 0.53$，MoE 将这一差距从 0.10 缩小到 0.05。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 图像生成质量（DPGBench） | DPG Score | 0.65（MoE + SigLIP 2 + x-pred） | 0.57（dense + SigLIP 2） | +14% |
| 图像生成质量（GenEval） | GenEval Score | 0.367（Per-Modality Shared Expert MoE） | 0.360（No Shared Expert MoE） | +1.9% |
| 视觉问答（16 Cambrian Benchmarks） | Average VQA Accuracy | 40.3%（多模态预训练 + SigLIP 2） | 33.9%（文本预训练 + SigLIP 2） | +18.9% |
| 语言建模 | DCLM PPL | 12.3（MoE 多模态 @10²¹ FLOPs） | 12.0（MoE 纯文本 @10²¹ FLOPs） | 基本持平 |
| 导航世界模型 | ATE (Absolute Trajectory Error) | 1.410（+Video 50B） | 1.974（NWM Data 50B only） | -28.6% |
| 知识感知生成（WISE） | WISE Overall Score | MoE + SigLIP 2（最高） | VAE-based models（FLUX.1, SD-VAE） | 3-4× 提升 |
局限与改进
本文存在几个重要局限性。首先，研究聚焦于从零开始的预训练阶段，未涉及后训练（post-training）如 RLHF 或多模态 RL，而这些对实际应用至关重要。其次，MoE 的硬件效率问题未充分解决——不同专家收到的 token 数量分布不均匀，导致 GPU 利用率存在瓶颈。第三，本文未研究交织数据（interleaved data），这是实际多模态训练中重要的数据来源。第四，当前语义视觉编码器在细粒度重建上仍不如 VAE——SigLIP 2 最后一层的 PSNR 仅为 20.9 dB，远低于第一层的 29.6 dB，这意味着语义表示在深层会丢失精细空间信息。第五，模型规模相对有限（最大约 51B 总参数、1.5B 激活参数），更大规模下的行为需要进一步验证。第六，VQA 评估仅覆盖 16 个 Cambrian 基准，作者也承认视觉理解的范围远超这些基准。最后，多模态预训练可能轻微损害分布外文本泛化能力（Notes PPL 相对退化），尽管分布内影响很小。
独立分析的弱点
从独立分析的角度，本文存在几个值得改进的弱点。第一，视觉编码器的局限性：作者使用 SigLIP 2 最后一层特征作为默认输入，但层间分析表明深层特征（86.3% ImageNet 准确率）的 PSNR 仅为 20.9 dB，远低于浅层。这直接限制了生成图像的细节质量。改进方向是设计生成感知的语义表示，或采用多层特征融合策略，让模型同时利用高层语义和低层空间信息。第二，数据分布问题：作者发现 MetaCLIP 标注与 DCLM 预训练文本的余弦距离为 0.196，而合成重标注为 0.286，直接关联到语言 PPL 的退化。改进方向是在训练前对图文数据进行分布对齐，或使用渐进式课程学习，先用分布接近的数据训练再逐步引入分布外数据。第三，MoE 硬件效率：虽然从 32 到 1008 个专家持续改善性能，但未解决专家负载不均衡问题。改进方向包括使用专家容量限制（expert capacity factor）或动态专家合并策略。第四，世界建模评估仅限于导航任务，未涵盖更广泛的世界理解场景（如物理推理、因果推理），结论的普适性有待验证。
未来方向
本文开辟了多个有前景的研究方向。作者在论文中明确提出了几个方向：（1）探索交织数据（interleaved data）对多模态预训练的影响，这是目前被排除在外的重要数据源；（2）利用统一模型自发生成视觉潜在表示的能力来推动多模态模型与世界模型的融合，发展基于真实世界的"系统 2"行为；（3）开发更好的生成感知语义表示，弥合 RAE 在细粒度重建上的差距。基于本文成果可延伸的方向包括：（4）将 MoE 的模态分离发现应用于现有大规模语言模型的多模态微调，特别是当基础模型已采用原生 MoE 架构时；（5）扩展到更多模态（音频、触觉等），验证 MoE 是否能自动学习多模态分离；（6）研究更大规模下的缩放行为，特别是验证 MoE 是否能在 T 参数级规模进一步缩小缩放差距；（7）探索多模态 RL 和后训练阶段如何与本文发现的预训练设计原则协同。
复现评估
从复现角度来看，本文提供了相对充分的信息。作者详细报告了训练超参数（序列长度 4096、128 GPU、batch size 4/GPU、AdamW 优化器、峰值 LR 3×10⁻⁴、1000 warmup 步、余弦衰减到峰值 5%）。数据来源清晰列出（DCLM 文本、YouTube 视频、MetaCLIP + Shutterstock 图文、NWM 导航数据）。MoE 的具体配置（粒度、专家数、路由策略）在附录中有详细表格。然而，完全复现存在几个挑战：（1）计算资源需求巨大——默认实验使用 128 块 H200 GPU，完整 1T token 训练需要大量算力；（2）部分数据为内部数据（in-house Shutterstock、in-house Text-Annotated Videos），外部研究者无法获取；（3）RAE 解码器需要从特定 GitHub 仓库获取；（4）MetaCLIP 重标注使用了 Qwen2.5-VL-32B-Instruct，部署需要 8 路张量并行。总体而言，有足够资源的实验室可以基于公开数据和类似配置进行有意义的复现，但精确复现完整实验需要显著的工程投入。
论文图表
