表示强制：无瓶颈统一多模态模型 Representation Forcing for Bottleneck-Free Unified Multimodal Models

方法分为三个主要步骤。首先，表示提取：在训练时，使用一个指数移动平均 (EMA) 副本的图像编码器从真实图像提取 patch 级特征（最后一层在最终 norm 之前），通过在线向量量化将每个特征分配到码本中最近的原型，产生离散 token 索引。码本通过 EMA 更新，使用 Sinkhorn-Knopp 归一化平衡分配以防止码本塌陷。这为每个空间 patch 产生一个表示 token，形成镜像图像空间布局的序列。其次，表示预测：解码器处理统一的 token 序列 [文本 token, 表示 token, 像素 patch]，在共享 Transformer 中，文本和表示 token 遵循因果注意力，而噪声像素 patch 彼此双向关注并因果关注所有前面的文本和表示 token。解码器学习通过交叉熵损失自回归预测表示 token。最后，像素生成：一旦预测了表示 token，它们保留在序列中作为上下文条件服务于像素空间生成。像素 patch 通过流匹配生成，采用 x-prediction 形式，给定噪声和干净 patch x，在时间 t 构造 z_t = t x + (1-t)噪声，模型预测 x_theta，流匹配损失为 L_FM = E||v_theta - v||^2，其中 v = x - 噪声且 v_theta = (x_theta - z_t)/(1-t)。整体训练目标为 L = L_LM + L_FM + L_Rep，其中 L_LM 是文本下一个 token 预测的交叉熵损失，L_Rep 是表示 token 预测的交叉熵损失。在推理时，编码器不再参与：解码器从文本提示单独产生表示 token 序列，然后在文本和预测表示 token 条件下，从高斯噪声迭代去噪合成最终图像。

技术新颖性体现在多个方面：(1) 首次在 UMM 中实现了无需任何预训练 VAE 的像素空间生成，同时匹配 VAE-based 模型的生成质量；(2) 提出了表示预测作为原生能力的概念，将理解编码器的表示转化为生成目标，通过在线量化和自回归预测实现；(3) 证明了离散表示预测优于连续回归，离散 token 在序列预测中更鲁棒，自然鼓励表示保留高层结构同时丢弃细粒度细节；(4) 展示了像素空间生成比 VAE-based 生成更兼容统一多模态建模，Pixel+RF 在 6/8 个理解基准上超过 VAE+RF。RF 的简单性也是其优势，无需额外的跨注意力或注入模块，仅通过标准自注意力实现条件化。

独立分析的弱点包括：(1) 计算开销：RF 需要维护 EMA 编码器副本和在线向量量化，增加了训练复杂度和内存占用，改进方向可以是探索更高效的量化方法或减少码本大小；(2) 文档理解性能下降：在 DocVQA 和 ChartQA 上有轻微下降，这可能是因为表示 token 捕捉的是高层语义而非细粒度文字布局，改进方向可以是在表示 token 中引入更细粒度的布局信息或添加专门的文字识别分支；(3) 推理阶段分离：两阶段生成（先预测表示，再生成像素）可能比单阶段慢，改进方向可以是探索并行化或端到端单阶段推理；(4) 对理解编码器的依赖：RF 的效果很大程度上依赖于理解编码器的质量，如果编码器在某些任务上表现不佳，RF 可能无法提供足够的指导，改进方向可以是探索多源表示融合或自适应表示预测；(5) 仅评估静态图像：未扩展到视频或其他时序模态，改进方向可以是探索时序表示预测和视频生成；(6) 高分辨率稳定性：虽然在 Stage 3 将分辨率扩展到 1024，但更高分辨率的行为尚未探索，改进方向可以是研究 RF 在更高分辨率下的扩展性。

作者提出的未来研究方向包括：完全从头开始的多模态预训练，可能产生更丰富的联合表示；将 Representation Forcing 扩展到视频或其他时序模态。基于成果可延伸的方向包括：(1) 探索更复杂的表示空间，如分层表示或多尺度表示，以捕获更丰富的结构信息；(2) 研究 RF 与其他生成方法的结合，如 GAN 或 Transformer-based 生成；(3) 探索 RF 在其他统一模态对中的应用，如文本到音频、文本到 3D 等；(4) 研究 RF 的理论基础，如为什么离散预测优于连续回归，表示 token 捕捉了哪些结构信息；(5) 探索 RF 的变体，如条件表示预测、多步表示预测等；(6) 研究 RF 在不同架构中的应用，如不使用 MoT 的纯 Transformer 架构；(7) 探索 RF 在迁移学习和少样本学习中的应用；(8) 研究 RF 的可解释性，如表示 token 的语义含义、它们如何指导像素生成等。

复现评估：论文提供了项目页面 (https://yuqingwang1029.github.io/RepresentationForcing)，但未明确说明代码和模型是否开源。模型使用 Qwen3-A3B 作为基础初始化，这是一个 3B 活跃参数的混合专家语言模型；图像编码器使用 DINOv3 ViT-H+/16；码本大小 K=16384；像素空间生成使用 16×16 patch 大小。训练采用三阶段策略：(i) 对齐：冻结 backbone 和编码器，仅训练 MLP 连接器 10K 迭代；(ii) 联合预训练：解冻所有组件，在文本和文本-图像对上联合优化，分辨率最高 256，50K 迭代；(iii) 持续训练：扩展分辨率到 1024，20K 迭代。训练使用 AdamW，学习率线性预热后保持常数，Stage 1-2 基础率 5×10^-5，Stage 3 为 2.5×10^-5 以保证高分辨率稳定性，新初始化的生成相关参数使用 4×倍增器。每个 GPU 处理 32768 tokens 的序列，通过 NaViT 风格的可变分辨率批处理打包。推理使用参数的 EMA 副本，生成分两阶段：首先自回归预测表示 token 序列（top-k 采样），然后通过 25 步流匹配去噪（动态时间步 shifting），条件化为文本和预测的表示 token，应用双条件 CFG，wrep=2.0 用于表示 token 采样，wpix=3.0 用于像素 patch 去噪。复现需要大量计算资源，因为模型规模大且训练时间长，但论文提供了详细的实现细节和伪代码，有助于复现。