RepFusion：利用多模态先验在表征空间中进行去噪 RepFusion: Leveraging Multimodal Priors for Denoising in Representation Space

方法分五步:①图像编码为 RAE 表征 $x$(N=576);②flow matching 采样 $z_t = t x + (1-t)\epsilon$,用 shifting 调整 $t$($\alpha=12$);③timestep 嵌入 $e_t$ 加到 $z_t$,经 MLP $P_\psi$ 映射到 MLLM 隐藏空间;④构造序列 $[y, P_\psi(z_t + e_t)]$ 送入冻结 MLLM,取最后 N 个隐藏状态 $c_t$;⑤DiT 用 AdaLN-Single 接收 $\tilde{c}_t = \text{SiLU}(c_t + e_t)$,映射为 6D 调制参数并加 $T^{(\ell)} \in \mathbb{R}^{6\times D}$,逐 token 应用 $\text{Mod}(u;\gamma,\beta) = u \odot (1+\gamma) + \beta$。训练仅更新 DiT 与 $P_\psi$,优化 $\mathcal{L}=\mathbb{E}\|v_\theta - v\|^2$;推理时每步重算 $c_t$。

技术新颖性体现在三个层面。第一,表征层面,首次系统证明 RAE 空间是 LLM 介入去噪的桥梁:VAE→RAE 切换单独贡献 +11~+21% 相对 GenEval 提升,而 RAE 配上 RepFusion 进一步 +30%。第二,角色层面,把冻结 MLLM 重定义为噪声表征编码器,打破了'LLM 必须参与去噪才能贡献'的隐含假设,实验证明冻结优于联合优化(0.70 vs 0.65)。第三,推理计算层面,揭示了'测试时计算'在 T2I 中何时有效:仅当条件是输入依赖时(噪声表征会变),重复 MLLM 推理才有用;若用可学习查询(状态不变),把推理预算从 113T 提到 552T FLOPs 也只能从 0.55 升到 0.54,而 RepFusion 用 547T FLOPs 直接达到 0.70。这是一组对比鲜明的反直觉证据。

独立分析的弱点:第一,训练数据仅 30M+200k SFT,在长尾概念、艺术风格、罕见实体上的覆盖弱于 BAGEL/SD3 这类 10 亿级数据系统,容易在复杂 prompt 上退化。第二,推理 FLOPs 显著偏高(540T 量级),同等质量下相比 Sana 这类轻量 DiT 系统缺乏速度优势,落地受限。第三,7B MLLM 全程冻结,只在 RAE+MLLM 这一对组合下验证,迁移到非 MLLM(纯语言 LLM)或非 RAE(原始像素、VAE)设置收益有限,泛化性边界需更多实验。第四,论文未给出条件信号演化的可视化或梯度归因,无法判断 MLLM 究竟在关注 $z_t$ 的哪些维度。第五,DiT 尺寸仅 1.3B/3.2B,放大到 8B 后收益饱和甚至下降,说明模型族的扩展性需要重设计。改进方向:增加长尾数据、引入 token 压缩或分组 attention 降低推理成本、补充像素空间的对比实验、给出 MLLM 注意力可视化、重新设计 DiT 缩放曲线。

作者提出的未来方向:一是把测试时条件重算与早退、自适应步数结合,在 FLOPs 与质量间找平衡;二是探索感知预训练在其他生成任务(视频、3D、音频)的迁移。我的延伸建议:第一,RAE 表征空间与 LLM 隐藏空间的对齐仍由 MLP 投影器完成,可考虑把投影器换成更结构化的 cross-attention 或 Q-Former;第二,RepFusion-SFT 在 GenEval2 上提升有限,反映合成数据过拟合问题,可结合 RLHF/RLAIF 用 MLLM 当奖励模型;第三,把 MLLM 升级到具备 CoT 能力的版本(类似 BAGEL 的 Self-CoT),把推理能力从世界知识延伸到空间布局;第四,探索非均匀 timestep 条件注入,让 MLLM 在低噪声步少调用、高噪声步多调用,平衡算力。

复现评估方面:论文实验规模较大,预训练用 128 张 H200 GPU、global batch 2048、训练 10 个 epoch(160k 步),AdamW 学习率 3e-4,β=(0.9, 0.95),权重衰减 0.1,余弦退火加 10k warmup,SFT 用 1e-4 训练 64 epoch。数据是 BLIP-3o 31M 预训练集+200k SFT 集合(融合 BLIP-3o 60k、ShareGPT4o-Image、Echo-4o),全部为 MLLM 重描述合成数据,无法免费获取,需复现者自行清洗。RAE 解码器在 ImageNet-22k 上训练 16 epoch(ViT-XL decoder + DINO GAN discriminator,patch=24,分辨率 576),Diffusion 解码器基于 SANA 1.6B 在 ImageNet-22k 训 10 epoch。论文目前未给出代码或权重开源链接(2026 年 6 月),实现细节充分但第三方复现需投入显著算力,难度高。