UniCom：通过压缩连续语义表示实现统一多模态建模 UniCom: Unified Multimodal Modeling via Compressed Continuous Semantic Representations

第一步是构建压缩潜空间 $\tilde{Z}$：输入图像 $x$ 经 SigLIP2-SO400M 得到 $Z = f_{und}(x) \in \mathbb{R}^{1024 \times 1152}$，再用 compressor $C_\phi$（浅层 Transformer）把通道压成 $\tilde{z} = C_\phi(Z) \in \mathbb{R}^{1024 \times 64}$，送入扩散解码器 $D_\psi$ 重建 $\hat{x}$；这一步的损失是 $\mathcal{L}_{recon} = \mathcal{L}_{flow}(x, \hat{x}) + \lambda \cdot \mathcal{L}_{perc}(x, \hat{x})$（公式 2），compressor 和 decoder 联合训练、encoder 冻结。第二步是建立生成能力：compressor 与 decoder 全部冻结，让基于 Qwen-2.5-7B-Instruct 的统一 Transformer 学习条件分布 $P(\tilde{z} | c)$。具体地，文本走标准 next-token CE，图像走 flow matching：在采样步 $t \sim U[0,1]$ 和噪声 $\epsilon \sim \mathcal{N}(0,I)$ 下构造 $\tilde{z}_t = t\tilde{z}_1 + (1-t)\epsilon$，目标速度 $v_t = \tilde{z}_1 - \epsilon$，损失 $\mathcal{L}_{FM} = \mathbb{E}_{t,c,\tilde{z}_1,\epsilon} \|v_t - v_\theta(\tilde{z}_t, t; c)\|_2^2$（公式 5）；注意力掩码上对文本用因果 mask、对同一图像 token 之间用双向 mask，输入序列首尾用 [BOI]/[EOI] 标记图像边界。第三步是推理/编辑：T2I 时把噪声 $\tilde{z}_T$ 跟在文本后面，让模型 flow matching 出 $\tilde{z}_1$，再喂 decoder 出像素；编辑时把参考图像先用 compressor 压成 $\tilde{z}$ 再拼到文本后，让模型在已有 $\tilde{z}$ 基础上做条件化重建，全程不引入 VAE 潜变量。第四步（消融验证）系统地扫了四个维度——压缩目标形状 $(n, d)$、投影器架构（MLP vs MHA）、初始化（纯 LLM vs 预训练 VLM）、生成路径（Transfusion vs MetaQuery）——并用 ImageNet 重建指标（rFID/PSNR/SSIM）、GenEval/DPG 训练曲线、t-SNE 聚类结构共同支撑最终选型 $(n=1024, d=64, \text{MHA}, \text{VLM-initialized}, \text{Transfusion})$。

从技术新颖性看，UniCom 并不是发明了一个全新的网络模块，而是给出了一个此前被忽视但至关重要的设计原则：**通道维度的连续压缩优于空间维度的离散压缩**。它的实验证据相当扎实：Table 4 显示同样把信息压到约 1/18 的预算下，沿通道压到 d=64 仍能拿到 rFID 0.55、PSNR 22.17、SSIM 0.66，而沿空间把 token 数从 1024 砍到 256 时指标直接掉到 rFID 0.72、PSNR 20.29、SSIM 0.56；Fig 8 的 t-SNE 进一步说明 MHA compressor 压出的 64 维特征仍保持 SigLIP 的语义聚类结构，MLP 则把语义边界糊掉。第二点新颖性是把'理解阶段的语义先验'显式灌进生成阶段：Fig 7 表明把 Qwen-2.5-7B 在 SigLIP2 上预训练成 VLM 再接生成任务，比从纯 LLM 初始化收敛快约 3-4 倍（GenEval 上'3.4× faster' / '3.8× faster'），这是对'统一模型是否真有增益'这一长期争论的正面回答。第三点新颖性是 Method 章节给出了一条可复现的设计经验链——'特征形状 $\to$ 投影器 $\to$ 初始化 $\to$ 生成路径'——每一步都用消融数据说话，而不是凭直觉挑模块，这对后续做 unified model 的同行是直接可借鉴的工程手册。

独立分析的弱点和对应改进方向有四点。**(1) 压缩后的 $\tilde{Z}$ 与像素重建之间存在不可控的失配**：当 SigLIP2 编码的特征本身就含歧义（比如遮挡、低光、运动模糊），compressor 会把这个歧义一并压进去，decoder 重建出的图像可能就丢掉关键身份信息；KRIS-Bench Fact 74.63 看起来高，但 Proc 仅 65.30 说明对'多步推理式编辑'仍有缺口。改进方向是引入 iterative refinement 让 compressor 的输出在生成阶段可被二次校准，或者加一个 confidence token 提示模型'哪些 patch 的语义不可靠'。**(2) 缺少对超长 prompt / 多轮对话的系统评测**：Table 2/3 都是单轮编辑、单条 prompt 评测，但真实用户场景常常是'先把这件衣服换成红色，然后把背景改成雪山'这样的多轮复合指令；由于 UniCom 在编辑时只把压缩 $\tilde{z}$ 拼到文本后，理论上支持多轮，但论文没有给出多轮一致性指标。改进方向是补一个 multi-turn editing benchmark（如 MUREdit 类），并显式追踪身份一致性随轮次的衰减曲线。**(3) Path II（MetaQuery）虽然输了，作者却没有深入分析 query 数 $M$ 与生成质量的关系曲线**；Fig 7 只给了一个固定的 query 设置就下结论'query-based 收敛慢'，不够公平。改进方向是补一组 query 数从 16 到 256 的扫描，看是否存在某个甜蜜点让 Path II 追上 Path I。**(4) 对'高质量文字渲染'的来源没有做受控实验**：Table 2 显示 WISE 上化学/物理 0.47/0.66 很强，作者归因于 SigLIP 语义空间更适合文本，但没有 ablation 把 SigLIP2 替换成 CLIP-ViT-L 或 DINOv2 看是否同样成立。改进方向是补一组'不同视觉编码器 $\times$ 同样压缩配置'的对照，把'语义先验'这一变量隔离出来。**(5) 推理时 $\tilde{z}_T$ 是从 $\mathcal{N}(0, I)$ 采样的纯噪声，没有利用任何结构先验**：相比 FLUX 直接在 VAE 潜空间采样（已有相当结构），UniCom 要从零学 1024×64 的 64K 维联合分布，理论上需要更多采样步数，论文没给 CFG / sampler 步数的消融。改进方向是引入一个轻量级 prior（autoregressive 的 token-level 粗生成 + diffusion 的细节细化）来降低 $\tilde{z}$ 空间的采样难度。

作者在第 5 节 Conclusion 明确点出的方向是**把 UniCom 框架拓展到视频生成和更广义的多模态推理**——'Future work could focus on further optimizing the compression module and expanding the application of this framework to other domains, such as video generation and multimodal reasoning.'这其实揭示了三条具体的研究线：(1) 把 compressor 从 image-level 拓展到 video-level，需要解决时序压缩与跨帧注意力，工程上挑战是 1024 token 已经让图像序列很长，视频再乘以帧数会爆显存，可能要引入时序维度的二次压缩；(2) 把 $\tilde{Z}$ 作为'通用中间表征'用到其他模态（音频、3D、深度图），这要求 compressor 架构对模态无关；(3) 把'理解→生成'的单向路径拓展为'理解⇔生成'的闭环，让生成的图像反馈回理解模块，形成 reasoning-by-generating 的能力。基于这篇工作的成果还可以自然延伸的方向有：把 Path I 改成 sparse mixture-of-experts 来降低文本/图像互不干扰；用蒸馏把 Qwen-2.5-7B 换到 3B 量级做移动端部署；以及把'通道压缩 + Transfusion'这套范式应用到多语言文生图（中文 prompt 直接生成）。最后，WorldEdit 4.12 第一但 GenEval 仅 0.87 的现象提示下一步应该专门训练'复杂知识型文生图'，把 SigLIP 语义空间与世界知识显式对齐。

复现评估需要从三个维度看。**(1) 开源情况**：论文正文没明确写'release checkpoint'，但作者团队是 Tencent Hunyuan，加上文末给出 Project Page https://miazhao7708.github.io/UniComPage/，很可能后续会放出权重；如果不放出，单从论文复现难度很大。**(2) 数据**：训练用了 SigLIP2-SO400M-Patch16-NaFlex 作为语义编码器、FLUX.1-dev 作为扩散解码器 backbone、Qwen-2.5-7B-Instruct 作为 LLM，训练数据混合和四阶段（alignment / pre-training / continued training / SFT）的细节被推到 Appendix Section A；用户文本丰富的数据被明确指出对文字渲染有显著增益，但具体数据来源未在正文披露。**(3) 算力**：模型至少包含 Qwen-2.5-7B（7B 参数）+ SigLIP2-SO400M（约 400M）+ FLUX.1-dev 衍生 decoder + 浅层 Transformer compressor，且要跑四阶段训练 + ablation，再加上 GenEval/DPG/WISE/ImgEdit/GEdit/KRIS/WorldEdit 6 个 benchmark 的评测——保守估计需要 64-128 张 A100/H100 训 2-4 周，小团队基本不可能复现；如果只是想验证'通道压缩优于空间压缩'的核心结论，则只需训 compressor + decoder 这一小段（论文给出了具体配置），单卡 8×A100 大约可以复现 Table 4 的几个对比。**(4) 评测门槛**：6 个 benchmark 大多需要申请 API 或特殊权重（KRIS、WorldEdit 是较新的），且 GEdit/GPT-4o judge 涉及 GPT-4o 调用，复现总成本数千美元起。综合来看，**论文给出的核心 idea（通道压缩 + Transfusion）相对易复现**，但要复现 SOTA 数字本身门槛很高。