OpenVision 3：面向理解与生成的统一视觉编码器家族 OpenVision 3: A Family of Unified Visual Encoder for Both Understanding and Generation
提出VAE+ViT统一视觉编码器，同时支持图像理解与生成
前置知识
VAE (变分自编码器)
VAE是一种生成模型，通过编码器将输入图像压缩到低维潜在空间，再通过解码器重建图像。本文使用FLUX.1-dev预训练的VAE，将图像下采样8倍得到潜在表示。VAE的关键特性是学习到连续的、平滑的潜在空间，使得生成新图像成为可能。在本文中，VAE编码器被冻结使用，主要负责捕获低级视觉特征和像素级信息。
本文的核心架构是在VAE潜在空间中构建统一表示，理解VAE如何将图像压缩到潜在空间是理解整个方法的基础
ViT (Vision Transformer)
ViT将图像分割成固定大小的patch，通过Transformer编码器处理这些patch序列。本文使用2×2的patch大小，与VAE的8倍下采样结合实现16倍总压缩率。ViT作为可训练组件，负责提取统一的视觉表示，同时服务于理解和生成两个分支。模型提供了Base和Large两种规模的ViT编码器。
ViT是本文统一编码器的核心组件，理解其如何与VAE协作形成统一表示是理解方法的关键
对比学习 (Contrastive Learning)
对比学习通过拉近匹配样本对的表示、推远不匹配样本对的表示来学习语义特征。本文使用文本编码器提取caption特征，与视觉特征计算对比损失。这种方法使编码器学习到具有语义区分能力的特征表示，是CLIP等视觉语言模型的核心训练范式。
对比学习是理解分支的重要组成部分，帮助编码器学习高级语义特征
图像描述生成 (Image Captioning)
图像描述生成任务要求模型从视觉输入自动生成对应的文本描述。本文使用文本解码器从统一表示自回归预测合成caption，计算captioning损失。这个任务强化了编码器的语义理解能力，与对比学习形成互补的语义监督信号。
Captioning损失与对比损失共同构成理解分支的训练目标，是实现语义理解能力的关键
rFID (重建Fréchet起始距离)
rFID是评估图像重建质量的指标，通过比较重建图像和原始图像在Inception网络特征空间中的分布距离来衡量重建质量。rFID越低表示重建质量越好。本文在ImageNet上达到rFID 0.187，显著优于UniTok的0.362。
rFID是本文评估统一编码器重建能力的核心指标，理解这个指标才能理解本文的性能优势
gFID (生成Fréchet起始距离)
gFID是评估图像生成质量的标准指标，衡量生成图像分布与真实图像分布的相似度。gFID越低表示生成质量越好。本文在RAE框架下达到gFID 1.87，相比CLIP基线的2.54有大幅提升。这是评估生成能力最重要的指标之一。
gFID是评估生成性能的核心指标，本文在此指标上的显著提升证明了统一编码器的生成能力
研究动机
当前统一多模态模型（UMM）在视觉表示编码方面面临核心挑战：如何用单一编码器同时支持图像理解和生成。现有的主流方案存在明显缺陷。第一种方案如UniFluid、BAGEL和MOGAO采用双编码器设计，使用两套独立的视觉tokenizer分别生成高级语义token和低级像素token，但这种方式增加了系统复杂度，且阻碍了理解与生成之间的深层协同。第二种方案如TokenFlow、UniTok和EMU3.5尝试共享tokenizer，但依赖量化隐藏表示，不可避免地引入离散化误差，限制了生成质量。例如，UniTok在ImageNet上的rFID为0.362，远高于专用生成tokenizer的0.176。这些方法都无法在保持简单架构的同时实现理解与生成的统一表示学习。
本文的目标是本文旨在开发一个简单而有效的连续视觉tokenizer，能够在单一潜在空间中自然支持视觉理解和视觉生成。具体目标包括：（1）构建基于VAE和ViT的统一架构，避免复杂的双编码器设计，简化系统复杂度；（2）通过联合优化重建和语义目标，学习到同时具备生成结构和语义特征的表示，实现理解和生成的互利协同；（3）在保持与CLIP相当的理解能力的同时，显著提升图像重建和生成质量，达到或超越专用编码器的性能；（4）验证理解与生成目标之间的互利协同关系，为统一多模态模型的设计提供理论和实践指导；（5）提供透明可复现的训练方案，推动社区对统一tokenizer的研究进展。
与已有工作不同的是，本文的独特切入点在于三个关键洞察：首先，VAE潜在空间为统一学习提供了理想的基础，高质量的VAE潜在表示能够支持单个ViT编码器同时服务于理解和生成；其次，重建和语义目标并非相互冲突，而是可以形成互利协同——仅优化理解损失就能改善重建性能，反之亦然；最后，通过在VAE潜在空间中进行统一建模，可以避免分离编码后拼接或特征融合的复杂性。与TUNA等并发工作不同，本文从头训练ViT并提出透明有效的训练范式，为社区提供了可复现的统一tokenizer训练方案。
核心方法
OpenVision 3的核心思路是构建一个VAE+ViT的统一视觉编码器，将图像编码为单一的连续表示，同时服务于理解和生成。整体架构分为三个阶段：首先，输入图像通过冻结的FLUX.1 VAE编码器压缩到潜在空间，实现8倍下采样；然后，VAE潜在表示输入可训练的ViT编码器，提取统一的视觉表示；最后，这个统一表示分别送入重建分支和理解分支进行解码。重建分支通过ViT解码器和VAE解码器重建原始图像，捕获生成结构；理解分支通过对比学习和图像描述生成优化语义特征。关键创新在于这两个分支完全共享同一个ViT编码器的输出，通过联合训练实现理解和生成的互利协同。
本文的核心创新在于发现并利用了理解和生成目标之间的互利协同关系。与现有方法认为理解和生成需要不同表示空间的假设不同，OpenVision 3证明了在VAE潜在空间中，这两个目标可以相互促进。具体来说，训练过程中仅使用语义损失（对比学习+captioning）就能显著降低重建损失，反之仅使用重建损失也能改善captioning损失。这种协同关系的关键在于VAE提供了高质量的低级视觉特征基础，使得ViT编码器能够学习到既包含像素级细节又包含高级语义的统一表示。与依赖离散量化的统一tokenizer不同，本文使用连续表示避免了信息损失，与需要双编码器的系统相比，本文的单编码器设计更加简洁高效。
方法步骤详情
方法的具体实施分为以下步骤：（1）图像编码：输入图像x首先通过冻结的FLUX.1 VAE编码器得到VAE潜在表示z_vae，实现8倍下采样；（2）统一特征提取：VAE潜在表示输入ViT编码器（patch大小2×2），得到统一表示z_u；（3）重建分支：先对统一表示添加高斯噪声（强度sigma从[0, tau]均匀采样），然后通过ViT解码器（patch大小1×1）和线性层转换回VAE潜在空间，最后用VAE解码器重建图像，损失函数包含像素重建、潜在重建和LPIPS感知损失；（4）理解分支：使用文本编码器提取caption特征计算对比损失，同时使用文本解码器自回归预测caption计算captioning损失；（5）联合训练：总损失为重建损失和理解损失的加权和，其中理解损失权重为重建损失的2倍。
技术新颖性
本文的技术新颖性体现在多个层面：（1）架构创新：首次将VAE和ViT有机结合为统一tokenizer，VAE提供低级视觉基础，ViT提取统一语义表示，避免了传统双编码器的复杂性和离散量化的信息损失；（2）训练范式创新：提出重建和语义目标联合训练的有效范式，发现两个目标的互利协同关系，通过调整损失权重平衡生成质量和理解能力；（3）噪声注入策略：在重建分支中对统一表示添加可变强度的高斯噪声，提高生成能力的泛化性；（4）渐进式训练：采用从低分辨率（128×128）到高分辨率（224/256×224/256）的两阶段训练，计算效率比直接高分辨率训练大幅提升；（5）透明的训练方案：与TUNA等依赖预训练checkpoint的并发工作不同，本文从头训练所有组件，提供完整可复现的训练流程。
实验结果
本文在三个维度全面验证了OpenVision 3的有效性。在重建性能方面，OpenVision 3在ImageNet上达到rFID 0.187，显著优于UniTok（0.362）、OmniTokenizer（1.411）和Vila-U（4.231）等统一tokenizer，甚至与专用生成tokenizer FLUX-VAE（0.176）相当。PSNR达到30.92 dB，LPIPS为0.053，均大幅领先现有统一方法。在生成性能方面，OpenVision 3在RAE框架下达到gFID 1.87，超越CLIP基线（2.54）和SD-VAE+SiT（2.06），IS达到290.0，Precision为0.84。在理解性能方面，OpenVision 3与CLIP表现相当，在SeedBench上达到63.3（vs CLIP的61.2），GQA上达到59.2（vs 58.1），POPE上达到84.9（vs 84.7）。消融研究进一步证实：仅使用语义损失训练也能降低重建损失，验证了理解与生成的互利协同；去除VAE后重建rFID从0.216恶化到0.980，生成gFID从8.45恶化到9.68，证明VAE的必要性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 图像重建 (ImageNet) | rFID | 0.187 | UniTok 0.362 | 降低48.3% |
| 图像重建 (ImageNet) | PSNR | 30.92 dB | UniTok 25.34 dB | 提升5.58 dB |
| 图像生成 (ImageNet) | gFID | 1.87 | CLIP+RAE 2.54 | 降低26.4% |
| 图像生成 (ImageNet) | IS | 290.0 | CLIP+RAE 256.4 | 提升13.1% |
| 多模态理解 (LLaVA-NeXT) | SeedBench | 63.3 | CLIP 61.2 | 提升2.1% |
| 多模态理解 (LLaVA-NeXT) | GQA | 59.2 | CLIP 58.1 | 提升1.1% |
局限与改进
本文存在以下局限性：首先，虽然OpenVision 3在理解和生成方面都表现出色，但理解能力仍与专用CLIP编码器存在一定差距，例如在MME-C指标上表现不如CLIP（LLaVA-1.5框架下275 vs 318）。其次，VAE架构本身对生成性能存在理论上限，随着ViT编码器从Base扩大到Large，重建和生成性能提升有限（rFID从0.187到0.186，gFID从8.45到8.89），而理解能力提升明显，说明VAE成为生成性能的瓶颈。第三，本文仅在ImageNet类别条件生成上进行了评估，未验证更复杂的文本到图像生成场景。第四，训练成本较高，需要在256 TPU v4上训练约6小时（200 epochs），完整的两阶段训练（4400 epochs）需要更多算力。最后，本文主要关注静态图像，未探索视频或多帧场景的统一表示能力。
独立分析的弱点
本文存在几个值得关注的弱点：（1）VAE瓶颈问题：VAE架构对生成性能设置了理论上限，即使使用更大的ViT编码器，生成质量提升也很有限。改进方向包括探索更高质量的VAE架构或设计能够突破VAE限制的编码器结构；（2）理解能力差距：虽然与CLIP相当，但在某些指标上仍有差距，特别是MME-C等需要复杂推理的任务。可以通过引入更强的语义监督信号或多阶段微调来提升；（3）评估范围有限：仅评估了类别条件生成，未验证文本到图像生成能力。未来需要在更广泛的生成任务上验证统一表示的有效性；（4）噪声注入策略相对简单：当前使用均匀采样的高斯噪声，可能不是最优的噪声策略。可以探索自适应噪声强度或更复杂的扰动方法；（5）解码器规模选择：发现Large解码器会导致训练不稳定，但未深入研究原因和解决方案。
未来方向
基于本文成果，未来研究可以向多个方向延伸：（1）扩展到文本到图像生成：当前工作主要验证了类别条件生成，将统一表示应用于更复杂的文本到图像生成是自然的延伸方向；（2）视频统一表示：将VAE+ViT架构扩展到视频领域，学习同时支持视频理解和生成的时空统一表示；（3）更高质量的VAE：探索新的VAE架构以突破当前的生成性能瓶颈，可能结合扩散模型的潜在空间；（4）多尺度统一表示：研究在不同分辨率下保持统一表示质量的方法，支持更灵活的生成和理解需求；（5）与其他模态统一：将统一表示学习扩展到3D、音频等其他模态，构建真正的全模态统一编码器；（6）更高效的训练：研究如何在更少的数据和算力下训练出高质量的统一tokenizer，降低应用门槛。
复现评估
本文的可复现性较好：（1）开源承诺：作者承诺将完全开源训练代码、数据和tokenizer checkpoints，这将极大促进社区研究；（2）数据可获取：使用DataComp数据集并用LLaVA-Llama-3重新标注，数据来源公开可获取；（3）训练细节透明：论文详细列出了所有超参数配置，包括batch size、学习率、epoch数、损失权重等，为复现提供了完整指导；（4）算力要求：需要256 TPU v4的算力，这对于学术研究有一定门槛，但相比大规模预训练模型仍属可接受范围；（5）依赖组件：使用FLUX.1 VAE作为冻结组件，需要访问该预训练模型；（6）评估框架：使用标准的LLaVA-1.5和LLaVA-NeXT框架进行理解评估，RAE框架进行生成评估，这些框架都有开源实现。总体而言，只要有足够的算力资源，本文的方法可以被较好地复现。
论文图表