← 返回 2026-05-04

让视觉Transformer开口说话：生成式语言-图像预训练 Let ViT Speak: Generative Language-Image Pre-training

Yan Fang, Mengcheng Lan, Zilong Huang, Weixian Lei, Yunqing Zhao, Yujie Zhong, Yingchen Yu, Qi She, Yao Zhao, Yunchao Wei 📅 2026-05-01 👍 33 2026-07-13 08:36
Vision Transformer 多模态大模型 生成式预训练 自回归语言建模 视觉编码器预训练
arXiv HuggingFace PDF

用单一Transformer让ViT直接预测文本token，省去对比损失和文本解码器，5倍数据效率超越SigLIP2。

前置知识

Vision Transformer (ViT)

一种将图像切分为固定大小的patch（例如16×16像素），再把这些patch线性投影为token序列后输入标准Transformer进行建模的架构。它是当前MLLM视觉编码器的事实标准，其输出的patch特征会作为视觉token供下游LLM消费。

本文的核心问题就是'如何更好地预训练一个作为MLLM视觉编码器的ViT'，所有方法设计都围绕ViT的patch token展开。

对比学习式视觉-语言预训练 (CLIP/SigLIP)

使用双塔结构（一个图像编码器+一个文本编码器），通过InfoNCE或sigmoid损失把匹配的图像-文本对在嵌入空间拉近、不匹配的推远。代表工作包括CLIP和SigLIP/SigLIP2，是当前MLLM最常用的视觉编码器来源。

本文的基线与对比对象就是SigLIP2，理解其'判别式对齐'目标是理解GenLIP'生成式对齐'切入点的前提。

Prefix-LM 注意力

一种混合注意力机制：对前缀部分（本文中是图像token）使用双向注意力，每个patch能看到所有其他patch；对后续部分（本文中是文本token）使用因果注意力，每个文本token只能看到它前面所有token（包括所有图像token）。这让模型在共享视觉前缀的同时保持自回归生成能力。

Prefix-LM是GenLIP架构的核心机制，它使得单一Transformer既能处理视觉输入又能自回归生成文本，避免了额外文本解码器的需要。

注意力汇聚 (Attention Sink)

Transformer softmax注意力因总和为一的归一化特性，倾向于把大量注意力权重集中在少数token上（尤其是序列开头的token），形成信息汇聚点。这种现象在视觉和语言模型中都存在，会损害视觉特征的判别性。

GenLIP中的'门控注意力'机制正是为了缓解这一现象。理解attention sink才能理解GenLIP为何在ImageNet线性探测上从76.2%飙升到84.3%。

自回归语言建模目标

训练模型根据前文预测下一个token的最大似然目标 $\mathcal{L}_{LM} = -\sum_k \log P(t_k | t_{<k})$。它是LLM训练的核心损失，本文把这一目标直接应用到ViT上，让图像编码器承担'视觉条件下的语言建模'任务。

这是GenLIP与对比式方法最本质的区别——预训练目标从判别式对齐变成了生成式预测，与下游LLM的使用方式天然对齐。

研究动机

当前主流MLLM的视觉编码器几乎清一色采用对比式预训练（CLIP、SigLIP、SigLIP2），这类方法存在一个根本性的'目标不匹配'问题：对比学习追求的是判别式对齐——把匹配的图文对在嵌入空间拉近——而MLLM的下游LLM本质上是用自回归语言建模目标优化的。这种错位带来两个实际后果。第一，对比预训练需要构造大批次的负样本，训练成本随batch size快速膨胀，并且天然偏向全局语义对齐而非细粒度视觉-文本对齐。第二，作者在论文图1右半部分给出的诊断实验显示，把对比式视觉编码器接到LLM后，无论只调projector（产生PPL1）还是同时调projector和LLM（产生PPL2），其困惑度都明显高于用生成式目标预训练的视觉编码器，说明对比特征对LLM的生成目标'水土不服'。在OCR、ChartQA、DocVQA这类需要细粒度文字-视觉对齐的任务上，这一错位的代价尤为明显，例如SigLIP2 g/16在ChartQA上只有35.3分，OCRBench上只有47.3分。

本文的目标是本文的目标是设计一种'目标对齐'的视觉编码器预训练范式：让视觉编码器的预训练目标与下游MLLM的使用方式保持一致——都是自回归式的语言建模。具体而言，作者希望构造一个'极简'框架，只用单一Transformer和标准自回归语言建模目标 $\mathcal{L}_{LM} = -\sum_{k=0}^{L} \log P(t_k | \{v_j\}_{j=0}^{M}, \{t_i\}_{i=0}^{k-1}; \theta)$ 直接训练ViT去根据前面的视觉token和已生成的文本token预测下一个文本token，从而实现vision encoder与LLM之间的'早期融合'与'目标一致'。最终目标是让MLLM的视觉编码器在更少数据（论文使用8B样本，相比SigLIP2的40B样本仅五分之一）下达到甚至超过强对比式基线，尤其在OCR/Chart等细粒度任务上有显著提升。

与已有工作不同的是，已有工作其实也意识到了生成式预训练的价值，CapPa、AIMv2、OpenVision2等都引入了文本解码器来做生成式预训练，CoCa和SigLIP2更进一步把对比损失与生成损失混合。但本文作者指出，这些工作的'切入角度'仍不够彻底：第一，多模块（额外文本解码器甚至额外的对比分支）和多目标（判别式+生成式）的设计让架构冗余、训练复杂；第二，视觉编码器在Encoder-Decoder结构中只能通过文本解码器反向传播得到间接优化，梯度路径长且受文本解码器容量影响；第三，SAIL等单Transformer工作虽然架构最接近，但目标是直接构造'原生MLLM'（single-tower），并且依赖Qwen等预训练LLM的初始化，论文通过表9的对比实验证明这种'语言先验初始化'反而会削弱视觉编码器的判别能力——LLM初始化使模型偏向用语言捷径而非充分挖掘视觉证据。GenLIP的独特切入角度是：放弃一切额外模块，从零训练一个真正的'视觉优先'的视觉编码器，目标是作为模块化MLLM（vision encoder+projector+LLM）的视觉塔，配合原生长宽比适配与门控注意力两大工程创新。

核心方法

GenLIP的核心思想可以一句话概括：'让ViT像LLM一样开口说话'。它把图像切成patch序列当作'视觉前缀'，把caption切成token序列当作'待生成文本'，用一个统一的Transformer对二者做早期融合，并用标准的自回归语言建模目标只对文本token部分计算损失。具体而言，输入序列被组织为 $S = [v_0, \ldots, v_M, t_0, \ldots, t_L]$，patch token之间采用双向注意力，文本token采用因果注意力（即Prefix-LM），位置信息由多模态旋转位置编码（MRoPE）注入。当模型作为MLLM视觉编码器使用时，直接从最后一层LN的输出取patch特征送入2层MLP projector，配上标准全注意力即可。整个框架在架构上只有单一Transformer、一个LM head和一个LN，目标是 $\mathcal{L}_{LM} = -\sum_{k=0}^{L} \log P(t_k | \{v_j\}, \{t_i\}_{i<k}; \theta)$，没有任何对比损失、没有任何辅助解码器。

GenLIP的核心创新点是与已有方法在'优化路径'上的本质区别。已有生成式工作（AIMv2、CapPa、OpenVision2）通过在ViT之后挂一个文本解码器，让ViT通过解码器反传的梯度被间接优化；这种间接优化的梯度信号容易被文本解码器稀释，且需要额外的captioning-head参数。GenLIP则彻底抛弃额外模块，把视觉编码器和'语言预测器'合二为一——ViT本身就在做下一token预测，因此视觉特征的优化压力直接来自语言建模损失本身。这种'直接优化'还带来了一个关键属性：和LLM共享同一个目标函数形式，让视觉编码器与下游LLM在'目标空间'上天然对齐。此外，作者还引入门控注意力 $G = \sigma(X W_g + b_g), \tilde{A} = G \odot A$ 来抑制Prefix-LM中由attention sink带来的'少量视觉token吞噬全局信息'问题，让视觉特征在空间上保持分散。

方法步骤详情

GenLIP的训练流程分为两个阶段。第一阶段是固定分辨率预训练：图像统一resize-crop到 $224 \times 224$，产生196个patch token；caption用Qwen3 tokenizer切成子词token；二者拼成前缀序列 $S = [v_0, \ldots, v_{195}, t_0, \ldots, t_L]$，用Prefix-LM注意力处理；只对文本token位置计算标准的下一token预测交叉熵损失。优化器是AdamW，$\beta_1=0.9, \beta_2=0.95$，峰值学习率 $1\times 10^{-3}$，最小学习率 $1\times 10^{-6}$，余弦衰减，warmup ratio分别为0.007/0.007/0.02；全局batch size在L/16、So/16上是32K，在g/16上是48K；采用packing策略将变长样本打包到长度上限16,384的序列中以提升硬件利用率；用PyTorch FlexAttention实现精确的per-sample Prefix-LM掩码；正则化用Layer Scale 0.1 + Drop Path 0.1/0.1/0.2；RoPE theta为10000；词表151,936。这一阶段在1B规模的Dataset-S1上训练8B样本（约8 epoch），学基础视觉表征。第二阶段是原生长宽比适配：换用Dataset-S2（含37M更高分辨率+更长caption的样本），图像保持原生长宽比，resize后保证patch数在[16, 1024]区间内；只训练1 epoch；全局batch size降到3.6K（因平均序列长度从约270 token增到约1200 token），峰值学习率降到 $1\times 10^{-4}$。当作为视觉编码器使用时，丢弃tokenizer和LM head，从最后Transformer block后的LN输出取patch特征，过一个2层MLP projector接到LLM（Qwen2.5-1.5B/7B）的输入空间，此时Prefix-LM自动退化为标准全注意力。

技术新颖性

GenLIP的技术新颖性体现在三个层面。第一层是'范式上的减法'：它证明了一个简单的单一Transformer + 标准LM目标在严格控制下可以打败SigLIP2、OpenVision2等复杂设计，这是对'多模块多损失=更强'这一惯性认知的直接挑战。第二层是'注意力机制的针对性改良'：作者在Prefix-LM的混合注意力设置中发现了严重的attention sink问题——序列首个patch token被所有后续文本token当作'全局信息汇聚点'，导致其他视觉token的空间表征被压缩。这种现象在encoder-decoder结构中影响较小（因为视觉编码器侧是双向注意力），但在GenLIP这种prefix-LM结构中变得显著。论文分析表明，这一现象会让ViT在ImageNet线性探测上从84.3%掉到76.2%（见表11 'w/o GA'对比）。门控注意力以per-head、input-dependent的方式对attention输出做逐元素调制，既保留了原始注意力的判别能力，又抑制了sink。第三层是'对LLM初始化的反思'：论文通过表9证明Qwen3-0.6B的语言先验初始化并不能带来更好视觉特征（从零训练的GenLIP-So/16 56.3分 vs Qwen-初始化的SAIL 53.6分），并通过注意力图分析给出解释——LLM初始化让模型保留语言捷径，削弱了对视觉证据的依赖。这一观察对'原生MLLM是否应该从LLM初始化'这一开放问题提供了反直觉的证据。

An overview of the GenLIP framework for simple generative vision-language pretraining
Figure 2: An overview of the GenLIP framework for simple generative vision-language pretraining
Layer-wise attention allocation in controlled So/16 models
Figure 3: Layer-wise attention allocation in controlled So/16 models

实验结果

GenLIP在14项多模态理解基准上的'冻结视觉表征'评测（Qwen2.5-1.5B LLM，Table 3）显示全面优势。在L/16规模下，GenLIP用8B样本即在ALL AVG上达到61.5，超过40B样本训练的SigLIP2的58.7约2.8分；在So/16规模下达到62.6，超过SigLIP2 60.6约2.0分；在g/16规模下达到65.2，超过SigLIP2 61.5约3.7分。优势在Doc&OCR类任务上尤其突出，7个OCR任务的平均分比SigLIP2高4.3/3.3/5.9分（L/16/So/16/g/16）。具体到单任务，g/16上的GenLIP在ChartQA达到45.0（vs SigLIP2 35.3，+9.7）、OCRBench 55.6（vs 47.3，+8.3）、DocVQA 57.0（vs 47.6，+9.4）、TextVQA 59.0（vs 54.7，+4.3）。当LLM升级到Qwen2.5-7B时（Table 4），GenLIP-g/16的ALL AVG达到73.6，比SigLIP2的68.9高出4.7分，OCR-Bench 65.9（+10.3）、DocVQA 69.0（+12.7）、ChartQA 57.1（+9.9）。在Cambrian-1扩展评测（Table 5，含MMMU、MathVista、MMVP、RealWorldQA、CV-Bench等）上，g/16的GenLIP在Qwen2.5-1.5B下达到55.6平均，比SigLIP2 g/16 53.0高出2.6分。在标准LLaVA-NeXT评测（vision encoder解冻微调，Table 6）下GenLIP同样领先，在729 patch预算下达到70.3平均，高于SigLIP2 So/14 67.5和RICE-ViT L/14 68.6。在判别性评测（Table 11）上，GenLIP g/16在ImageNet-1K冻结特征线性探测上达到85.2% top-1，ADE20K语义分割mIoU 44.5，超过CLIP L/14 (85.1/39.0) 和 SigLIP So/14 (86.7/40.8)，但略低于SigLIP2 So/14 (88.9/45.4)，作者将这一差距归因于SigLIP2引入了密集监督。数据扩展性（图4）显示1B→8B样本的扩展曲线在Doc&OCR任务上呈现持续改善，4B→8B之间曲线趋于平缓。模型扩展性（Table 7）显示在两阶段训练后从L/16到g/16 ALL AVG提升6.3分，扩展性显著。控制变量对比（Table 8）证明在相同2B样本预算下，GenLIP (57.2 ALL AVG) 超过SigLIP (54.4) 和OpenVision2 (55.9)。门控注意力对比（Table 10）显示其ALL AVG 56.3优于1/4个register token的53.3/55.1。

Overview of GenLIP configurations and pretraining setup
Table 1: Overview of GenLIP configurations and pretraining setup
Hyperparameters in GenLIP pretraining
Table 2: Hyperparameters in GenLIP pretraining
Frozen visual representation evaluation under LLaVA-NeXT-Qwen2.5-1.5B
Table 3: Frozen visual representation evaluation under LLaVA-NeXT-Qwen2.5-1.5B
Frozen visual representation evaluation under LLaVA-NeXT-Qwen2.5-7B
Table 4: Frozen visual representation evaluation under LLaVA-NeXT-Qwen2.5-7B
Cambrian-1-style frozen visual representation evaluation under LLaVA-NeXT-Qwen2.5-1.5B
Table 5: Cambrian-1-style frozen visual representation evaluation under LLaVA-NeXT-Qwen2.5-1.5B
Multimodal understanding results under standard LLaVA-NeXT settings
Table 6: Multimodal understanding results under standard LLaVA-NeXT settings
Frozen visual representation evaluation of GenLIP pretrained at different model scales across two stages
Table 7: Frozen visual representation evaluation of GenLIP pretrained at different model scales across two stages
Ablation between different pretraining methods
Table 8: Ablation between different pretraining methods
Comparison with SAIL
Table 9: Comparison with SAIL
Comparison among different solutions to the attention sink problem
Table 10: Comparison among different solutions to the attention sink problem
Frozen feature evaluation on the ImageNet-1K and ADE20K validation set
Table 11: Frozen feature evaluation on the ImageNet-1K and ADE20K validation set
Data Scaling Behavior
Figure 4: Data Scaling Behavior
Validation of Native Aspect Adaptation
Figure 5: Validation of Native Aspect Adaptation
Let ViT Speak
Figure 6: Let ViT Speak
Patch Semantics Readout
Figure 7: Patch Semantics Readout
查看结构化数据
任务指标本文基线提升
ChartQA Accuracy GenLIP-g/16 45.0 (1.5B) / 57.1 (7B) SigLIP2 g/16 35.3 (1.5B) / 47.2 (7B) +9.7 / +9.9
OCRBench Score GenLIP-g/16 55.6 (1.5B) / 65.9 (7B) SigLIP2 g/16 47.3 (1.5B) / 55.6 (7B) +8.3 / +10.3
DocVQA ANLS GenLIP-g/16 57.0 (1.5B) / 69.0 (7B) SigLIP2 g/16 47.6 (1.5B) / 56.3 (7B) +9.4 / +12.7
TextVQA Accuracy GenLIP-g/16 59.0 (1.5B) / 66.8 (7B) SigLIP2 g/16 54.7 (1.5B) / 63.5 (7B) +4.3 / +3.3
ImageNet-1K (frozen) Top-1 Accuracy GenLIP g/16 85.2 CLIP L/14 85.1, SigLIP So/14 86.7, SigLIP2 So/14 88.9 +0.1 vs CLIP, -3.7 vs SigLIP2
ADE20K (frozen) mIoU GenLIP g/16 44.5 CLIP L/14 39.0, SigLIP So/14 40.8, SigLIP2 So/14 45.4 +5.5 vs CLIP, -0.9 vs SigLIP2
14-Bench ALL AVG (Qwen2.5-7B) Average Score GenLIP g/16 73.6 SigLIP2 g/16 68.9, OpenVision2 L/16 64.9 +4.7 vs SigLIP2, +8.7 vs OpenVision2
Cambrian-1 AVG (Qwen2.5-1.5B) Average Score GenLIP g/16 55.6 SigLIP2 g/16 53.0, OpenVision2 L/16 50.6 +2.6 vs SigLIP2

局限与改进

作者明确承认三个局限：第一，所有实验都在学术级LLaVA-NeXT框架下进行，未在GPT-4o、Gemini等工业级MLLM上验证；第二，预训练数据只到1B规模，更大规模（如10B+）下的扩展行为未知；第三，对高质量长caption的依赖带来显著的数据获取成本，特别是第二阶段Dataset-S2的37M长caption样本。从独立观察角度，论文还存在以下不足：判别性任务（ImageNet、ADE20K）上GenLIP仍逊于SigLIP2，作者把这归因于SigLIP2有密集监督，但这恰好说明纯生成式目标在判别特征学习上不如对比+密集监督混合方案；定性分析（图8的OCR失败案例）显示GenLIP在长数字串、精细空间布局、微小字符识别上仍有显著错误，比如g/16也会把acute triangle识别为right triangle、漏掉Opener一词、识别错飞机注册号；门控注意力虽然有效，但并未根本消除attention sink，只是缓解——更深的层sink比例仍较高（图3）；此外论文没有给出GenLIP在'视频理解'或'多图像输入'场景下的结果，纯视觉编码器能力能否迁移到这些任务也是未知。

独立分析的弱点

独立分析三个可改进方向。第一，attention sink的根因并未被消除而是'缓解'：图3显示门控注意力确实把首个token的attention mass降下来，但前几层sink比例仍显著高于后续层。一个更彻底的方案是引入'显式sink token'机制（如register token），但论文表10显示register方法在GenLIP上不如门控注意力；可以考虑hybrid方案：保留少量register token + 门控注意力 + 在训练目标中加入视觉token利用率正则项。第二，判别性能力相对SigLIP2仍有差距（ImageNet -3.7，ADE20K -0.9），原因是纯生成式目标缺少显式的全局语义对齐压力。改进方向是引入弱判别信号：例如在最终LN输出上加一个global [CLS] token和InfoNCE对比损失作为辅助信号，保持生成式为主但补充判别信息。第三，OCR/Chart任务在长数字串和密集小字符上仍会出错（见图8a发票Tax Id识别错误、图8b几何形状计数错误、图8c飞机注册号错误）。改进方向是第二阶段专门引入OCR-heavy数据（如SynthText、HierText、ChartQA训练集）做domain-specific微调，并允许在第二阶段把patch数上限从1024提高到2048或更高，以提升分辨率敏感的细节识别能力。

未来方向

作者在结论部分提出未来可以探索更大规模数据（>10B样本）和更长caption的扩展行为。基于本文成果可以延伸的方向有：第一，把GenLIP范式从'单图像+单caption'扩展到'多图像+对话'，构造统一的多模态Prefix-LM预训练，并验证是否能保持单一Transformer的优势；第二，把GenLIP作为'视觉前训练'与LLM后训练解耦的模块化范式进一步推进，让任意LLM（Qwen、LLaMA、GLM）都能挂载同一个GenLIP视觉编码器；第三，探索GenLIP在视频编码器、视频问答、机器人具身任务上的迁移能力；第四，把门控注意力与状态空间模型（如Mamba）结合，构造纯生成式的高效视觉编码器；第五，把GenLIP与稀疏专家（MoE）结合，在保持单Transformer简洁性的同时扩展视觉容量。作者自己在附录E中明确指出'GenLIP Meets Language Priors'的发现值得进一步研究：为什么LLM初始化会削弱视觉编码器的判别能力？这种'目标-初始化冲突'在更广泛的预训练任务（音频-文本、3D-文本）上是否同样存在？

复现评估

GenLIP的复现门槛中等偏上。作者明确开源了代码与模型（项目页代号'vitspeak'，对应论文Code and Models行），但论文中并未完全公开Dataset-S1和Dataset-S2的数据来源与构造细节，仅提到'curated 1B-scale image-text dataset'和'curated 37M long-caption dataset'。可复现的要素包括：完整模型配置（表1：GenLIP-L 0.3B/24层/1024维/16头、So 0.4B/27层/1152维/16头、g 1.1B/40层/1536维/24头）、完整训练超参数（表2：AdamW、peak LR 1e-3/min LR 1e-6、cosine、warmup 0.007/0.007/0.02、gradient clip 1.0、batch 32K/32K/48K、Layer Scale 0.1、Drop Path 0.1/0.2、packing长度16384）、Stage 2的batch size降到3.6K、peak LR降到1e-4等。实现上的关键技术细节也都给了：用Qwen3 tokenizer、PyTorch FlexAttention实现per-sample Prefix-LM掩码、MRoPE、RoPE theta=10000、词表151936。但复现难点在于：1B规模的训练数据获取与清洗成本本身就很高，论文没有公开数据来源；Stage 1的8B样本训练即使在千卡H100集群上也要数周；评估阶段需要复现LLaVA-NeXT的冻结表征评测管线（含Qwen2.5-1.5B/7B的3M SFT微调），以及14个基准测试的LMMS-Eval集成。整体而言，论文的核心思想（单一Transformer + 标准LM目标 + 门控注意力）复现门槛很低，单卡可跑小规模实验；但要复现全部g/16结果需要显著算力投入。

论文图表

Overview of GenLIP and objective mismatch analysis
Figure 1: Overview of GenLIP and objective mismatch analysis

左半部分是GenLIP与之前VLP方法的架构对比示意图，用V和T分别表示视觉和文本输入，展示了GenLIP用单一Transformer直接做next-token prediction而无需额外模块的简洁性；右半部分是目标错位的诊断实验柱状图，把不同视觉编码器接到LLM后通过projector连接，测量只调projector（PPL1）和同时调projector+LLM（PPL2）两种设置下的困惑度，困惑度越低代表与LLM生成目标的兼容性越好。

这张图是论文动机的核心视觉证据——它把'目标错位'这个抽象论点落到具体的PPL数字上，让读者一眼看到对比式视觉编码器在生成式下游任务上的不适配。