Penguin-VL：探索基于 LLM 视觉编码器的 VLM 效率极限 Penguin-VL: Exploring the Efficiency Limits of VLM with LLM-based Vision Encoders
用文本LLM初始化视觉编码器替代CLIP，紧凑模型达SOTA
前置知识
对比学习预训练（Contrastive Pre-training）
对比学习是 CLIP/SigLIP 等模型采用的视觉编码器训练范式。其核心思想是将配对的图像和文本拉近到同一特征空间，同时推远不配对的样本。训练过程中，模型仅对全局汇总 token（如 [CLS] token 或注意力池化后的向量）施加监督信号，通过最大化配对样本的相似度、最小化非配对样本的相似度来学习。这种范式在 2021 年被 CLIP 引入后成为主流，SigLIP 及 SigLIP2 进一步改进了损失函数和训练目标，但本质上仍保留了以判别为核心的训练逻辑。
本文的核心论点就是对比学习范式存在「目标错配」问题——判别式优化产生的粗粒度类别不变性会压制 VLM 推理所需的细粒度视觉线索，理解这一范式才能理解本文的出发点。
视觉语言模型（Vision-Language Model, VLM）
VLM 是将视觉感知能力集成到大语言模型中的多模态架构。典型设计包含三个模块：视觉编码器（将图像/视频转换为 token 序列）、视觉-语言投影层（对齐视觉和语言特征空间）、以及大语言模型（执行推理和生成）。主流 VLM 如 Qwen3-VL、InternVL 系列通常采用 CLIP/SigLIP 预训练的 ViT 作为视觉编码器，通过 MLP 或 Q-Former 投影层连接到 LLM。模型参数规模从 2B 到 72B 不等，参数量越大通常性能越好，但也带来部署成本问题。
本文提出的 Penguin-VL 正是一种 VLM，但挑战了视觉编码器必须依赖对比学习预训练的主流范式，理解 VLM 的标准架构是理解本文创新的前提。
2D 旋转位置编码（2D-RoPE）
RoPE（Rotary Position Embedding）是一种通过旋转矩阵编码位置信息的方法，广泛应用于现代 LLM 中。2D-RoPE 将其扩展到二维空间，分别对图像 patch 的行和列位置进行旋转编码。这使得模型能够感知图像的空间结构，支持可变分辨率输入——不同尺寸的图像可以产生不同长度的 token 序列，每个 token 都带有精确的空间位置信息。Qwen-VL 系列和 VideoLLaMA 等多模态模型已采用此方案。
Penguin-Encoder 从因果注意力改为双向注意力的同时，需要引入 2D-RoPE 来支持可变分辨率视觉输入，这是架构适配的关键技术细节。
时间冗余感知令牌压缩（Temporal Redundancy-Aware, TRA）
视频输入会产生大量视觉 token，远超模型上下文窗口限制。TRA 是本文提出的视频 token 压缩策略，其核心思想是根据帧间相似度将视频帧分为「关键帧」（时间变化剧烈）和「中间帧」（提供稳定上下文），然后按三阶段级联策略分配 token 预算：先尝试全分辨率保留，再同步降采样，最后在中间帧触底后单独压缩关键帧。中间帧与关键帧保持约 1:16 的 token 比例，确保快速运动帧保留高空间分辨率。
TRA 是 Penguin-VL 处理长视频的核心机制，使其在 300 帧上限内仍能保持对时间动态的精细感知，直接贡献了视频基准上的显著性能优势。
监督微调（Supervised Fine-Tuning, SFT）
SFT 是大模型训练流程的关键阶段，介于预训练和部署之间。在 VLM 语境下，SFT 使用高质量的指令-回答对（通常包含图像/视频+问题+标准答案）对模型进行微调，使其学会遵循用户指令、以期望格式输出答案。SFT 数据的质量和多样性直接决定了模型的最终能力边界。本文采用了两阶段 SFT：先用图文混合数据建立通用能力，再用视频推理数据增强时序理解。
Penguin-VL 的 SFT 阶段精心设计了数据配比，覆盖 OCR（16.6%）、文档/图表（20.9%）、数学（8.9%）、定位（10.1%）等多个维度，这是其在各类基准上均衡领先的关键因素。
研究动机
当前主流 VLM 的视觉编码器几乎全部依赖大规模对比学习预训练（CLIP/SigLIP），但这种范式存在一个被忽视的根本性问题：对比学习的优化目标是判别式的，它只对全局汇总 token 施加监督，强制模型学习粗粒度的类别级不变性。这意味着模型学会的是「这张图属于哪个类别」而非「图中每个区域的具体内容是什么」。在实际 VLM 应用场景中，密集描述（dense captioning）、文档 OCR、图表数据提取、视频时序推理等任务都依赖细粒度的视觉线索，而对比学习预训练的编码器恰恰会压制这些线索。此外，对比学习范式需要海量数据（SigLIP2 使用超过 400 亿样本）和巨大算力，训练过程中还面临不稳定性问题。对于资源受限的移动端和边缘设备部署场景（如智能手机、机器人），当前 SOTA VLM 依赖大规模参数和重型训练流水线的做法更是雪上加霜，导致模型要么太大无法部署，要么在图像理解优化后在视频时序推理上表现不均。
本文的目标是本文的直接目标是构建一个紧凑（2B 和 8B 参数规模）但能力全面的视觉-语言基础模型，在图像和视频任务上均达到或超越当前 SOTA 水平。更深层的目标是证明：VLM 的性能瓶颈不在 LLM 或训练数据，而在视觉表征本身；通过改进视觉编码器的初始化和训练范式，可以在不依赖模型规模扩张的前提下解锁更高的视觉保真度和数据效率。具体而言，作者希望在文档理解、图表解析、数学推理、通用知识、视频时序推理等多个维度上全面对标甚至超越 Qwen3-VL 等领先模型。
与已有工作不同的是，本文的独特切入角度在于重新审视视觉编码器的初始化来源。作者观察到一个被忽视的事实：自 2021 年 CLIP 被引入以来，从未有系统性的实证研究证明对比学习是 VLM 视觉编码器的最优预训练策略。与此同时，语音建模领域已经成功将纯文本 LLM 微调为能处理连续语音信号的模型。受此启发，作者提出了一个大胆的替代方案：直接从纯文本 LLM（而非对比预训练的 ViT）初始化视觉编码器。这种做法有四重优势——继承 LLM 的高级架构设计（如 QK 归一化）、天然兼容下游 LLM 的表征空间、自带丰富的语言语义先验、以及可预测的参数扩展性。这是首次在通用视觉-语言任务上系统验证「LLM 即视觉编码器」这一范式。
核心方法
想象一下训练一个画家：传统方法是先让画家看数百万张图片，学习区分「这是猫」「那是狗」（对比学习），然后再教他用语言描述画面。Penguin-VL 的方法则是直接让一个已经精通语言的诗人（文本 LLM）学习观察世界——因为他已经理解了语言中蕴含的世界知识，所以当他学会看之后，能更自然地将视觉信息转化为语言描述。技术路线分为三个阶段：首先将纯文本 LLM（Qwen3-0.6B）改造为视觉编码器（Penguin-Encoder），通过架构适配（因果注意力→双向注意力、添加 2D-RoPE）和新型蒸馏损失训练；然后用大规模多模态数据进行 VLM 预训练；最后通过两阶段 SFT 对齐用户意图。整个流程还配套了精心设计的数据构建管线，包括 5720 万图文对的 Penguin-Recap-I、370 万视频文本对的 Penguin-Recap-V，以及层次化视频标注体系。
本文最核心的创新是用纯文本 LLM 的权重直接初始化视觉编码器，彻底摒弃对比学习预训练。这一设计的本质区别在于：对比编码器通过判别式目标学习视觉表征，产生的是与语言空间存在天然鸿沟的视觉特征空间；而 Penguin-Encoder 从一开始就处于 LLM 的表征空间中，视觉编码器和语言解码器共享相同的「母语」，模态对齐的难度大幅降低。具体实现上，作者将 Qwen3-0.6B 的因果自注意力改为双向全注意力（视觉 patch 之间需要对称交互），引入 2D-RoPE 支持可变分辨率输入，并设计了包含三项损失的重建蒸馏目标：幅度损失 $\mathcal{L}_A$ 监督特征绝对值、方向损失 $\mathcal{L}_D$ 通过余弦相似度对齐特征分布、关系损失 $\mathcal{L}_R$ 通过自相关矩阵显式监督 patch 间关系。其中关系损失是关键创新——它利用注意力机制的本质特性（关注 token 间关系而非个体属性），确保视觉空间的结构完整性。消融实验表明，LLM 初始化比随机初始化平均提升 +3.3 分，关系损失在此基础上进一步贡献 +1.3 分。
方法步骤详情
Penguin-VL 的完整训练流程分为五个阶段：(1) 视觉编码器训练 Stage 1（低分辨率预训练）——从 Qwen3-0.6B 初始化 Penguin-Encoder（约 400M 参数用于视觉建模），配合随机初始化的 2 层 MLP 投影器，在约 1 亿样本（含 220M 图文对 + 280 万无标注图表数据）上训练，输入分辨率上限约 600×600 像素（2048 视觉 token），同时优化视觉编码器和投影器，使用幅度损失 + 方向损失 + 关系损失进行特征重建蒸馏（教师为 VL3-SigLIP-NaViT），学习率 1.0×10⁻³；(2) 视觉编码器训练 Stage 2（高分辨率微调）——移除重建分支，将分辨率提升至 10240 视觉 token，在约 4700 万高质量重标注数据上微调，学习率降至 5.0×10⁻⁴；(3) VLM 预训练 Stage——全部参数可训练，使用约 1.21 亿多样本（64% 通用描述 + 14.45% 文档 + 6.31% 定位 + 2.42% OCR 等），学习率 1.0×10⁻⁴；(4) SFT Stage 1（图文混合）——使用 3900 万图像 SFT 样本（覆盖 OCR/文档/数学/定位/科学等）和 370 万视频 SFT 样本，学习率 1.0×10⁻⁵；(5) SFT Stage 2（视频推理增强）——专注复杂视频推理任务，引入时序排序和时序定位专项数据。视频处理方面，帧率 1fps 提取，上限 180 帧，采用 TRA 三阶段压缩策略动态分配 token 预算。
技术新颖性
Penguin-VL 的技术新颖性体现在三个层面。第一，范式创新——首次在通用 VLM 场景中系统验证了从纯文本 LLM 初始化视觉编码器的可行性，打破了「视觉编码器必须用对比学习预训练」的行业惯例。与 DeepSeekOCR2（仅针对文档处理、混合了因果 LLM 和 SAM 编码器）不同，Penguin-Encoder 是一个纯粹的 LLM-to-Vision 转换，保持架构一致性。第二，训练方法创新——提出混合监督编码器预训练策略，将 LLM 交叉熵监督（对应文本 LLM 的原生训练目标）和重建目标（幅度 + 方向 + 关系损失）联合使用，特别是关系损失 $\mathcal{L}_R$ 通过自相关矩阵 $?rac{F_s F_s^ op}{\|F_s\|_2^2} - ?rac{F_t F_t^ op}{\|F_t\|_2^2}$ 监督 patch 间关系，这在视觉编码器训练中是全新的。第三，视频处理创新——TRA 压缩策略根据时间相似度自适应区分关键帧和中间帧，通过三阶段级联（全分辨率→同步降采样→饱和感知压缩）在固定 token 预算内最大化信息保留，不同于 Qwen3-VL 对所有帧统一调整分辨率的做法。
实验结果
Penguin-VL 在 2B 和 8B 两个参数规模上均展现出全面且均衡的性能优势。在 2B 模型对比中，Penguin-VL 在 24 个基准中的 18 个上取得最优或次优成绩。图表/OCR/文档类任务表现尤为突出：ChartQA 达到 86.6（Qwen3-VL 为 76.9，提升 +9.7），InfoVQA 达到 77.8（Qwen3-VL 为 72.4，提升 +5.4），DocVQA 达到 94.1（Qwen3-VL 为 93.3），V-star 达到 83.8（Qwen3-VL 为 74.9，提升 +8.9）。视频理解方面同样强势：LongVideoBench 达到 59.5（Qwen3-VL 为 52.1，提升 +7.4），CharadesSTA 时序定位达到 56.2（InternVL3.5 仅为 21.9，提升 +34.3），Perception Test 达到 70.4（Qwen3-VL 为 64.5，提升 +5.9），EgoSchema 达到 57.6。在 8B 模型中，Penguin-VL 进一步巩固优势：DocVQA 达到 96.2，ChartQA 达到 90.5，InfoVQA 达到 86.8，LongVideoBench 达到 67.0（Qwen3-VL 为 62.6），CharadesSTA 达到 61.4（Qwen3-VL 为 56.0，InternVL-3.5 仅为 32.8），NextQA 达到 85.4，Perception Test 达到 78.0。消融实验进一步证实了 LLM 初始化的价值：从随机初始化的 31.3 分平均分提升到 LLM 初始化的 34.6 分（+3.3），完整 Penguin-Encoder 在公平数据对比下达到 49.3 分，显著超过 SigLIP2 同等条件下的 36.7-45.9 分。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ChartQA（图表理解） | Accuracy | 86.6（2B）/ 90.5（8B） | 76.9（Qwen3-VL-2B）/ 89.6（Qwen3-VL-8B） | +9.7（2B）/ +0.9（8B） |
| InfoVQA（信息图理解） | Accuracy | 77.8（2B）/ 86.8（8B） | 72.4（Qwen3-VL-2B）/ 83.1（Qwen3-VL-8B） | +5.4（2B）/ +3.7（8B） |
| DocVQA（文档理解） | Accuracy | 94.1（2B）/ 96.2（8B） | 93.3（Qwen3-VL-2B）/ 96.1（Qwen3-VL-8B） | +0.8（2B）/ +0.1（8B） |
| V-star（高分辨率感知） | Accuracy | 83.8（2B）/ 90.2（8B） | 74.9（Qwen3-VL-2B）/ 90.1（Qwen3-VL-8B） | +8.9（2B）/ +0.1（8B） |
| MathVista（数学推理） | Accuracy | 67.3（2B）/ 77.4（8B） | 61.3（Qwen3-VL-2B）/ 77.2（Qwen3-VL-8B） | +6.0（2B）/ +0.2（8B） |
| LongVideoBench（长视频理解） | Accuracy | 59.5（2B）/ 67.0（8B） | 52.1（Qwen3-VL-2B）/ 62.6（Qwen3-VL-8B） | +7.4（2B）/ +4.4（8B） |
| CharadesSTA（时序定位） | mIoU | 56.2（2B）/ 61.4（8B） | 54.5（Qwen3-VL-2B）/ 56.0（Qwen3-VL-8B） | +1.7（2B）/ +5.4（8B） |
| Perception Test（视频感知） | Accuracy | 70.4（2B）/ 78.0（8B） | 64.5（Qwen3-VL-2B）/ 72.7（Qwen3-VL-8B） | +5.9（2B）/ +5.3（8B） |
| EgoSchema（自我视角视频） | Accuracy | 57.6（2B）/ 67.0（8B） | 55.7（Qwen3-VL-2B）/ 70.2（Qwen3-VL-8B） | +1.9（2B）/ -3.2（8B） |
| OCRBench（场景文字识别） | Score | 810（2B）/ 852（8B） | 858（Qwen3-VL-2B）/ 896（Qwen3-VL-8B） | -48（2B）/ -44（8B） |
局限与改进
尽管 Penguin-VL 在大多数基准上表现优异，但仍存在若干局限。首先，在 OCRBench 上，Penguin-VL 2B 得分 810，落后于 Qwen3-VL 的 858（差距 48 分），8B 模型同样落后 44 分（852 vs 896）。这表明在纯场景文字识别这类高度依赖视觉细节的任务上，对比学习预训练的编码器可能仍有优势，因为 CLIP/SigLIP 在大规模图文配对数据上学到的细粒度文字-视觉关联可能更强。其次，在数学推理的高阶任务上（如 MathVerse 和 LogicVista），Penguin-VL 2B 分别为 35.9 和 41.3，而 Qwen3-VL 达到 52.1 和 35.8，InternVL3.5 在 LogicVista 上更是达到 47.7。作者将此归因于数学 SFT 数据的相对不足，但也暗示 LLM 初始化的视觉编码器在需要深度逻辑链推理的抽象视觉任务上可能需要更精细的训练策略。第三，在 MMMU-Pro 专家级推理基准上，Penguin-VL 2B 仅为 31.4，落后 Qwen3-VL 的 36.5；8B 模型为 40.2，落后 Qwen3-VL 的 55.9，差距达 15.7 分，说明在需要跨学科专业知识和复杂多图推理的场景下仍有明显短板。第四，论文未提供训练成本和推理延迟的详细对比数据，难以评估实际部署效率。
独立分析的弱点
第一，OCRBench 上的持续落后（2B 落后 48 分，8B 落后 44 分）暴露了一个深层问题：Penguin-Encoder 从文本 LLM 初始化时，模型缺乏对视觉文字的原生感知能力。对比学习预训练的编码器在数十亿图文对上见过大量包含文字的图像，建立了文字形状与语义的直接映射；而文本 LLM 只理解文字的语义，不认识文字的视觉形态。改进方向可以考虑在 Stage 1 的数据混合中进一步提高 OCR 数据比例，或引入专门的 OCR 辅助损失。第二，MMMU-Pro 上的巨大差距（8B 落后 15.7 分）暗示在需要跨图关联推理和专家级知识的场景下，当前的 SFT 数据配比可能不够。通用描述数据占 64% 而科学数据仅占 0.27%，可以增加多图推理、科学图表、学术论文等高难度数据的比例。第三，视频推理中 EgoSchema 8B 模型落后 Qwen3-VL 3.2 分，说明自我视角视频理解（需要第一人称活动理解、人-物交互推理）可能需要更多专用数据，目前 Ego 数据仅占视频 SFT 的 2.8%。第四，论文缺乏与 SigLIP2 在完全相同数据量下的端到端对比（Table 3 的公平对比仅用 10% 数据的轻量管线），难以完全排除数据量差异对结论的影响。
未来方向
作者明确提出了三个未来方向：(1) 实时推理优化——探索自适应推理策略（如提前退出、token/区域级稀疏化、动态分辨率/帧率控制），以及增量式和流式多模态处理，减少冗余计算；(2) 高级后训练技术——超越 SFT，引入基于强化学习的后训练，通过 GUI 或具身环境的环境驱动反馈优化 VLM 的决策和动作落地能力；(3) 智能体应用——将 VLM 扩展到 GUI 智能体和计算机操作场景，使模型能解释视觉界面、分解用户意图、在动态图形环境中执行多步交互。基于 Penguin-VL 的成果，还可以延伸到以下方向：将 Penguin-Encoder 框架扩展到更大的视觉编码器规模（如 1.5B 参数），探索多模态统一架构（将语音、3D 等模态也纳入 LLM-as-Encoder 范式），以及研究如何将此范式应用于视频生成模型的视觉理解模块。
复现评估
Penguin-VL 在开源方面做得较为完整：代码已在 GitHub 开源（https://github.com/tencent-ailab/Penguin-VL），2B 和 8B 模型权重均在 HuggingFace 发布。数据方面，训练数据主要来自公开数据集（COYO-700M、DataComp-1B、OpenImages、SA-1B、Ego4D 等），重标注使用了私有模型生成的 Penguin-Recap-I/V 数据集，这部分可能难以完全复现。算力需求方面，Stage 1 低分辨率预训练使用约 2.23 亿样本，高分辨率微调 4700 万样本，VLM 预训练 1.21 亿样本，SFT 使用约 4270 万样本，总训练数据量约 4.3 亿样本，需要相当大的 GPU 集群。不过，由于 Penguin-Encoder 的参数量固定（约 400M），且不需要对比学习预训练阶段（SigLIP2 需要 400 亿样本），整体训练成本可能低于从头训练一个同规模的对比编码器。对于有中等算力资源的研究团队，可以使用开源的预训练 Penguin-Encoder 作为 drop-in 替代方案，在自己的 VLM 训练中直接使用。
论文图表
