OneVision-Encoder：以编解码器对齐稀疏性作为多模态智能的基础原理 OneVision-Encoder: Codec-Aligned Sparsity as a Foundational Principle for Multimodal Intelligence
借鉴HEVC视频编解码器思想，只编码视频中3.1%-25%的运动关键区域实现高效视觉理解
前置知识
Vision Transformer (ViT)
Vision Transformer是将Transformer架构应用于视觉任务的核心模型。它将图像分割成固定大小的patch（如14×14像素），每个patch被线性映射为一个token向量，然后通过多层自注意力机制进行处理。ViT抛弃了传统CNN的卷积操作，完全依赖注意力机制来捕获全局空间依赖关系。这种设计使得模型能够灵活处理不同分辨率的输入，并且天然支持并行计算。
OV-Encoder基于ViT架构构建，理解ViT的patch化和注意力机制是理解本文Codec Patchification创新的基础。
HEVC/H.265视频编解码器
HEVC（High Efficiency Video Coding）是现代视频压缩标准，其核心思想是将视频分解为I帧和P帧。I帧是关键帧，包含完整的空间信息；P帧是预测帧，只编码与参考帧之间的差异（运动向量和残差信号）。这种分解利用了视频的时间冗余性——大部分视觉内容是可预测的，只有运动和变化区域才是新的信息。
本文的核心创新Codec Patchification直接借鉴了HEVC的I/P帧分解思想，将视频编解码器的结构化分解转化为视觉表征学习的指导原则。
Cluster Discrimination（集群判别）
集群判别是一种自监督学习范式，不同于传统对比学习的实例级判别。它首先通过离线聚类将语义相似的样本分组，形成语义中心（centroids），然后训练模型将样本映射到正确的语义中心附近，同时远离错误的语义中心。这种方法能够捕获更丰富的语义结构关系，支持多标签监督信号。
OV-Encoder采用集群判别作为训练目标，联合建模物体级（来自图像）和运动级（来自视频）语义，这是实现统一视觉表征学习的关键。
3D Rotary Position Embedding (3D RoPE)
3D RoPE是一种相对位置编码方案，它将三维空间时间坐标(t, x, y)编码为旋转位置信息。与绝对位置编码不同，RoPE通过相对偏移量$\Delta p = (t_1-t_2, x_1-x_2, y_1-y_2)$来表示两个token之间的位置关系。这种设计使得模型能够自然处理不规则的token布局，特别适合稀疏采样的场景。
OV-Encoder的Codec Patchification产生不规则的token布局（I帧稠密、P帧稀疏），3D RoPE是使注意力机制在这种布局下保持连贯性的关键技术。
研究动机
当前视觉编码器面临一个根本性的效率问题：它们采用均匀计算策略处理密集像素网格，将大量计算资源浪费在静态背景区域上。具体而言，标准视频预训练方法对所有空间区域和时间帧进行均匀处理，假设它们具有等价的信息量。然而，自然视频具有高度冗余性，大部分视觉内容是可以从周围上下文预测的。真正具有判别性的信息——运动、变化、surprise——是稀疏的。以一个典型的视频为例，背景（天空、建筑、地面）占据画面的大部分区域，而真正重要的运动物体（行人、车辆）可能只占3.1%-25%的区域。现有方法如MAE、V-JEPA强调像素级重建，缺乏显式语义结构化；CLIP、SigLIP依赖外部语言监督，限制了类内一致性和细粒度关系建模。
本文的目标是本文的目标是解决视觉理解中的效率-精度矛盾，证明两者不仅不是权衡关系，而是正相关的。具体目标包括：（1）设计一种与视频信号的信息论结构对齐的视觉编码架构；（2）实现仅编码有信号熵的区域（3.1%-25%），同时保持甚至提升性能；（3）构建一个统一的编码器，能够同时处理图像、短视频和长视频；（4）在预训练数据量远少于竞争对手的情况下（100B vs 2.1T tokens），达到或超越现有最强视觉编码器。
与已有工作不同的是，本文的独特切入角度是将视频编解码器（HEVC/H.265）的结构化分解原理引入视觉表征学习。现有方法将视频视为帧序列，而OV-Encoder将视频视为由稳定空间上下文（I帧）和稀疏时间更新（P帧）组成的信号。这种视角转换的核心洞见是：编解码器已经显式地揭示了视频信号的信息论结构——大部分信号对应于运动驱动的增量更新，而非独立的判别性证据。通过与这种结构对齐，架构可以将计算集中在真正重要的区域，而不是均匀处理所有像素。这不是一种优化技巧，而是一种基础性原理的转换。
核心方法
OV-Encoder的方法整体思路可以概括为“像编解码器一样思考视觉”。直觉上，当你看一个视频时，你的注意力自然会跟随运动物体，而不是均匀扫描每一帧的每一个像素。视频编解码器正是这种直觉的数学化表达：它将视频分解为包含完整空间信息的I帧和只编码变化的P帧。OV-Encoder借鉴这种分解，首先通过HEVC编码器提取运动向量和残差信号，然后基于这些信号计算每个patch的显著性分数，选择最显著的3.1%-25%的patch进行编码。技术路线上，模型采用标准ViT架构，但输入不是密集像素网格，而是经过Codec Patchification的稀疏token序列。配合3D RoPE位置编码和集群判别训练目标，模型学习到既高效又判别性强的视觉表征。
OV-Encoder的核心创新是Codec Patchification——一种编解码器启发的输入公式。与已有方法的本质区别在于：（1）传统方法（如CLIP、DINOv）处理均匀采样的帧，每帧的所有patch都被编码，OV-Encoder只编码运动相关的patch；（2）token drop方法（如PatchDropout）随机或学习地移除token，可能丢失重要信息，OV-Encoder基于编解码器信号进行原则性选择；（3）token merging方法通过合并减少token数量，但改变了表征空间，OV-Encoder保持patch级表征不变，只是选择性地编码。关键区别是：OV-Encoder不是将稀疏性作为一种优化手段，而是将其视为与数据结构对齐的基础性原理。正如论文所述，“效率和精度不是权衡关系，而是正相关的”。
方法步骤详情
OV-Encoder的方法分为以下步骤：（1）HEVC引导的patch选择：对输入视频应用HEVC编码，得到I帧和P帧序列。对于每个P帧，提取运动向量 $d_{i,n,\tau}$ 和残差信号，计算patch级显著性分数 $\Omega_{i,n,\tau}$，选择固定比例 $r$ 的最显著patch。（2）Codec Patchification：将视频分解为三种输入格式——Dense Video-Codec Patchification（64帧视频，I帧全编码，P帧稀疏编码，总token预算2048）、Chunk-wise Patchification（时间分块采样）、Single-Image Spatial Patchification（单图像空间patch化）。（3）3D RoPE编码：为每种输入格式定义相对位置偏移 $\Delta p = (\Delta t, \Delta x, \Delta y)$，确保注意力机制在不规则token布局下保持连贯。（4）集群判别训练：对图像数据聚类为200万个物体级中心，对视频数据聚类为40万个运动级中心，形成统一语义中心集 $C_{uni}$，使用多标签判别目标 $\mathcal{L}$ 进行训练。
技术新颖性
OV-Encoder的技术新颖性体现在多个层面：首先，这是首次将视频编解码器的I/P帧分解原理系统性地引入视觉表征学习，开创了“Codec-aligned Visual Intelligence”的新范式。其次，Codec Patchification实现了75%-96.9%的token压缩率，同时保持甚至提升性能，打破了效率-精度的传统权衡。第三，3D RoPE的三种变体（Codec/Chunk/Spatial）优雅地统一了密集视频、稀疏采样和单图像的输入格式。第四，集群判别目标首次联合建模物体级和运动级语义，使用超过100万个语义中心。第五，实验设计具有严格的控制性：所有对比使用相同的语言模型（Qwen3-4B）、相同的指令微调数据（1.5M样本）、相同的token预算，确保性能差异来自视觉表征本身。
实验结果
OV-Encoder的实验结果验证了其核心假设：效率和精度是正相关的。在LMM Probing评估中，OV-Encoder-Lang（语言对齐版本）在16个图像、视频和文档理解benchmark上全面超越Qwen3-ViT和SigLIP2。具体而言，在视频理解任务上，OV-Encoder-Lang在MVBench上达到53.2%（Qwen3-ViT为47.4%），在VideoMME上达到54.1%（47.2%），在NExT-QA上达到76.1%（70.1%），平均提升4.1%。值得注意的是，OV-Encoder仅使用约100B caption tokens预训练，而Qwen3-ViT使用超过2.1T tokens，说明改进来自更有效的视觉表征学习而非预训练规模。在Attentive Probing评估中，OV-Encoder在Diving-48上取得67.2%的Top-1准确率，比SigLIP2（50.1%）提升17.1%，比DINOv3（58.6%）提升8.1%。在token效率分析中，OV-Encoder使用512 token时（仅保留3.1%的patches）平均准确率达到50.1%，而SigLIP2使用相同token预算仅为43.4%。消融实验进一步证明，codec引导的patch选择是因果有效的：替换运动patch内容导致性能下降5-10%，打乱patch位置导致性能下降12-15%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视频理解（MVBench） | 准确率(%) | 53.2（OV-Encoder-Lang） | 47.4（Qwen3-ViT） | +5.8% |
| 视频理解（VideoMME） | 准确率(%) | 54.1（OV-Encoder-Lang） | 47.2（Qwen3-ViT） | +6.9% |
| 视频理解（NExT-QA） | 准确率(%) | 76.1（OV-Encoder-Lang） | 70.1（Qwen3-ViT） | +6.0% |
| 动作识别（Diving-48） | Top-1准确率(%) | 67.2（OV-Encoder Codec） | 50.1（SigLIP2） | +17.1% |
| 动作识别（SSV2） | Top-1准确率(%) | 60.1（OV-Encoder Codec） | 58.2（SigLIP2） | +1.9% |
| 动作识别（Kinetics-400） | Top-1准确率(%) | 85.4（OV-Encoder Codec） | 82.7（SigLIP2） | +2.7% |
局限与改进
尽管OV-Encoder取得了显著成果，但仍存在一些局限性：（1）空间中心偏差：消融分析显示，仅使用codec引导的patch选择时，选中的token呈现明显的空间中心偏差，大部分token集中在图像中心区域。虽然chunk-wise patchification可以缓解这一问题，但说明codec信号本身存在固有偏差。（2）依赖HEVC编码：方法需要访问视频的HEVC编码信息（运动向量和残差），对于未压缩或使用其他编码格式的视频需要额外处理。论文未详细讨论对不同视频质量或编码参数的鲁棒性。（3）预训练数据规模：虽然OV-Encoder在较少数据上表现优异，但训练仍在128块A800 GPU上进行，资源需求仍然较高。（4）评估范围：LMM Probing评估主要使用Qwen3-4B作为语言模型，未探索更大规模语言模型或不同架构的影响。（5）定性分析有限：虽然提供了两个案例研究（跳水和烹饪），但缺乏系统性的定性分析来解释模型在不同场景下的行为模式。
独立分析的弱点
从独立分析的角度，OV-Encoder存在以下弱点及改进方向：（1）编码格式依赖：方法强依赖HEVC编码信息，建议探索从视频内容直接估计运动显著性的方法，或设计对编码格式不敏感的变体。（2）固定稀疏比例：当前使用固定比例 $r$ 选择patches，可能不适用于所有场景。改进方向是设计自适应稀疏度机制，根据视频内容动态调整。（3）聚类质量：集群判别依赖于离线聚类的质量，聚类错误会传播到训练信号。建议探索在线聚类更新或多阶段聚类精炼策略。（4）位置编码泛化：3D RoPE在训练时使用固定的64帧虚拟网格，对于更长或更短的视频可能需要调整。建议探索可学习的时间尺度或自适应位置编码。（5）缺乏生成能力：OV-Encoder是纯判别模型，不支持图像/视频生成任务。未来可探索将Codec思想扩展到生成式视觉模型。
未来方向
论文提出的框架为多个研究方向提供了基础：（1）更长视频理解：当前处理64帧，可扩展到更长时间范围，结合层次化Codec结构。（2）自适应稀疏度：根据视频内容动态调整token预算，在简单场景用更少token，复杂场景用更多。（3）跨模态Codec：将Codec思想扩展到音频、文本等模态，构建统一的多模态稀疏编码框架。（4）生成式扩展：探索Codec结构在视频生成、预测中的应用，如只生成运动相关区域。（5）边缘部署：高token压缩率（96.9%）适合移动设备和边缘计算场景。（6）Codec-aware预训练：设计更深入利用编解码器结构的预训练任务，如预测P帧内容或运动向量。（7）多Codec支持：扩展到H.266/VVC、AV1等新一代编解码器，利用更丰富的编码信息。
复现评估
论文在复现性方面做出了良好示范：（1）完全开源：代码（GitHub）、模型权重（HuggingFace）、数据文档都已公开，包括详细的data card说明数据来源和处理流程。（2）训练细节充分：提供了完整的训练配置（优化器、学习率、batch size等）、架构超参数（24层、1024维、16头）、数据处理流程（聚类参数、负样本比例等）。（3）控制性评估：所有对比实验使用相同的语言模型、指令数据、token预算，消除了混杂因素。（4）资源需求：预训练需要128块A800 GPU，对于学术实验室可能有一定门槛，但相比Qwen3-ViT的2.1T tokens预训练规模已经显著降低。（5）数据依赖：需要访问HEVC编码的视频数据，但论文提供了数据获取和处理的详细说明。总体而言，复现难度中等，主要瓶颈是GPU资源和大规模数据处理。
论文图表
该图展示了在给定设置下选中视觉patch的空间分布统计。使用codec引导的patch选择时，选中的token呈现明显的空间中心偏差，大部分token集中在图像中心区域（中心区域占比约0.62%，边缘区域约0.42%）。引入chunk-wise patchification后，空间分布变得更加均匀，有效缓解了中心偏差。
这个分析揭示了Codec Patchification的一个局限性（空间中心偏差）以及chunk-wise patchification如何缓解这一问题，对理解方法的适用边界很重要。
该表格比较了OV-Encoder-Lang、Qwen3-ViT、OV-Encoder、OV-Encoder-Frame和SigLIP2在16个图像、视频和文档理解benchmark上的表现。所有模型使用Qwen3-4B-Instruct2507作为语言骨干。OV-Encoder-Lang（Codec）在大多数视频任务上表现最佳，OV-Encoder（Codec）在不需要caption监督的情况下也能超越SigLIP2。
这是论文的核心结果表格，证明了OV-Encoder在多种任务上的全面优越性，特别是Codec版本相比Frame版本的优势。