CoPE-VideoLM：利用视频编解码原语实现高效视频语言模型 CoPE-VideoLM: Codec Primitives For Efficient Video Language Models
通过视频编解码原语（运动向量和残差）实现高效视频语言建模，将token使用量减少93%
前置知识
视频编解码原语（Codec Primitives）
视频编解码器（如H.264、HEVC）在压缩视频时产生的中间表示，主要包括运动向量（motion vectors）和残差（residuals）。运动向量描述了当前帧与参考帧之间每个图像块的位移信息，类似于粗光流；残差则捕获了运动补偿后仍然存在的像素强度差异。这些原语是视频压缩的基础，它们直接编码了视频中的时间冗余性，使得连续帧之间的变化可以被高效表示。
本文的核心创新在于直接利用这些编解码原语来替代传统的RGB帧编码，因此理解这些原语的结构和作用是理解本文方法的基础。
Group of Pictures (GOP)
视频编解码中的基本结构单元，由一个I帧（关键帧）和随后的多个P帧（预测帧）组成。I帧是独立编码的完整图像，作为时间参考点；P帧只包含相对于前一帧的变化信息（运动向量和残差）。典型的GOP大小为240帧（8秒@30FPS），其中只有第一个帧是I帧，其余239帧都是P帧。这种结构实现了时间冗余的高效压缩。
本文方法的核心就是利用GOP结构，将I帧用传统视觉编码器处理，而将P帧用轻量级的Δ-编码器处理，从而大幅减少token数量。
时间到首个token（Time-to-First-Token, TTFT）
从输入视频到生成第一个文本token所需的时间，是衡量视频语言模型推理效率的关键指标。TTFT主要包括视觉编码时间（将视频帧转换为token）和LLM预填充时间（处理所有视觉token）。在实时交互场景和机器人应用中，低TTFT对用户体验和系统响应性至关重要。传统VideoLMs需要处理大量密集RGB帧，导致TTFT较高。
本文的核心目标之一就是大幅降低TTFT，实验表明可降低86%，这对实时视频理解应用具有重要意义。
视觉编码器（Vision Encoder）
将图像或视频帧转换为向量表示的神经网络模块，通常是预训练的CLIP或SigLIP模型。在VideoLMs中，视觉编码器将每个视频帧编码为一组固定数量的视觉token（如196个），这些token随后与文本token一起输入到大语言模型中。视觉编码器的计算成本很高，特别是当需要处理大量视频帧时。
本文方法的关键优势在于避免了对大多数P帧使用昂贵的视觉编码器，而是使用轻量级的Δ-编码器，这是实现效率提升的核心。
模态对齐（Modality Alignment）
在多模态模型中，将不同模态（如视觉和语言）的表示映射到统一语义空间的过程。在VideoLMs中，通常通过预训练或微调来实现视觉token和文本token的对齐。本文提出了一种特殊的对齐方法：通过预训练Δ-编码器，使编解码原语产生的token与视觉编码器产生的token在语义空间中对齐。
这种对齐策略是本文方法能够成功的关键，它确保了P帧的紧凑表示能够与I帧的表示无缝集成，被LLM有效利用。
研究动机
现有视频语言模型（VideoLMs）在处理视频时面临两个主要问题。首先，由于最大上下文窗口的限制，现有方法采用关键帧采样策略（如均匀时间采样或学习选择方法），但这种稀疏的时间覆盖常常错过宏观事件（如场景转换）和微观细节（如精细动作识别）。例如，开源模型通常固定采样64帧，无论视频长度如何，这导致对于长视频的信息内容无法随视频时长缩放。其次，将每个关键帧作为完整图像处理会产生大量计算开销：对于一个30FPS、GOP大小为240帧的视频，标准方法需要编码240M个token（M为每帧token数），这不仅增加了预填充时间，还延迟了首个token的生成时间（TTFT）。在实时交互和机器人应用场景中，这种延迟是不可接受的。此外，连续帧之间通常存在高度冗余，为每个关键帧分配相同的token预算是次优的。
本文的目标是本文的具体目标是通过利用视频编解码原语（特别是运动向量和残差）来实现高效的视频语言建模。具体目标包括：1）将时间到首个token（TTFT）降低至少80%；2）将视觉token使用量减少90%以上；3）在14个多样化的视频理解基准测试中保持或超越现有性能；4）实现可扩展的长视频处理能力，理论上可在1M token上下文中处理长达8小时的视频（@1FPS）。
与已有工作不同的是，本文的独特切入角度在于直接利用视频编解码中已经存在的结构化信息。与现有方法不同，本文观察到视频编解码器经过数十年发展，已经完美解决了视频压缩中的冗余性和稀疏性问题。编解码原语（运动向量和残差）天然编码了视频的时间动态和外观变化，而无需昂贵的完整图像编码。现有工作虽然探索过编解码领域信号，但存在重要局限：CoViAR和TeamNet训练独立的CNN处理运动向量和残差，忽略了跨模态依赖；Video-LaVIT离散化运动向量但丢弃残差；EMA将整个GOP聚合为固定长度摘要，丢失时间顺序。本文方法首次同时保留残差、维持时间顺序、并允许token预算随信息内容缩放。
核心方法
本文提出CoPE-VideoLM框架，其核心思想可以类比为：传统VideoLMs像阅读一本书时每页都拍照，而本文方法像只拍照第一章，然后记录后续章节的修改。具体技术路线是：1）利用视频编解码器产生的GOP结构，将I帧（关键帧）通过标准视觉编码器处理为密集RGB token；2）将P帧（预测帧）的运动向量和残差通过轻量级Δ-编码器处理为紧凑的Δ-token；3）将I帧token和Δ-token按时间顺序交错排列，形成编解码感知的token序列；4）整个序列直接输入LLM进行视频理解。这种方法避免了对大多数P帧进行昂贵的完整RGB编码，同时保留了时间动态和外观信息。
本文的核心创新点在于提出了Δ-编码器（Delta-Encoder），这是一个轻量级的双分支transformer架构，专门设计用于处理编解码原语。与已有方法最本质的区别是：本文不是将编解码原语作为辅助信息或后处理步骤，而是将其作为视频的主要表示形式。Δ-编码器包含两个专门分支：运动向量分支使用MLP和transformer将运动向量压缩为K_τ个运动token；残差分支使用ResNet-18和transformer将残差压缩为K_δ个残差token。通过将K_τ和K_δ都设为4，每个P帧只需8个token（N=8），而传统方法每帧需要196个token（M=196）。这种压缩比超过24倍，同时通过预训练策略确保Δ-token与视觉编码器的表示空间对齐。
方法步骤详情
方法包含以下关键步骤：1）视频预处理：将视频重新编码为MPEG-4格式，30FPS，GOP大小为240帧，使用融合大小s=30，有效帧率为1FPS；2）I帧处理：每个I帧通过冻结的视觉编码器φ_RGB处理，生成M=196个密集RGB token；3）P帧处理：每个P帧的运动向量τ(t)和残差δ(t)分别通过Δ-编码器的两个分支处理：运动向量分支先进行min-max归一化到[-1,1]，然后分块为16×16 patches，通过两层MLP提取特征，最后通过运动transformer压缩为K_τ=4个运动token；残差分支通过截断的ResNet-18提取空间特征，然后通过残差transformer压缩为K_δ=4个残差token；4）token交错：将I帧token和P帧的Δ-token按时间顺序交错排列，形成最终序列X=[x(1),...,x(T)]；5）Δ-编码器预训练：使用参考transformer和扭曲transformer进行预训练，使Δ-token与视觉编码器的表示空间对齐；6）VideoLM微调：将预训练的Δ-编码器集成到VideoLM中进行端到端微调，使用标准指令调优损失。
技术新颖性
本文的技术新颖性体现在三个方面。首先，在表示层面，首次提出将视频编解码原语作为视频语言模型的主要输入，而不是辅助信息。与Video-LaVIT只使用运动向量不同，本文同时保留运动向量和残差；与EMA丢失时间顺序不同，本文维持完整的时序交错结构。其次，在架构层面，提出了轻量级的Δ-编码器（<15M参数），相比7B LLM几乎可以忽略不计，但能实现超过24倍的压缩比。第三，在训练策略上，提出了两阶段预训练框架：先预训练Δ-编码器进行模态对齐，再与LLM联合微调。实验表明，这种两阶段训练比单阶段直接训练性能显著更好，特别是在PerceptionTest上差距明显。
实验结果
本文在14个多样化的视频理解基准测试中进行了全面评估，涵盖通用视频问答、时间与运动推理、长视频理解和空间场景理解四大类任务。核心发现包括：1）效率提升显著：最紧凑配置（1关键帧/GOP）将TTFT降低86.2%，端到端延迟降低56.1%，token使用量减少93%；2）性能表现优异：在PerceptionTest上达到70.3%准确率，比基线LLaVA-Video-7B（67.9%）提升2.4个百分点；在NextQA上达到82.1%，与基线（83.2%）相当；在ActivityNet-QA上达到60.3%，比基线（56.5%）提升3.8个百分点；3）时间推理能力突出：在TempCompass上达到68.9%（基线66.6%），TOMATO上达到28.3%（基线24.9%），CVRR-ES上达到49.4%（基线43.6%）；4）长视频理解优势：在Video-TT上达到45.5%（基线41.8%），Video-MMMU上达到38.2%（基线36.1%），LVBench上达到46.4%（基线44.2%）；5）可扩展性强：在1M token上下文中可处理长达8小时的视频，比基线提升一个数量级。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 通用视频问答 | PerceptionTest准确率 | 70.3% | LLaVA-Video-7B: 67.9% | +2.4% |
| 通用视频问答 | NextQA准确率 | 82.1% | LLaVA-Video-7B: 83.2% | -1.1% |
| 通用视频问答 | ActivityNet-QA准确率 | 60.3% | LLaVA-Video-7B: 56.5% | +3.8% |
| 时间推理 | TempCompass准确率 | 68.9% | LLaVA-Video-7B: 66.6% | +2.3% |
| 时间推理 | TOMATO准确率 | 28.3% | LLaVA-Video-7B: 24.9% | +3.4% |
| 时间推理 | CVRR-ES准确率 | 49.4% | LLaVA-Video-7B: 43.6% | +5.8% |
| 长视频理解 | Video-TT准确率 | 45.5% | LLaVA-Video-7B: 41.8% | +3.7% |
| 长视频理解 | Video-MMMU准确率 | 38.2% | LLaVA-Video-7B: 36.1% | +2.1% |
| 效率 | TTFT降低 | 0.33秒 | LLaVA-Video-7B: 2.39秒 | -86.2% |
| 效率 | token使用量 | 7% of baseline | 100% (64关键帧) | -93% |
局限与改进
尽管CoPE-VideoLM取得了显著成果，但仍存在一些局限性。首先，当前方法只处理I帧和P帧，缺乏对B帧（双向预测帧）的支持，B帧具有更复杂的非因果依赖关系，可能提供更高的压缩效率。其次，目前操作在张量化版本的编解码原语上，如果直接操作原始编解码原语（如块级运动向量和量化DCT系数），可能获得更好的计算和token效率。第三，使用固定的P帧融合窗口（s=30），这对于具有变化运动的任务可能不是最优的。第四，对编解码类型、比特率和编码质量的敏感性尚未充分探索。第五，在某些基准测试（如VideoMME）上性能略低于基线，这主要归因于训练数据规模和组成差异（1.39M样本 vs 基线的2.74M样本），而非编解码方法本身的限制。
独立分析的弱点
通过独立分析，我发现以下几个潜在弱点及改进方向。首先，Δ-编码器的压缩可能过于激进：每个P帧只使用8个token（N=8），实验显示从8增加到16个token时性能仍有提升（尽管边际收益递减），这表明可能存在信息损失。改进方向是探索自适应token分配策略，根据运动复杂度动态调整每个P帧的token数量。其次，预训练阶段需要额外的计算资源（16×A100 GPU训练2天），增加了总体训练成本。可以探索更高效的预训练方法，如对比学习或知识蒸馏。第三，当前方法假设视频已经被编码为特定格式（MPEG-4），对于原始未压缩视频或不同编解码格式的适用性需要验证。改进方向是开发编解码无关的表示学习方法。第四，Δ-编码器的架构相对简单（MLP+ResNet-18+Transformer），可能无法捕获复杂的时空模式。可以尝试更先进的架构，如3D卷积或图神经网络。
未来方向
基于本文成果，未来研究可以从以下几个方向展开。首先，探索B帧的利用：虽然B帧增加了解码复杂性，但其双向预测能力可能提供更高效的压缩表示。可以研究使用解码顺序而非渲染顺序来处理B帧。其次，直接操作原始编解码原语：当前方法使用张量化表示，如果能直接处理块级运动向量和量化DCT系数，可能实现更好的计算和token效率。第三，动态融合策略：探索自适应P帧融合窗口，根据视频内容的运动强度动态调整时间分辨率。第四，多模态扩展：将编解码感知tokenization应用于其他视频理解任务，如视频检索、动作识别、视频摘要等。第五，硬件协同设计：与视频编解码硬件协同优化，实现实时视频理解系统。第六，长视频理解：利用本文方法的token效率优势，探索更长视频（数小时）的理解能力。
复现评估
从复现评估来看，本文具有较好的可复现性。开源情况：论文提供了项目主页（https://microsoft.github.io/CoPE），但代码和预训练模型的开源状态未明确说明。数据集：使用公开可用的LLaVA-Video-178K数据集（1.39M样本），包含来自学术基准和YouTube的视频，涵盖字幕、开放问答和多选问答。算力需求：预训练Δ-编码器需要16×A100 GPU训练2天，完整VideoLM微调需要64×A100 GPU训练14天（21K GPU小时），这对大多数研究机构来说是可承受的。复现难度：中等。主要挑战包括：1）视频重新编码为MPEG-4格式的预处理；2）Δ-编码器的实现和预训练；3）与LLaVA-Video-7B基线的集成。论文提供了详细的超参数设置（学习率1e-5，批量大小128等），有助于复现。总体而言，具备中等计算资源的团队应该能够复现本文结果。
论文图表
