基于局部和全局上下文优化的高效视频大语言模型Token缩减方法

提出AOT方法通过最优传输聚合视频token信息，实现90%压缩率下保留97.6%性能

前置知识

最优传输

最优传输是一种衡量两个概率分布之间距离的数学理论，源于18世纪的Monge问题。它寻找将一个分布的物质运输到另一个分布的最小成本方案。在机器学习中，离散最优传输将两组token表示为两个离散分布U=∑umδXm和V=∑vnδXn，通过最小化传输矩阵T与成本矩阵C的内积来找到最优分配方案。成本矩阵C通常使用余弦相似度的补集1-sim(Xm,Xn)来计算。直接求解是线性规划问题，计算复杂度高，因此引入熵正则化使用Sinkhorn-Knopp迭代算法快速求解。

本文的核心创新就是用最优传输来建模被剪枝token与保留token之间的信息转移，而不是简单丢弃或平均合并。需要理解OT如何通过全局优化找到最优的信息分配方案。

Sinkhorn-Knopp迭代

Sinkhorn-Knopp迭代是一种快速求解熵正则化最优传输的算法。通过在行列和对约束下迭代更新：u(t+1)=u/exp(-C/λ)v(t)和v(t+1)=v/exp(-C/λ)⊤u(t+1)，其中λ是熵正则化参数。每次迭代通过矩阵运算并行更新，最终得到近似的传输矩阵T*=diag(u)exp(-C/λ)diag(v)。相比原始线性规划，Sinkhorn迭代将复杂度从多项式降低到对数次，在GPU上可以高效实现。本文设置100次迭代仅需约2毫秒。

本文的实际效率依赖于Sinkhorn迭代的快速求解能力，理解它如何在保持精度的同时大幅降低计算开销对于评估方法实用性至关重要。

视觉Token压缩

视觉编码器（如CLIP、SigLip）将图像或视频帧编码为一系列视觉token。对于视频，一个32帧的视频可能产生超过6000个token，占用大量LLM上下文窗口和计算资源。Token压缩的目标是在保留关键语义和时序信息的前提下减少token数量。现有方法分为：空间压缩（如ToMe）、文本引导剪枝（如FastV）、时空联合压缩（如PruneVid）。本文创新性地提出了基于最优传输的信息聚合而非简单剪枝。

视频LLM的效率瓶颈主要来自冗余的视觉token，理解token压缩的不同策略和权衡有助于评价本文方法的创新点和适用场景。

研究动机

现有视频大语言模型（VLLMs）面临严重的计算效率问题。一个典型的32帧视频采样会产生超过6000个视觉token，而长达数小时的视频甚至可能产生上百万个token，导致prefilling阶段占据97.6%的计算开销。现有的token剪枝方法主要关注帧内空间冗余（如VisionZip、ToMe）或在LLM浅层进行剪枝（如FastV、PyramidDrop），这些方法要么简单丢弃低重要性token，要么将相似token平均合并，丢失了被移除token中细微但关键的语义和上下文信息。例如，DyCoke在LLM prefilling阶段进行剪枝，难以实现显著压缩；PruneVid在浅层重复剪枝操作影响整体效率；单纯的空间压缩方法在10%保留率下性能下降高达8.4%。

本文的目标是本文的目标是开发一种训练无关的token压缩框架，在大幅减少视频token数量的同时，通过全局优化策略将那些被移除或合并的token中的细微但信息丰富的语义和上下文聚合到保留的token中，从而在保持时序和视觉保真度的前提下显著提升视频LLM的推理效率。

与已有工作不同的是，本文的独特切入角度是首次将最优传输理论应用于视频token压缩领域，不是简单地选择重要token或合并相似token，而是通过建立局部-全局token anchors，将待剪枝token的信息以最优方式传输并聚合到anchors上。这种全局优化视角让每个被剪枝token都能为anchors提供有价值的上下文，而不是被当作噪声丢弃。

核心方法

AOT方法分为两个阶段：帧内压缩和帧间压缩。帧内阶段首先在每个帧中建立局部-全局token anchors，全局anchors选择[CLS]注意力最高的语义重要token，局部anchors通过网格划分在每个窗口内选择注意力最高的token以保留空间多样性。然后将anchors和未选中token建模为两个离散分布，使用最优传输计算从unselected到anchors的信息传输计划，通过传输加权更新anchors。帧间阶段将视频分割为多个clip，每个clip的第一帧作为时序anchor，后续帧通过OT将相似token聚合到当前clip anchors，同时保留高变化token以维持时序动态。整个过程通过Sinkhorn-Knopp迭代快速求解，无需模型训练。

核心创新点是将最优传输引入视频token压缩，将被剪枝token视为信息供应者，保留的anchors视为信息需求者，通过全局优化的传输计划将前者的上下文精细地转移到后者。这与现有方法的本质区别在于：现有方法要么丢弃、要么平均合并，而AOT通过最优传输实现了信息的最优分配和聚合，让每个被移除token的贡献都能被充分利用。

方法步骤详情

帧内压缩步骤：输入为单帧的N个视觉tokenX={x1,...,xN}。首先建立token anchors：计算[CLS]注意力S[CLS]^avg=h=1∑HSoftmax(Q[CLS]K_V^⊤/√D)，选择Top-K得到全局anchors xgV；将图像分为W个非重叠网格，在每个窗口内选择Top-Kw个token得到局部anchors xlV；合并得到anchors XaV和unanchors XuV。然后计算成本矩阵C=1-(XaV)^⊤(XuV)，使用Sinkhorn迭代求解传输计划T*，计算每个anchor接收的传输质量mj=∑i=1N-MT*_ij，通过质量归一化的OT聚合更新anchor：˜xaj=xaj+λintra∑i=1N-MT*_ijxui/(1+λintramj)。帧间压缩步骤：将视频分割为K个clip Ck={t1,...,tL}，第一帧的压缩anchors作为初始化A(1)。对后续帧tℓ，计算成本矩阵C(ℓ)=1-A(ℓ-1)(S(ℓ))^⊤，求解传输计划T_inter*，行归一化得到p(ℓ)ij，计算q(ℓ)i=maxjp(ℓ)ij。如果q(ℓ)i<τ则视为高变化token保留，否则通过传输加权聚合更新anchors。最终输出clip级别的anchors和高变化token集合。

技术新颖性

技术新颖性体现在三个方面：首次将最优传输引入视频token压缩，实现了信息的全局最优聚合而非局部决策；提出了局部-全局token anchors建立策略，兼顾语义重要性和空间多样性；设计了时序感知的帧间OT聚合，通过自适应阈值τ区分相似和时序变化区域，在压缩的同时保留关键动态信息。整个流程完全训练无关，通过Sinkhorn迭代在GPU上仅需约2毫秒，可无缝集成到现有视频LLM中。

**Figure 1**: The top is the essential differences compared with common token reduction methods

**Figure 2**: Overall pipeline of our AOT

实验结果

在LLaVA-OneVision 7B和LLaVA-Video 7B两个模型上，在MVBench、EgoSchema、LongVideoBench、VideoMME四个基准上进行了广泛评估。在15%token保留率下，AOT在LLaVA-OneVision上平均得分57.7/58.4（保留98.8%性能），prefilling FLOPs降至5.2T（12.7%）；在10%保留率下，平均得分57.0/58.4（保留97.6%性能），FLOPs降至3.4T（8.3%）。对比VisionZip在10%保留率下仅保留91.6%性能，AOT提升显著。帧数扩展实验表明，AOT在16帧、32帧、64帧、128帧场景下均保持稳定性能，在128帧时甚至超过原始模型，说明压缩了冗余噪声信息。Sinkhorn迭代的计算开销仅为总推理时间的1%以下，100次迭代需2.11毫秒（帧内0.51ms+帧间1.60ms）。消融实验显示，移除局部anchors性能下降3.1%，移除全局anchors下降5.0%，不使用OT聚合性能下降3.4%，验证了各组件必要性。随机选择anchors性能下降5.7%，证明高质量anchor建立的重要性。

**Table 1**: Comparison of state-of-the-art methods on LLaVA-OneVision across video benchmarks

**Table 2**: Comparison of state-of-the-art methods on LLaVA-Video across video benchmarks

**Table 3**: Computational overhead in terms of Intra- and Inter-Frame using Sinkhorn-Knopp Iteration (milliseconds)

**Table 4**: Ablation: The effect of different aggregation strategy to obtain the final token anchors set to represent the video

**Table 5**: Ablation: Contribution of each component by gradually removing the proposed component

**Figure 3**: Left: scaling with more frames leads to more efficient and effective visual information abstraction. Right: sensitivity analysis of weighting coefficient controlling contextual contribution

**Figure 4**: Qualitative visualizations of our Local-Global token anchors evolution across consecutive frames while optimal transport is adopted to aggregate necessary information from unselected tokens to help LLM process better

查看结构化数据

任务	指标	本文	基线	提升
MVBench	准确率(%)	57.0 (10%保留率)	VisionZip: 53.5, PruneVid: 56.2	相比VisionZip提升3.5%
EgoSchema	准确率(%)	60.6 (10%保留率)	VisionZip: 58.0, PruneVid: 59.8	相比VisionZip提升2.6%
LongVideoBench	准确率(%)	54.2 (10%保留率)	VisionZip: 49.3, PruneVid: 54.5	相比VisionZip提升4.9%
VideoMME	准确率(%)	56.1 (10%保留率)	VisionZip: 53.4, PruneVid: 56.0	相比VisionZip提升2.7%

局限与改进

作者承认的局限性包括：帧间OT剪枝模块仍是启发式的，缺乏构建高质量时序token anchors的系统性方法，与帧内阶段有视觉编码器提供强大特征不同；时序边界分割（无论是固定长度还是动态聚类）可能不够精确，视觉不相似的帧可能被错误地分组到同一clip中，在复杂视频场景下可能影响性能；方法在极端压缩（如5%保留率）下的性能退化情况未充分探索。此外，OT主要基于视觉特征相似度，对于需要深度推理或跨长时序依赖的任务可能仍显不足。

独立分析的弱点

独立分析的弱点包括：anchor数量K和阈值τ等超参数需要根据任务和视频类型手动调整，缺乏自适应选择机制；OT基于特征的余弦距离，可能无法捕捉复杂的语义关系，如因果关系、物体交互等；对于快速运动或场景突变的视频，固定帧clip分割可能效果不佳；方法假设被剪枝token的信息可以通过线性聚合转移到anchors，对于非线性依赖关系可能建模不足。改进方向：可以引入文本引导的注意力机制来动态调整anchor选择和OT成本矩阵；设计端到端可微分的OT学习框架，通过任务特定的损失来学习最优的anchor位置和传输权重；结合深度、相机运动、光流等几何信息增强时序建模。

未来方向

作者提出的未来方向包括：探索OT在模型微调或指令调优中的应用，以获得更具竞争力的token缩减框架；结合深度、相机运动、3D定位、时空一致性或轨迹感知等辅助信号，鼓励聚合的anchors保留几何感知和运动感知信息；将OT-based token聚合与这些辅助目标结合，可能提升模型维持持久世界表征、支持时序连贯推理的能力。基于成果可延伸的方向：将AOT框架扩展到3D/4D空间智能任务，如多相机视频、时序动作分割等；研究如何将OT集成到视觉编码器的训练过程中，实现编码即压缩的端到端优化；探索与其他压缩技术（如量化、剪枝）的联合优化方案。

复现评估

作者表示项目网页将提供代码实现，便于复现。实验基于开源的LLaVA-OneVision-7B和LLaVA-Video-7B模型，使用8张NVIDIA A100 GPU（每张40GB内存）进行评估和推理。评估使用LMMs-Eval工具报告结果，符合社区标准实践。Sinkhorn迭代算法实现简洁，核心是矩阵运算，难度较低。然而，消融实验中的动态聚类帧clip设置细节描述不够充分，超参数选择（如anchor数量、λintra、λinter、阈值τ）的敏感性分析较为有限，影响完整复现。整体而言，复现难度中等，需要一定的计算资源但代码依赖简单。

基于局部和全局上下文优化的高效视频大语言模型Token缩减方法 Token Reduction via Local and Global Contexts Optimization for Efficient Video Large Language Models