统一时空 Token 评分：面向高效视频视觉语言模型 Unified Spatio-Temporal Token Scoring for Efficient Video VLMs
STTS 在 ViT 和 LLM 中统一剪枝视觉 token，50% 剪枝提速 62%
前置知识
Vision Transformer (ViT)
Vision Transformer 是将图像分割为固定大小的 patch token 后，通过 Transformer 编码器进行特征提取的视觉骨干网络。在视频场景中，每一帧图像都会被分解为数百个 patch token，当帧数增加时，token 序列长度线性增长，导致自注意力的计算复杂度呈二次方增长，成为视频 VLM 的主要计算瓶颈。本文的核心贡献之一就是在 ViT 内部进行 token 剪枝，从而减少后续层的计算量。
理解 ViT 的工作原理和计算瓶颈是理解本文为什么要在 ViT 内部进行剪枝的关键前提
Token 剪枝 (Token Pruning)
Token 剪枝是指在模型推理或训练过程中，根据某种重要性评分选择性地丢弃不重要的视觉 token，只保留信息量最大的 token 子集。这种方法可以显著减少需要处理的 token 数量，从而降低计算成本。已有方法主要分为三类：Pre-ViT（在 ViT 之前剪枝）、In-ViT（在 ViT 内部剪枝）和 Post-ViT（在 ViT 之后、LLM 之前剪枝），但它们通常只处理空间冗余或只处理时间冗余，无法提供全局的效率提升。
本文提出的 STTS 是一种统一的时空 Token 评分方法，需要理解 token 剪枝的基本概念和现有方法的局限性
时空冗余 (Spatio-Temporal Redundancy)
视频数据中存在两种冗余：空间冗余（同一帧内背景区域与前景区域的信息量差异）和时间冗余（相邻帧之间高度相似的区域，如静态背景）。视频 VLM 需要处理大量帧，每帧又包含数百个 patch token，这导致了巨大的计算开销。理想的剪枝方法应该能够同时识别并移除这两种冗余，保留对下游任务（如视频问答）真正重要的语义信息。
STTS 的核心创新正是同时在空间和时间两个维度上进行 token 评分，需要理解这两种冗余的本质
注意力偏置注入 (Attention Bias Injection)
注意力偏置注入是一种将外部信号（如 token 重要性评分）注入到 Transformer 自注意力计算中的技术。具体做法是将评分的对数作为偏置项加到注意力矩阵上，使得重要性高的 token 在注意力计算中获得更高的权重。这种技术的关键优势在于它使得整个系统可以端到端训练，因为梯度可以从最终的任务损失反向传播回评分器，让评分器学会识别对下游任务重要的 token。
STTS 使用注意力偏置注入来实现端到端训练，使空间评分可以通过下游梯度学习，这是方法的核心机制
端到端训练 (End-to-End Training)
端到端训练是指从输入到输出的整个模型流程可以通过梯度下降进行联合优化的训练方式。在本文中，STTS 模块作为 ViT 的一部分，其评分器的参数可以通过最终的任务损失（如视频问答的交叉熵损失）进行更新。这意味着评分器不需要人工定义重要性标准，而是通过下游任务的反馈自动学习哪些 token 对任务最有价值。相比推理时才应用的启发式方法，端到端训练能让模型更好地适应具体任务需求。
STTS 的核心优势之一是可以端到端训练，这使得它能通过下游梯度学习最优的 token 选择策略
Test-Time Scaling (TTS)
Test-Time Scaling 是指在推理阶段（而非训练阶段）增加模型的输入规模（如采样更多视频帧）来提升性能的技术。由于 STTS 在训练时只使用 64 帧，但在推理时可以通过剪枝释放计算预算，从而采样更多帧（如 128 帧），在不增加计算成本的情况下获得更丰富的时序信息。这种技术特别适用于长视频理解任务，因为这些视频通常时长为小时级别，64 帧的均匀采样可能遗漏关键信息。
TTS 是 STTS 在长视频任务上取得性能提升的关键技术，需要理解其工作原理和优势
研究动机
视频视觉语言模型（Video VLM）在处理视频理解任务时面临严重的计算效率问题。由于视频包含大量帧，每一帧经过 Vision Transformer 编码后会产生数百个 patch token，随着帧数增加，token 序列长度线性增长，导致 Transformer 自注意力的计算复杂度呈二次方增长。这不仅使得 ViT 编码器成为计算瓶颈（因为其成本随帧数线性增长），还会显著增加 LLM 的计算负载。现有的 Token 剪枝方法存在根本性的局限：Pre-ViT 和 In-ViT 方法主要针对单模态感知任务（如动作识别和物体分割）设计，只能处理空间冗余，无法适应多模态 VLM 任务，也不能处理视频特有的跨帧时间冗余；而 Post-ViT 方法虽然在 ViT 和 LLM 之间进行剪枝，但它们完全不修改 ViT 编码器，导致 ViT 仍然需要处理每一帧的所有 token，成为长视频输入的主要计算瓶颈。此外，许多 Post-ViT 方法依赖复杂的合并算法或需要文本条件的 token 选择机制（如跨注意力），增加了额外的计算开销。因此，现有方法无法为可扩展的视频 VLM 提供一个统一的、全局的效率提升方案。
本文的目标是本文的目标是提出一种轻量级、统一的 Token 剪枝模块——Spatio-Temporal Token Scoring（STTS），能够在整个 VLM 管道（包括 ViT 和 LLM）中同时进行空间和时间维度的视觉 token 剪枝，从而显著提升训练和推理效率，同时保持模型的视频推理能力。具体目标包括：（1）设计一个无需文本条件选择或 token 合并的简洁剪枝模块；（2）通过学习空间显著性和时间冗余性的双轴评分机制，智能地保留对下游任务重要的 token；（3）实现端到端训练，使剪枝策略可以通过下游梯度自动优化；（4）在多个视频问答基准上验证方法的有效性，目标是在 50% 剪枝率下实现超过 60% 的效率提升，同时性能损失控制在 1% 以内。
与已有工作不同的是，本文的独特切入角度在于将 Token 剪枝统一到 ViT 和 LLM 的整个架构中，而不是像现有方法那样只关注其中一部分。具体来说，STTS 的核心创新在于三个方面的结合：首先，它在 ViT 内部（第 3 层之后）就开始剪枝，使得后续 ViT 层和 LLM 都能从减少的 token 数量中受益，实现了真正的端到端效率提升；其次，它采用双轴评分机制——通过下游梯度隐式学习空间显著性，通过辅助损失显式学习时间冗余性，这种设计使得评分器既能识别语义上重要的前景区域，又能识别跨帧重复的背景区域；第三，它引入了一个高效的 Packing 算法，将非均匀的稀疏 token 序列打包成紧凑的密集张量，使得实际的硬件加速成为可能。此外，STTS 还展示了与 Test-Time Scaling 的良好兼容性，通过在推理时采样更多帧来进一步提升长视频理解性能。这种统一、简洁且端到端可训练的设计，填补了现有方法在视频 VLM 全局效率优化方面的空白。
核心方法
STTS 的整体思路可以概括为：在 Vision Transformer 的中间层插入一个轻量级的评分模块，该模块同时考虑空间显著性和时间冗余性，为每个视觉 token 分配一个重要性分数，然后根据这些分数进行硬剪枝（移除底部 k% 的 token），并通过 Packing 算法将剩余的稀疏 token 打包成密集张量，从而在整个 VLM 架构中实现真实的计算加速。直觉上，视频中大量 token 是冗余的——静态背景在相邻帧中几乎不变，而动态前景才是视频理解的关键。STTS 的评分器通过两种互补的信号来学习这种区分：一是通过下游任务的梯度反馈（告诉它哪些 token 对视频问答有用），二是通过相邻帧之间的余弦相似度（告诉它哪些 token 是时间冗余的）。技术路线上，STTS 被插入到 ViT 的第 3 层之后（l=3），首先将特征通过一个自注意力池化层（Token Pooler）进行空间降采样，然后通过一个 3 层 MLP 输出每个池化 patch 的重要性分数。这些分数被注入到下一层 ViT 的注意力计算中作为偏置，使得梯度可以反向传播并指导评分器的学习。同时，分数也被用于硬剪枝，移除底部 k% 的 token，并通过 First-Fit Descending 算法将剩余 token 打包到更少的帧中。
STTS 的核心创新在于它的双轴评分机制和统一的架构级剪枝策略，这与已有方法有本质区别。首先，在空间维度上，STTS 不依赖人工设计的启发式规则（如 CLIP 注意力分数或余弦相似度），而是通过注入注意力偏置让下游任务的梯度直接指导评分器学习。这意味着评分器能够隐式地学习到哪些空间区域对视频推理任务最重要——例如，它会学会保留玩家角色和移动平台，同时剪掉静态的游戏背景。其次，在时间维度上，STTS 使用相邻帧之间的余弦相似度作为辅助信号，通过 MSE 损失显式地训练评分器识别时间冗余。这种设计使得 STTS 能够安全地丢弃高冗余的 token（如视频中的静态背景），同时保留语义关键的 token（如人脸表情的变化）。第三，与 Post-ViT 方法（如 PruneVid、VCM 等）不同，STTS 在 ViT 内部就开始剪枝，使得后续的 ViT 层和 LLM 都能从减少的 token 中受益。这种统一的剪枝策略带来了显著的效率增益，特别是在处理长视频时，由于注意力的二次复杂度，token 减少的收益会被放大。
方法步骤详情
STTS 的方法可以分为以下四个主要步骤：（1）特征提取与池化：输入视频帧首先通过 ViT 的第 0 到 l 层（默认 l=3）进行特征提取。然后，STTS 的 Token Pooler（一个自注意力层）将特征的空间维度从 N 降采样到 N/w²（默认 w=3，即从 81 个 token 降到 9 个）。为了提供时间上下文，对于第 t 帧，评分器的输入是当前帧和前一帧的池化特征的拼接。对于第一帧（t=0），使用零填充，且该帧不参与剪枝。（2）双轴评分：一个 3 层 MLP 接收池化后的特征，输出每个 w×w 区域的重要性分数 S。这些分数同时编码了空间显著性（通过下游梯度学习）和时间冗余性（通过辅助损失学习）。（3）偏置注入与硬剪枝：评分 S 的对数被注入到 ViT 第 l+1 层的注意力矩阵中。这使得梯度可以反向传播到评分器。随后，进行硬剪枝，移除底部 k% 的 token。（4）Token 打包：由于剪枝是视频感知的，不同帧可能保留不同数量的 token，导致稀疏的不规则张量。STTS 使用 First-Fit Descending 算法将这些稀疏序列打包到更少的密集帧中，同时生成对应的注意力掩码确保每个 token 只关注同一原始帧的其他 token。
技术新颖性
STTS 的技术新颖性体现在多个层面。首先，它是第一个在 ViT 和 LLM 中统一进行视觉 token 剪枝的方法，同时处理空间和时间冗余，而现有方法要么只在 ViT 内部（处理空间冗余），要么只在 ViT 之后（处理 LLM 输入）。其次，双轴评分机制的设计非常巧妙：空间评分通过注意力偏置注入实现端到端学习，时间评分通过余弦相似度辅助损失显式监督，两者协同工作使得评分器能够做出更智能的剪枝决策。第三，Packing 算法解决了非均匀剪枝带来的实际工程问题——它使用 First-Fit Descending 算法将稀疏序列打包成密集张量，使得理论上的 token 减少能够转化为真实的硬件加速。这种算法的时间复杂度为 O(T²)，但由于 T 远小于 N，实际开销可以忽略不计。第四，STTS 与 Test-Time Scaling 的兼容性也是一项新颖的贡献：由于剪枝在训练时进行，推理时可以通过增加帧数（从 64 帧增加到 128 帧）来利用释放的计算预算，从而在不增加计算成本的情况下获得更丰富的时序信息。最后，STTS 的设计非常轻量——它只需要一个自注意力层和一个 3 层 MLP，不引入复杂的跨注意力机制或文本条件模块，这使得它易于集成到现有的 VLM 架构中。
实验结果
本文在 13 个短/长视频问答基准上进行了全面的实验评估，得出以下核心发现：首先，在 30% 剪枝率下，STTS 不仅没有降低性能，反而在某些基准上超过了基线模型。例如，在 NextQA 上达到 84.1%（基线 83.9%），在 VideoMME 上达到 63.4%（基线 62.8%）。这表明 STTS 的评分器能够识别并移除对任务无用的噪声 token，从而提高注意力的信噪比。其次，在 50% 剪枝率下，STTS 仅导致平均 0.7% 的性能下降（62.3% vs 63.0%），同时实现了 62% 的训练和推理效率提升（1.62 倍加速）。第三，效率增益随着视频帧数的增加而显著放大：在 256 帧的设置下，50% 剪枝实现了 2.25 倍的训练加速和 2.22 倍的推理加速，这与 Transformer 注意力的二次复杂度一致。第四，与启发式方法（直接使用余弦相似度进行剪枝）相比，STTS 在长视频上表现出 0.5% 的优势，因为启发式方法在长视频的稀疏采样场景下缺乏足够的空间识别能力。第五，与随机剪枝相比，STTS 在所有剪枝率下都显著领先，在 50% 剪枝率下高出 0.9%（62.3% vs 61.4%），在 80% 剪枝率下高出 2.3%（59.8% vs 57.5%）。第六，Test-Time Scaling 进一步提升了长视频性能：30% 剪枝 + TTS 在长视频 QA 上达到 60.1%，超过基线 1.1%。第七，在图像基准上，50% 剪枝的 STTS 模型性能与基线相当（平均 77.3% vs 77.1%），甚至在多图像 QA 上有 1 点的提升。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| NextQA (短视频问答) | 准确率 (%) | 84.1 (30% 剪枝), 83.7 (50% 剪枝) | 83.9 | +0.2 (30%), -0.2 (50%) |
| Perception-Test (短视频问答) | 准确率 (%) | 79.0 (30% 剪枝), 77.7 (50% 剪枝) | 78.7 | +0.3 (30%), -1.0 (50%) |
| VideoMME (长视频问答) | 准确率 (%) | 63.4 (30% 剪枝), 62.4 (50% 剪枝) | 62.8 | +0.6 (30%), -0.4 (50%) |
| MLVU (长视频问答) | 准确率 (%) | 69.5 (30% 剪枝), 68.4 (50% 剪枝) | 70.3 | -0.8 (30%), -1.9 (50%) |
| LVBench (长视频问答) | 准确率 (%) | 42.6 (30% 剪枝), 40.5 (50% 剪枝) | 42.0 | +0.6 (30%), -1.5 (50%) |
| MVBench (短视频问答) | 准确率 (%) | 72.7 (30% 剪枝), 72.4 (50% 剪枝) | 72.6 | +0.1 (30%), -0.2 (50%) |
| 训练效率 (128 帧, 50% 剪枝) | 加速比 | 1.62x | 1x | +62% |
| 训练效率 (256 帧, 50% 剪枝) | 加速比 | 2.25x | 1x | +125% |
局限与改进
尽管 STTS 取得了显著的效率提升，但本文存在一些局限性。首先，训练数据的限制：由于计算资源有限，作者只在 Molmo2 的视频 QA 子集上进行了训练，模型只看到了 Molmo2 所用视频的约 1/3，这可能影响了模型的泛化能力。其次，剪枝率与性能的非单调关系值得关注：50% 剪枝（62.3% 平均）反而优于 40% 剪枝（62.1% 平均），作者将此归因于中间剪枝率下保留了一些边界 token——它们既不够时间冗余，又缺乏 LLM 的梯度支持，反而成为了噪声。这表明剪枝策略的优化仍有空间。第三，Packing 算法虽然有效，但其 O(T²) 的时间复杂度在帧数极多时可能成为瓶颈，尽管作者指出由于 T 远小于 N，实际开销可以忽略。第四，本文只在视频问答任务上进行了评估，未涵盖更广泛的视频理解任务（如视频字幕、视频检索等），方法的泛化性有待进一步验证。第五，STTS 依赖于特定的骨干网络架构（Molmo2），虽然作者声称它对架构没有特定约束，但未在其他 VLM 架构上进行验证。第六，辅助损失的设计（使用余弦相似度）虽然有效，但可能不是最优的时间冗余度量，特别是在长视频中稀疏采样导致帧间相似度很低的情况下。最后，本文未讨论剪枝对模型可解释性的影响——虽然作者展示了可视化结果，但未分析剪枝后模型的注意力模式和决策过程是否发生变化。
独立分析的弱点
STTS 存在几个值得深入分析的弱点。首先，辅助损失的局限性：当前使用相邻帧的余弦相似度作为时间冗余的伪标签，但在长视频的稀疏采样场景下，相邻帧可能相距很远，余弦相似度可能很低，导致辅助信号失效。改进方向可以考虑使用光流或其他运动估计方法来更准确地衡量时间冗余，或者设计自适应的辅助损失，根据帧间距离调整监督信号。其次，固定的剪枝率：STTS 对所有视频使用相同的剪枝率 k，但不同视频的冗余程度差异很大——静态场景（如讲座）可能需要 80% 的剪枝，而高动态场景（如体育比赛）可能只能承受 20%。改进方向可以是设计自适应剪枝率，根据视频内容动态调整。第三，ViT 层选择：本文固定使用 l=3，但实验表明 l=2 仅略逊于 l=3，且更深的层可能提供更丰富的特征。改进方向可以是学习最优的层选择，或在多层应用剪枝。第四，Packing 算法的工程优化：虽然 O(T²) 复杂度在理论上可以接受，但在实际部署中，更高效的 Packing 算法（如基于哈希的方法）可能带来更好的延迟。第五，与现有方法的组合：STTS 未与 Post-ViT 方法（如 token 合并）结合使用，两者可能存在互补性——STTS 在 ViT 中进行硬剪枝，Post-ViT 方法在 LLM 前进行软压缩。
未来方向
基于 STTS 的成果，未来研究可以从以下几个方向展开。首先，多任务泛化：将 STTS 应用于更广泛的视频理解任务，如视频字幕、视频检索、视频对话等，验证其在不同任务目标下的有效性。其次，自适应剪枝策略：设计基于视频内容动态调整剪枝率的机制，可能通过一个轻量级的路由器网络来预测最优剪枝率。第三，与其他效率技术的结合：将 STTS 与量化、蒸馏、稀疏注意力等其他效率技术结合，探索更大规模的效率提升。第四，长视频理解的进一步优化：由于 STTS 与 Test-Time Scaling 具有良好的兼容性，未来可以探索更激进的 TTS 策略，如在推理时采样数百帧，同时保持计算成本不变。第五，跨模态剪枝：当前 STTS 只处理视觉 token，未来可以探索同时剪枝文本 token（如长文本指令中的冗余部分）的方法。第六，更先进的评分器架构：当前使用简单的 3 层 MLP 作为评分器，未来可以探索使用更复杂的架构（如小型 Transformer）来提高评分精度。第七，硬件感知优化：针对特定硬件（如 GPU、TPU、边缘设备）优化 Packing 算法和剪枝策略，实现真正的硬件加速。
复现评估
本文的复现性较好。首先，开源代码：作者在论文中明确提供了 GitHub 仓库链接 https://github.com/allenai/STTS，这意味着研究者可以直接获取代码并进行复现。其次，训练数据：作者使用了 Molmo2 的数据混合物，这是公开可用的，但需要注意的是，本文只使用了其中的视频 QA 子集，且训练步数为 6,250 步（batch size 64），这意味着模型只看到了约 1/3 的训练视频。第三，算力要求：实验在配备 8 块 H100 GPU 的单节点上进行，这对于大多数研究团队来说可能是一个较高的门槛。第四，模型架构：STTS 基于 Molmo2 架构（SigLIP 2 So400M/14 384px ViT + Qwen3-4B LLM），这些组件都是公开可用的。第五，超参数：论文详细报告了所有关键超参数（学习率、剪枝层 l=3、池化宽度 w=3 等），便于复现。第六，评估基准：使用的 13 个视频问答基准都是公开可用的标准基准，评估方法清晰。总体而言，复现的主要挑战在于算力需求和训练数据的获取，但代码和超参数的公开使得复现成为可能。
论文图表
展示了 Test-Time Scaling（TTS）对长视频基准的影响。在推理时增加帧数（如 30% 剪枝 + TTS 使用 92 帧）可以在不增加计算成本的情况下提升性能。30% + TTS 在长视频 QA 上达到 60.1%，超过基线 1.1%。
这个表格展示了 STTS 与 Test-Time Scaling 的协同效应，证明了剪枝可以为更丰富的时序信息腾出计算预算。
详细展示了不同剪枝率下的训练吞吐量（batches/sec）和加速比。在 128 帧设置下，50% 剪枝实现了 1.62 倍加速（0.3130 vs 0.1932 batches/sec）。在 256 帧设置下，50% 剪枝实现了 2.25 倍加速（0.1233 vs 0.0549 batches/sec）。
这个表格提供了训练效率的详细量化数据，验证了 STTS 的实际加速效果。