PEEK：通过高效知识蒸馏挑选关键帧

通过两阶段知识蒸馏，将字幕条件的帧相关性蒸馏到轻量级视觉模型，实现无需文本的高效视频关键帧选择

前置知识

知识蒸馏

知识蒸馏是一种模型压缩技术，通过将大型教师模型的知识迁移到小型学生模型中，使学生在保持性能的同时大幅减少参数量和计算开销。典型做法是让教师模型输出软标签或中间特征，学生模型通过模仿这些输出来学习，常用损失函数包括KL散度或特定任务的蒸馏损失。

本文的核心方法是知识蒸馏，将强文本条件教师模型的知识迁移到轻量级视觉模型，理解这一概念有助于把握论文的技术路线和创新点。

排序学习

排序学习是机器学习中的一个重要任务，目标是学习一个排序函数，能够对项目进行正确排序。根据损失函数可分为点式、成对和列表式三种：点式关注单个项目的预测误差，成对关注项目之间的相对顺序，列表式则直接优化整个排序列表的概率分布。常用损失包括MSE、hinge loss和ListMLE等。

帧选择本质上是一个排序问题，本文使用ListMLE列表式损失来优化帧的相关性排序，理解排序学习有助于理解为什么选择ListMLE而不是简单的回归损失。

视频字幕生成

视频字幕生成是指给定一个视频片段，自动生成描述其内容的自然语言句子的任务。这个任务要求模型理解视频中的视觉内容、动作、物体和场景，并将其转化为连贯的文本描述。常用的评估指标包括CIDEr（基于n-gram的共识度）、BLEU、METEOR和ROUGE等。

本文的应用背景是视频字幕生成，理解这个任务的目标和评估指标有助于理解为什么帧选择对性能至关重要，以及如何评估帧选择方法的有效性。

双编码器架构

双编码器是视觉-语言模型的一种经典架构，包含两个独立的编码器分别处理视觉和文本输入，然后通过对比学习或注意力机制将它们对齐到共同的嵌入空间。CLIP和SigLIP是这种架构的代表性模型，它们通过图像-文本对的大规模预训练学习跨模态的语义对齐，使得可以通过余弦相似度直接计算图像和文本的相关性。

本文的教师模型SigLIP 2和学生模型的视觉编码器MobileCLIP2都基于双编码器架构，理解这一架构有助于理解如何计算帧与字幕之间的相关性分数。

研究动机

现代视觉-语言模型在图像-语言任务上取得了显著进展，但视频理解仍然面临挑战，因为视频通常冗余且漫长，需要从帧序列中提取稀疏的相关线索。VLM通常只能处理有限数量的帧，这使得帧选择成为高效视频字幕生成的关键瓶颈。在实践中，即使是最先进的模型，默认策略仍然是均匀采样：将视频分成相等的时间段并从每段中保留一帧。均匀采样是确定性的、无模型的，并且经常产生良好的结果，在某些基准测试中甚至优于自适应策略。然而，它在根本上仍然是内容盲的：一个关键事件发生在瞬间的短视频片段和一个有用证据分布在整段时长的片段被同等对待。其他工作使用强文本条件检索器如CLIP或SigLIP来通过图像-文本相似度对每一帧进行打分并保留最相关的帧，但这种方案依赖于查询，在视频字幕生成的推理时间无法使用，因为目标字幕未知。

本文的目标是本文的具体目标是开发一种高效的动态帧采样方法，能够在推理时不需要任何文本信息的情况下，选择出对字幕生成最有信息量的帧。方法应该能够在低帧预算（如1-2帧）下显著提升字幕质量，同时保持计算效率，使其可以作为实际应用中的预处理步骤。

与已有工作不同的是，本文的独特切入角度是提出将字幕条件的帧相关性排名从强教师模型蒸馏到轻量级的时间模型中，该模型仅操作视觉内容。与之前的方法不同，PEEK使用文本条件的帧相关性仅作为离线监督信号，部署的选择器是查询自由的、字幕不可知的，并且独立于下游字幕模型。这种设计与需要访问字幕或与下游模型耦合的方法（如PickNet和LFS）有本质区别，也与直接优化视觉多样性的方法（如MaxInfo）不同，PEEK学习的是字幕导向的视觉相关性先验。

核心方法

PEEK采用两阶段知识蒸馏框架，直觉上是让一个强大的教师模型告诉学生模型哪些帧是重要的，然后学生模型学习从视觉特征中识别这些重要帧。技术路线上，第一阶段使用冻结的SigLIP 2作为Oracle教师，将每帧与真实字幕进行比较，计算余弦相似度作为相关性分数，生成每帧的相关性排名。第二阶段训练一个轻量级的Transformer模型，仅从MobileCLIP2视觉嵌入和时间位置信息预测这些排名，使用ListMLE列表式损失进行优化。推理时，将视频分成k个不重叠的时间子段，在每个子段中选择得分最高的帧，这样既保证了内容丰富性又保持了时间覆盖。

核心创新点是将字幕条件的帧相关性排名作为监督信号，但这个监督仅在训练时使用。教师的排名提供了有用的监督信号，指示哪些帧在视觉上显著或与字幕在语义上对齐，可能间接揭示了段内的时间性独特时刻。关键假设是这种字幕条件的部分相关性可以蒸馏到一个在推理时从来看不到文本的轻量级视觉模型中。这使得部署的选择器是查询自由的，不需要在推理时运行文本编码器，也不需要与下游字幕模型耦合。与依赖字幕器反馈或大型视觉-语言模型的帧选择器（如LFS）不同，PEEK的计算开销非常小；与直接优化视觉多样性的方法（如MaxInfo）不同，PEEK学习的是字幕导向的视觉相关性先验，而不是通用的视觉多样性。

方法步骤详情

方法分为三个主要步骤。第一步是Oracle教师评分：给定一个标注的时间段(v, [t_s, t_e], c)，其中v是源视频，[t_s, t_e]是时间窗口，c是关联的字幕，从这个窗口子采样候选帧，得到帧集合F = {f_1, ..., f_T}。使用冻结的SigLIP 2作为教师，每帧通过视觉编码器处理，字幕通过文本编码器处理，最终每帧被分配一个基于视觉嵌入和字幕文本嵌入余弦相似度的相关性分数s_t = / (||z_t|| ||u||)，其中z_t是教师视觉嵌入，u是字幕嵌入。然后将分数向量s = (s_1, ..., s_T)进行min-max归一化到[0, 1]范围，同时保持教师的内部排序，得到训练目标y = (y_1, ..., y_T)。第二步是字幕不可知的时间评分器训练：使用冻结的MobileCLIP2-S0获取每帧的512维视觉嵌入x_t，然后通过一个包含L=2层Transformer编码器的时间模型进行处理，模型有隐藏维度h=256，4个注意力头，前馈维度1024，丢弃率0.15。经过位置编码和层归一化后，输出每帧的相关性logit y_t_hat = w^T h_t^(L) + b。使用ListMLE列表式损失进行优化：L_ListMLE = -sum_{t=1}^{T} log(exp(y_{pi*(t)}_hat) / sum_{tau=t}^{T} exp(y_{pi*(tau)}_hat))，其中pi*是按教师目标降序排序的帧索引排列。第三步是推理时的帧选择：给定一个未见段的候选帧，同时计算所有帧的得分，选择预算为k帧。采用分层argmax规则，将段分成k个不重叠的时间子段，在每个子段内选择得分最高的帧：B_j = {(j-1)T/k + 1, ..., jT/k}, j = 1, ..., k，t_j* = argmax_{t in B_j} y_t_hat，最终选择的帧集为S_k = (t_1*, ..., t_k*)。选择的帧按时间顺序排序后传递给下游字幕模型。

技术新颖性

技术新颖性体现在多个方面。首先是监督信号的创新性使用：将字幕条件的帧相关性排名作为离线监督信号，推理时完全不依赖文本，这与需要查询的检索方法和与字幕模型耦合的方法有本质区别。其次是模型架构的轻量化设计：时间评分器仅有约1.7M可训练参数，总计13.1M参数（包括冻结的MobileCLIP2-S0编码器），相比需要大型视觉-语言骨干的LFS等方法，部署成本大幅降低。第三是损失函数的选择：使用ListMLE列表式损失而不是点式MSE或成对hinge损失，直接优化教师诱导的排序概率，更好地对齐训练信号与选择问题的本质。第四是推理策略的设计：分层argmax选择结合了学习到的内容相关性先验和时间覆盖先验，避免了仅在全局高分区域选择近似重复帧的问题。最后是方法的通用性和独立性：PEEK不绑定到任何下游字幕模型，可以作为独立模块使用，并且展示了良好的零样本迁移能力，在MSR-VTT上无需重新训练即可取得良好的性能。

实验结果

核心发现是在ActivityNet Captions和MSR-VTT两个数据集上，PEEK是所有评估方法中最强的查询自由选择器，在低帧预算下表现尤为突出。在ActivityNet Captions上，PEEK在16个模型/预算设置中获得了14个最佳CIDEr，特别是在k=1时，相比最强的查询自由基线，PEEK对SmolVLM2-2.2B的CIDEr提升为+1.74，对Qwen2.5-VL-3B为+2.34，对Qwen3.5-4B为+2.18，对Qwen2.5-VL-7B为+3.00。在k=2时，PEEK再次在所有四个VLM上都是最佳，CIDEr提升范围在+0.61到+1.75之间。在更大的预算下，PEEK的优势变小但仍然强劲：在k=4时，PEEK在四个CIDEr设置中的三个最佳，仅在Qwen2.5-VL-7B上输给MaxInfo；在k=8时，PEEK也在四个设置中的三个最佳，仅在Qwen3.5-4B上被Uniform超过0.11 CIDEr点。在MSR-VTT上的零样本评估显示PEEK在低帧预算下迁移得最好：在k=1时，PEEK是所有四个下游VLM和所有报告指标的最佳查询自由方法，在CIDEr上相比最强查询自由基线的提升为SmolVLM2-2.2B +2.68点、Qwen2.5-VL-3B +1.46点、Qwen3.5-4B +2.26点、Qwen2.5-VL-7B +1.25点。在k=2时，PEEK在四个VLM中的三个仍然是CIDEr最佳查询自由方法。在k=4和k=8时，比较更加混合：在k=4时，PEEK接近所有VLM的最佳查询自由方法但没有赢得CIDEr；在k=8时，PEEK在SmolVLM2-2.2B和Qwen2.5-VL-7B上最佳。效率方面，PEEK在ANC评估集上对所有17,505个段进行评分需要1小时44分钟的GPU时间，对应每段0.36秒，相比之下CSTA需要21小时58分钟（每段4.52秒），MaxInfo需要71小时4分钟（每段14.62秒），Oracle需要9小时52分钟（每段2.03秒）。当帧分数被复用于完整的k in {1,2,4,8}字幕生成流水线时，PEEK相比Uniform仅增加5.2%的总GPU时间，而CSTA增加65.4%，MaxInfo增加211.9%，Oracle增加29.4%。消融实验显示分层argmax选择在所有指标和预算上一致优于原始top-k选择，证实了仅靠学习到的相关性分数是不够的，时间覆盖仍然重要。比较ListMLE损失与MSE +成对排名损失时，ListMLE在k=1和k=2的所有指标上都有改进，在k=1时CIDEr增益最大，从29.46提升到30.64。

**Table 1**: Statistics of the splits used for training and evaluation

**Table 2**: ActivityNet Captions test captioning metrics with different downstream VLMs and frame budgets

**Table 3**: Zero-shot MSR-VTT test captioning metrics with different downstream VLMs and frame budgets

**Table 4**: Selection and end-to-end captioning time on the full ActivityNet Captions evaluation split with 17,505 segments

**Table 5**: MSR-VTT metrics with Qwen2.5-VL-3B when converting PEEK scores into selected frames using raw top-k or stratified argmax

**Table 6**: MSR-VTT metrics with Qwen2.5-VL-3B for PEEK trained with ListMLE or with an MSE + pairwise loss

**Figure 2**: Top frames selected on an ActivityNet Captions test segment in which a man plays the bagpipes

**Figure 3**: Per-frame relevance scores on three ActivityNet Captions test segments

查看结构化数据

任务	指标	本文	基线	提升
ActivityNet Captions视频字幕生成（k=1帧）	CIDEr	31.53	Uniform (29.79)	+1.74
ActivityNet Captions视频字幕生成（k=2帧）	CIDEr	32.98	Uniform (31.23)	+1.75
MSR-VTT零样本视频字幕生成（k=1帧）	CIDEr	44.83	Uniform (42.15)	+2.68
MSR-VTT零样本视频字幕生成（k=2帧）	CIDEr	46.28	Uniform (43.87)	+2.41
ActivityNet Captions选择效率	每段GPU时间（秒）	0.36	CSTA (4.52)	快12.6倍
ActivityNet Captions完整流水线开销	相比Uniform的时间增加	+5.2%	MaxInfo (+211.9%)	低40.7倍

局限与改进

局限性包括几个方面。首先，结果不应被解释为学习帧选择普遍优于均匀采样，Uniform仍然是一个强基线，特别是当几个帧可以传递给字幕器时，这在MSR-VTT的k=4时特别明显，Uniform经常获得最佳CIDEr。可能的原因是评估设置：ANC段和MSR-VTT剪辑相对较短，所以几个均匀分布的帧通常覆盖主要事件。随着帧预算增加，选择单个最相关帧的价值降低，而时间覆盖和多样性变得更加重要。其次，教师信号来自真实字幕，这使其作为Oracle监督有用，但也将学习的相关性概念与参考字幕对齐而不是视频中的所有视觉上有意义的事件联系起来。一个支持正确但非参考字幕的帧可能收到弱的教师分数，这种局限性也与基于参考的字幕度量有关，这些度量可能惩罚不同于参考的正确字幕，并且在添加更多视觉上下文时可能非单调地表现。第三，评估限制在短字幕生成，ANC段和MSR-VTT剪辑与相对紧凑的描述相关联，而长视频字幕可能需要保留多个事件、细粒度时间顺序和不被单个字幕条件相关性排名捕获的细节，在这种情况下，仅选择最字幕对齐的帧可能过度强调主导事件并丢弃次要但仍然重要的视觉线索。最后，尽管PEEK设计为查询自由的，但其他视频理解任务如视频问答或检索可能受益于任务或查询特定的帧选择，虽然PEEK可能仍然有用作轻量级第一阶段选择器或可迁移初始化，但评估这需要专门的实验。

独立分析的弱点

独立分析的弱点包括：首先，教师模型使用真实字幕作为监督，这意味着学习到的相关性偏好与参考字幕对齐的帧，这可能不反映所有视觉上有意义的事件，特别是那些会被正确但非参考字幕描述的事件。改进方向可以是使用多个人工标注或模型生成的字幕作为软监督，或者引入视觉显著性、动作强度等辅助信号。其次，方法在低帧预算下表现优异，但在高帧预算下优势减弱，这可能是因为学习到的相关性排名过于集中在少数高分区域，缺乏对不同重要程度事件的多样性建模。改进方向可以是在损失函数中引入多样性正则项，或者采用分层蒸馏策略学习不同粒度的相关性。第三，当前方法仅使用视觉特征和时间位置信息，没有利用音频、运动、光学流等多模态线索，这些信息对于帧选择可能是有用的。改进方向是探索多模态特征融合，或者引入运动强度、场景变化等辅助特征。第四，零样本迁移到MSR-VTT时在大帧预算下性能下降，说明学习到的相关性先验有一定领域特异性。改进方向可以是在训练时引入更多样化的数据增强，或者使用领域适应技术提高泛化能力。

未来方向

未来研究方向包括作者提出的和基于成果可延伸的几个方面。作者提出的方向包括将分析扩展到更长的视频、自适应帧预算以及人工或基于模型的事实性判断，这将给出关于学习帧选择何时更可取的更完整图像。将蒸馏框架扩展到更长的描述、自适应帧预算和查询条件监督是一个重要的未来方向。基于成果可延伸的方向包括：将PEEK扩展到其他视频理解任务如视频问答、视频检索和视频摘要，这些任务可能需要任务特定的帧选择策略；探索更复杂的蒸馏框架，例如多教师蒸馏、渐进式蒸馏或在线蒸馏，其中教师可以继续从新数据中学习；研究自适应帧预算选择，根据视频内容动态确定需要多少帧才能充分描述；将PEEK与视频压缩、传输和存储优化结合，在边缘设备或低带宽场景下的实际应用；探索将PEEK用于视频缩略图选择、预览帧生成或视频检索中的关键帧展示等应用场景；研究如何将PEEK与大语言模型结合，用于生成更详细和准确的长视频描述。

复现评估

复现评估方面，作者已公开发布代码和预训练检查点于https://github.com/momentslab/peek，这是复现性的重要保障。数据集方面，ActivityNet Captions和MSR-VTT都是公开的标准基准数据集，可以自由获取。计算资源方面，训练在ActivityNet Captions的37,421个训练段上进行，使用2 fps帧率，序列最多32帧，训练25个epoch，这在现代GPU上是可行的。实验在4xNVIDIA A10G GPU上测量时间，对于单个评估数据集（17,505个段），PEEK需要约1小时44分钟的GPU时间，这个计算成本对于学术研究是可接受的。模型实现细节包括隐藏大小256、2层Transformer、4个注意力头、前馈维度1024、丢弃率0.15、使用AdamW优化器、学习率2x10^-4、余弦退火调度、权重衰减0.03、批量大小1024、2个预热epoch、梯度裁剪在||g||_2 = 1.0等，这些超参数在论文中都有详细说明。数据增强包括轻度的temporal增强：随机帧丢弃在[0.05, 0.25]范围内和最小分数0.7的随机裁剪。总体而言，这篇论文的复现难度中等到低，主要依赖于公开数据和合理的计算资源，作者提供的代码和检查点将大大降低复现门槛。

PEEK：通过高效知识蒸馏挑选关键帧 PEEK: Picking Essential frames via Efficient Knowledge distillation