← 返回 2026-05-22

Swift采样：基于泰勒级数选取时间惊喜的免训练视频关键帧方法 Swift Sampling: Selecting Temporal Surprises via Taylor Series

Dahye Kim, Bhuvan Sachdeva, Karan Uppal, Naman Gupta, Vineeth N. Balasubramanian, Deepti Ghadiyaram 📅 2026-05-21 👍 11 2026-07-13 08:36
关键帧采样 时间惊喜 泰勒级数 视频大模型 长视频理解
arXiv HuggingFace PDF

基于泰勒级数残差的免训练视频关键帧采样法，长视频VQA最高提升12.5%。

前置知识

泰勒级数展开

泰勒级数用函数在某点的各阶导数（零阶值、一阶速度、二阶加速度、三阶加加速度等）来近似函数在该点附近的取值并预测未来状态。本文用它预测视频帧特征的演化轨迹。

本文核心方法依赖泰勒展开预测帧特征并计算残差，不理解它就无法理解'时间惊喜'的计算原理。

预测编码

预测编码是神经科学理论，认为人脑不断预测未来的感官输入，仅对预测与实际输入之间的残差（预测误差）做精细处理，从而把计算资源集中用于意外事件。

本文灵感直接来自预测编码，把'预测误差大即信息量大'的原则迁移到视频帧选择，是整个方法的思想源头。

视频大语言模型(Video LLM)

视频大语言模型接收视频帧序列作输入并回答问题或生成描述，由视觉编码器和语言模型组成，处理长视频时受固定的帧预算限制。

本文方法直接复用VLM自带的视觉编码器浅层中间特征，这是它实现零额外模型、仅0.02×开销的关键所在。

均匀帧采样

均匀采样是视频VLM中最常用的降帧方法，从视频中按等间隔抽取固定数量的帧（如128帧抽32帧），简单但忽略时间结构，把冗余帧和关键帧同等对待。

均匀采样是本文要替代的主要基线，理解其不足才能理解Swift Sampling针对'时间冗余'做优化的价值。

研究动机

长视频理解中，绝大多数帧是冗余的，关键信息只集中在少数'时间惊喜'时刻（例如北极熊视频中突然从冰洞冒出的海豹）。然而当前主流视频大语言模型普遍采用均匀采样把视频压缩到固定帧预算（如128帧抽32帧），完全忽略时间结构，把冗余帧和关键帧同等对待。替代方案如光流法、基于成对帧相似度的Cosine Uniqueness等方法部分缓解了该问题，但存在两大缺陷：其一，它们需要一个独立的、往往是外部的视觉编码器来提取每帧表征，推理成本几乎翻倍（约1.6×–1.8× FLOPs）；其二，需要针对每个视频仔细调参来定义何为'显著变化'。高昂的计算开销抵消了效率收益，而对超参数的敏感性又会损害下游任务表现。

本文的目标是本文旨在提出一种免训练、查询无关（query-agnostic）的轻量级帧选择方法，能够在不引入任何辅助模型、不进行视频特定超参数调优的前提下，自动识别长视频中信息量最大的关键帧。具体目标是：在长视频问答任务上以接近零的额外开销（目标仅0.02×）稳定超越均匀采样和已有免训练基线，尤其在帧预算紧张（如K=4或K=2）和超长视频（≥30分钟）场景下取得显著提升；并能作为即插即用模块无缝集成到token压缩、视频描述等下游流水线中，提升其效果。

与已有工作不同的是，本文的独特切入角度是把人脑预测编码原理与泰勒级数这一经典数学工具结合：它把视频相邻帧的视觉潜特征视作潜空间中一条局部光滑的轨迹，用泰勒展开的高阶导数（速度、加速度、加加速度）外推预测下一帧应有的特征，再把实际特征与预测特征的ℓ₂距离（泰勒残差）作为每帧信息量的有原则度量。与以往需要外部编码器的方法根本不同，本文直接复用VLM自身视觉编码器第一层本来就必须计算的中间特征，从而把额外开销压到0.02×；并且采样率随视频复杂度自然变化，几乎无需调参。

核心方法

直觉上，长视频由大片高度可预测的片段和稀疏的'时间惊喜'组成。Swift Sampling据此把每帧的视觉潜特征看作潜空间中随时间演化的光滑轨迹上的一个点。既然轨迹局部光滑，就可以用泰勒级数——即当前帧的特征加上它的一阶速度、二阶加速度、三阶加加速度等——来外推预测下一帧应有的特征。若某帧的实际特征偏离预测轨迹很远（残差大），说明它带来了真实的新信息（时间惊喜），应被选为关键帧；若残差小则说明冗余。技术路线上，它复用VLM视觉编码器第0层的key投影特征做全局均值池化，对128个候选帧算出残差序列，再取局部极大值中残差最大的K帧送入模型。

核心创新是用泰勒残差 $r_t = \|f_t - \hat{f}_t^{(N)}\|_2$ 作为帧级信息量的有原则评分，其中预测特征 $\hat{f}_t^{(N)} = f_{t-1} + f_{t-1}^{(1)} + \frac{1}{2!}f_{t-1}^{(2)} + \cdots + \frac{1}{N!}f_{t-1}^{(N)}$ 由前N+1帧的高阶差分构造。与已有方法的本质区别有三：一是信息论动机，在高斯创新假设下自信息 $-\log p(f_t|f_{1:t-1}) \propto r_t^2$，残差直接对应'意外程度'；二是无需任何辅助模型，直接复用VLM自身编码器第一层；三是采用局部极大值而非全局Top-K选择，避免关键帧全挤在少数高运动突发段里、漏掉局部最重要时刻。

方法步骤详情

完整流程为：(1) 对输入视频均匀抽取128个候选帧；(2) 前向时捕获VLM视觉编码器第0层(ℓ=0)的key投影特征，对每帧14×14的token网格做全局均值池化，得到逐帧特征向量 $f_t \in \mathbb{R}^d$；(3) 用后向有限差分计算各阶导数，第n阶近似为 $f_{t-1}^{(n)} \approx \frac{1}{\Delta t^n}\sum_{k=0}^{n}(-1)^k\binom{n}{k}f_{t-1-k}$，默认取N=3；(4) 用前N+1帧构造预测器 $\hat{f}_t^{(N)}$，计算残差 $r_t=\|f_t-\hat{f}_t^{(N)}\|_2$；(5) 找残差序列的局部极大值点集合P，从中选残差最大的K个，若静态视频极大值不足则用非极大值中残差最大的帧补齐K-M个；(6) 把选中的K帧送入VLM完成下游问答。

技术新颖性

技术新颖性体现在四点：其一，首次把泰勒残差的幅度作为免训练、查询无关的长视频帧选择评分，区别于以往用泰勒项构造新表示(Taylor Video)或加速扩散生成(TaylorSeer、SCOPE)的用法；其二，零额外模型，通过复用本来就要算的编码器浅层特征，把开销压到0.02×、比Cosine Uniqueness便宜约30倍；其三，局部极大值层次化选择策略，使采样率随视频复杂度自适应；其四，极强的即插即用性，既可与查询感知方法AKS级联（128→96再精筛）省成本又涨点，也能直接替换token压缩方法UniComp的默认均匀采样。整体是一个轻量、超参少、架构无关的通用帧选择器。

每帧表示为潜特征轨迹上的一个点，对前序帧做泰勒展开预测下一帧，残差衡量轨迹偏离光滑延展的程度
Figure 2: 每帧表示为潜特征轨迹上的一个点，对前序帧做泰勒展开预测下一帧，残差衡量轨迹偏离光滑延展的程度

实验结果

Swift Sampling在Video-MME、LongVideoBench(LVB)、MLVU三个长视频问答基准上稳定超越均匀采样，尤其在长视频和紧帧预算下增益最大。以LLaVA-OneVision为骨干：LVB总体55.3→57.9(+2.6)，≥20分钟段47.5→54.3(+6.8)，≥10分钟段45.2→51.6(+6.4)；MLVU总体64.7→65.6，≥30分钟段50.0→54.2(+4.2)。在最强免训练基线MaxInfo之上，LVB≥20分钟再高+3.5点。帧预算实验(Table 8b)显示预算越紧优势越大：≥30分钟视频在K=4时+12.5点、K=2时+10.4点。开销仅1.02×，而对比方法普遍1.6×–1.8×。消融表明全局均值池化(S=1)、第0层key特征、N=3阶展开是最优配置。token压缩(Table 3)与视频描述(Table 4)两类下游应用也获增益，Video-MME推理类任务全面提升(空间推理+5.4、动作推理+3.9)。

Video-MME、LongVideoBench、MLVU上不同视频时长的VQA准确率主结果
Table 1: Video-MME、LongVideoBench、MLVU上不同视频时长的VQA准确率主结果
LLaVA-OneVision上与更多查询无关基线的对比
Table 2: LLaVA-OneVision上与更多查询无关基线的对比
Swift Sampling用于token压缩(UniComp)
Table 3: Swift Sampling用于token压缩(UniComp)
Swift Sampling用于TempCompass视频描述
Table 4: Swift Sampling用于TempCompass视频描述
Video-MME上的逐任务准确率
Table 5: Video-MME上的逐任务准确率
泰勒展开阶数N与帧预算K的影响分析
Table 8: 泰勒展开阶数N与帧预算K的影响分析
Video-MME北极熊视频上8/128帧预算的定性对比
Figure 3: Video-MME北极熊视频上8/128帧预算的定性对比
Video-MME绘画视频上8/128帧预算的定性对比
Figure 4: Video-MME绘画视频上8/128帧预算的定性对比
查看结构化数据
任务指标本文基线提升
LongVideoBench ≥20分钟 VQA 准确率(%) 54.3 均匀采样47.5 +6.8
MLVU ≥30分钟 VQA 准确率(%) 54.2 均匀采样50.0 +4.2
MLVU K=4帧预算≥30分钟 VQA 准确率(%) 58.3 均匀采样45.8 +12.5
推理开销 FLOPs相对均匀采样倍数 1.02×(额外仅0.02×) Cosine Uniqueness 1.60× 额外开销便宜约30倍
Video-MME总体 VQA 准确率(%) 59.0 均匀采样58.3 +0.7

局限与改进

作者承认Swift Sampling是查询无关的，偶尔会选出视觉惊喜但语义无关的帧（如镜头切换、片头片尾卡）。作者在Table 5观察到在需要全局时间连续性的任务上表现回落：时间感知−3.6%、计数−2.2%、属性感知−3.6%、OCR−1.4%，因为这类任务即便低惊喜区段也携带任务相关信息，更适合均匀覆盖；视频描述中属性变化类别反而−4.08。我额外注意到：方法依赖'轨迹局部光滑'假设，对快速镜头跳切、高度压缩码流可能不稳定；泰勒展开需要前N帧启动，序列起始帧无法评分；文中主要在两个特定骨干上验证，对Qwen2.5-VL、InternVL3等其他主流VLM架构的迁移性尚缺证据；与查询感知方法AKS组合虽省成本但部分场景绝对精度并未超过纯AKS。

独立分析的弱点

第一，查询无关导致语义相关性不足：Figure 3、4显示可能被镜头切换、片头片尾等视觉惊喜误导，改进方向是把泰勒信号与文本查询对齐，做任务敏感的残差加权。第二，局部光滑假设脆弱：对快速跳切、剧烈压缩或特效密集的视频，高阶导数会失真，可引入鲁棒差分或离群点抑制。第三，启动盲区：前N帧无法计算残差，长视频尚可但对短视频或极小预算不友好，可用循环预测或镜像补全。第四，评估局限：仅在LLaVA-OneVision和LLaVA-Video上验证，对其他主流VLM泛化性未充分展示。第五，组合策略收益不对称：与AKS级联虽省成本，但部分基准绝对精度仍低于纯AKS（如MLVU 68.6 vs组合69.4，组合反更高但Video-MME反而下降），说明惊喜信号与语义对齐仍需打磨。

未来方向

作者明确提出的方向：把泰勒信号改造为任务敏感(task-sensitive)，让选帧兼顾视觉惊喜与语义相关性，缓解镜头切换误选；并把框架扩展到音频和时空模态，实现更整体、上下文感知的视频理解。基于本成果可延伸的方向包括：把局部极大值选择替换为可学习的轻量门控，实现端到端微调但保留免外部模型特性；把泰勒残差用于视频分割、镜头边界检测、视频摘要等更多下游任务；探索更高阶或多尺度（局部+全局）残差以兼顾细节与整体；与token压缩、KV-cache稀疏化等方法深度联合，构建统一高效的视频处理流水线；研究残差阈值与下游任务复杂度之间的自适应关系。

复现评估

复现难度中等偏低。方法本身是免训练、纯前向计算，核心只是有限差分与ℓ₂范数，实现代码量小。关键设置作者交代清楚：骨干用LLaVA-OneVision和LLaVA-Video，均匀抽128候选帧选K=32，取视觉编码器第0层(ℓ=0)的key投影做全局均值池化(S=1)，泰勒阶N=3。三个基准(Video-MME、MLVU、LongVideoBench)均公开可得。算力需求主要来自VLM前向推理，无需训练，单卡即可跑通核心实验。潜在障碍：论文标注Preprint，文中未给出明确的代码仓库或特征提取hook的开源承诺，需自行实现从指定层抽取特征的hook；部分基线(MaxInfo、DySeg)的实现细节只给简短说明并指向附录。整体上数学清晰、超参少、依赖少，重复核心实验可行。

论文图表

Swift Sampling通过测量一帧相对其前文预测轨迹的偏离程度来高效识别视频中的时间惊喜
Figure 1: Swift Sampling通过测量一帧相对其前文预测轨迹的偏离程度来高效识别视频中的时间惊喜

上半部分用折线展示泰勒残差(Taylor Residual)随时间变化的曲线，红色峰值对应视频中的时间惊喜时刻；下半部分并排展示同一视频的输入帧，以及Uniform采样(橙)、Cosine Uniqueness(黄)、Swift Sampling(绿)三种方法的选帧结果，直观说明本文方法如何用极低开销选中关键信息帧。

这张图一图概括了方法的直觉与卖点——用泰勒残差定位'惊喜帧'，并与两种基线的选帧结果对比，是理解论文动机与核心思路的最佳入口。