通过广义关键帧提取连接视频问答和视频指导的智能体任务

提出TASKER关键帧提取算法和VG-GUI-Bench基准

前置知识

VideoQA（视频问答）

视频问答是视频理解的核心子任务，评估模型响应语言查询对时间视觉内容进行推理的能力。模型需要识别时间上相关的时刻、理解视觉证据，并执行基于问题的推理以从视频中提取事实信息。传统方法依赖CNN视觉编码器和轻量级融合模块，现代方法则集成预训练视觉编码器与大型语言模型进行推理和生成。

本文将VideoQA定义为视频理解的低层次层次，所有实验都在VideoQA基准上进行，理解这个概念对于评估TASKER的性能至关重要。

关键帧提取（Keyframe Extraction）

关键帧提取是从视频中识别信息丰富帧的技术，对于理解长视频至关重要。现有方法包括学习的帧选择、基于注意力的片段提取、统一采样与图像网格建模、递归智能体引导选择等策略。目标是选择紧凑但信息丰富的帧集，保留重要的程序证据同时丢弃冗余内容，以提高推理效率和计算效率。

这是本文提出的TASKER算法的核心任务，作者发现模型在VideoQA和视频指导智能体任务上的性能都严重依赖于有效的关键帧提取，这是统一两种任务的桥梁。

图搜索算法（Graph Search Algorithms）

图搜索算法用于在图中查找从起点到终点的路径，包括Dijkstra算法、A*算法、贪婪最佳优先搜索（GBFS）和广度优先搜索（BFS）等。Dijkstra算法保证找到最短路径，A*算法结合启发式函数和实际代价，GBFS只考虑启发式函数，BFS逐层扩展所有节点。本文将这些算法的思想改编为关键帧搜索中的成本函数。

TASKER算法的核心创新是将经典的图搜索算法思想应用于关键帧提取，用不同的成本函数对应不同的搜索策略，理解这些算法对于理解TASKER的工作原理至关重要。

视频上下文学习（Video In-Context Learning）

视频上下文学习指模型从视频演示中学习程序性知识并将其转移到新任务的能力。这超越了简单的视觉事件识别，需要理解逐步程序、抽象关键操作，并将其转移到新环境。例如，模型观看教程后，将演示的程序转换为结构化图形用户界面环境中的逐步操作。

本文提出的VG-GUI-Bench基准专门评估这种能力，这是视频理解从感知向行动迈进的关键一步，也是本文的研究动机所在。

研究动机

现有的视频理解评估范式主要集中在对浅层感知线索的评估，如识别对象、属性和短期动作。这导致现有基准在回答一个更根本的问题方面提供有限见解：多模态大语言模型（MLLM）能否从视频中学习更深层次的知识或程序性技能，并将其泛化到需要长周期智能体能力的新任务。这种限制在现实学习场景中变得特别明显。视频教程广泛用于教授复杂程序，从软件操作到设备配置和日常生活技能。解决此类任务需要的不仅仅是识别视觉事件，还涉及理解逐步程序、抽象关键操作，并将其转移到新环境。作者在NExT-QA基准上的实验表明，使用帧选择策略的GPT-4o相比使用统一采样的GPT-4o，在相同帧数下准确率提高约15%，说明模型性能严重依赖于如何识别和关注视频中的任务相关时间内容。

本文的目标是本文的具体目标有两个：一是提出一个新的基准VG-GUI-Bench（Video-Guided GUI Benchmark），用于评估基于MLLM的GUI智能体是否能够遵循视频教程完成语义相关的任务；二是提出TASKER（Task-driven And Scene-aware Keyframe searchER），一个广义的关键帧提取方法，能够同时提升VideoQA和视频指导智能体任务的性能，在保持高准确率的同时提高帧效率。

与已有工作不同的是，本文的独特切入角度在于识别了VideoQA和视频指导智能体任务之间的共享瓶颈：模型性能都严重依赖于模型如何识别和关注视频中的任务相关时间内容。作者将视频理解分为两个渐进层次：低层次的VideoQA和高层次的视频指导智能体任务，并提出一个统一的关键帧提取框架来连接这两个层次。与VideoTree预处理所有帧的特征相比，TASKER在搜索过程中选择性地提取信息，实现问题感知的树构建，降低计算开销。

核心方法

TASKER方法整体思路是将关键帧提取问题形式化为广义图搜索问题，用MLLM评估成本函数和终止置信度。算法将视频划分为多个视频段，每个视频段代表一个节点。初始节点是整个视频，首先均匀分为M个段，这些视频段被放入开放列表中。根据定义的成本函数选择下一个要扩展的节点或视频段，扩展过程意味着进一步细分选定的视频段，本文对段执行二分拆分。算法定义了当前视频段的第一帧和最后一帧为可见帧，这些帧相互连接，即一个视频段的最后一帧是下一个视频段的第一帧。算法可以利用可见帧中的信息，而其他帧中的信息暂时无法访问。算法在每次扩展后应用帧验证步骤，首先检查新可见帧与现有可见帧的视觉冗余，然后由MLLM评估任务相关性，冗余或不相关的帧被丢弃，只产生冗余帧的段被添加到冻结集以避免重复探索。

核心创新点是将经典图搜索算法的成本函数思想应用于关键帧提取，提出了四种基于不同搜索策略的算法变体：TASKER-GBFS使用任务驱动成本函数，MLLM评估当前可见帧信息并识别回答问题缺失的视觉信息；TASKER-Dijkstra使用场景感知成本函数，MLLM评估可见帧以识别具有最显著场景变化的视频段；TASKER-A*结合任务驱动和场景感知，MLLM同时考虑两个因素；TASKER-BFS作为朴素变体，执行广度优先扩展。技术新颖性在于这是第一个将VideoQA和视频指导智能体任务统一到同一个关键帧提取框架中的方法。

方法步骤详情

TASKER算法步骤如下：输入包括视频v、问题q、MLLM F、置信度阈值C、最大迭代次数T、统一采样大小M、束大小B、冻结帧集Sfrozen。首先初始化N0为整个视频，均匀分割为M个段N1到NM，将所有节点放入开放列表L，初始化冻结帧集为空，迭代计数器t设为1。在每次迭代中，首先从L中提取可见帧Fv，使用可见帧预测答案，评估置信度c1和c2。如果两个置信度都大于等于阈值C，则终止搜索。否则，评估成本函数，选择并扩展节点，验证新帧。重复此过程直到满足终止条件或达到最大迭代次数。最后返回预测答案和关键帧。对于视频指导的GUI任务，评估管道类似，输入教程视频首先由帧选择模块处理，从视频提取相关关键帧，选定的帧与任务指令一起用于构造提示，输入MLLM预测下一个GUI操作。

技术新颖性

技术新颖性体现在几个方面：首先，这是第一个将VideoQA和视频指导智能体任务统一到同一个关键帧提取框架中的工作，通过定义不同的成本函数适应不同的任务需求。其次，提出了VG-GUI-Bench基准，这是第一个专门评估MLLM从视频教程中学习程序性知识并转移到长周期GUI决策能力的基准。第三，提出了基于MLLM评估成本函数和终止置信度的关键帧搜索算法，这是一个训练自由的零样本设置，但仍然优于基于训练的方法。第四，定义了标准化的GUI操作空间，包括六种操作类型：CLICK、SCROLL、TYPE、PRESS、ZOOM、FINISH，解决了以往工作不一致的操作命名问题。

**Fig. 2**: Overview of the VG-GUI-Bench benchmark

**Fig. 3**: Illustration of TASKER's cost function evaluation and node expansion steps

实验结果

在VideoQA基准上，TASKER显著优于所有基线方法。具体来说，TASKER（以GPT-4为基础LLM）在EgoSchema全量集上达到63.1%准确率，超过最佳基线2.0%；在NExT-QA上达到77.4%平均准确率，超过最佳基线1.8%。基于开源MLLM（Qwen3-VL-235B-A22B-Instruct）的结果也显示TASKER一致地优于VideoTree和VideoAgent。重要的是，TASKER在训练自由的零样本设置下运行，但仍然优于基于训练的方法如LVNet和Vamos。同时，TASKER只处理可见帧，例如达到报告的性能只需要约15%的总帧数。相比之下，LangRepo和LifelongMemory等方法处理所有帧而不进行选择。在相同准确率水平（66%）下，TASKER使用的帧数大约是VideoTree的1/4。在VG-GUI-Bench上，TASKER-A*达到最高的整体准确率40.96、PIR 0.618和CLICK分数53.68，超过了强大的VideoTree基线。TASKER-Dijkstra达到74.39的完成率，接近Oracle关键帧上限。消融实验显示TASKER-A*结合了启发式搜索函数和移动成本函数的优势，在EgoSchema子集上达到68.0%准确率，比朴素的TASKER-BFS（64.7%）提高3.3%。

**Table 1**: Comparison between TASKER and other methods

**Table 3**: TASKER and Baselines' Results on VG-GUI-Bench

**Table 4**: Ablation on basic search algorithms

**Table 5**: Ablation on termination condition

**Table 6**: Ablation on different base LLMs

**Fig. 4**: Demonstration of TASKER's high frame efficiency

**Fig. 5**: Visualization of tree-search and nodes expansion process of TASKER method

查看结构化数据

任务	指标	本文	基线	提升
EgoSchema Fullset (VideoQA)	Accuracy	63.1%	VideoTree 61.1%	+2.0%
NExT-QA Average (VideoQA)	Accuracy	77.4%	VideoTree 75.6%	+1.8%
EgoSchema Subset (VideoQA)	Frame Efficiency	1/4 frames at 66% accuracy	VideoTree	75% reduction
VG-GUI-Bench Overall	Accuracy	40.96%	VideoTree 40.79%	+0.17%
VG-GUI-Bench Completion	Rate	74.39%	Uniform Sampling 70.64%	+3.75%
VG-GUI-Bench PIR	Performance Improvement Rate	0.618	VideoTree 0.611	+0.007

局限与改进

作者承认的局限性包括：TASKER依赖于MLLM评估成本函数和置信度，这引入了额外的计算开销和潜在的不稳定性。不同的基线LLM可能导致不同的性能表现，推理模型如o3-mini和Deepseek-R1的表现略逊于GPT-4o，可能由于本文任务中视觉推理的相对简单性质。作者没有引入TASKER-DFS变体，因为其深度优先扩展关注单个初始段，在严格终止条件下容易陷入局部最优。从实验结果观察，在VG-GUI-Bench上，Oracle关键帧基线在TYPE和PRESS操作上完全失败，这表明即使提供完美的视觉参考，模型也可能过度依赖视觉模仿而无法完成需要抽象理解的操作。

独立分析的弱点

独立分析的弱点包括：首先，TASKER的帧验证步骤可能导致早期丢弃实际上包含关键信息的帧，特别是在场景转换不明显的视频中。其次，投票机制结合自评估和时间总结可能在某些情况下过于保守，导致搜索过程过早终止或过度迭代。第三，统一的初始分段数M和束大小B可能不适应不同长度和复杂度的视频，需要更自适应的参数选择策略。第四，在GUI任务中，模型对TYPE和PRESS操作的表现较差（Table 3中TYPE分数最高仅为25.81%，PRESS分数最高仅为6.50%），这表明模型难以理解需要抽象概念理解的操作。

未来方向

作者提出的未来研究方向包括：扩展TASKER到更多类型的视频指导任务，如机器人控制、游戏策略学习等。基于成果可延伸的方向包括：探索更复杂的目标导向关键帧提取，结合强化学习优化搜索策略；研究跨视频的知识迁移，使模型能够从多个相关视频中学习通用程序；改进置信度估计机制，引入更多元的评估方法如交叉验证、多模型集成等；扩展VG-GUI-Bench到更多平台和环境，如桌面GUI、网页交互等；研究多模态关键帧选择，结合音频、文本等多种信息源。

复现评估

作者声明代码和数据可在https://github.com/VG-GUI-TASKER/VG-GUI-TASKER获得，这表明项目是开源的。实验使用了多个MLLM，包括GPT-4、GPT-4o、o3-mini、Deepseek-R1、LLaMA-3.3-70B和Qwen3-VL-235B-A22B-Instruct，其中开源模型Qwen3-VL-235B-A22B-Instruct的主要结果与专有模型相当，这表明研究可以用开源模型复现。评估在三个基准上进行：EgoSchema、NExT-QA和提出的VG-GUI-Bench，这些基准都是公开的。复现难度中等，主要挑战在于访问专有MLLM API和运行大规模实验，但开源模型版本降低了这一门槛。

通过广义关键帧提取连接视频问答和视频指导的智能体任务 Bridging VideoQA and Video-Guided Agentic Tasks via Generalized Keyframe Extraction