智能体驱动的超长视频理解 Agentic Very Long Video Understanding
提出EGAgent框架，通过实体场景图实现跨天超长视频的多跳推理问答
前置知识
实体场景图（Entity Scene Graph）
实体场景图是一种结构化表示，将视频中的内容建模为图结构。图中的节点代表实体，包括人物（Person）、物体（Object）和地点（Location）三种类型。边则表示实体之间的关系，如"与...交谈"（talks-to）、"与...互动"（interacts-with）、"提及"（mentions）和"使用"（uses）。每条边都标注了时间区间 $(t_{start}, t_{end})$，记录该关系在何时成立。这种时序标注使得图能够捕捉实体关系随时间的演变，支持跨天、跨时段的查询和推理。
实体场景图是本文的核心创新，它解决了传统方法无法有效追踪实体长期关系和行为模式的问题，使智能体能够进行结构化的跨模态推理
智能体框架（Agentic Framework）
智能体框架是一种赋予LLM"工具调用"能力的系统设计。在这种框架中，规划智能体（Planning Agent）接收用户查询后，将其分解为多个子任务，然后为每个子任务选择合适的检索工具（视觉搜索、音频转录搜索或实体图搜索）来获取相关信息。分析工具（Analyzer Tool）对检索结果进行推理和证据提取，最终由VQA智能体综合所有证据生成答案。这种迭代式的工具调用模式使系统能够处理复杂的多跳推理问题。
智能体框架是将实体图、视觉和音频模态整合在一起的关键架构，使得系统能够自主分解复杂查询并跨模态检索信息
检索增强生成（RAG）
检索增强生成是一种通过从外部知识源检索相关信息来增强LLM生成能力的技术。传统RAG通常基于文本块进行检索，可能丢失实体间的关联信息。图基RAG（Graph-based RAG）则利用知识图谱来保留实体关系。在视频理解中，RAG可以从海量视频帧和转录文本中检索与查询相关的片段，避免将整个超长视频输入LLM导致的上下文窗口限制问题。
RAG是处理超长视频的基础技术，但传统RAG在实体追踪和多跳推理方面存在局限，本文的创新正是在此基础上引入实体图
第一人称视频（Egocentric Video）
第一人称视频是从佩戴者视角拍摄的连续视频流，通常由智能眼镜等可穿戴设备记录。与传统第三人称视频不同，第一人称视频具有连续性（不间断录制）、主观性（反映佩戴者的活动和视角）和长期性（可跨越数天甚至数周）。EgoLife数据集就是典型的第一人称视频数据，记录了6个人一周的日常生活，总时长超过50小时。
本文聚焦于第一人称超长视频理解，这种视频的独特特性（连续性、实体追踪需求）是提出实体图方案的根本动机
多跳推理（Multi-hop Reasoning）
多跳推理是指回答一个问题需要多个推理步骤，每个步骤依赖于前一步骤获取的信息。例如，回答"昨天和我一起坐出租车的人今天在哪里？"需要：1）找到昨天的出租车记录；2）识别同车的人；3）查找这些人在今天的位置。在EgoLifeQA基准中，RelationMap和TaskMaster类别特别需要这种多跳推理能力。
多跳推理是超长视频理解的核心挑战，本文通过实体图和智能体分解机制专门优化了这一能力
研究动机
现有方法在处理超长视频（跨越数天甚至数周）时面临严重局限。以EgoLife数据集为例，包含50小时的第一人称视频，涵盖6个人一周的连续生活记录。当前的大语言模型和VLM受限于上下文窗口大小，无法一次性处理如此大量的视觉信息。即使是Gemini 2.5 Pro这样的强大模型，在EgoLifeQA上的整体准确率仅为46.8%，在需要实体关系推理的RelationMap类别上更是只有41.6%。传统RAG方法虽然可以检索相关信息，但基于嵌入的检索难以保持实体身份的一致性，无法有效回答诸如"这周我喝了几次水？"或"在我去看狗之前，谁和我一起去了二楼找Tasha？"这类需要跨天追踪实体和关系的问题。
本文的目标是本文旨在构建一个能够理解和推理超长第一人称视频的系统，特别是能够处理需要多跳推理、跨模态信息融合和长期实体追踪的复杂查询。具体目标包括：1）设计一种结构化表示来编码视频中的实体及其时序关系；2）构建一个智能体框架，能够分解复杂查询并跨模态检索相关信息；3）在EgoLifeQA基准上超越现有方法，特别是在RelationMap和TaskMaster等需要实体理解的任务上取得显著提升。
与已有工作不同的是，本文的独特切入角度是引入实体场景图作为超长视频的核心表示。与现有方法直接处理原始视频帧或非结构化字幕不同，本文将视频内容抽象为结构化的实体-关系图，每个关系都带有精确的时间标注。这种表示有三个关键优势：1）支持SQL式的结构化查询，可以精确筛选时间、实体和关系；2）保留了实体间的关系信息，支持多跳推理；3）支持增量构建，新数据到来时可以持续更新图结构。此外，本文采用了"严格到宽松"的查询策略，先尝试精确匹配，在无结果时逐步放宽约束，平衡了精确率和召回率。
核心方法
EGAgent的整体思路可以分为两个阶段：离线构建和在线推理。在离线阶段，系统首先对视频进行1FPS采样，生成视觉描述和音频转录，然后通过LLM提取实体和关系，构建带时间标注的实体场景图。在在线阶段，给定用户查询，规划智能体将其分解为多个子任务，每个子任务被路由到合适的检索工具（视觉搜索、音频转录搜索或实体图搜索）。检索结果经过分析工具处理后存入工作记忆，最终由VQA智能体综合所有证据生成答案。这种分治策略将超长视频理解转化为多个可控的子问题，每个子问题只需要检索和处理相关信息片段。
EGAgent的核心创新是实体场景图的引入及其与智能体框架的深度整合。与现有图基RAG方法（如GraphVideoAgent、VideoMindPalace）不同，EGAgent的实体图有两个关键特性：1）时序标注的边——每条关系边都附带精确的时间区间 $(t_{start}, t_{end})$，使得图能够追踪关系的时序演变；2）增量构建能力——随着新数据的到来，图可以持续增长和细化。此外，实体图存储为SQLite数据库，支持高效的SQL查询，配合"严格到宽松"的查询策略，可以在保持高精度的同时最大化召回率。实验表明，这种结构化表示比非结构化字幕检索在RelationMap任务上提升了23.2%。
方法步骤详情
EGAgent的处理流程包含以下步骤：首先，视频以1FPS采样，每个采样帧通过视觉编码器（SigLIP 2）生成嵌入 $\phi_I(v_t) \in \mathbb{R}^d$，同时通过VLM生成30秒间隔的场景描述。音频转录通过ASR或手动标注获得。其次，LLM将场景描述和转录融合为跨模态文本，然后使用Langchain的LLMGraphTransformer提取实体和关系，得到 $(V_d, E_d) = F(d)$。关系类型限定为四种：talks-to、interacts-with、mentions、uses。每条边随后通过LLM进行时间标注，最终以元组 $(v_s, \tau(v_s), v_t, \tau(v_t), r, t_{start}, t_{end}, d^*)$ 存入SQLite数据库。在线推理时，规划智能体接收查询Q，生成最多5个子任务，每个子任务被路由到相应的检索工具。视觉工具计算查询嵌入与帧嵌入的余弦相似度，返回k近邻；音频工具使用LLM或BM25搜索转录；实体图工具构造SQL查询，按时间、实体、关系类型过滤。所有检索结果经分析工具处理后存入工作记忆M，最终由VQA智能体综合生成答案。
技术新颖性
本文的技术新颖性体现在三个层面。首先，在表示层面，实体场景图将视频内容从原始像素或非结构化文本提升为结构化的实体-关系图，这种表示天然支持多跳推理和时序查询。与VideoMindPalace依赖室内布局的层级图不同，EGAgent的实体图不依赖特定场景结构，更具通用性。其次，在检索层面，"严格到宽松"的SQL查询策略是一个实用的工程创新，它先尝试精确匹配（时间、实体、关系类型全部匹配），在无结果时逐步放宽约束，这种策略在真实世界的噪声数据上表现出色。最后，在系统层面，将实体图搜索与视觉、音频搜索统一在同一智能体框架中，实现了真正的跨模态推理。消融实验表明，三种工具的组合在所有任务类型上都优于任何单一工具或两两组合。
实验结果
EGAgent在两个基准上都取得了优异表现。在EgoLifeQA上，使用Gemini 2.5 Pro作为骨干的EGAgent达到了57.5%的整体准确率，比之前的SOTA（EgoButler）提升了20.6%。更显著的是在需要多跳推理的类别上：RelationMap准确率达到62.4%，比Gemini 2.5 Pro均匀采样提升了20.8%，比之前的SOTA提升了32%；TaskMaster准确率达到74.6%，分别提升了22.2%和39.7%。在Video-MME（Long）上，EGAgent（Gemini 2.5 Pro）达到74.1%的准确率，排名第二，仅低于直接处理原生视频的Gemini 2.5 Pro（82.0%），但EGAgent仅使用了1/5的帧数（50帧 vs 256帧）。使用Qwen2.5-VL-7B作为骨干时，EGAgent超越Video-RAG 4.5%，与AdaVideoRAG持平，但处理的帧数减少了10倍以上。消融实验显示，实体图工具的引入使RelationMap提升了23.2%，TaskMaster提升了31.8%，证明了结构化实体表示对多跳推理的关键作用。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| EgoLifeQA 整体 | MCQ Accuracy (%) | 57.5 (EGAgent Gemini 2.5 Pro) | 46.8 (Gemini 2.5 Pro 均匀采样) | +10.7% |
| EgoLifeQA RelationMap | MCQ Accuracy (%) | 62.4 (EGAgent Gemini 2.5 Pro) | 41.6 (Gemini 2.5 Pro 均匀采样) | +20.8% |
| EgoLifeQA TaskMaster | MCQ Accuracy (%) | 74.6 (EGAgent Gemini 2.5 Pro) | 52.4 (Gemini 2.5 Pro 均匀采样) | +22.2% |
| Video-MME (Long) | Accuracy (%) | 74.1 (EGAgent Gemini 2.5 Pro) | 82.0 (Gemini 2.5 Pro 原生视频) | 帧数减少5倍 |
局限与改进
论文承认了几个主要局限性。首先，实体场景图的质量严重依赖上游感知和语言模型的准确性，视觉字幕和ASR转录中的错误会被传播到图结构中。在随机抽样的100条关系中，作者发现94%的准确率，失败案例主要来自视觉字幕的细微错误或字幕-转录融合时的错误。其次，实验依赖于转录文本，对于EgoLife数据集使用了手动标注的说话人分离，在实际部署中使用现成的说话人分离模型时，下游性能可能会受到影响。此外，EGAgent处理每个问题需要2-3分钟的推理时间（取决于子任务数量），这对于实时应用来说可能过长。最后，oracle实验显示即使使用完美的视觉和音频搜索，准确率也仅能达到68.7%（Gemini 2.5 Pro），说明当前VLM在理解超长视频内容方面仍有提升空间。
独立分析的弱点
本文存在几个值得关注的弱点。首先，实体图的关系类型仅限于四种粗粒度类别（talks-to、interacts-with、mentions、uses），虽然这种设计提高了鲁棒性，但可能丢失细粒度的语义信息。例如，"讨论工作"和"讨论周末计划"都被归类为"talks-to"，无法区分对话的具体内容。改进方向可以是引入层次化的关系类型，在粗粒度类别下增加可选的细粒度标签。其次，视觉搜索工具依赖SigLIP 2嵌入，该模型在训练时未见过特定人名等命名实体，导致基于文本查询的帧检索可能不够精确。可以通过微操觉编码器或引入OCR能力来改进。第三，当前方法将每个子任务独立处理，子任务之间的信息共享仅通过工作记忆实现，缺乏更显式的推理链传递机制。可以考虑引入类似Chain-of-Thought的显式推理路径记录。最后，实体图的构建是一次性离线完成的，无法在推理过程中根据查询反馈动态更新图结构。
未来方向
论文提出和可延伸的未来方向包括：1）改进时间定位能力——oracle实验显示完美搜索可将准确率从57.5%提升至68.7%，说明提升检索工具的时间定位精度是关键方向，可以通过训练专门的时间定位模型或引入时序注意力机制来实现；2）实体图的动态更新——当前图是静态构建的，未来可以实现增量式在线更新，使系统能够适应新到来的视频数据；3）更高效的推理——当前每个问题需要2-3分钟，可以通过缓存常用查询、并行化子任务处理、或训练小型专用模型来降低延迟；4）跨数据集泛化——当前方法主要在EgoLife（第一人称）和Video-MME上验证，未来可以探索在更多样化的视频类型（如监控视频、教学视频）上的应用；5）隐私保护——长期的第一人称视频记录涉及严重隐私问题，需要开发隐私保护的实体图构建和查询机制。
复现评估
论文在复现性方面做得较好。作者在GitHub上开源了代码（https://github.com/facebookresearch/egagent），提供了详细的实现细节，包括所有智能体和工具使用的提示词（见附录E）。数据集方面，EgoLife和Video-MME都是公开可用的数据集。算力需求方面，使用GPT-4.1或Gemini 2.5 Pro作为骨干需要相应的API访问权限，而本地部署的Qwen2.5-VL-7B需要4×H200 GPU。实体图的构建使用Langchain的LLMGraphTransformer，整个流程约30分钟处理52小时的EgoLife视频。然而，完整的评估需要运行多个LLM后端，API成本可能较高。此外，论文报告所有准确率来自单次运行，因为多次运行在计算上不可行。
论文图表