MA-EgoQA：面向多个具身智能体的第一人称视频问答基准

首个评估多智能体长时序第一人称视频理解能力的问答基准及基线模型

前置知识

第一人称视频（Egocentric Video）

第一人称视频是指由佩戴在身体上的摄像头（如智能眼镜）捕获的视频，记录的是佩戴者视角所看到的世界。与固定机位的第三方视频不同，第一人称视频反映了具身智能体在真实环境中的感知体验，包含丰富的手-物交互、视线追踪和活动上下文信息。在具身AI研究中，第一人称视频是智能体感知世界的主要数据来源。

本文的核心任务就是处理来自多个具身智能体的第一人称视频流，理解这类视频的特点（长时序、连续捕获、视角随智能体移动）对于理解论文的技术挑战至关重要。

具身智能体（Embodied Agent）

具身智能体是指能够在物理世界中感知和行动的AI系统，例如机器人、自动驾驶车辆或佩戴智能设备的人类。它们通过传感器（摄像头、麦克风等）持续收集环境信息，并通过执行器与环境交互。在多智能体场景中，多个具身智能体在共享环境中协作完成任务，每个智能体独立产生自己的感知数据流。

论文研究的是多个具身智能体协作场景下的视频理解问题，理解具身智能体的运作方式是理解问题设定的基础。

多智能体系统（Multi-Agent System, MAS）

多智能体系统是指由多个自主智能体组成的系统，这些智能体可以在共享环境中协作、通信和协调行动以达成共同目标。MAS的核心优势在于通过并行分解和执行任务来提高效率，通过集体推理利用更广泛的上下文来获得更优解。然而MAS也面临独特挑战，包括设计可靠的通信协议、开发子任务生成和分配策略等。

本文研究的正是多智能体系统中的视频理解问题，现有MAS研究主要关注任务执行和协调策略，而对整合多智能体长期经验进行问答的能力研究不足。

Theory of Mind（心智理论）

心智理论是指理解他人心理状态（包括思想、信念、欲望和情绪）的认知能力。在AI领域，ToM评估模型是否能推断智能体的信念、意图和认知限制，例如判断某个智能体为什么做出某个行为，或者它对某个事件持有什么样的信念。这对于理解多智能体系统中智能体之间的认知差异至关重要。

ToM是本文提出的五个评估类别之一，也是实验中最具挑战性的类别，几乎所有模型在该类别上的表现最差，体现了当前模型在深层推理能力上的不足。

检索增强生成（Retrieval-Augmented Generation, RAG）

RAG是一种将信息检索与语言模型生成相结合的技术范式。其核心思想是：在生成回答之前，先从大规模知识库中检索与查询相关的信息片段，然后将这些检索到的信息作为上下文提供给语言模型，辅助其生成更准确的回答。RAG通过减少模型需要处理的无关信息、提供外部知识来提升回答质量，同时显著降低计算成本。

本文的基线方法EgoMAS本质上是一种针对多智能体视频场景设计的RAG系统，论文中也将多种现有RAG方法（BM25、DPR、VideoRAG等）作为基线进行对比。理解RAG的工作原理有助于理解EgoMAS的技术创新。

研究动机

随着具身AI模型能力的增强，人类未来将在工作场所或家庭中与多个具身AI智能体协作。然而，现有研究主要集中在目标导向的任务分配和执行上，对多智能体系统中的上下文理解和问答能力探索严重不足。具体来说，具身智能体在运行期间会持续捕获第一人称视频流，多个智能体产生的视频数据量极其庞大——在EgoLife数据集中，6个人佩戴智能眼镜在共享房屋中生活7天，产生了总计266小时的视频。当前最先进的视频LLM（如Gemini-2.5-Flash）通常只能处理几小时的视频，远不能满足多智能体问答的需求。此外，现有基准测试（如EgoSchema仅180秒、EgoThink不到1小时）都局限于单个智能体的短时视频，无法评估跨多个智能体的系统级理解能力。

本文的目标是本文的具体目标是：（1）正式定义多智能体第一人称视频问答这一新问题；（2）构建一个高质量基准测试MA-EgoQA，系统评估现有模型在多智能体场景下的表现；（3）提出一个简单有效的基线方法EgoMAS，为该领域的未来研究提供起点。论文希望回答一个核心问题：当前的LLM和视频LLM能否有效理解和推理来自多个具身智能体的长时序第一人称视频？如果不能，什么样的方法可以改善这一能力？

与已有工作不同的是，本文的独特切入角度体现在三个层面。第一，问题设定的创新：首次将多智能体协作与长时序第一人称视频问答相结合，要求系统同时理解6个智能体、7天、266小时的视频数据，这在现有工作中从未被研究过。第二，评估维度的设计：针对多智能体场景特有的挑战，设计了五个评估类别（社交互动、任务协调、心智理论、时间推理、环境交互），其中心智理论和任务协调等类别直接反映了多智能体系统的核心需求。第三，方法论的创新：提出基于事件的共享记忆机制（4W1H结构）和智能体级动态检索策略，通过将分散在各智能体的记忆整合为系统级理解，再按需检索特定智能体的细节信息，实现了高效且准确的多智能体视频问答。

核心方法

本文的方法可以分为两部分：基准测试构建和基线模型设计。基准测试方面，论文基于EgoLife数据集（6人×7天的第一人称视频），通过GPT驱动的流水线生成1,741个高质量多选题，涵盖五个多智能体特有类别。基线模型EgoMAS的核心直觉是：对于多智能体场景，既需要系统级的全局理解（将所有智能体的信息整合起来），又需要针对每个查询精确检索相关智能体的具体信息。技术路线是：首先构建事件级共享记忆，将各智能体的10分钟片段整合为结构化的4W1H（何时、何事、何地、何人、如何）记录；然后在接收到查询时，先从共享记忆中检索系统级上下文，再基于此生成智能体级子查询进行精细检索；最后综合所有检索结果生成回答。

EgoMAS的核心创新在于两个机制的结合：事件级共享记忆和智能体级动态检索。与现有方法的本质区别在于：（1）与直接将所有智能体的原始字幕拼接后输入LLM的方法不同，EgoMAS通过共享记忆实现了信息的主动整合和压缩，避免了长上下文中的信息稀释问题；（2）与逐个智能体检索的方法（如WorldMM）不同，EgoMAS先建立系统级理解再进行智能体级精细检索，实现了跨智能体的信息聚合；（3）与使用密集向量检索的方法不同，EgoMAS采用轻量级BM25关键词检索，在保持竞争力的同时大幅降低计算开销。实验表明，EgoMAS仅用4.6k token的输入上下文就能超越使用1M token的Gemini-2.5-Flash基线。

方法步骤详情

EgoMAS的工作流程包含以下步骤：（1）事件级共享记忆构建：每10分钟，每个具身智能体提供其观察的字幕摘要，中央管理器将这些个体字幕整合为系统级摘要，识别跨智能体的关键事件，并为每个事件显式记录4W1H字段（When、What、Where、Who、How），形成连贯的全局记忆。（2）系统级检索：给定查询q，使用BM25从共享记忆M_shared中检索top-n条系统级记忆：R_sys(q) = Top-n{(m, s(m,q)) | m ∈ M_shared}，其中s(m,q)表示记忆m与查询q之间的BM25分数。（3）智能体级查询生成：基于检索到的系统级上下文，生成一组智能体特定的检索请求Q_agent = {(a_j, q_j)}，每个请求包含智能体标识符a_j和子查询q_j。（4）智能体级检索：对每个(a_j, q_j)，从对应智能体的记忆M_a_j中检索top-k条记忆，并过滤掉BM25分数低于阈值τ的条目。（5）回答生成：综合系统级上下文和聚合的智能体级结果生成最终回答y = F(q, R_sys(q), R_tilde)。

技术新颖性

EgoMAS的技术新颖性体现在以下几个方面。首先，4W1H事件记忆结构是一种专门为多智能体视频场景设计的记忆表示方式，它将非结构化的视频字幕转化为结构化的事件记录，既保留了关键细节（谁、何时、何地做了什么、如何做），又实现了跨智能体的信息对齐。实验表明，这种结构比传统的摘要、三元组、图结构和文本块等替代方案表现最优（35.55% vs 最佳替代方案31.99%）。其次，两阶段检索策略（系统级→智能体级）是针对多智能体场景的独特设计，它先通过系统级检索获取全局上下文，再智能地决定需要深入检索哪些智能体的记忆，避免了对所有智能体进行无差别的穷举检索。第三，整个系统是训练无关的（training-free），不需要任何微调或训练数据，仅依靠现有LLM的推理能力和BM25检索就能实现有竞争力的性能，这使其具有很强的实用性和可迁移性。

**Fig. 2**: Examples from MA-EgoQA across five categories

**Fig. 4**: Benchmark construction pipeline

实验结果

实验结果揭示了几个重要发现。首先，MA-EgoQA对现有模型极具挑战性：即使是最强的商业模型Gemini-2.5-Flash，平均准确率也仅为36.93%，仅比随机猜测（20%）高出约17个百分点。许多基线模型（如gpt-oss系列、VideoXL-2）的性能仅略高于随机水平。其次，直接将所有智能体的字幕拼接输入LLM的策略效果有限，且计算成本高昂——使用1M token上下文的Gemini-2.5-Flash仅获得36.93%准确率，而使用128k上下文的开源模型表现更差。第三，RAG方法显著优于非检索方法，证明检索对于理解多智能体长视频至关重要。第四，EgoMAS在所有基线中表现最优，使用Gemini-2.5-Flash骨干的EgoMAS达到41.41%准确率，比同骨干的拼接基线高出4.48个百分点。更令人印象深刻的是，基于Qwen3VL-8B-Thinking的EgoMAS（40.26%）甚至超越了使用1M token上下文的Gemini-2.5-Flash基线（36.93%），展示了方法框架的有效性。第五，ToM类别是最具挑战性的，几乎所有模型在该类别上表现最差，即使是EgoMAS也仅达到33.62%。最后，所有模型与Oracle设置（83.80%）之间存在巨大差距，表明该领域仍有很大的改进空间。

**Table 1**: Comparison between MA-EgoQA and existing benchmarks

**Table 2**: Evaluation results of 16 baselines and EgoMAS on MA-EgoQA

**Table 3**: Performance comparison on sub-categories in SI, TC, and TR

**Table 4**: Ablation study on EgoMAS structure

**Table 5**: Ablation studies on sub-modules of EgoMAS

**Fig. 6**: Comparison of inference latency and accuracy

**Fig. 7**: Evaluation with single-agent memory and all agents memory

**Fig. 8**: MA-EgoQA performance with varying numbers of required agents

**Fig. 9**: Case Study: Comparative analysis across models on MA-EgoQA

查看结构化数据

任务	指标	本文	基线	提升
多智能体第一人称视频问答（MA-EgoQA平均）	准确率(%)	41.41 (EgoMAS + Gemini-2.5-Flash)	36.93 (Gemini-2.5-Flash拼接基线)	相对提升4.48个百分点
社交互动（SI）类别	准确率(%)	41.49 (EgoMAS + Gemini-2.5-Flash)	41.22 (Gemini-2.5-Flash拼接基线)	相对提升0.27个百分点
任务协调（TC）类别	准确率(%)	41.32 (EgoMAS + Gemini-2.5-Flash)	36.36 (Gemini-2.5-Flash拼接基线)	相对提升4.96个百分点
心智理论（ToM）类别	准确率(%)	33.62 (EgoMAS + Gemini-2.5-Flash)	24.26 (Gemini-2.5-Flash拼接基线)	相对提升9.36个百分点
环境交互（EI）类别	准确率(%)	48.19 (EgoMAS + Gemini-2.5-Flash)	33.98 (Gemini-2.5-Flash拼接基线)	相对提升14.21个百分点
推理延迟	每查询秒数	1.3秒 (EgoMAS)	远高于EgoMAS（非检索方法）	显著降低推理延迟

局限与改进

论文存在以下局限性。首先，所有模型与Oracle设置之间的巨大差距（41.41% vs 83.80%）表明当前方法远未充分利用可用信息，多智能体视频理解仍然是一个开放问题。其次，EgoMAS的性能严重依赖骨干模型的能力——从Qwen2.5VL-7B-Instruct（35.55%）到Gemini-2.5-Flash（41.41%）有显著提升，这意味着该方法本身的能力提升空间有限。第三，BM25检索虽然高效，但本质上是基于关键词匹配的，无法捕捉语义层面的相似性；实验中NV-Embed-v2（37.91%）虽然优于BM25（35.55%），但计算开销更大，论文选择了效率而非最优性能。第四，论文仅评估了多选题格式，没有探索开放式问答或生成式回答的能力。第五，EgoMAS的记忆构建依赖于GPT模型生成的字幕，字幕质量直接影响下游性能，但论文没有分析字幕质量的影响。最后，论文的分析表明随所需智能体数量增加性能持续下降（Fig. 8），但没有提出针对性的解决方案。

独立分析的弱点

论文存在几个可改进的弱点。（1）记忆粒度固定：EgoMAS使用固定的10分钟时间窗口构建记忆，这可能导致某些快速事件被遗漏或冗余信息被保留。改进方向是引入自适应时间窗口，根据事件密度动态调整记忆粒度。（2）检索策略单一：仅使用BM25进行关键词检索，无法处理语义相关但词汇不同的查询。可以结合密集向量检索（如NV-Embed-v2）构建混合检索策略，在效率和效果之间取得更好平衡。（3）缺乏迭代检索：EgoMAS只进行一轮检索，无法根据初步结果进行细化。引入类似链式推理的多轮检索机制可能提升复杂查询的处理能力。（4）共享记忆构建质量：4W1H结构虽然有效，但依赖LLM的抽取能力，可能存在信息遗漏或错误。可以引入验证机制或多视角聚合来提高记忆质量。（5）ToM能力不足：EgoMAS在ToM类别上表现最差（33.62%），说明当前方法缺乏对心理状态的推理能力。可以引入专门的心智理论推理模块。

未来方向

论文提出了几个有前景的未来研究方向。首先，作者强调需要开发更强大的跨智能体知识融合方法，因为性能随所需智能体数量增加而持续下降，当前的简单共享记忆机制不足以构建真正的系统级理解。其次，需要探索更高效的长视频处理架构，因为即使是EgoMAS的4.6k token输入也意味着大量信息被压缩丢失。第三，ToM能力的提升是一个重要方向，需要模型能够推断智能体的信念、意图和认知限制。基于论文的成果，还可以延伸以下方向：（1）将EgoMAS框架应用于实时多智能体监控场景，如安防监控或工业质检；（2）探索主动学习策略，让系统能够识别自身知识盲区并向特定智能体查询补充信息；（3）研究跨模态融合，结合音频、深度信息等多模态数据提升理解能力；（4）开发增量记忆更新机制，支持智能体数量和时间范围的动态扩展。

复现评估

论文在复现方面提供了较好的支持。代码和基准测试已在项目主页（https://ma-egoqa.github.io）公开发布。数据方面，MA-EgoQA基于公开的EgoLife数据集构建，该数据集包含6人7天的第一人称视频和对应的字幕/转录文本。算力要求方面，EgoMAS的一个重要优势是其训练无关性，不需要GPU训练，仅需调用LLM API进行推理即可。对于使用开源模型的设置，需要部署Qwen3VL-8B或Qwen2.5VL-7B等模型，这对GPU显存有一定要求。BM25检索部分计算开销极低，可在CPU上高效运行。复现难度中等：主要挑战在于EgoLife数据集的获取和预处理，以及GPT API调用的成本。论文详细描述了超参数设置（n=20, k=5, tau=10），并提供了各步骤的提示词模板（见附录），降低了复现门槛。

MA-EgoQA：面向多个具身智能体的第一人称视频问答基准 MA-EgoQA: Question Answering over Egocentric Videos from Multiple Embodied Agents