SuperMemory-VQA：用于长期记忆的自中心视觉问答基准 SuperMemory-VQA: An Egocentric Visual Question-Answering Benchmark for Long-Horizon Memory
面向AI助手的长期记忆评估基准，52.9小时多模态数据，6种记忆任务类型
前置知识
情景记忆
情景记忆是人类记忆系统的一个核心组成部分，指的是对个人经历、特定事件和时空背景的记忆。它是自传式的，记录了'何时、何地、发生了什么'等细节。例如，你会记得上周三晚上在哪里吃饭、和谁在一起、吃了什么。在AI系统中，情景记忆意味着模型需要能够检索和推理特定时刻的多模态体验，而不仅仅是抽象知识。
本文的核心正是评估AI系统的情景记忆能力，因为日常生活中用户的记忆需求大多是对具体经历事件的回忆，而非通用知识的查询。
对话状态跟踪
对话状态跟踪（DST）是任务导向对话系统中的核心组件，它负责维护和更新对话中用户意图、槽位值和上下文信息的状态。例如，在订票系统中，DST会跟踪用户想去的城市、出发时间、预算等信息。它不仅仅记住当前轮次的信息，而是需要在多轮对话中累积、修正和验证信息。
本文的'对话记忆'任务本质上就是对长期、多模态对话的DST，用户可能会问'前几天A跟我说过什么关于X的事'，这需要跨越多个会话跟踪具体的事实陈述。
检索增强生成
检索增强生成是一种结合了检索和生成能力的AI架构。当面对一个查询时，系统首先从外部知识库中检索相关信息，然后将这些信息与原始查询一起输入到语言模型中进行答案生成。对于长期视频理解，RAG系统通常会预先建立视频帧、字幕、ASR文本等的索引，查询时检索相关片段作为上下文。
本文评估的两个框架Video-RAG和EgoButler都是基于RAG思想的，因为直接将52.9小时的视频输入到现有VLM中远远超出其上下文窗口限制。RAG是处理长期记忆的主要技术路线，但本文展示了其在多证据推理方面的局限性。
关系记忆
关系记忆是认知心理学中的一个概念，指的是表征和导航经验中独立元素之间关联的能力。不同于简单的项目记忆（记住单个项目），关系记忆涉及理解项目之间的关系、模式和结构。例如，不仅记得'A是一个苹果'，还能理解'A比B更红'或'A在B旁边'。
本文的'上下文检索'任务测试的就是关系记忆能力，需要用户将当前情况与之前收集的事实联系起来，推断出答案。这是实用记忆助手的必备能力。
前瞻性记忆
前瞻性记忆是指记住在将来某个时间执行某个意图或任务的能力。它不同于回顾性记忆（记住过去发生的事情），而是关于'记得去做某事'。例如，'记得下午3点开会'或'记得回家时买牛奶'。前瞻性记忆在日常生活中非常常见，也是最常发生记忆失误的领域之一。
本文的'意图回忆'任务直接对应前瞻性记忆，测试系统能否记住用户之前陈述的或暗示的未来意图。这是AI记忆助手最具实用价值的功能之一。
研究动机
现有自中心数据集存在三个关键问题。首先，它们主要关注动作识别或短期视频问答，例如EPIC-KITCHENS-100有100小时数据但上下文只有约8.5分钟，Ego4D有3670小时但上下文约23分钟，这些评估的是感知能力而非真实的人类记忆需求。其次，问答往往是模板化的、脱离实际场景的，例如'这个人正在做什么动作'，而用户真正需要的是'我把钥匙放在哪了'这类实用问题。最接近的EgoLife数据集虽然有一周长的记录，但其问题仍是通用的多选题，缺乏针对个人记忆需求的真实查询。在模型能力方面，即使拥有百万令牌上下文窗口的模型在长输入上性能也会下降，遭受'lost in the middle'效应，而检索增强生成虽然在扩展上下文方面有效，但在跨越巨大时间间隔的组合性、多跳推理方面经常失败。
本文的目标是本文的具体目标是创建一个真正面向实用AI记忆助手评估的基准数据集。这个数据集应该：1)包含跨越数天甚至数周的长期多模态记录；2)包含人们在实际生活中会问AI助手的自然、实用的记忆问题；3)测试系统在证据缺失时能否正确判断不可回答而非产生幻觉；4)覆盖多种认知记忆类型，包括对象位置记忆、对话记忆、视觉场景回忆、上下文检索、时间线重建和意图回忆；5)提供多模态证据（视频、音频、凝视、IMU、SLAM轨迹）以支持复杂推理。通过这样的数据集，推动开发更可靠、更真实的AI记忆系统。
与已有工作不同的是，本文的独特切入角度在于将认知心理学的记忆分类理论与实用的AI助手评估需求相结合。传统自中心视觉数据集主要评估感知能力（动作识别、物体检测），而本文明确评估认知记忆能力（情景记忆、语义记忆、前瞻性记忆等）。更重要的是，本文引入了'不可回答'选项和有序答案选择（正确、模糊、错误、不可回答），这是受阅读理解abstention设置启发的，专门测试模型的幻觉鲁棒性。另外，本文的用户调查显示问题确实是真实的记忆需求，而非研究者臆造的学术问题，这确保了基准的实用价值。
核心方法
整体思路是通过真实用户穿戴AI眼镜收集长期多模态日常活动数据，然后开发一个人工验证的标注流程生成高质量问答对，最后用现有最先进的视频理解和检索增强系统进行基准测试。技术路线分为三个主要阶段：数据收集阶段，10名参与者佩戴Meta Aria眼镜进行30-45分钟的活动记录，涵盖烹饪、清洁、游戏、对话等日常场景，同时采集同步的RGB视频、空间音频、眼动追踪、IMU和SLAM轨迹。标注阶段采用两阶段流程，第一阶段是密集视频字幕生成，使用LLM代理处理视频片段和WhisperX音频转录，提取视觉动作、物体和听觉事件的描述；第二阶段是智能问答生成和人工审查，将字幕和元数据合并到统一的'Super Ledger'中，QA规划器提出针对数据集维度和任务的有理由链的问答对，验证器检查事实正确性、因果性和自然性等标准。评估阶段测试Video-RAG和EgoButler两个框架与多个VLM的组合，使用Ans-F1（可答性检测）、QA-Acc（四项选择准确率）和QA-MRR（平均倒数排名）三个指标。
核心创新点有三方面。第一是有序答案选择设计，不同于传统的独立多选题，本文的答案选项有明确的顺序：正确>模糊>错误>不可回答。这种设计不仅能评估准确率，还能评估模型的校准能力，即区分'完全正确'、'部分相关'、'错误'和'无证据支持'的能力。第二是人类验证的标注流程，虽然使用了LLM生成初始问答对，但最终需要人工审查和优化，确保质量和真实性。这种human-in-the-loop方法既保证了可扩展性，又确保了数据质量。第三是六种认知记忆任务的系统化分类，基于认知心理学理论和用户自述的记忆策略，将实用的记忆需求结构化为可评估的任务类型，而非随意的问答对。这种分类使得基准不仅提供整体性能指标，还能诊断系统在不同记忆能力上的弱点。
方法步骤详情
方法步骤的完整描述如下。第一步是参与者招募和IRB审批，共招募10名参与者，要求他们佩戴Gen 1 Meta Aria眼镜完成30-45分钟的会话，在模拟家庭环境中进行校准、探索和松散脚本的室内外任务，使用分配的假名保护隐私。第二步是多模态数据收集，每个参与者贡献3到12小时的记录，包括多个会话，其中三名参与者的记录跨越多天（长达两周）。收集的数据包括自中心RGB视频（1408x1408，30fps）、双SLAM流（640x480，30fps）、眼动追踪（320x240，60fps）和7通道音频（48kHz）。第三步是数据匿名化处理，原始音频被扣留，提供WhisperX转录文本并手动删除敏感信息，人脸和车牌使用EgoBlur模糊化，与非参与者的直接互动被删除。第四步是密集视频字幕生成，将视频分割成2分钟的块，使用WhisperX提取音频，然后使用LLM（gemini-3-flash-preview）为每个块生成字幕，同时维护动态人员注册表以跟踪提及的人员。第五步是QA生成，QA规划器（gemini-3.1-pro-preview）基于字幕和元数据生成有理由链的问答对，目标是覆盖六种记忆任务类型。第六步是验证和增强，验证器查询检索器检查每个问答对的事实正确性、客观对齐、因果性和自然性，生成标准级别的理由和分数，增强器在需要时迭代优化问答对。第七步是人工审查，通过验证的问答对进入接受集，由人工进行最终审查和优化。第八步是基准测试，使用Video-RAG和EgoButler两个框架，结合多个开源和闭源VLM进行评估，计算Ans-F1、QA-Acc和QA-MRR三个指标。
技术新颖性
技术新颖性体现在四个方面。首先是评估维度的创新，从传统的感知能力评估转向认知记忆能力评估，明确测试情景记忆、对话记忆、前瞻性记忆等认知功能，这在自中心视觉领域是首次系统化尝试。其次是数据设计的创新，引入有序答案选择和'不可回答'选项，不仅评估能否答对，还评估能否正确判断无证据情况，这对于实际AI助手的安全性至关重要，因为错误但自信的回答比'不知道'更危险。第三是多模态集成的新颖性，虽然之前的数据集也包含多模态数据，但本文明确测试跨模态推理，例如将口头计划与后来的视觉证据关联，或同时使用音频（蒸汽声）和视觉确认定位事件。第四是长期时间跨度的突破，问题跨越数天甚至数周的证据，测试系统在巨大时间间隔下的推理能力，这超过了当前大多数VLM的实际上下文窗口，也超过了大多数RAG系统的有效检索范围。
实验结果
核心发现是现有系统在真实的长期记忆任务上仍然远未达到可靠水平。即使是最强的配置（Gemini-3-Flash + Video-RAG）也仅达到61.0%的QA-Acc，尽管Ans-F1达到83.9%，QA-MRR达到76.0%。这个差距表明检测问题是否可答只是第一个挑战，模型还必须检索精确的多模态证据、正确解释、区分正确答案和看似合理的干扰项、只在证据充足时回答。整体上，Video-RAG在大多数指标上优于EgoButler，平均将Ans-F1从51.5%提升到70.5%，QA-Acc从41.4%提升到46.6%，QA-MRR从62.8%提升到66.4%。闭源模型普遍优于开源模型，在Video-RAG下平均Ans-F1为76.8% vs 66.4%，QA-Acc为53.6% vs 41.9%，QA-MRR为70.9% vs 63.4%。但性能并不单调地随模型规模增长，例如Gemini-3-Flash在所有Video-RAG指标上都优于Gemini-3.1-Pro，Qwen-3-VL 30B在Video-RAG Ans-F1上（56.6%）远低于8B版本（75.0%）。主要的失败模式是过度保守，多个开源模型在超过70%的可答问题上错误地 abstain，即使是最好的Gemini-3-Flash也只在42.9%的可答案例上正确回答，在39.9%上错误地abstain。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 可答性检测 | Ans-F1 | 83.9% | 51.5% | +32.4个百分点 |
| 四项选择准确率 | QA-Acc | 61.0% | 41.4% | +19.6个百分点 |
| 平均倒数排名 | QA-MRR | 76.0% | 62.8% | +13.2个百分点 |
| 盲测基准（仅文本） | 准确率 | 23.8% | 25%（随机） | 略低于随机 |
局限与改进
作者承认的局限性包括：参与者数量相对较少（10人），这可能限制了数据的多样性；任务类型虽然覆盖六种记忆，但可能仍有其他重要的记忆需求未包含；主要在模拟家庭环境中收集，缺乏真实社交和户外复杂场景；标注流程虽然有人工验证，但仍可能存在偏差或不一致。自己观察到的局限性包括：数据集仅包含英语，跨语言记忆需求未评估；所有问题都是多选题形式，开放问答未测试；评估的模型主要是VLM，专门为长期记忆设计的架构未充分测试；没有评估实时性，所有问题都是离线批处理；没有评估隐私保护，虽然数据已匿名化，但实际部署中的隐私问题未探讨；没有评估记忆持久性，即系统如何随着时间推移维护和更新记忆。
独立分析的弱点
独立分析的弱点包括：1) 小物体追踪失败，当关键证据是小物体或短暂出现的对象时，系统难以捕捉，改进方向是自适应高分辨率检查和对象持久性机制；2) 对话事实混淆，模型将邻近但不同的陈述合并成模糊摘要，改进方向是保持对话的精确属性和修正标记；3) 细粒度视觉证据脆弱，小文字、小区域的信息难以捕捉，改进方向是增强OCR能力和基于用户意图的触发式索引而非仅基于帧显著性；4) 时间顺序和状态变化追踪失败，视觉相似的帧导致顺序混淆，改进方向是显式表示时间谓词（before、after、moved-to、cleaned、stored）；5) 数量精度问题，重复相似动作导致计数错误，改进方向是显式的计数保持表示和重复观察的不确定性机制；6) 错误前提无法正确拒绝，当问题包含错误前提时系统仍基于相关对象产生幻觉答案，改进方向是验证问题的完整命题而不仅仅是检索命名对象。
未来方向
作者提出的未来方向包括：开发更可靠的长期记忆架构，能够更好地整合检索和推理；改进答案性和证据质量校准，减少过度abstain和幻觉；设计更结构化的记忆表示，用于对象状态、计数、时间关系和前提验证。基于成果可延伸的方向包括：扩展到更复杂的社交和户外场景；测试更多语言和跨文化记忆需求；开发实时记忆更新机制；评估记忆持久性和遗忘策略；探索更高效的标注流程，减少人工成本；开发专门针对长期记忆的模型架构，而非简单的RAG+VLM组合；研究记忆压缩和摘要的权衡，如何在压缩的同时保留精确细节；研究用户信任和控制，如何让用户理解系统的记忆和推理过程。
复现评估
复现评估方面，论文提到代码和数据将开源，项目页面在GitHub，这是复现性的积极因素。数据集包含52.9小时的多模态数据和4853个问答对，规模适中。硬件要求方面，开源模型在4×A100 GPU上实现，闭源模型通过官方API访问，这意味着复现完整实验需要相当的计算资源。标注流程虽然复杂，但论文提供了详细的协议和代理设计，应该可以复现。主要挑战在于闭源模型（Gemini、GPT）的API访问可能需要付费，且模型版本可能会更新导致结果不可复现。总体来说，复现难度中等偏高，主要障碍是计算资源和闭源模型访问，但数据集的详细文档和代码开源应该大大降低复现门槛。
论文图表
这张图用四个维度展示了SuperMemory-VQA如何推进现有技术：1) 全面的记忆任务：包括六个用户评估的常见记忆任务；2) 长期上下文：跨越数天和数周收集的数据；3) 多证据推理：需要检索和推理记录的多个部分；4) 现实问答：使用自然的、基于上下文的措辞而非僵化的模板化问答。每个维度都有具体的例子说明，例如'Order the rooms I visited chronologically'展示时间线重建，'Did I turn off all the lights upstairs?'展示上下文检索。
这张图对理解论文至关重要，因为它简洁地总结了整个数据集的核心贡献和特点，读者可以从这张图快速把握SuperMemory-VQA与现有数据集的区别和创新点。四个维度的划分也为后续的详细描述提供了框架。
左侧例子来自EgoLife，问题是'我通常用什么控制电脑'，答案是'触摸板'，支持证据是直接观察到用户在特定时间使用了触摸板。右侧例子来自SuperMemory-VQA，问题是'我做饭时有没有跳过计划的某个步骤'，回答需要链接一个会话中的口头计划和后来的视觉证据，显示用户打开Instant Pot并食用食物时没有进行计划的煎炒步骤。插图包含问题时间戳、证据帧、答案选项和正确答案。
这张对比图清楚地展示了SuperMemory-VQA与现有基准的本质区别：现有基准测试直接观察，而SuperMemory-VQA测试跨时间、多模态证据的推理。这对于理解为什么现有系统在这个基准上表现不佳至关重要——它要求的推理能力远超简单的视觉问答。