面向多模态终身理解的数据集与智能体基线方法 Towards Multimodal Lifelong Understanding: A Dataset and Agentic Baseline
提出MM-Lifelong数据集和ReMA智能体，解决跨天月级多模态视频理解的工作记忆瓶颈
前置知识
多模态大语言模型（MLLM）
多模态大语言模型是能够同时处理文本、图像、视频等多种模态信息的大型预训练模型。典型代表包括GPT-5、Qwen3-VL等，它们通过大规模预训练学会了跨模态对齐和推理能力。这些模型通常具有很长的上下文窗口（可达数百万token），可以一次性处理大量视频帧。在本文中，MLLM被用作视频理解和问答的核心引擎，以及智能体系统的'大脑'。
本文的核心发现之一是端到端MLLM在处理超长视频时会出现'工作记忆瓶颈'，理解MLLM的工作原理和局限性是理解本文问题定义和解决方案的关键。
KV缓存与上下文饱和
KV缓存（Key-Value Cache）是Transformer模型在推理时存储注意力机制中间结果的技术。随着输入序列长度增加，KV缓存会线性增长，消耗大量显存。上下文饱和指当输入信息超过模型有效处理能力时，新增的token不仅不能带来信息增益，反而会引入噪声，导致性能下降。这是长上下文模型面临的核心技术挑战之一。
本文发现的'工作记忆瓶颈'本质上就是上下文饱和问题在超长视频场景下的体现，理解这一机制有助于理解为什么端到端MLLM在终身理解任务上表现不佳。
观测时长（Tdur）与物理时间跨度（Tspan）
这是本文定义的两个关键时间度量指标。观测时长Tdur是所有观测视频片段播放时长的总和，代表模型实际处理的信息量。物理时间跨度Tspan是数据集覆盖的绝对时间跨度，从第一个片段开始到最后一个片段结束的物理时间。在传统数据集中Tspan≈Tdur，而在终身理解场景中Tspan≫Tdur，存在大量未观测的时间间隙。
这两个指标是区分'长视频理解'和'终身理解'的核心定义，理解它们的区别是理解本文问题定义和评估框架的基础。
智能体系统与记忆管理
智能体（Agent）系统是指具有自主决策、工具调用和迭代推理能力的AI系统。与端到端模型不同，智能体可以主动选择何时查看视频、搜索记忆、生成答案。记忆管理是智能体的核心组件，负责维护一个结构化的记忆库，存储和更新从视频流中提取的信息。有效的记忆管理需要解决记忆爆炸、信息冗余、跨时间关联等挑战。
本文提出的ReMA方法本质上是一个具有动态记忆管理能力的智能体系统，理解智能体架构和记忆管理机制是理解本文方法创新的关键。
线索定位（Clue Grounding）
线索定位是一种评估方法，要求模型不仅要给出正确答案，还要指出答案依据的视频片段位置。与传统的只看答案正确性的评估不同，线索定位能检验模型是否真正基于视觉证据进行推理，还是依赖于语言先验或随机猜测。本文引入了Ref@N指标来量化评估线索定位的准确性。
本文发现端到端MLLM虽然答案准确率尚可，但线索定位得分极低，这揭示了它们依赖语义先验而非真正视觉理解的问题。
研究动机
当前多模态理解领域存在一个根本性的评估缺陷：所有现有数据集都集中在短时间尺度上，无法模拟真实世界的终身理解需求。具体来说，现有数据集分为两类问题。第一类是短/长上下文数据集（如Video-MME、LongVideoBench），它们虽然视频时长可达数小时，但本质上是将多个短片段密集拼接，物理时间跨度Tspan几乎等于观测时长Tdur，缺乏真实生活中的时间稀疏性。第二类是纵向数据集（如EgoLife、TeleEgo），虽然覆盖多天时间，但仅限于单房间场景，且缺乏严格的线索定位标注。更严重的是，当将现有最强的端到端MLLM（如GPT-5、Qwen3-VL-235B）应用于超长视频时，它们表现出'工作记忆瓶颈'：随着输入帧数增加，性能先提升后急剧下降，在100+小时的流数据上几乎完全失效。
本文的目标是本文的目标是建立一个严格的'多模态终身理解'任务定义和评估框架，具体包括三个层面。首先是形式化定义终身视野（Lifelong Horizon），明确区分观测时长Tdur和物理时间跨度Tspan，并提出三个物理约束条件：日活跃时长Tdur≥12小时、跨日跨度Tspan≥24小时、以及以特定认知主体为中心的状态演化。其次是构建一个多尺度代理数据集MM-Lifelong，包含181.1小时视频，覆盖Day（游戏叙事）、Week（第一人称生活）、Month（直播流）三个时间尺度。最后是提出一个有效的智能体基线方法ReMA，通过动态记忆管理来突破端到端模型的工作记忆瓶颈。
与已有工作不同的是，本文的独特切入角度在于抓住了终身理解与长视频理解之间的本质区别：时间稀疏性和未观测间隙。现有工作要么增加视频长度但保持密集采样，要么收集纵向数据但缺乏严格评估。本文首次明确指出Tspan≫Tdur这一不等式是终身理解的核心特征，这意味着模型必须跨越数天甚至数月的未观测间隙来推理事件关联，而不仅仅是回忆相邻帧。此外，本文发现现有智能体方法（如VideoMind、LongVT）虽然设计了工具调用机制，但它们的'边看边想'范式在面对月级时间跨度时会遭遇'全局定位崩溃'，因为它们缺乏有效的长期记忆管理机制。这一发现揭示了从被动上下文扩展到主动记忆管理的范式转变的必要性。
核心方法
ReMA（递归多模态智能体）的核心思想是将终身视频流视为一个可以主动探索的知识库，而不是被动输入给模型的静态数据。这个类比很像人类的记忆方式：我们不会把一天24小时的所有感官输入都记住，而是会提取关键信息、建立时间索引、在需要时检索相关记忆。ReMA采用两阶段架构实现这一思想：第一阶段是感知循环（Perception Loop），将长视频分割成固定时长的片段（默认5分钟），对每个片段进行被动感知和摘要提取，逐步构建一个全局记忆库；第二阶段是控制循环（Control Loop），LLM控制器根据用户查询和累积的记忆进行迭代推理，可以选择三种操作：回答问题、搜索记忆、或精确检查特定时间范围的视频细节。这种架构让底层MLLM专注于深度推理和跨模态对齐，而将记忆管理交给专门的机制处理。
ReMA最核心的创新在于'动态记忆管理'策略，这与已有方法有本质区别。端到端MLLM试图一次性处理所有视频帧，导致上下文饱和；而VideoMind等智能体方法虽然有工具调用，但缺乏持久化记忆，每次查询都需要重新扫描视频。ReMA的记忆管理包含三个关键机制：第一，被动感知阶段的增量更新，新观察会与已有记忆中时间重叠的条目进行合并摘要，防止记忆爆炸；第二，控制循环中的记忆检索，通过向量相似度搜索和LLM重排序找到最相关的记忆条目；第三，递归精化，智能体可以多次调用视觉检查工具来验证假设，将新的观察结果反馈回记忆库。这种设计使得记忆库保持紧凑（避免信息过载），同时保留高熵更新（关键信息不丢失）。本质上，ReMA将线性处理的上下文饱和问题转化为迭代精化的信息管理问题。
方法步骤详情
ReMA的完整工作流程如下。第一步，视频分割：输入视频V被分割成时间片段C = {(t_k^s, t_k^e)}，每个片段长度为Δt（默认5分钟）。第二步，被动感知：对每个片段调用MMInspect工具，该工具从视频中采样帧、调用视觉语言模型生成描述、并进行时间对齐。第三步，记忆更新：调用MemManage工具，将新观察与记忆库中时间重叠的条目进行合并，生成统一摘要，替换冗余节点。第四步，查询理解：LLM控制器接收用户查询Q和当前记忆库B，进行初始推理。第五步，迭代控制：控制器在每一步选择一个操作——Answer（直接输出答案）、MMInspect（精确检查某个时间范围的视频）或MemSearch（搜索和聚合记忆）。第六步，记忆精化：每次工具调用的结果通过MemManage整合回记忆库，逐步精化信念状态。第七步，递归终止：当控制器认为信息充分时调用Answer结束，或达到最大轮数限制（默认N轮）。算法的输入是视频V、查询Q、控制器M、记忆库B、片段长度Δt和最大步数N，输出是查询的答案。
技术新颖性
ReMA的技术新颖性体现在三个层面。第一，架构范式创新：与端到端MLLM的'一次性处理'和现有智能体的'边看边想'不同，ReMA采用'离线感知+在线推理'的两阶段架构，将信息提取和推理决策解耦。这使得感知阶段可以处理任意长度的视频流，而推理阶段只需要操作紧凑的记忆表示。第二，记忆管理创新：ReMA的动态合并策略（当新观察与已有记忆重叠时进行摘要合并）是本文的独创，不同于简单的追加或淘汰策略。这种设计确保了记忆库的大小可控，同时保留了关键的高熵信息。第三，评估指标创新：Ref@N指标通过量化时间分箱的交并比来评估线索定位，解决了传统IoU指标在超长视频上因分母过大而失效的问题。与已有方法相比，ReMA不需要预先知道视频的全局信息，可以增量式地处理视频流，这更接近真实终身理解的应用场景。
实验结果
本文的实验结果揭示了当前多模态理解技术的几个关键发现。首先，端到端MLLM存在严重的'工作记忆瓶颈'：在Val@Month测试集上，即使是最强的GPT-5（50帧输入）也只达到14.87%的答案准确率和0.44%的Ref@300定位得分；Qwen3-VL-235B（1536帧）准确率14.33%但定位得分仅0.06%。这表明增加输入帧数并不能带来有效信息增益，模型的性能增长很快饱和并开始下降。其次，现有智能体方法在终身视野下表现不佳：VideoMind-7B在Val@Month上仅8.35%准确率，LongVT-7B为7.54%，DeepVideoDiscovery为10.57%。这些方法的共同问题是缺乏有效的长期记忆管理，导致'全局定位崩溃'。第三，ReMA显著超越所有基线：在Val@Month上达到18.62%准确率和15.46% Ref@300得分，相比最强端到端MLLM提升25%，相比最强智能体基线提升76%。第四，人类表现仍然远超机器：人类在Val@Month上达到80.4%准确率和33.5% Ref@300，说明这一任务仍有巨大的提升空间。第五，消融实验证明了递归深度的重要性：无工具调用（Round 0）仅4.86%准确率，第1轮记忆检索提升到约7%，第3轮视觉检查使Ref@300达到峰值，之后性能饱和。这表明3-5轮递归是最佳设置。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Val@Month（月尺度验证集） | Answer Accuracy | 18.62% | GPT-5 14.87% | 绝对提升3.75%，相对提升25% |
| Val@Month（月尺度验证集） | Ref@300 | 15.46% | GPT-5 0.44% | 绝对提升15.02%，相对提升超过35倍 |
| Test@Week（周尺度测试集） | Answer Accuracy | 18.82% | Qwen3-VL-235B 15.63% | 绝对提升3.19%，相对提升20% |
| Test@Week（周尺度测试集） | Ref@300 | 16.37% | DeepVideoDiscovery 8.12% | 绝对提升8.25%，相对提升102% |
| Test@Day（日尺度测试集） | Answer Accuracy | 16.75% | GPT-5 15.25% | 绝对提升1.50%，相对提升10% |
| Test@Day（日尺度测试集） | Ref@300 | 11.51% | DeepVideoDiscovery 3.04% | 绝对提升8.47%，相对提升279% |
局限与改进
本文的局限性主要体现在以下几个方面。首先，数据集规模和多样性有限：MM-Lifelong总共只有181.1小时视频、1289个问题，且每个时间尺度只跟踪一个主体（一个游戏角色、一个摄像头佩戴者、一个主播）。这与真实世界的终身理解需求（多人、多场景、多年时间跨度）相比仍有较大差距。其次，作者在附录中承认Year-Scale数据存在严重污染问题：历史事件（如运动员19年职业生涯）的语义信息高度依赖公开知识，模型可以通过文本预训练而非视觉推理来回答问题。当启用网络搜索时，Gemini3-Pro的准确率从5.54%提升到11.79%，这表明数据污染风险很高。第三，当前评估框架的线索定位指标Ref@N虽然解决了传统IoU的尺度问题，但仍然是基于离散分箱的粗粒度评估，对于精确到秒级的定位需求可能不够敏感。第四，ReMA依赖GPT-5作为控制器和视觉工具，这带来了显著的计算成本和API依赖，限制了方法的可复现性和实际部署。最后，人类与机器之间的巨大差距（80.4% vs 18.62%）表明当前方法远未解决终身理解问题，论文更像是提出了问题定义和评估框架，而非提供了完整解决方案。
独立分析的弱点
本文的独立弱点分析如下。第一，记忆表示的信息损失问题：ReMA将视频片段压缩为文本摘要存储在记忆库中，这种'视觉到语言'的转换不可避免地会丢失细粒度视觉信息（如颜色、空间关系、微表情）。在需要精确视觉细节的任务中（如Attribute Recognition占4.19%），这种信息损失可能导致错误。改进方向可以探索混合记忆架构，同时保留文本摘要和视觉特征向量。第二，被动感知的冗余计算：当前方法对每个5分钟片段都进行完整的视觉理解，即使片段之间存在大量重复内容（如静态场景、无变化画面）。可以引入变化检测机制，只对有显著变化的片段进行详细感知。第三，控制器的推理效率：消融实验显示第3轮之后性能饱和但仍消耗计算资源，可以设计自适应停止策略，当置信度足够高时提前终止。第四，缺乏在线学习能力：当前ReMA是纯推理方法，没有利用训练数据进行参数更新。对于Month-Scale的训练集（266个样本），可以通过强化学习或监督微调来优化控制器的工具调用策略。
未来方向
基于本文的成果，未来研究可以在以下方向深入。第一，多主体终身理解：当前数据集只跟踪单个主体，未来可以扩展到多主体场景，测试模型能否维护多个独立的信念状态并推理主体间的交互关系。第二，未观测间隙的推理：本文的QA对测试了跨间隙的事件关联，但尚未深入研究'间隙期间发生了什么'的推理任务。可以设计需要推断未观测事件的更复杂任务。第三，自适应记忆粒度：当前固定5分钟的感知粒度可能不是最优的，未来可以研究根据视频内容动态调整感知粒度的策略。第四，终身学习与持续进化：将ReMA从纯推理扩展为可以在线学习的系统，随着新视频的加入不断更新和优化记忆管理策略。第五，跨模态记忆融合：当前主要依赖视觉信息，未来可以更好地整合音频、字幕、传感器数据等多模态信息来构建更完整的记忆表示。第六，隐私保护的终身理解：真实场景中的终身视频涉及隐私问题，需要研究在保护隐私的前提下进行长期记忆管理的方法。
复现评估
本文的复现评估如下。数据集方面，MM-Lifelong的代码和数据集在论文中提供了链接（标记为[Code]和[Dataset]），但具体的开源协议和访问方式需要查看具体仓库。数据集包含1289个QA对和1810个线索区间，训练/验证/测试划分明确（266/623/400），且提供了详细的标注指南和质量控制流程。方法方面，ReMA的核心组件（MMInspect、MemManage、MemManage）在论文中有详细的算法伪代码和Prompt模板，但依赖GPT-5作为控制器和视觉工具，这带来了显著的API成本和访问限制。记忆系统基于Mem0框架实现，使用FAISS向量库和OpenAI embedding，这些都是可获取的资源。算力需求方面，论文未提供详细的计算成本分析，但考虑到需要处理100+小时视频、调用GPT-5进行多次推理，预计每次评估的成本较高。整体复现难度中等偏高：数据集和算法框架可以复现，但GPT-5的依赖和API成本是主要障碍。
论文图表
这是一个气泡图，x轴表示物理时间跨度Tspan（从1分钟到1个月），y轴表示数据集的视频数量，气泡大小表示观测时长Tdur。图中显示现有数据集（如Ego4D、MEVA、HowTo100M）主要聚集在左下角（短片段，Tspan≈Tdur），而MM-Lifelong占据了独特的'终身视野'区域（右上角），具有高时间稀疏性（Tspan≫Tdur）。
这张图直观地展示了MM-Lifelong与现有数据集的本质区别，说明了为什么需要一个新的数据集来评估终身理解能力。