超越时间线：以视觉定位的实体传记增强长视频记忆 Beyond the Timeline: Augmenting Long-Video Memory with Grounded Entity Biographies
把同一物理实体的跨片段观察关联成传记，让长视频检索沿身份而非时间线展开
前置知识
长视频记忆框架（long-video memory）
把数十小时录像变成可检索知识的系统：先将视频切成短片段并生成带时间戳的字幕（情景记忆 episodic memory），再在其上叠加主题/事件摘要、实体或三元组等结构层。问答时由一个语言模型控制器多轮检索，把相关字幕和视频帧送入答案模型。本文的对比基线 MAGIC-Video 与 WorldMM 都属此类。
GEB 是在共享的情景记忆之上新增“实体传记”层，只有先理解基线记忆框架的组织方式，才能看清 GEB 究竟加了什么、增益从哪里来。
多目标跟踪与重识别（MOT & ReID）
在视频内把同一物体的逐帧检测框连成轨迹（如 BoT-SORT 结合运动与外观做数据关联），并在物体消失后重新出现时再次认出它（ReID，常用 CLIP/DINOv2 外观嵌入比对）。本文还用“同帧分离检验”的反向逻辑：两个候选若在同一帧出现在不同位置，几何上必然是两个物体。
GEB 的核心动作——把跨片段观察归到同一物理实例——本质是跨天、跨录制会话的物体重识别，其保守关联准则与 IoU 分离检验都建立在这些概念之上。
个性化 PageRank（Personalized PageRank）
图上的随机游走打分方法：从一组种子节点出发，沿边按转移概率扩散相关性（含阻尼系数，本文取 0.85），最终每个节点获得一个相对种子的相关度分数。GraphRAG、HippoRAG 等都用它沿实体关系边检索关联证据。
GEB 用 PPR 让相关性从初始命中的观察出发，沿 SAME-INSTANCE 边流向同一实体的其他观察、再经上下文边流向周边情景，这是“沿身份检索”的实现机制。
交并比 IoU 与同帧分离检验
IoU 是两个边界框交集面积与并集面积之比，度量空间重叠程度。本文反向使用它：若两个观察共享至少 3 帧、且在至少三分之二的共享帧中两框 IoU<0.5，则记 $D_{ij}=1$，几何上证明它们是两个不同物体；$D_{ij}=0$ 只表示“未发现分离证据”，并不等于确认同一。
这是 GEB 否决错误合并的关键证据：嵌入相似度再高，只要共享帧里“一山有二虎”，就拒绝并入同一传记。
多模态嵌入与双阈值相似度
用一个编码器（Qwen3-VL-Embedding-8B）把图像裁剪与文本映射进同一空间，归一化后以内积 $s_{ij}=v_i^\top v_j$ 度量相似度。GEB 设两个阈值 $\theta_{cons}<\theta_{match}$：新观察须与所有参考超过一致性下限，且至少与一个参考超过强匹配上限。
GEB 的跨片段关联完全靠“双阈值 + 分离检验”三条件准则（公式 3）实现“宁分裂、不误并”，理解它才能理解 GEB 记忆可靠性的来源。
Agentic 检索控制器
一个 LLM 控制器读取问题与已累积的证据，每轮输出 JSON 决策：继续搜索（给出自然语言查询）或停止并作答。GEB 与所有对比记忆框架共用 Qwen3.5-35B 控制器，至多 5 轮搜索、64 帧，保证对比在推理组件完全对齐下进行。
GEB 传记摘录中“尚未检视的出现时间列表”正是给控制器下一轮搜索的抓手；不理解这个控制循环，就看不懂传记如何“引导进一步搜索”。
研究动机
长视频问答常要求把横跨数小时乃至数天的同一物体或人物的事件连接起来。现有记忆框架（VideoAgent、WorldMM、MAGIC-Video 等）用时间线描述（30 秒字幕、主题/事件摘要）加从文本中抽取的实体名与三元组来组织记忆，留下“物理身份未决”的缺口：其一，描述会“合并异物”或“分裂一物”——两个不同的红色马克杯都会被记成 a red mug，而同一个搅拌器会先后被描述为“手中的搅拌器”“碗里的搅拌器”“台面上的搅拌器”。论文用数据量化了这一点：在 EgoLife 一周 6,266 个片段中，有 89,888 对观察被同帧几何证据证明是不同物体、却共享同一个描述名，涉及 92.6% 的片段；反向地，在出现多次的 22,401 个物体实体中 77.2% 被两个以上不同名字描述过。其二，即使检索到“咖啡倒进红马克杯”和“一个红马克杯放进洗碗机”这两条各自准确的记录，系统也无法判断它们是否涉及同一实例——检索到相关事件并不等于恢复了这个实体的传记。
本文的目标是本文要让长视频记忆以“持久物理实例”为轴心组织信息：把视觉定位的、属于同一物理实例的观察跨片段聚合成可检索的实体传记（Grounded Entity Biographies），同时保留每次遭遇的事件上下文与源帧证据。问答时，检索命中的观察成为入口，沿“同一实例”边展开该实体的完整历史，并把传记摘录与情景证据一起交给答案模型；同时传记还要列出尚未检视的出现时间，给控制器具体的续搜目标。作者的目标是在不更换控制器、答案模型与检索预算的前提下，纯粹通过改变记忆组织方式来提升长视频问答的准确率与证据可达性。
与已有工作不同的是，结构化记忆框架（如 MAGIC-Video）已尝试把实体提及整合成跨时间叙事，但其对应关系从语言推导：语言模型从字幕抽名字再归并节点，天然继承同名异物/同物异名问题，也无法用画面证据否决错误合并。实体记忆方法各有依赖：VideoAgent 与 AMEGO 靠连续跟踪链接 tracklet，难以覆盖跨录制会话、物体长时间消失再出现的场景；Embodied VideoAgent 依赖深度与位姿传感；M3-Agent 用人脸和声音身份，但只在连续可见时有效。GEB 的独特切入有两点：一是身份在记忆构建时用视觉加上下文证据“保守地”解决，宁可分裂也不误并，且同帧分离证据可一票否决合并；二是在读取端提供两种新机制——相关性沿身份边传播的图检索，以及自带“未检视出现时间清单”的传记摘录，把检索与搜索规划耦合起来。
核心方法
直觉：历史既可以按事件组织（编年史），也可以按参与者组织（传记），长视频记忆两者都需要，但现有框架只有前者。GEB 在共享的情景记忆（30 秒字幕 + 主题/事件摘要）之上增加一层以物理实例为中心的异构图。技术路线四步走：第一步感知——把 52 小时的 EgoLife 一周录像切成 6,266 个 30 秒片段（10fps），用开放词汇检测器 YOLOE-26x-seg 逐帧检测、BoT-SORT 在片内连成轨迹，再用 CLIP/DINOv2 外观相似度重组被跟踪器分裂的轨迹，可见至少 2 秒的轨迹组成为一个“观察”。第二步描述——对每个观察，VLM 同时读取主体裁剪图、带红框的场景帧与 ±40 秒时间戳旁白/对话，生成包含动作证据与跨时刻稳定特征的 JSON 描述。第三步关联——按时间顺序用多模态嵌入加双阈值与同帧 IoU 分离检验，决定每个观察并入既有实体传记还是另开新实体。第四步读取——观察描述与字幕共同索引，Personalized PageRank 沿三种关系边传播相关性，控制器多轮检索，最终把传记摘录、情景文本与源帧一起交给答案模型。
核心创新是把身份解析从问答时前移到记忆构建时，并用视觉证据做保守决策。与文本派生实体的 MAGIC-Video 有本质区别：GEB 的关联必须同时满足三个条件（公式 3）——新观察与候选实体参考集 $M_k$（最近 10 个观察）中每个参考的相似度都达到一致性下限 $\min_{o_j\in M_k} s_{ij}\ge\theta_{cons}$，与至少一个参考达到强匹配上限 $\max_{o_j\in M_k} s_{ij}\ge\theta_{match}$，且对所有参考都没有分离证据 $D_{ij}=0$。若共享帧里出现两个相似搅拌器分开摆放，无论嵌入多像都拒绝合并，单个参考的强匹配不能补偿另一个参考的矛盾。第二个关键设计是传记读取不只是证据也是搜索指引：摘录中的“也出现在（未检视）”行把该实体尚未被检索的时间列出来，给控制器明确的下一步；同名传记附注区分“已被视觉证实为不同物体”与“身份未决”两类，既防止答案模型把不同 id 当成不同实体，也防止把同一物体当成两个。
方法步骤详情
完整管线七步。第一步感知：52 小时录像切成 6,266 个 30 秒片段，YOLOE-26x-seg 逐帧开放词汇检测，BoT-SORT 片内组轨，分裂轨迹按 CLIP+DINOv2 外观相似度重组（同帧共现者绝不归并），可见至少 2 秒的轨迹组成为观察 $o_i$，保留时间跨度、裁剪图与源片段引用。第二步描述：每观察一次 Qwen3.5-35B 调用，输入 4 张 448px 裁剪、768px 带红框场景帧与 ±40 秒旁白/对话，输出名称、外观、动作（须有帧内证据）、检索用 summary 与稳定特征 reid_summary。第三步关联：Qwen3-VL-Embedding-8B 编码向量，按时间序应用三条件准则（EgoLife 阈值 0.60/0.75，游戏流 0.75/0.85；共享≥3 帧且至少三分之二帧 IoU<0.5 记 $D_{ij}=1$），合格候选取平均相似度最高者并入，参考集至多 10 个，无合格者开新实体。第四步命名：把在场者对到 cast 表并提炼每日衣着档案，实体匹配唯一档案才获名字并跨日传播。第五步建图：$G=(N,R)$，$N=U\cup O\cup E\cup C$，边权情景 1.0、视觉溯源 0.8、SAME-INSTANCE 0.5。第六步读取：观察文本与字幕共入语义+词法索引，PPR（阻尼 0.85）分数乘查询相似度排序；周尺度每轮 16 单元（观察≤6、每实体≤3），MultiHop 每轮 3 单元，至多 5 轮 64 帧，时间戳问题只索引该时刻前记录。第七步渲染：被选观察按时间成块，未选出现汇总为时间与计数供续搜，同名传记附分离注记，描述与情景冲突以情景优先。
技术新颖性
与已有工作的本质区别有四。一，实体层从语言派生变为视觉锚定：MAGIC-Video、EGAgent、EgoGraph 用语言模型从字幕抽名字建实体节点与三元组，天然继承同名异物/同物异名问题；GEB 的实体是检测+跟踪+保守关联出来的物理实例，同帧分离的几何证据可以一票否决合并，且构建时就有 89,888 对同名观察被这样分开。二，保守关联准则本身是新的组合：双阈值（一致性下限 + 强匹配上限）加分离检验，明确要求“有正证据且无反证据”，针对长视频外观漂移与相似物体共存的失败模式设计。三，传记成为检索的中间层与搜索规划器：观察节点粒度（EgoLife 周共 308,244 个）远细于字幕，实体节点（27,446 个）作为相关性桥梁连接跨日事件，摘录自带未检视时间清单——这一点连 GraphRAG/HippoRAG 的文本图谱都不具备。四，控制变量的评测设计：GEB 与 MAGIC-Video 共享同一情景记忆、同一控制器与答案模型（Qwen3.5-35B）和相同的检索上限，使增益可归因于记忆组织本身，并配套证据可达性诊断（484 个标注证据窗的命中率分析）。
实验结果
四个基准全部第一（Table 1）。EgoLifeQA（52 小时、500 题多选）：72.0%，超最强已发表基线 MAGIC-Video（67.6%）4.4 点，95% CI [+0.4,+8.4]，五个问题家族四个领先，EventRecall 增益最大（73.8 vs 65.9，+7.9）。Ego-R1-Bench：71.3±3.1 vs 64.7±1.15（+6.6）。MM-Lifelong：Test@Week 36.83±0.88 vs WorldMM 31.42（+5.41，CI 不含 0）；Test@Day（23.6 小时游戏直播）17.58±0.14，对最强 ReMA（16.75）+0.83 但 CI 含 0。MultiHop-EgoQA（1080 题）：答案分 3.11 vs WorldMM 2.74、MAGIC-Video 2.58，mIoU 20.5（+1.6）、IoU@0.3 25.9，超过包括训练集微调的 GeLM 在内所有已报告模型。证据可达性（Figure 3）：EgoLifeQA 484 个标注问题证据命中 37.6%→58.9%；MultiHop 完整覆盖 35.4%→52.1%（相对 +47%），区间越多增益越大（多区间 +82%~+103%，单区间 +13%）。容量控制排除“多检即赢”：MAGIC-Video 每轮 3→6 单元后覆盖仅 0.449、答案分 2.75，仍输给 0.521/3.11；WorldMM 覆盖相当（0.526）但检索时长占比更高、答案分仅 2.74。消融（Table 4）：去关联 −3.4、名字键控 −2.8、描述拼字幕 −3.8、去 SAME-INSTANCE 边 −3.0、去观察→时间线边 −3.8（皆去 −5.0）、隐传记文本 −4.0、去身份注记 −3.8、去未检视清单 −1.8、去字幕文本 −10.2（最大）、去视觉帧 −1.6。成本：A100 图检索平均 5.6 秒/次，每题约 13.6 秒。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| EgoLifeQA（52 小时周录像多选问答，500 题） | Accuracy (%) | 72.0 | MAGIC-Video-Qwen3.5-35B：67.6 | +4.4 点（95% CI [+0.4, +8.4]） |
| Ego-R1-Bench（周录像多选，50 题×3 种子） | Accuracy (%) | 71.3±3.1 | MAGIC-Video-Qwen3.5-35B：64.7±1.15 | +6.6 点（95% CI [+2.9, +10.3]） |
| MM-Lifelong Test@Week（200 题开放式周问答） | GPT-5 判分准确率 (%) | 36.83±0.88 | WorldMM-Qwen3.5-35B：31.42 | +5.41 点（95% CI [+0.16, +10.92]） |
| MM-Lifelong Test@Day（23.6 小时游戏直播，200 题） | GPT-5 判分准确率 (%) | 17.58±0.14 | ReMA（GPT-5 agent）：16.75 | +0.83 点（CI 含 0，不显著；对 MAGIC-Video 为 +7.50 且显著） |
| MultiHop-EgoQA（1080 题多跳问答 + 时序定位） | Judge Score（1–10） | 3.11±0.03 | WorldMM-Qwen3.5-35B：2.74±0.06 | +0.37；mIoU 20.5 vs 18.9（+1.6），IoU@0.3 25.9 vs 21.5 |
| EgoLifeQA 证据可达性（484 个标注问题） | Evidence hit rate (%) | 58.9 | MAGIC-Video：37.6 | +21.3 点 |
| MultiHop-EgoQA 完整证据覆盖（所有标注区间均被命中） | All-interval coverage | 0.521 | MAGIC-Video：0.354 | +16.7 点（相对 +47%；对比组检索时长相近） |
局限与改进
作者承认的（附录 G）：跨长视频的可靠跟踪与重识别仍是开放难题，关联错误会把观察分进错误传记；情景描述可能把附近发生的动作归到错误实体；更大的记忆图（349,538 节点/911,628 边，对比 MAGIC-Video 的 20,338/82,446）带来更高检索延迟（每次搜索平均 5.6 秒）。我补充的观察：其一，两个阈值需按录制人工目检标定（EgoLife 0.60/0.75，游戏流 0.75/0.85），换新域要重新调参；其二，Test@Day 上对最强基线 +0.83 的 CI 含 0，优势集中在实体贯穿多天的场景，对重复美术资产的游戏直播域收益有限；其三，MultiHop 上无记忆、整片读 60 帧的 Qwen3.5-35B 答案分 3.64 反而高于 GEB 的 3.11，作者也承认与完整片段作答仍有差距——三分钟短片上重识别增益天然受限；其四，人物命名依赖预给定的 cast 表与“人+日”外观档案，开放场景退化为纯视觉身份；其五，描述阶段对 308,244 个观察各调一次 35B VLM，构建成本可观而论文未报告总时长与费用；其六，记忆一次性离线构建，不支持流式增量更新，也没有对已建传记的后期纠错机制。
独立分析的弱点
弱点一，关联错误不可逆传播：一次错误合并会把两条事件线串成假传记，而公式 3 的参考集只保留最近 10 个观察，早期错误会随追加固化。改进方向：定期做传记内全局校验（对同一传记所有观察做两两分离检验与重组），或给每条合并边保留置信度供检索降权。弱点二，阈值手工标定：不同录制外观分布差异大（真实房间 vs 游戏流重复资产），改进方向是利用自监督信号自动估计，如同片段内被几何证明不同的物体对、跨片段共同出现的统计分布。弱点三，存储与延迟：349k 节点的图每次搜索 5.6 秒，周级尚可、年级录像会失控；改进方向是传记分层摘要（先段落级骨架、按需展开明细）或按重要性剪枝。弱点四，文本归因风险：描述允许引用 ±40 秒旁白/对话，“附近说的”未必是“对这个物体做的”，虽有 prompt 约束与“情景优先”规则仍是系统性风险；改进方向是在描述中显式区分帧内证据与文本转述，检索时按需溯源。弱点五，评测域集中：四个基准中三个复用同一周 EgoLife 录音与同一份记忆，独立域证据不足；改进方向是纳入多住户、第三方固定机位数据检验泛化。
未来方向
作者提出的方向：进一步提升关联可靠性、动作归因准确性与检索效率。基于本文成果可延伸的：其一，把传记扩展为“关系传记”，不仅记录单实体历史，还记录实体对（人与人、人与物）的联合出现结构，直接服务 RelationMap 类关系问题；其二，融合音频身份（如 M3-Agent 的人脸+声音），第一人称场景中大量交互通过对话发生，说话人身份能把传记与对话内容牢固绑定；其三，流式/增量写入：公式 3 本身天然支持在线逐观察处理，现实生活助手需要在录制同时维护传记，值得评测增量模式下的身份漂移与纠错；其四，传记驱动的主动感知：未检视时间清单不仅可指引文本检索，也可指引“回看视频”的主动帧采样，把记忆系统与主动探索结合；其五，跨模态迁移：把 grounded biography 思想用于文档/网页中的实体追踪（同一段落里的 This device 指代谁），或用于机器人操作日志的物件履历管理；其六，用传记数据反向训练——构建时可产出大量“哪两次观察是同一实例/不同实例”的监督信号，可微调专用的轻量重识别模型替代手工阈值。
复现评估
可复现性总体较好，但工程量不小。有利条件：所有组件公开——YOLOE-26x-seg（检测）、BoT-SORT（跟踪）、CLIP/DINOv2（重组）、Qwen3-VL-Embedding-8B（关联）、Qwen3-Embedding-4B（索引）、Qwen3.5-35B（本地 vLLM 或 OpenRouter）、gpt-oss-120b（判分）；四个基准公开且有既定协议（EgoLifeQA/Ego-R1 只可见问题时刻前录像；MM-Lifelong 用 GPT-5 判分；MultiHop 用发布脚本与独立判官）；基线 MAGIC-Video 与 WorldMM 有发布实现；附录 A 给出全部超参，附录 F 公开完整 prompt。困难：一是描述阶段需对约 30.8 万个观察各做一次 35B VLM 推理（含多张裁剪与场景帧），构建算力可观且论文未给出总 GPU 时；二是阈值标定依赖人工目检；三是人物命名依赖 EgoLife 的 cast 表；四是正文未明确承诺开源代码，需查项目页确认。算力底线：检索端单张 A100 即可（实测 5.6 秒/搜索、13.6 秒/题），重头在记忆构建的批量 VLM 推理。综合评估：对有 VLM 服务经验的团队属中等偏难，瓶颈在管线工程与推理预算而非算法本身。
论文图表
用两个红色马克杯的对比展示动机问题：带白条纹的 Mug #1 被用来倒咖啡、喝完后空着放回台面，另一个纯色的 Mug #2 被放进洗碗机。描述式记忆会同时检索到“咖啡倒进红马克杯”和“一个红马克杯放进洗碗机”两条准确记录，却无法判断两个“红马克杯”是否同一个实例。
这是全文的动机原型：一张图说清“检索到相关事件 ≠ 恢复实体传记”，后续所有设计都围绕解决这个身份歧义展开。