Vinci2：面向连续第一人称视频的主动式协助

首个连续第一人称视频主动协助基准 EgoServe 与训练免记忆增强智能体 EgoMemo

前置知识

第一人称（Egocentric）视频与流式视频理解

指由头戴相机或智能眼镜拍摄的第一视角视频流，特点是长时连续（分钟到多日）、视角随用户移动、内容多为日常活动。流式理解要求系统在视频持续到达时逐片段处理，不能预先获得完整视频，因此必须维护增量记忆而不是一次性读取。

本文的全部动机都建立在'连续第一人称视频'之上：只有流式场景才存在'何时主动开口'这个决策问题。理解流式约束（检索时 $t' \leq t$）才能看懂 EgoMemo 为什么强调 streaming-first 设计。

Video-LLM 与流式 Video-LLM

Video-LLM 是能看视频并用自然语言回答问题的大模型（如 Qwen3-VL、GPT-5-mini、LLaVA-Video）。传统 Video-LLM 多为离线反应式：给一段视频和一个问题，输出一个答案。流式变体（VideoLLM-online、Dispider）则实时处理视频片段进行对话，但仍依赖外部触发。

本文把 Video-LLM 作为基线和组件（用 Qwen3-VL-8B 生成 clip-level 字幕），并明确指出这些模型只在'被问到才回答'，无法自主决定干预时机，这是 Vinci2 要突破的核心局限。

检索增强生成（RAG）

RAG 指在生成回答前，先从外部记忆库中按相似度检索相关条目，再把检索结果拼入提示词喂给生成模型。本文的检索是三路并行的：文本相似度（时间记忆）、图结构（知识图谱）、视觉相似度（关键帧嵌入），每路返回的是字幕索引集合，需要再通过 VLM 重建为连贯描述。

EgoMemo 的本质就是一套面向流式视频的多模态 RAG。理解 RAG 才能看懂它为什么需要'字幕重建'这一关键步骤、以及为什么消融实验里 w/o Recons. 掉分最严重。

知识图谱与实体解析（Entity Resolution）

知识图谱 $G=(N,E)$ 用节点表示实体（人、物、地点）、边表示关系。本文让图随时间演化：每来一段字幕 $c_t$ 用 LLM 抽取实体关系 $R_t$，再通过基于名字的实体解析 $G_t=\text{Merge}(G_{t-1},R_t)$ 合并进全局图，每个节点保留指向源字幕的链接，作为时间记忆的结构化索引。

知识图谱是 EgoMemo 三种记忆之一，消融实验显示去掉它（w/o GSR）F1 从 8.0 降到 6.5，Memory Link 直接掉到 0.0。理解它的工作方式也有助于理解作者承认的局限——'基于名字的实体解析在视觉歧义时会失败'。

LLM-as-judge 评估

用大模型作为自动评分器对生成内容打分，常用于开放式回答评测。本文用 GPT-4o 和 DeepSeek-R1 两个独立评委，从 Rationality（语义对齐）和 Effectiveness（实用性）两个维度按 1–5 分打分，两者排序高度一致（Pearson $r\approx 0.95$）。

EgoServe 的回答质量指标（LLM-score=2.8）完全依赖这种评测，理解它的严格程度和打分维度才能正确解读'所有模型回答质量都差不多'这个结论。

研究动机

现有的第一人称视频助手局限于两种范式，都无法真正主动帮忙。第一种是反应式 Video-LLM（如 Qwen3-VL、GPT-5-mini），必须用户明确提问才回答，完全不主动开口；第二种是半主动式系统（StreamBridge、EWO、ProAssist），需要用户提前下达一条任务指令，系统再去监控视频流中预设好的事件，一旦检测到就当作必须响应，根本不考虑用户的历史行为、当前活动状态或此刻是否愿意被打扰。这种缺陷在数据上有清晰体现：在作者提出的 EgoServe 上，最强基线 GPT-5-mini 整体 F1 仅 4.7，在所有需要历史推理的长时服务（Memory Recall、Memory Link、Routine Optimization）上全部是 0.0；Qwen3-VL-Plus 更差，整体只有 3.5。更关键的是，评测层面也没有合适工具：EgoSchema、OVO-Bench 这类基准要么只评离线片段问答、要么不评'是否该干预'这个决策，ProAssist 又要求用户预先给出指令。也就是说，无论是方法还是评测，'何时主动开口'这件事都几乎是空白。

本文的目标是本文要做的，是把主动式协助重新定义为一个依赖上下文的'决策问题'：智能体不仅要感知当下发生了什么，还要对累积的时间上下文做推理，从而自主判断何时干预、是否干预、以及如何干预。为此论文给出两件事：第一是 EgoServe，第一个面向连续第一人称视频的大规模主动式协助基准，包含 3437 个服务实例、10 个服务类别、4 个时间记忆尺度（即时/短期/情节/长期），覆盖 EgoLife、HoloAssist、CaptainCook4D 三个数据集约 128 小时视频；第二是 EgoMemo，一个训练免、记忆增强的智能体，维护多尺度时间摘要、演化知识图谱、视觉嵌入档案三种互补记忆，并在每个时刻进行检索增强推理来决定是否干预。整体目标是把 Vinci 这类端侧助手从'被问才答'推进到真正的'主动协助'。

与已有工作不同的是，本文的独特切入角度有三层。第一，它是第一个把'是否干预'显式建模为基于检索的跨时间上下文推理结果的方法——之前的工作把事件检测和干预决策混为一谈（检测到事件就开口），而 EgoMemo 让干预成为一个由 reasoner 输出的二值变量 $d_t\in\{0,1\}$，受检索到的多尺度历史所调节。第二，它第一次同时覆盖'第一人称视角 + 多日跨度 + 主动式服务 + 流式推理'四个属性的基准（Table 5 明确对比，EgoLife 多日但非主动、ProAssist 主动但无多日、OVO-Bench 流式但非第一人称且非主动）。第三，技术上的差异也很关键：已有 RAG 视频方法（VideoAgent、Video-RAG、VideoRAG）都假设离线可访问完整视频，而 EgoMemo 的记忆构建和检索都是完全流式的，并用一个独创的 VLM 字幕重建步骤填补'检索到的字幕索引'与'推理所需的连贯描述'之间的鸿沟。

核心方法

EgoMemo 的整体思路是'先有结构化长期记忆，再做带检索的推理决策'，全程训练免、纯提示词驱动，因此无需微调即可即插即用。系统对连续视频流 $V=\{v_1,v_2,\dots\}$ 做非重叠分片，每个时刻 $t$ 用 VLM 生成带时间戳的密集字幕 $c_t$ 并抽取关键帧 $\{f^1_t,\dots,f^K_t\}$，这就是所有记忆的原子输入。整个流程分两阶段：第一阶段流式记忆构建，把字幕增量地组织成三种互补表示——三级时间摘要、演化知识图谱、视觉嵌入档案；第二阶段流式检索增强推理，reasoner 拿到当前 $c_t$ 和最近短期上下文后，判断是否需要检索（主动模式下还要判断是否值得干预），若需要就生成查询 $q_r$ 并触发三条并行检索通路，再用 VLM 字幕重建把检索证据整合成连贯上下文 $\hat{C}$，最后输出 $(d_t,r_t)$。主动模式和反应式 QA 共用同一套架构，唯一区别是反应式由用户查询触发并默认 $d_t=1$。整个构建和推理都不需要访问完整视频，天然支持多日流。

核心创新是把'干预时机'本身当作推理结果，而非事件检测的副产品。三点本质区别如下。其一，已有 RAG 视频方法都假设离线可访问完整视频，先一次性索引再检索；EgoMemo 则是真正流式的——记忆构建用滚动汇总（只有新积累片段才触发上一级摘要），检索强制 $t'\le t$，永不能看未来。其二，设计三条异构并行检索通路：时间检索（按文本嵌入相似度取 top-k）、图语义检索（实体匹配 + 1-hop 邻居 $\mathcal{I}_{\text{graph}}$）、视觉检索（把 $q_r$ 改写成视觉描述后用 MEnc 检索关键帧），消融证明三者互补、任何一条都不能被替代。其三，独创的 VLM 字幕重建 $\hat{c}_\mathcal{I}=\text{VLM\_Reconstruct}(\{(c_{t'},f_{t'})\}_{t'\in\mathcal{I}},q_r)$，把图/视觉检索返回的'字幕索引集合'重写成查询聚焦的连贯叙述，解决共指、补回字幕里丢失的视觉细节——去掉这一步 F1 直接从 8.0 掉到 6.6。

方法步骤详情

完整步骤分两大块。**记忆构建**：(1) 多尺度时间记忆——clip 级 $M_C$ 保细粒度感知；activity 级 $M_A^{(j)}=\text{Summarize}(\{c_t\}_{t\in\mathcal{W}_j})$ 周期汇总相邻字幕；session 级 $M_S$ 进一步汇总成跨小时例行活动，三级都用 TEnc 编码成嵌入供检索。(2) 演化知识图谱——每个 $c_t$ 用 LLM 抽取实体关系，基于名字的实体解析合并 $G_t=\text{Merge}(G_{t-1},R_t)$，节点保留指向源字幕链接。(3) 视觉嵌入档案——关键帧编码 $\mathbf{e}^v_{t,k}=\text{MEnc}(f^k_t)\in\mathbb{R}^{d_v}$ 存档。**检索推理**：(4) reasoner 判断是否需检索，需则生成 $q_r$；(5) 三路并行检索得索引集合；(6) 对图/视觉结果各做一次 VLM 字幕重建；(7) 聚合成 $\hat{C}$ 输入 reasoner 输出 $(d_t,r_t)$。离线任务则一次性建记忆后用'先粗后细'检索。

技术新颖性

技术新颖性体现在四个方面。第一，统一的'决策 + 生成'任务形式化：把主动式协助定义为一个时刻输出二值干预决策 $d_t$ 和响应 $r_t$ 的联合任务，且要求满足时间窗口对齐、类别匹配、回答有依据三个条件，这比单纯的事件检测复杂得多。第二，三种异构记忆表示的组合：时间层次用于跨尺度定位、知识图谱用于跨时间语义关联（解决同义不同表述）、视觉档案用于捕捉难以文字化的外观细节，三者互补性由消融实验证实。第三，VLM 字幕重建这一'桥梁'机制：解决了纯检索式 RAG 返回零散索引而 reasoner 难以合成的痛点，是相对已有视频 RAG 工作的真正增量。第四，流式优先设计意外地泛化到离线场景：同一套架构无需改动就能在 EgoSchema、QAEgo4D 上取得 SOTA（74.8、68.0），证明'边来边记'的归纳偏置本身就足够强。此外，EgoServe 基准本身也是创新——首次用半自动流水线（Gemini-2.5-Pro 类别专用提示 + 人工校验）从三个异构数据集生成 3437 条带时间触发窗、跨多日上下文的服务标注。

**Fig. 5**: Illustration of the multi-scale temporal memory construction

实验结果

核心发现分三块。**主结果（Table 1）**：EgoMemo 整体 F1 达 8.0，几乎是 GPT-5-mini(4.7) 的两倍、Qwen3-VL-Plus(3.5) 的 2.3 倍。优势集中在需要历史推理的长时服务——Memory Link 4.9、Routine Optimization 11.8，两基线均为 0.0；情节类 Memory Recall 3.8、Task Reminder 5.7 也最强。所有模型 LLM-score 都为 2.8/5，瓶颈在'时间精度'而非'回答质量'。**消融**：去字幕重建掉到 6.6（影响最大）、Memory Recall/Link 归零；去知识图谱 6.5；去三级时间摘要 7.0；去视觉/多尺度时间检索 6.9/6.8——三路检索互补、无一冗余。**泛化**：ESTP-Bench 显式主动 27.6 超 EyeWO 23.6；OVO-Bench 实时感知 75.15 超 GPT-4o 64.46；离线 EgoSchema 74.8（+7.2）、QAEgo4D 68.0 创 SOTA。效率（13.11 秒/分钟）见 Table 11。

**Table 1**: Evaluation results on EgoServe benchmark

**Table 5**: Comparison between EgoServe and existing video understanding benchmarks

**Table 6**: Manual verification statistics for EgoServe annotations

**Table 2**: Experimental results on the ESTP-Bench

**Table 3**: Evaluation results on OVO-Bench

**Table 4**: Results on offline egocentric video benchmarks

**Table 7**: Detailed P/R breakdown on EgoServe

**Fig. 4**: Qualitative examples of EgoMemo's proactive assistance

查看结构化数据

任务	指标	本文	基线	提升
EgoServe 主动式协助整体 F1（10 类服务宏平均）	Macro-F1	8.0	GPT-5-mini 4.7 / Qwen3-VL-Plus 3.5	整体几乎翻倍，长时服务从 0 提升到 4.9–11.8
EgoServe Memory Link（跨会话记忆关联）	F1	4.9	GPT-5-mini 0.0 / Qwen3-VL-Plus 0.0	从全失败到非零，证明结构化记忆能实现跨日推理
ESTP-Bench 显式主动任务	平均分	27.6	EyeWO 23.6（唯一训练模型）	+4.0，且本工作完全训练免
OVO-Bench 实时视觉感知	平均分	75.15	GPT-4o 64.46 / LLaVA-OneVision 64.02	+10.69，显著超过更强参数量的专有模型
EgoSchema 长视频时序推理（多选）	准确率	74.8	EgoThinker 67.6	+7.2，新 SOTA，结构化记忆对长时推理尤其有效
每分钟视频检索耗时（EgoSchema 30 视频）	秒/分钟视频	13.11	VideoAgent 67.25 / Video-RAG 20.81	5.1× 和 1.6× 更快，且支持更丰富的三路检索

局限与改进

作者明确承认三点局限：第一，基于文字的记忆在字幕化过程中会丢失细粒度视觉细节（如精确外观、空间布局），后续推理无法恢复；第二，基于名字的实体解析在面对视觉上歧义的实体时会失败（比如两个外观不同的'杯子'被错误合并或同名不同物被错连）；第三，半自动标注流水线可能偏向那些对基础模型更容易生成的服务类型，造成分布偏差。补充观察：所有方法 LLM-score 都卡在 2.8/5，回答质量本身仍是瓶颈而非已解决；整体 F1 才 8.0，绝对值不高；ESTP-Bench 上隐式主动任务 EgoMemo 仅 34.7，远低于 EyeWO 的 52.5，说明在没有显式任务提示时差距明显；HoloAssist 子集上 w/o GSR 和 w/o MS 反而以 9.0 略胜 EgoMemo 的 8.8，提示对短小自包含的过程式视频，记忆模块收益有限甚至有害；推理依赖 GPT-5-mini/5.2 这类专有大模型，是复现和落地的主要障碍；评测使用的数据来源（EgoLife 仅 3 名受试者前 5 天）规模偏小，泛化到更多人群有待验证。

独立分析的弱点

独立分析的弱点及改进方向如下。其一，**字幕信息瓶颈**：clip 级字幕把视觉压成文字、丢失外观与空间信息，视觉检索虽补了一部分但仍受字幕质量制约——可改为直接存关键帧 patch 或 CLIP/DINOv2 特征向量参与推理。其二，**实体解析脆弱**：纯名字匹配无法处理多义/同名实体，可引入视觉嵌入做实体消歧（同名物体按外观聚类）或用 grounding 模型绑 bounding box。其三，**标注分布偏差**：长尾、难自动生成的服务样本不足，可补人工撰写的小规模高质量长尾集。其四，**对专有 LLM 的依赖**：reasoner 用 GPT-5 系列，迁到端侧开源模型（Qwen3、Llama）会降本但可能掉点，建议蒸馏或'小模型 + 强检索'组合。其五，**未学习'何时沉默'**：当前干预时机靠提示词启发式判断，可引入 RLHF/DPO 从人类偏好学习'沉默 vs 开口'的权衡，减少打扰。其六，**回答质量停滞**：LLM-score 普遍 2.8 说明检测对了但话说得不够好，应针对响应生成专门优化（few-shot 模板、风格控制），而不是只优化检索。

未来方向

作者提出的方向包括：从人类偏好中学习干预时机、引入音频上下文（当前完全忽略语音和环境声，对协助场景是明显信息损失）、把 EgoServe 扩展到多轮主动对话（现在每个服务是单轮触发）、以及多用户设定（家庭、团队中区分不同人的需求）。基于本文成果还可延伸：第一，把 EgoMemo 的记忆模块从训练免升级为可学习的端到端记忆网络（写入器、检索器、汇总器都微调），可能在长时任务上进一步突破；第二，研究记忆的遗忘与压缩策略，目前 session 级摘要会无限增长，长期部署需要预算感知的剪枝；第三，把'是否干预'建模为带成本-收益的决策（打扰成本 vs 帮助收益），引入显式的效用函数；第四，向真实 AR 眼镜部署推进，目前 13.11 秒/分钟的检索延迟虽优于 RAG 基线，但端侧实时性仍需优化；第五，跨模态记忆扩展（IMU、GPS、日历），把视频之外的传感器也纳入上下文。

复现评估

可复现性中等偏上。**积极面**：论文声明 benchmark 和代码公开；EgoServe 完全可复现——数据源、服务分类、时间容忍窗 $\delta$（EgoLife 60s、CaptainCook4D 25s、HoloAssist 10s）、匹配公式（Eq. 8 与贪心最近邻匹配）都写得细；附录给出完整标注与评测提示词（Fig. 6）和每类接受率（Table 6，整体 85.1%）；记忆组件用开放模型（Qwen3-VL-8B 生成字幕、ImageBind 编码关键帧、text-embedding-3-small 编码文本）。**消极面**：在线 reasoner 用 GPT-5-mini、离线用 GPT-5.2、标注用 Gemini-2.5-Pro，均为付费专有 API，是最大复现障碍——换开源 LLM 后性能可能明显下降；人工校验由 2 名标注员协商完成，存在主观性；128 小时视频的 VLM 字幕 + 嵌入索引算力不小（记忆构建 77.33 秒/分钟）。总体：基准协议高度可复现，智能体方法可复现但性能上限受专有 LLM 约束。

Vinci2：面向连续第一人称视频的主动式协助 Vinci2: Providing Proactive Assistance in Continuous Egocentric Videos