PEARL：个性化流式视频理解模型 PEARL: Personalized Streaming Video Understanding Model

PEARL 的完整工作流程可以分为以下几个步骤。第一步，流式记忆构建：当视频流持续到达时，首先使用 PySceneDetect 基于 HSV 色彩空间的像素变化检测场景边界，将连续流分割成语义连贯的片段（每段 1-8 秒），然后用 Qwen3-VL-Embedding-2B 多模态嵌入模型为每个片段计算嵌入向量 $e_i = f_{emb}(X_i)$，将片段-嵌入对存入流式记忆。第二步，概念注册：当用户在时间戳 $t_c$ 发出概念定义指令时，模型提取当前帧（帧级概念）或当前片段（视频级概念）作为视觉证据，然后用 VLM 生成一段简洁的视觉描述（聚焦于稳定特征如面部特征、发型等，忽略衣服等易变特征），将概念名、视觉证据和文本描述作为一个条目存入概念记忆。第三步，查询处理：当用户在时间戳 $t_q$ 发出查询时，从查询中识别出提到的概念名，从概念记忆中检索对应条目获取 $C_{sub}$；然后用 VLM 将查询中的概念名替换为对应描述，生成重写查询 $ ilde{Q}$；用嵌入模型编码 $ ilde{Q}$ 得到 $e_Q$，计算与所有流式记忆片段的余弦相似度，选取 Top-K 个最相关片段，并扩展每个片段的相邻 N 个片段以捕获局部时序上下文，得到视觉上下文 $V_{context}$。第四步，响应生成：将检索到的概念条目 $C_{sub}$、历史片段 $V_{context}$、当前片段 $X_{t_q}$ 和原始查询 Q 一起输入 VLM，生成最终回答。默认配置为 K=4、帧级 N=1、视频级 N=0，视频流以 1 FPS 采样。

PEARL 的技术新颖性体现在三个层面。首先，在任务定义层面，PSVU 是首次将个性化概念理解与流式视频理解结合的新任务，区别于已有的离线个性化视频理解（PVChat）和无个性化的流式视频理解（ReKV、StreamForest），它要求模型在流式环境中动态注册新概念并在精确时间戳上回答个性化查询。其次，在记忆架构层面，双粒度记忆系统将概念知识（相对稳定、持久）与流式观察（快速累积、持续更新）显式解耦，这与已有方法将所有信息压缩到固定大小状态（如 KV-cache）的做法截然不同，使得模型既能精确追踪特定概念，又能保留丰富的历史视觉证据。第三，在检索策略层面，概念感知的查询重写机制是一个全新的设计，它通过自然语言层面的语义翻译解决了用户自定义概念名与嵌入模型之间的不匹配问题，无需修改嵌入模型或 VLM 的参数即可实现高效检索，这种「以文本桥接视觉」的策略在已有工作中从未出现过。

从独立分析的角度看，PEARL 存在以下几个可以改进的弱点。第一，概念描述生成过于简化：当前方案用 VLM 生成一句 10-15 词的简短描述来表征一个概念，这种单句描述在长视频中容易丢失区分度。例如，两个外貌相似的人物可能得到几乎相同的描述，导致概念混淆。改进方向可以是采用多粒度描述（宏观外貌 + 局部细节）或多帧聚合描述来增强概念的辨识度。第二，流式记忆的检索效率问题：当视频流很长时（PEARL-Bench 中平均视频时长 1,458 秒），需要在数百个片段中做线性扫描和余弦相似度计算，虽然单次检索延迟不高（约 34-45ms），但在实际部署中视频可能持续数小时，累积开销不可忽视。可以考虑引入分层索引或近似最近邻搜索来扩展到更长视频。第三，查询重写依赖 LLM 推理，这在高频查询场景下可能成为瓶颈。虽然论文中重写延迟很低（约 5ms），但这部分开销会随查询频率线性增长，而且 LLM 生成的重写文本质量不稳定，可能引入错误的语义偏移。第四，帧级和视频级使用不同的参数设置（N=1 vs N=0），且视频级数据来自合成场景，框架在真实世界长视频中的视频级概念追踪能力尚未被验证。改进方向包括自适应参数调整和在真实视频上收集视频级概念数据。

基于 PEARL 的成果，未来研究可以在多个方向延伸。作者提出的 PSVU 任务和 PEARL-Bench 为该领域奠定了基础，以下方向值得探索：第一，将 PEARL 的记忆检索机制与模型的内在 KV-cache 管理相结合，实现端到端的流式个性化推理，而非当前的「外挂式」检索方案，这可能进一步降低延迟并提升推理质量。第二，扩展概念类型——当前仅支持视觉实体（人物、物体）和动作两种概念，未来可以引入关系概念（如「A 是 B 的朋友」）、属性概念（如「这个团队的队长」）等更丰富的语义类型。第三，探索增量学习范式：PEARL 当前是完全免训练的，如果允许模型在概念注册时进行轻量级的参数更新（如 LoRA），可能进一步提升概念识别的准确性。第四，将 PSVU 任务扩展到多模态交互场景，如结合语音输入和文本输出的流式个性化助手，这对可穿戴 AI 和智能家居等实际应用场景至关重要。第五，引入遗忘机制——当前的记忆系统会无限增长，而在真实世界中，用户可能需要模型「忘记」某些概念或过时的信息，这需要设计合理的记忆管理和淘汰策略。

PEARL 在复现性方面表现较好。代码已开源在 GitHub（https://github.com/Yuanhong-Zheng/PEARL），框架使用的组件均为公开可获取的资源：多模态嵌入模型 Qwen3-VL-Embedding-2B、基座 VLM（LLaVA-OV-7B、Qwen2-VL-7B、Qwen3-VL-8B）和场景检测工具 PySceneDetect 均为开源项目。PEARL-Bench 的数据来自公开互联网视频和 Mixamo 数字人合成资产，标注由 10 名研究人员完成，标注流程详细记录在论文附录中。算力需求方面，所有实验在 NVIDIA H200 GPU 上进行，但 PEARL 的核心检索模块延迟极低（34-45ms），实际推理的主要开销在 VLM 本身，因此复现所需的算力主要取决于所选的基座模型。对于 7B 参数的模型，单张消费级 GPU（如 RTX 4090）应该可以运行，但可能需要量化优化。总体而言，复现难度为中等——框架逻辑清晰、代码开源、依赖均为公开工具，但完整的基准测试需要较大算力和对 132 个视频的逐帧处理。