边看边想：面向多模态大语言模型多轮视频推理的在线流式分段级记忆机制 Think While Watching: Online Streaming Segment-Level Memory for Multi-Turn Video Reasoning in Multimodal Large Language Models

方法包含三个主要步骤。第一步是分段级记忆生成：将到达的视频流分割为连续片段 $S_1, S_2, ..., S_T$，每个片段 $S_t$ 到达时，模型生成一个记忆笔记 $m_t = \text{Mem}_\theta[S_t]$，记录关键实体、动作、场景变化等信息，这些笔记存储在记忆库 $M_t = \{⟨i, m_i⟩\}_{i=1}^t$ 中。第二步是流式注意力掩码设计：定义分段级掩码 $M^{seg}[A, B]$，确保生成单元 $C_u$ 只能关注到达索引不超过 $u$ 的接收单元和生成单元，实现严格的流式因果性。第三步是流式位置编码：使用MRoPE的扩展版本，为输入流计算累积偏移 $B^{S_k}$ 和 $B^{Q_k}$，为输出流独立计算偏移 $B^{C_k}$，实现输入输出的位置解耦。推理时采用双KV缓存和自适应注意力后端选择，当 $q_{len} = k_{len}$ 时使用Flash Attention，当 $1 < q_{len} < k_{len}$ 时使用内存高效注意力。

本文的技术新颖性体现在多个层面。首先，在架构层面提出了分段级记忆笔记的概念，将传统的被动信息保留转变为主动的知识提取和存储，这在流式视频理解中是首创。其次，在位置编码层面，提出了流式MRoPE，通过独立的输入输出位置索引实现了自回归模型中前所未有的输入输出解耦能力。第三，在训练层面设计了三阶段训练策略：阶段1学习写记忆笔记和单轮问答；阶段2扩展到多轮对话；阶段3针对长期能力进行训练，包括长期记忆、不确定性和干扰片段学习。第四，在推理层面，借鉴操作系统进程调度的思想，将推理组织为多阶段流水线，通过双KV缓存实现感知和生成的并行化。第五，构建了首个三阶段流式CoT数据集，填补了多轮流式视频CoT数据的空白。

本文存在几个可以改进的弱点。首先，记忆笔记的质量直接影响后续问答的准确性，但当前方法没有对记忆笔记的质量进行显式评估或优化，可能存在信息丢失或关键信息遗漏的问题。可以考虑引入记忆质量评估机制或自适应的记忆粒度调整。其次，分段策略采用固定时长的硬分割，没有考虑语义边界，可能导致语义完整性被破坏。可以探索基于场景变化或动作边界的自适应分割方法。第三，当前的记忆机制是纯文本的，丢失了视觉细节信息，对于需要精确视觉推理的任务可能不足。可以考虑引入多模态记忆表示。第四，训练数据合成依赖外部大模型，成本较高且可能引入偏差。可以探索更高效的数据增强或自监督学习方法。第五，推理时的自适应注意力后端选择增加了系统复杂性，可能存在次优选择的情况。可以考虑学习一个轻量级的选择策略。

基于本文的成果，未来研究可以在多个方向展开。首先，可以探索更精细的记忆粒度，如对象级或事件级记忆，而不是当前的片段级记忆，以支持更细粒度的推理。其次，可以将框架扩展到多模态输入，如结合音频信息进行视听联合理解。第三，可以研究记忆的主动遗忘机制，通过重要性评估动态删除过时或不相关的信息，提高长期交互的效率。第四，可以探索分布式记忆架构，将记忆分布在多个位置或多个模型实例中，支持更大规模的并发交互。第五，可以研究记忆的可解释性，让用户能够理解和查询模型的记忆内容，提高系统的透明度和可信度。此外，可以将流式推理框架应用于其他领域，如实时语音理解、流式文档分析等。最后，可以探索与强化学习的结合，通过在线学习持续优化记忆策略和推理能力。

本文在可复现性方面提供了较好的支持。作者开源了代码实现，包括完整的训练和推理流程。三阶段训练数据集基于公开可用的VideoChatOnline-IT和YouTube数据构建，并提供了详细的数据生成流程和提示词模板。实验设置清晰，使用了标准的评估基准（StreamingBench、OVO-Bench）和明确的评估协议。然而，数据合成依赖GPT-5.2等闭源模型，可能影响完全复现的成本。算力需求方面，训练在多个Qwen3-VL规模（2B、4B、8B）上进行，需要中等规模的GPU集群。推理时的双KV缓存机制需要额外的内存开销，但相比传统方法有明显的延迟优势。总体而言，对于有一定资源的研究团队，本文的结果应该是可复现的。