Light-Omni：面向长期记忆智能体视频理解的反思式推理 Light-Omni: Reflex over Reasoning in Agentic Video Understanding with Long-Term Memory
通过双上下文状态实现低延迟、高效率的长视频理解
前置知识
检索增强生成（RAG）
RAG是一种结合检索和生成的人工智能方法。系统首先从外部知识库中检索与输入查询相关的信息片段，然后将这些检索到的内容作为上下文输入到大语言模型中，辅助模型生成更准确、更符合事实的响应。这种方法通过引入外部知识，有效解决了大模型的知识更新滞后和幻觉问题，在问答、文档分析等任务中表现突出。核心技术包括向量数据库、相似度搜索、上下文融合等。
本文提出的方法是对传统RAG范式的革新，需要读者理解RAG的基本工作原理和局限性，特别是查询与记忆表示之间的语义鸿沟问题，这是论文要解决的核心痛点。
多模态大语言模型（MLLM）
多模态大语言模型是能够同时处理和理解多种模态数据（如文本、图像、音频、视频）的深度学习系统。这类模型通常基于Transformer架构，通过跨模态对齐学习将不同模态的信息映射到统一的语义空间中。代表性工作包括GPT-4V、Gemini、Qwen-Omni等。它们不仅能理解单模态内容，还能进行跨模态推理，例如根据图像回答问题、根据音频描述场景等，是实现通用人工智能的关键技术路径。
本文的核心应用场景是长视频理解，需要处理视觉、听觉和文本三种模态的连续流数据，理解MLLM的多模态处理机制对于把握Light-Omni的设计动机和技术路线至关重要。
上下文窗口限制
上下文窗口限制是指大语言模型能够一次性处理的最大输入序列长度。受限于计算复杂度和内存消耗，现有模型的上下文窗口通常为数千到数十万个token。对于长文档或长视频等需要处理大量信息的场景，这种限制成为主要瓶颈。常见缓解方法包括滑动窗口、稀疏注意力、KV缓存压缩、分块处理等，但这些方法要么损失时序连贯性，要么增加计算开销，难以兼顾效率和信息完整性。
本文的核心动机之一就是突破MLLM的上下文窗口限制，通过外部记忆系统实现对长视频流的全局理解，理解这一限制对认识Light-Omni的创新价值具有重要意义。
低秩自适应（LoRA）
LoRA是一种高效的大模型微调方法。其核心思想是在预训练模型的权重矩阵旁添加低秩分解的适配矩阵，通过只训练这些秩很小的矩阵来实现模型适配。具体而言，对于一个权重矩阵$W \in \mathbb{R}^{d \times k}$，LoRA添加两个低秩矩阵$A \in \mathbb{R}^{r \times k}$和$B \in \mathbb{R}^{d \times r}$（$r \ll \min(d,k)$），使$W' = W + BA$。训练时冻结$W$，只更新$A$和$B$。这种方法大幅减少了可训练参数量和显存占用，同时保持了模型性能。
本文采用多LoRA架构来解耦记忆、生成和反应三个任务的优化，理解LoRA的工作原理对于把握Light-Omni的训练策略和计算效率至关重要。
研究动机
现有的长视频理解方法面临严重的问题。首先，多模态大语言模型受限于有限的上下文窗口，无法直接处理长时视频流，本质上表现出健忘症症状。虽然研究者引入了记忆增强架构，但大多依赖于传统的检索增强生成方法，通过相似度搜索从预索引的记忆条目中检索信息。然而，真实世界的视频查询本质上是上下文依赖的，往往包含噪声、指代和隐含线索，导致用户查询与存储的记忆表示之间产生显著的语义鸿沟。例如，在VideoMME-long和LVBench等基准测试中，基线方法的检索精度仅有46%到55%。为解决这一问题，近期方法转向采用侦探式的多轮迭代推理范式，通过查询重写、条件生成、工具调用等方式逐步聚合证据。虽然这种范式提高了准确性，但代价是巨大的计算开销和延迟。实验数据显示，M3-Agent在处理单个查询时平均需要25.5秒，总延迟超过25.91秒，内存占用达到62.4GB，这使得实时交互在实践上变得不可行。
本文的目标是本文的目标是设计一个多模态智能体框架，实现反射式、轻量级的视频理解，在保持高性能的同时大幅降低延迟和计算开销。具体而言，作者希望构建一个系统，能够通过单次前向传播就建立所需的上下文，并直接生成语义对齐的检索嵌入，避免多步迭代推理。该系统应当能够处理连续的长时多模态流，在近常数的延迟下提供响应，并且能够作为通用的记忆模块无缝集成到现有的MLLM中，提升它们的性能和效率。系统需要在VideoMME-long、LVBench等基准测试上超越现有方法，同时将响应延迟控制在3秒以内，内存占用控制在30GB以内，为实时应用奠定基础。
与已有工作不同的是，本文的独特切入角度是质疑推理优先范式，提出反射优先的新范式。作者认为，现有方法中繁重的推理主要用于弥补全局上下文的缺失和检索中的语义错位。如果能够显式建模全局上下文并实现语义对齐的检索，就可以用快速的反射式响应替代缓慢的推理式响应。这一洞察类似于人类的认知机制：当拥有清晰的认知地图时，记忆会被上下文自然唤起，而不是需要通过深思熟虑的搜索来回忆。基于这一假设，Light-Omni采用了双上下文状态设计，通过非参数的全局状态和参数化的潜在状态的耦合，直接在连续潜在空间中桥接查询与记忆的语义鸿沟，从而实现了从多步推理到单次反射的范式转变。
核心方法
Light-Omni的整体设计思路是将慢速的全局上下文整合与快速的反射式响应解耦。系统采用双上下文状态架构：全局状态$S^g$是一个非参数化的多模态脚本，通过分层合并策略从情景记忆中持续整合，作为系统的全局上下文；潜在状态$S^l$是一个参数化的表示，直接驱动自主动作并生成检索嵌入。在运行时，当检测到语音结束或静默间隔超过30秒时，系统通过单次前向传播同时确定动作和检索嵌入，然后将交互数据推入队列进行异步记忆整合。这种设计确保了实时交互的低延迟，同时通过后台进程持续更新长期记忆，保证了长时行为的连续性。整个系统数学形式化为$\{A_t, S_t, M_t\} = \Phi(\pi; I_t, S_{t-1}, M_{t-1})$，其中$A_t$是反射式动作，$S_t = \{S_t^g, S_t^l\}$是双上下文状态，$M_t$是结构化的多模态长期记忆。
Light-Omni的核心创新点是双上下文状态机制。首先，全局状态$S^g$通过分辨率衰减的分层合并策略构建，当第$i$层的节点数$N_i$达到$k+1$时，最老的$k$个节点被合并为一个更高层的节点$m_{i+1}$。这种操作确保了最近的细粒度细节和远处的高层摘要共存于有界的上下文窗口中，保持了时间连续性和连贯性。其次，潜在状态$S^l$通过可学习的软提示$P^{soft} \in \mathbb{R}^{N \times D}$实现，在单次前向传播中，骨干模型$\pi_\theta$处理增强序列$[S^g, I_t, P^{soft}]$并直接得到对应的隐藏特征$H_t$。这些特定的隐藏状态通过任务特定的头并行解码：检索嵌入$z_t^{ret} = P_r(h_t^{ret}) \in \mathbb{R}^{D'}$和动作触发概率$p_t^{act} \sim \text{Bernoulli}(p_t^{act}) \in \{0, 1\}^2$。通过将潜在嵌入直接加到原始检索嵌入上，$z_t^{ret}$在连续潜在空间中原生地修正分布差异，同时评估是否执行动作和检索什么内容。
方法步骤详情
Light-Omni的工作流程分为三阶段：实时响应、异步记忆整合、睡眠时间整合。第一阶段：当检测到语音结束或静默间隔超过30秒时触发响应。骨干模型$\pi_\theta$以全局状态$S_{t-1}^g$、当前输入$I_t$和软提示$P^{soft}$为输入，通过单次前向传播得到隐藏特征$H_t$，从中提取$h_t^{act}$和$h_t^{ret}$，解码得到动作触发概率$p_t^{act}$和检索嵌入$z_t^{ret}$。系统执行相应动作，使用修正后的检索嵌入从记忆$M_{t-1}$中检索信息，生成响应$R_t$。第二阶段：将$(I_t, R_t)$推入队列$Q$，后台进程异步更新记忆。基于交互生成主题$Topic_t = \{M_t^s, M_t^e\}$，当缓冲主题数量超过$\tau_t$时，选择性更新用户配置文件$M_p$和全局状态$S^g$。第三阶段：在非活跃时段，系统通过分层合并策略更新全局状态。记忆系统包含三个组件：用户配置文件$M_p$存储个体属性，语义记忆$M_s$存储抽象事实，情景记忆$M_e$记录过去事件的多模态脚本。
技术新颖性
Light-Omni的技术新颖性体现在四个方面。首先，将视频理解范式从多步推理转向单次反射，通过双上下文状态在一次前向传播中同时完成动作决策和检索嵌入生成，将延迟从25.5秒降低到2.28秒，实现11.36$\times$加速。其次，引入分辨率衰减的分层合并策略，设置容量因子$k=8$，当节点数达到$k+1$时触发合并，确保记忆增长率为$O(\log n)$。实验表明，即使经过六个月连续交互，全局状态的主题数量仅是一小时会话的三倍。第三，提出新的检索嵌入生成方式，通过联合优化骨干模型和潜在检索表示，直接在连续潜在空间中桥接语义鸿沟。在音频噪声下，Light-Omni性能下降仅1.3%，而标准RAG和RAG-Rewrite分别下降5.1%和3.7%。最后，采用多LoRA架构解耦记忆、生成和反应三个任务的优化，通过特征缓存和冗余剪枝进一步将推理延迟降低42%。
实验结果
Light-Omni在多个长视频基准测试上取得显著性能提升。在VideoMME-long上达到66.1%准确率，相比基线Qwen2.5-Omni-7B的55.3%提升10.8%。在LVBench上达到49.9%准确率，相比基线的41.6%提升8.3%。在HippoVlog上达到78.5%准确率，相比基线的62.0%提升16.5%。平均而言，Light-Omni在三个基准测试上达到64.8%准确率，比基线提升11.8%。与强基线方法相比，相比M3-Agent的61.8%提升2.4%，相比WorldMM-8B的66.0%提升0.9%。更重要的是，Light-Omni在大幅提升性能的同时显著降低计算开销。在VideoMME-long上，Light-Omni的响应延迟仅为2.22秒，相比Qwen2.5-Omni-7B的48.8秒实现22.0$\times$加速，相比M3-Agent的25.5秒实现11.5$\times$加速。内存占用仅为24.0GB，相比Qwen2.5-Omni-7B的81.7GB降低3.4$\times$，相比M3-Agent的62.4GB降低2.6$\times$。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VideoMME-long | Accuracy (%) | 66.1 | Qwen2.5-Omni-7B: 55.3 | +10.8 |
| LVBench | Accuracy (%) | 49.9 | Qwen2.5-Omni-7B: 41.6 | +8.3 |
| HippoVlog | Accuracy (%) | 78.5 | Qwen2.5-Omni-7B: 62.0 | +16.5 |
| VideoMME-long | Latency (s) | 2.22 | M3-Agent: 25.5 | 11.5× speedup |
| VideoMME-long | Memory (GB) | 24.0 | Qwen2.5-Omni-7B: 81.7 | 3.4× reduction |
| OVO-Bench | Accuracy (%) | 54.51 | Dispider: 51.46 | +3.05 |
局限与改进
作者承认的局限性包括：首先，Light-Omni的性能受限于骨干模型。目前使用的Qwen2.5-Omni-7B在某些通用能力上落后于更新的Qwen3系列。不过，实验表明，将Light-Omni作为即插即用的记忆框架仍能将Qwen3-VL-8B的平均性能提升2.5%。其次，离线记忆构建的计算开销仍然较大。虽然Light-Omni相比M3-Agent将离线开销减半，但处理大量视频流仍需大量计算资源。此外，从设计角度观察，Light-Omni在处理极其复杂的多跳推理任务时可能不如专门的推理型智能体，因为它的优势在于快速检索和响应而非深度推理。记忆系统的分层合并策略虽然有效控制了内存增长，但可能导致某些早期细节的丢失，在需要精确回溯历史细节的场景下可能不够理想。另外，当前系统仅支持语音和搜索两种动作，虽然可以扩展其他动作，但每种新动作都需要额外的训练和优化。最后，合成数据集的质量可能影响模型的泛化能力，虽然作者在多个基准测试上验证了有效性，但真实世界的交互场景可能更加复杂和多样。
独立分析的弱点
从独立分析的角度，Light-Omni存在几个可以改进的弱点。首先，记忆系统的分层合并策略虽然有效控制了内存增长，但固定的容量因子$k=8$可能不适用于所有场景。在需要更细粒度历史记录的应用中，可以引入自适应合并策略，根据内容重要性动态调整合并阈值，或者为关键事件设置特殊标记防止被合并。其次，潜在状态的软提示设计虽然避免了显式文本生成，但其可解释性较差，难以理解模型为什么选择特定的检索嵌入。可以引入稀疏注意力机制或者可视化技术，帮助理解潜在状态的决策过程。第三，当前系统仅支持语音和搜索两种动作，限制了其在更复杂场景中的应用。可以扩展动作空间，包括工具使用、外部API调用、视觉定位等，但需要注意新增动作可能带来的优化冲突。第四，噪声鲁棒性虽然优于标准RAG，但在极端噪声环境下仍有改进空间。可以引入噪声感知的训练策略，或者通过对比学习增强模型对噪声的鲁棒性。最后，合成数据集虽然有效，但与真实交互场景仍存在差距。可以引入人类在环的数据收集机制，或者利用在线学习策略持续从真实交互中学习和改进。
未来方向
作者提出的未来研究方向包括：将Light-Omni作为通用记忆框架应用于更广泛的多模态任务，如长文档理解、多轮对话、机器人感知等；探索更复杂的记忆组织方式，如图神经网络、层次化记忆索引等；将反射式范式扩展到其他智能体任务，如规划、决策等。基于当前成果，可以延伸的研究方向包括：首先，探索联合优化骨干模型和记忆表示的方法，通过端到端训练进一步缩小查询与记忆之间的语义鸿沟。其次，研究动态动作空间的构建机制，使系统能够根据上下文自动决定使用哪些动作，而不是预先定义固定动作集合。第三，引入更高级的检索策略，如混合检索（结合稠密和稀疏检索）、重排序、多路召回等，进一步提升检索精度。第四，研究记忆的压缩和蒸馏技术，使记忆系统能够在更小的存储空间中保留更多信息，降低部署成本。第五，探索分布式记忆架构，支持多智能体之间的记忆共享和协作，实现更复杂的多智能体应用场景。最后，可以研究将Light-Omni与强化学习结合，通过交互反馈持续优化记忆策略和动作选择，实现自适应的智能体行为。
复现评估
论文提供了较为详细的复现信息。作者宣布将开源代码和模型，训练数据通过自动化管道从公开视频合成，共46166个训练样本来自2118个独特视频。训练在单个计算节点上进行，配备8块NVIDIA H800 GPU，总训练时间约10小时。实现采用开源的ms-swift框架，使用LoRA进行参数高效微调，配置为秩$r=64$、$\alpha=128$、dropout=0.05。三个适配器独立训练，超参数详细列在补充材料中。推理使用Qwen2.5-Omni-7B作为骨干模型，默认稠密检索器为Qwen3-Embedding-0.6B，默认检索12个语义记忆和4个情景记忆条目。虽然论文提供了系统提示词和算法伪代码，但未提供详细的硬件需求、环境配置和训练脚本。数据合成管道虽然描述了四个步骤，但未提供具体的代码实现和超参数配置。此外，论文未提供消融实验的完整结果和统计分析，使得某些设计选择的合理性难以充分验证。总体而言，论文提供了足够的复现信息，但开源代码和数据集的及时发布将是关键。
论文图表
