RIVER：面向视频大语言模型的实时交互基准 RIVER: A Real-Time Interaction Benchmark for Video LLMs
首个系统评估视频LLM实时交互能力的基准，覆盖记忆、感知与主动响应
前置知识
在线视频理解（Online Video Understanding）
与传统的「看完全部视频再回答问题」的离线范式不同，在线视频理解要求模型以流式方式接收视频帧，同时保持对历史信息的记忆、对当前画面的感知、以及对未来事件的预测能力。可以类比为人类边看直播边回答观众提问——你不能倒带，也不能等视频结束再回答。这要求模型具备持续运行、即时推理的能力。
本文的核心就是定义和评估这种在线交互能力，理解在线与离线范式的区别是理解全文的前提。
滑动窗口采样（Sliding Window Sampling）
处理超长视频时，不可能将所有帧一次性输入模型（GPU显存有限）。滑动窗口策略维护一个固定大小的窗口，随着视频推进不断「滑动」，只处理窗口内的帧。窗口外的历史信息则被压缩存储到记忆模块中。这就像你通过一个固定大小的「取景框」看世界——当前看到的是清晰的，之前的则被压缩为摘要。
本文提出的长短时记忆框架正是基于滑动窗口设计的，理解这一机制是理解方法部分的关键。
遗忘曲线（Forgetting Curve）
由心理学家艾宾浩斯提出，描述人类记忆随时间衰减的规律——学到的信息如果不复习，会以指数级速度遗忘。本文借用这一概念来评估模型的视觉记忆衰减曲线：在不同时间间隔后，模型对视频事件的回忆准确率如何变化。这提供了一种比简单准确率更细粒度的记忆评估方式。
论文用遗忘曲线来量化模型的记忆能力衰减，这是RIVER Bench区别于已有基准的关键评估维度之一。
LoRA（Low-Rank Adaptation）
一种参数高效的微调方法。不更新大模型的全部参数，而是在每一层的线性变换旁插入两个低秩矩阵 $A$ 和 $B$，只训练这两个小矩阵。原始参数 $W$ 不变，实际权重变为 $W + BA$。这大幅降低了可训练参数量（通常减少到原来的1%以下），同时保持接近全量微调的效果。
本文在微调VideoLLM-Online时采用LoRA适配LLaMA3-8B的全部线性层，理解LoRA有助于评估训练成本和可复现性。
主动响应（Proactive Response）
传统对话系统是「问了才答」，而主动响应要求模型在用户指定的条件出现时自主发起回答。比如用户说「等扳手出现时告诉我」，模型需要持续监控视频流，在扳手出现的那一刻及时通知用户。这比被动问答复杂得多，需要模型同时具备事件检测、时序定位和即时生成的能力。
主动响应是RIVER Bench三大任务类型之一，也是当前模型表现最差的维度，理解它对把握论文贡献至关重要。
研究动机
当前几乎所有多模态大语言模型（MLLMs）都采用离线推理范式——先看完完整视频，再回答用户问题。这在实际应用中存在根本性缺陷：在AR导航场景中，用户需要实时看到路标时模型能即时反馈；在机器人任务监督中，操作者需要模型在异常发生时立即报警。然而现有基准如VStream-QA（32个视频，3500个问题）、StreamingBench（900个视频，4500个问题）等，虽然开始关注在线理解，但评估格式仍然接近传统的离线QA——它们没有精细划分记忆、感知和预测这三种不同的交互能力，也没有量化记忆随时间衰减的遗忘曲线。具体来说，OV-Bench虽然提出了过去/现在/未来的时序分类，但缺乏对响应和线索区间的细粒度时序切分；OVO-Bench定义了三种任务类型，但同样缺少对遗忘曲线和响应时机精度的定量分析。这导致我们无法回答一个关键问题：模型的「记忆力」到底能持续多久？
本文的目标是本文的目标是构建一个全面、精确的在线视频交互评估基准RIVER Bench，具体包括三个子目标：第一，定义清晰的在线交互任务形式，将交互分为回顾记忆（Retro-Memory）、实时感知（Live-Perception）和主动响应（Pro-Response）三大类，每类下再按时间间隔细分为short（15-30秒）、medium（30-60秒）、long（300-900秒）、very long（1800-3600秒）四个级别；第二，通过遗忘曲线分析量化模型记忆的衰减规律，揭示不同记忆机制的优劣；第三，提出通用的改进框架，使离线模型也能支持在线推理，并构建专用训练数据集提升模型的在线交互能力。
与已有工作不同的是，本文的独特切入角度在于「时间维度的精细解剖」。已有基准要么只看整体准确率，要么粗略分类过去/现在/未来，而RIVER Bench首次将时间间隔作为一等公民来评估——它不仅关心模型「答对了没有」，更关心「在多长时间后还能答对」以及「在什么时机答对」。具体而言，论文引入了三个被忽视的评估维度：（1）记忆衰减曲线——通过在4个时间间隔上的准确率变化来描绘模型的遗忘规律；（2）响应时机精度——主动响应任务不仅评估答案正确性，还评估响应时间是否落在容忍窗口内，对过早响应给零分，对延迟响应施加线性衰减惩罚；（3）线索类型分析——将问题按视觉线索分为细粒度线索（FC）、因果线索（CC）和背景线索（BC）三类，揭示模型在不同推理类型上的能力差异。
核心方法
RIVER Bench的核心思路可以用一个类比来理解：想象你是一个直播间的AI助手，观众随时可能问你关于刚才发生了什么（回顾记忆）、现在画面上是什么（实时感知）、或者接下来会出现什么（主动响应）的问题。你不能暂停视频，也不能等直播结束再回答——你必须在正确的时间给出正确的答案。基于这个直觉，论文的设计分为三个层面：首先是基准构建，从已有的高质量视频数据集（Vript-RR、LVBench、LongVideoBench、Ego4D、QVHighlights）中筛选、重构、验证数据，精确标注每个问题的查询时间、线索时间和响应时间，最终构建包含1067个视频、4278个问题的评估集。其次是推理框架设计，提出基于滑动窗口的长短时记忆机制，使离线模型也能支持在线推理——短时记忆保存当前窗口的帧特征，长时记忆用最近邻平均策略压缩历史帧特征到固定长度的记忆槽中。最后是训练数据构建，从Ego4D-Narration训练集中构建主动响应任务的训练样本，通过微调提升模型的在线交互能力。
本文最核心的创新点在于将在线视频交互从一个模糊的概念转化为可精确量化的评估体系。已有的在线视频基准（如OVO-Bench）虽然也定义了类似的任务类型，但它们缺乏两个关键维度的精细设计：第一是时间间隔的系统化控制，RIVER Bench对回顾记忆和主动响应任务都定义了四个时间间隔级别（short/medium/long/very long），使得研究者可以绘制完整的记忆衰减曲线，而不是只有一个笼统的准确率数字。第二是响应时机的评分机制，在主动响应任务中，论文设计了一个以ground-truth时间戳 $t_g$ 为中心、宽度为 $w$ 的容忍窗口的评分函数：落在窗口内的响应得满分，过早响应得零分（严格惩罚误报），延迟响应按线性衰减扣分。这种设计比简单的「答对/答错」二值评估精细得多，能同时评估模型的准确性和及时性。此外，长短时记忆框架中的最近邻平均策略也值得关注——它受人类记忆整合机制启发，将相邻时间间隔的事件抽象为更高层的语义表示，而非简单截断。
方法步骤详情
RIVER Bench的构建和评估分为以下步骤。第一步，数据筛选与重构：从Vript-RR（152条高质量条目）、LVBench、LongVideoBench中筛选回顾记忆和实时感知的问题，过滤掉含特定人名、跨度太长或过于笼统的问题，再用LLM（Qwen2.5-72B）剔除不需要视觉信息就能回答的问题。第二步，时间标注：对每个事件标注精确时间戳，在事件发生后的不同时间间隔处插入查询——回顾记忆在事件后15-30秒、30-60秒、300-900秒、1800-3600秒处提问；实时感知与事件同步提问。第三步，主动响应数据构建：从Ego4D-Narration验证集筛选1200个流式样本，从Ego4D和QVHighlights中筛选1400个即时样本，使用LLM根据模板库生成预测性问题和干扰选项。第四步，质量控制：通过规则过滤（去除重复、琐碎的事件描述）和语义相似度计算（选择最具辨识度的事件作为锚点）确保数据质量。第五步，推理框架搭建：为离线模型添加滑动窗口（1fps采样）和长短时记忆模块，短时记忆为当前窗口帧特征，长时记忆为16个固定槽位的压缩历史特征，通过最近邻平均策略更新。第六步，模型评估：在4类模型上进行全面评测，包括商业闭源模型（GPT-4o、Gemini-1.5-pro）、开源在线模型（VideoLLM-Online、Flash-VStream）、开源离线模型（VideoChat2、InternVL2.5、LLaVA-Video、VideoChat-Flash）以及使用本文训练数据微调的模型。
技术新颖性
RIVER Bench的技术新颖性体现在三个层面。在评估维度上，与OVO-Bench等已有基准相比，本文首次引入了基于遗忘曲线的记忆衰减分析——不是简单地问「记不记得」，而是系统地测量「多久之后就不记得了」，这揭示了MLLM与人类记忆机制的根本差异：配备记忆模块的模型在1小时时间范围内表现出比人类艾宾浩斯遗忘曲线更稳定的保持能力。在评分机制上，主动响应任务的容忍窗口评分函数是全新的——它区分了过早响应（零分，类似于误报）和延迟响应（线性衰减，承认其部分价值），这比二值评估更符合实际交互场景中人类对响应时机的主观容忍度。在方法框架上，长短时记忆模块中的最近邻平均策略受人类记忆再巩固（memory reconsolidation）研究启发，不同于简单的FIFO（先进先出）或注意力加权方案，它通过余弦相似度计算选择最相似的记忆对进行合并，模拟了人类将相邻事件整合为高级语义表征的认知过程。
实验结果
实验结果揭示了几个关键发现。首先，在核心在线交互能力评估（Table 2）中，GPT-4o以50帧输入在各项任务上表现最佳：回顾记忆OE准确率39.09%、MC准确率59.56%，实时感知OE 40.08%、MC 61.05%。开源模型中，LLaVA-Video和VideoChat-Flash在16帧离线设置下表现相当（回顾记忆MC约41-46%），但切换到1fps在线推理后出现分化——VideoChat-Flash在回顾记忆MC上从41.51%提升到45.75%，而InternVL2.5从42.68%下降到39.72%，这归因于VideoChat-Flash的长视频压缩设计使其对记忆token压缩更鲁棒。其次，已有的在线模型表现令人意外地差：Flash-VStream在回顾记忆OE仅10.43%，VideoLLM-Online在实时感知上甚至无法产生有效输出（标记为∅）。论文分析这是因为Flash-VStream优化的是长视频理解而非交互式QA，VideoLLM-Online的训练依赖离线方法导致对特定场景过拟合。第三，记忆曲线分析（Figure 5）显示，添加记忆模块后模型的准确率衰减斜率降低了12%，且在1小时内保持比人类遗忘曲线更稳定的保持能力——这是一个反直觉的发现，暗示MLLM的记忆机制与人类认知存在本质差异。第四，在线索类型分析（Table 5）中，所有模型在因果线索（CC）问题上表现最差（最好也只有40.92%），远低于细粒度线索（FC，最高53.16%）和背景线索（BC，最高54.10%），揭示了当前模型在事件因果推理上的根本缺陷。最后，使用本文构建的训练数据微调VideoLLM-Online后，主动响应即时任务的定位精度（Loc）从23.88%提升到33.28%（2fps）和35.16%（4fps），MC准确率从6.67%提升到9.84%和10.53%，验证了训练数据的有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 回顾记忆 OE（全部模型最佳） | Open-Ended Accuracy (%) | GPT-4o: 39.09% | Flash-VStream: 10.43% | GPT-4o相比Flash-VStream提升约28.66个百分点 |
| 回顾记忆 MC（全部模型最佳） | Multiple-Choice Accuracy (%) | GPT-4o: 59.56% | Flash-VStream: 27.28% | GPT-4o相比Flash-VStream提升约32.28个百分点 |
| 实时感知 OE（在线增强模型最佳） | Open-Ended Accuracy (%) | VideoChat-Flash@1fps: 33.60% | VideoChat-Flash@16帧离线: 27.91% | 在线推理相比离线推理提升5.69个百分点 |
| 主动响应即时任务 | Localization Accuracy (%) | VideoLLM-Online+RIVER@4fps: 35.16% | VideoLLM-Online原始@2fps: 23.88% | 微调后定位精度提升11.28个百分点 |
| 记忆衰减（长时记忆模块效果） | 衰减斜率降低 | 有记忆模块 | 无记忆模块 | 性能衰减斜率降低约12% |
局限与改进
论文存在以下局限性。作者明确承认的最大局限是数据集不包含音频模态——声音是实时交互中最容易获取的模态之一（如AR眼镜的环境音），缺少音频评估使得基准无法全面反映真实交互场景。从我的观察来看，还存在几个值得关注的问题：第一，基准的视频时长虽然覆盖了最长120分钟的内容，但大部分问题集中在较短时间间隔上，very long（1800-3600秒）级别的样本可能不够充分，这会影响遗忘曲线在长时间范围内的可靠性。第二，主动响应的流式任务（Streaming）评估目前缺乏量化指标——论文只报告了即时任务的定位精度和MC准确率，流式任务的评估标准不够明确。第三，评估使用的LLM判断器（Qwen2.5-72B）本身可能存在偏差，不同LLM判断器可能导致不同的评估结果，论文没有进行判断器敏感性分析。第四，离线模型切换到在线推理时采用的1fps采样率可能不适用于所有模型——有些模型可能在更高采样率下表现更好，但受限于计算成本未被探索。
独立分析的弱点
经过独立分析，我认为本文存在以下几个弱点。第一，长短时记忆模块的设计相对简单——最近邻平均策略虽然受认知科学启发，但它假设相邻帧的特征在语义空间中平滑变化，这在场景突变（如镜头切换）时可能失效。改进方向可以引入基于事件边界检测的自适应合并策略，或者使用注意力机制动态决定哪些记忆应该被保留、哪些应该被压缩。第二，主动响应的评分函数对「过早响应」一律给零分过于严格——在实际交互中，提前几秒响应（如扳手出现前2秒）和完全错误的时机（如视频刚开始就响应）是有本质区别的，可以考虑引入一个短的「预热窗口」给予部分分数。第三，训练数据的构建高度依赖LLM生成，可能存在生成质量不均匀的问题——论文展示了被拒绝的低质量样本例子，但没有分析通过筛选的样本中是否仍存在隐性偏差。第四，评估中所有模型的推理参数未做消融——如温度、top-p等生成参数可能显著影响响应的及时性和准确性，但论文固定使用了默认设置。改进方向是对关键推理参数进行系统消融，找到各模型的最优在线推理配置。
未来方向
基于本文的成果，未来研究可以在以下几个方向展开。作者明确提出了将音频模态纳入评估的计划，这将使基准更接近真实的多模态交互场景。除此之外，我认为还有几个值得探索的方向：第一，多轮对话式在线交互——当前基准的每个问题是独立的，但真实场景中用户的后续问题往往依赖于之前的回答（如「刚才那个东西是什么颜色？」「旁边的呢？」），这需要模型维护跨轮次的上下文状态。第二，跨模态主动响应——目前的主动响应仅基于视觉线索，未来可以扩展到基于语音指令的主动监控（如用户说「帮我盯着这个仪表盘，异常时告诉我」）。第三，轻量化在线推理——当前的长短时记忆模块增加了额外的计算开销，对于边缘设备（如AR眼镜）可能不够高效，需要研究更紧凑的记忆压缩方案。第四，个性化记忆——不同用户对同一视频的关注点不同，未来的在线交互系统可能需要根据用户偏好调整记忆的保留策略。
复现评估
在可复现性方面，本文做得相对规范。代码和数据已开源在GitHub（https://github.com/OpenGVLab/RIVER），采用索引发布策略——提供元数据、标注和下载链接，但不重新托管原始视频，以遵守各数据集的许可协议（LongVideoBench为CC-BY-NC-SA 4.0，Ego4D需要注册访问等）。训练方面，论文使用了LoRA微调LLaMA3-8B，详细列出了超参数（学习率 $3 imes 10^{-5}$、LoRA rank 128、LoRA alpha 256、4fps采样、384分辨率、最多1024帧），使用DeepSpeed ZeRO-2优化。整体来看，复现的主要瓶颈在于算力需求——虽然LoRA降低了显存需求，但处理120分钟的视频仍需要较大的GPU显存；数据获取也需要分别从各原始数据集下载视频。对于有8卡A100级别算力的团队，基准评估可以在几天内完成；微调部分可能需要1-2天。
论文图表
