面向流式视频理解的简洁基线方法

仅用最近N帧喂给现成VLM，即可超越复杂记忆机制的流式视频模型。

前置知识

视觉语言模型（VLM）

视觉语言模型是能够同时处理图像/视频帧和自然语言的大规模多模态模型，通常由视觉编码器、跨模态投影层和语言解码器组成，能够根据视觉输入回答文本问题。代表工作如 Qwen2.5-VL、Qwen3-VL、LLaVA-OneVision 等。

本文的核心基线 SIMPLESTREAM 直接把最近 N 帧作为视觉输入送入 off-the-shelf VLM，不做任何架构改动或额外训练，因此读者必须理解 VLM 的输入输出接口（图像+文本→文本）才能把握方法的简洁性。

流式视频理解（Streaming Video Understanding）

流式视频理解要求模型在因果约束下处理持续到达的视频流，即在时刻 t 回答查询 $q_t$ 时只能访问到 $t$ 之前已观察到的帧前缀，而不能看到未来帧。该任务与离线视频问答（可访问全片）形成对比，更接近真实在线场景如机器人、视频监控和直播互动。

论文的所有实验都建立在严格的因果流式协议上，OVO-Bench 和 StreamingBench 都要求每个问题只能基于问题时刻已观察到的前缀作答。这是理解本文评判标准（实时感知 vs 长程记忆）的前提。

记忆机制（Memory Mechanism）

在流式视频理解中，记忆机制指模型为了在固定显存/算力预算下处理长视频流而设计的各种历史信息管理模块，包括外部记忆库（如 StreamForest 的事件树）、KV 缓存压缩（如 HERMES、ReKV）、隐状态压缩（如 Dispider）、以及基于检索的视觉-RAG 等。

本文挑战的核心假设正是『更强的流式性能需要更复杂的记忆机制』，把五花八门的记忆模块抽象为同一个对照对象，再用一个极简基线去度量它们的真实边际收益。

OVO-Bench 与 StreamingBench

OVO-Bench 是包含 1640 个问题、12 个子任务的因果视频问答基准，覆盖三类能力：实时视觉感知（Real-Time Visual Perception，如 OCR、动作识别）、后向追溯（Backward Tracing，如情节记忆 EPM、动作序列识别 ASI、幻觉检测 HLD）以及前向主动响应（Forward Active Responding）。StreamingBench 提供 2500 道实时视觉理解（RTVU）题目，用于互补验证。

论文的几乎所有数据点和定量结论都来自这两个基准，理解其任务划分（特别是 HLD 不属于真正的『记忆』任务）才能看懂作者对宏观平均分加权偏差的批评。

时间到首 token（TTFT）与峰值显存

TTFT（Time To First Token）是用户发出问题到模型输出第一个 token 之间的延迟，是流式服务关键指标；峰值显存指推理过程中 GPU 占用的最大显存，决定了能同时跑多少路并发。本文用二者衡量系统级效率。

表 3 和图 3 证明 SIMPLESTREAM-4f 在峰值显存和 TTFT 上都不输甚至优于所有复杂记忆系统，这对『复杂模块 = 高效』的常见假设是一个重要反例。

研究动机

近两年流式视频理解领域出现了一股『记忆机制军备竞赛』的趋势，从 StreamForest 的事件级记忆树、Flash-VStream 的固定槽位 Flash Memory，到 ReKV 的磁盘化历史 KV 缓存、HERMES 的层次化 KV 视图、Dispider/VideoStreaming 的隐状态压缩、再到 TimeChat-Online 的 token/KV 剪枝，研究者普遍默认『更长的历史 + 更精巧的记忆管理 = 更好的流式性能』。然而这些方法在 OVO-Bench 和 StreamingBench 上的提升并不一致且常常很小：例如最强的 HERMES 在 OVO-Bench 上仅 59.2%，而最简单的离线 VLM Qwen2-VL-7B 用 64 帧也能达到 54.62%；更早的 VideoLLM-online-8B 甚至只有 19.26% 的极低分。这意味着这些复杂设计是否真的带来『不可替代』的增益，还是只是恰好把基线撑起来，仍然缺乏系统检验。

本文的目标是本文的核心目标非常明确：用一个尽可能简单的基线 SIMPLESTREAM（即 $\text{SIMPLESTREAM}(t) = \text{VLM}(\{f_{t-N+1},\dots,f_t\}, q_t)$，只把最近 N 帧和文本查询喂给现成 VLM）去重新丈量所有现有流式方法的天花板，量化『加入复杂记忆模块』的真实边际收益，并据此为未来研究提出新的评测规范。

与已有工作不同的是，现有评测存在两个被忽视的结构性盲点：其一，没有人把『只用最近 N 帧』这种朴素基线当作首要参照，导致许多所谓 SOTA 的改进其实是相对于一个过弱的旧基线；其二，OVO-Bench 的宏观平均分对实时感知类任务赋权过高（6 个 Real-Time 任务 vs 3 个 Backward 任务），这让『牺牲实时感知换取历史记忆』的模型在总分上反而看起来变差了，从而掩盖了真正的能力交换。作者的独特切入角度正是同时用『强基线 + 能力分桶 + 效率指标』三个维度重新评估领域。

核心方法

方法思路可以用一句话概括：把流式视频问答『降维』成一个标准的视觉问答任务。具体来说，给定时刻 $t$ 的查询 $q_t$，从已观察到的视频帧序列中取出最近的 $N$ 帧 $\{f_{t-N+1},\dots,f_t\}$，连同问题文本一起作为 prompt 送给一个未经任何额外训练的现成 VLM（如 Qwen2.5-VL-7B-Instruct 或 Qwen3-VL-8B-Instruct），VLM 直接生成答案。整个系统没有引入任何记忆库、检索器、KV 压缩模块或专用训练流程，因此输入策略本身就是全部创新：把因果流式约束简化为『在每个查询时刻只暴露一段固定长度的最近帧窗口』。技术上，作者默认以 1 fps 采样，控制 $N \in \{2,4,8\}$ 三个窗口进行对比，并在模型规模扩展实验中把窗口扩展到 16 帧。

核心创新不在于任何新模型组件，而在于『基线重置』：与现有复杂流式系统不断叠加记忆机制的设计哲学相反，SIMPLESTREAM 把 off-the-shelf VLM 的短时感知能力直接当作流式解，证明现代 VLM 在短窗口下的实时感知已经足够强；同时论文形式化了两个新的分析量 $\Delta P = \text{RT}_{\text{method}} - \text{RT}_{\text{SIMPLESTREAM}}$ 和 $\Delta M = \text{ER}_{\text{method}} - \text{ER}_{\text{SIMPLESTREAM}}$（其中 $\text{ER} = (\text{EPM}+\text{ASI})/2$），把过去被平均分掩盖的『感知-记忆权衡』变成可量化、可视化的二维指标，从而把『更强的记忆模块是否真的有用』变成一个可被证伪的实证问题。

方法步骤详情

完整的实验流程分为四步。第一步是确定协议：在 OVO-Bench 上按官方因果评测规则，只使用每个查询时刻的可见前缀；在 StreamingBench 上使用其实时视觉理解子集（RTVU，2500 题），两个基准共用同一套前缀采样。第二步是构建基线：对每个问题，先按 1 fps 把可见前缀采样成帧序列，再从末尾截取最近 $N$ 帧（$N \in \{2,4,8\}$，规模实验中扩展到 16），与查询文本拼接后直接调用 VLM 生成答案，全程不做 prompt engineering 之外的额外干预。第三步是引入两个对照实验：模型规模扩展（Qwen2.5-VL 的 3B/7B/32B/72B 与 Qwen3-VL 的 2B/4B/8B/32B/30B-A3B 在 2/4/8/16 帧下的完整扫描）和 Visual-RAG 增强（用 CLIP 离线索引所有历史块，在线取 top-5 最相似块拼到最近窗口后）。第四步是计算感知-记忆权衡指标：在 OVO-Bench 上对每个方法分别计算 Real-Time 类别平均 $\Delta P$ 和 EPM+ASI 平均的 $\Delta M$，并以 SIMPLESTREAM Qwen2.5-VL + 2f 为公共锚点画成图 6。

技术新颖性

技术新颖性不在模型层面，而在评测方法学层面：第一，把『最近 N 帧』这一被默认忽略的平凡策略推上主基线位置，并用 13 个强基线（6 个离线 + 7 个流式）系统证明其优越性（Qwen3-VL+4f 在 OVO-Bench 上 67.7%，比此前最强的流式方法 HERMES 59.2% 高出 8.5 pp，在 StreamingBench 上 80.59% 同样超越所有对手）；第二，提出 $\Delta P / \Delta M$ 的二维度量，揭示了 StreamForest 看似领先的『记忆增益 +8.9』其实是用『感知代价 -13.8』换来的，HERMES 同样以 $\Delta P=-6.0$ 为代价换取 $\Delta M=+2.4$；第三，通过模型扫描证明『更长上下文 = 更好』不单调成立，Qwen2.5-VL-72B 在 16 帧最优而 Qwen2.5-VL-32B 在 4 帧最优，Qwen3-VL-32B 在 8 帧最优而 Qwen3-VL-30B-A3B 在 4 帧最优；第四，论证 HLD 应被视为幻觉鲁棒性而非记忆，纠正了 OVO-Bench 任务归类的概念错位。

**Figure 2**: A landscape of streaming video understanding methods

实验结果

主实验（表 1）在 OVO-Bench 上，SIMPLESTREAM Qwen3-VL+4f 取得 67.7% 平均准确率，超过此前 SOTA 流式方法 HERMES 的 59.2% 整整 8.5 pp；在 StreamingBench 上同样以 80.59% 反超 HERMES 的 79.44% 和 StreamForest 的 77.26%。在 Real-Time 类别内部，Qwen3-VL+4f 达到 81.4%（vs HERMES 69.0%），其中 OCR 子任务高达 94.0%、OJR 77.2%、ACR 85.3%，提升幅度最大；Backward Tracing 上 SIMPLESTREAM-8f 也能到 54.9%，超过 StreamForest 的 52.0% 和 HERMES 的 49.4%。模型规模扫描（表 2、图 5）显示所有 Qwen2.5-VL（3B/7B/32B/72B）和 Qwen3-VL（2B/4B/8B/32B/30B-A3B）规模下，最优窗口都不是单调增长的，Qwen2.5-VL-72B 在 16 帧最优（70.76%），Qwen2.5-VL-32B 在 4 帧最优（65.84%），Qwen3-VL-32B 在 8 帧最优（74.09%），Qwen3-VL-30B-A3B 在 4 帧最优（73.28%）。效率方面（表 3、图 3）：SIMPLESTREAM-4f 在 16/64/256 帧下的 TTFT 分别为 35/33/38 ms，仅次于 HERMES（27/29/29 ms）但优于其他所有流式方法；峰值显存是 35/33/38 MB，是所有方法中最低且最平坦的（对比 ReKV 250/380/740 MB，TimeChat-Online 156/607/3072 MB）。Visual-RAG 消融（表 4）则定量证实感知-记忆权衡：EPM +7.1、ASI +6.1 改善的同时，OJR -9.2、OCR -8.1、ACR -7.3、整体平均 66.0→63.7 反而下降。图 6 把所有方法映射到 $\Delta P / \Delta M$ 二维平面，发现 9 个外部基线全部落在 $\Delta P < 0$ 区域，没有任何方法能在不损失实时感知的前提下拿到稳定记忆增益。

**Table 1**: Main results on OVO-Bench and StreamingBench

**Table 3**: Latency-efficient streaming inference (TTFT)

**Table 2**: Model scale effects under a fixed recent-window evaluation protocol on OVO-Bench

**Table 4**: Per-track Visual-RAG analysis on OVO-Bench

**Figure 3**: Peak GPU memory vs. observed frames

**Figure 5**: Model-scaling ablation on OVO-Bench

**Figure 6**: Perception cost and Memory Gain relative to the SIMPLESTREAM anchor

查看结构化数据

任务	指标	本文	基线	提升
OVO-Bench 平均准确率（Real-Time + Backward）	百分制准确率（百分比）	67.7%（Qwen3-VL-8B + 4 帧）	59.2%（HERMES，此前 SOTA 流式方法）	+8.5 pp
StreamingBench RTVU	百分制准确率（百分比）	80.59%（Qwen3-VL-8B + 4 帧）	79.44%（HERMES）	+1.15 pp
OVO-Bench Real-Time Visual Perception（6 子任务平均）	百分制准确率（百分比）	81.4%（Qwen3-VL-8B + 4 帧）	69.0%（HERMES）	+12.4 pp
OVO-Bench Backward Tracing（3 子任务平均）	百分制准确率（百分比）	54.9%（Qwen3-VL-8B + 8 帧）	52.0%（StreamForest）	+2.9 pp
峰值显存（256 观察帧）	MB	38 MB（SIMPLESTREAM-4f）	740 MB（ReKV）/ 3072 MB（TimeChat-Online）	约 19× ~ 80× 显存节省
TTFT（256 观察帧）	毫秒（ms）	38 ms（SIMPLESTREAM-4f）	29 ms（HERMES，最快）	略慢于 HERMES 但显著快于 ReKV 380 ms、TimeChat 3072 ms

局限与改进

作者在『Limitations』小节坦承两点主要限制：第一，本文结论与所用 backbone 强耦合，实验只覆盖 Qwen2.5-VL 和 Qwen3-VL 两个家族，没有在 InternVL、LLaVA-OneVision、GPT-4V 等其他主流 VLM 上重复，因此 SIMPLESTREAM 的优势能否迁移到非 Qwen 体系仍待验证；第二，论文定位为『强基线研究』而非新架构，没有提出新的记忆机制或长程压缩方案，因此读者不应把它读作『解决了长程视频理解』，它只是说明了当前基准到底在奖励什么。我自己的观察还有三点：(1) 评测维度仍集中在 OVO-Bench 和 StreamingBench 两个基准，没有在 RIVER、OmniMMI、ProactiveVideoQA 等强调主动交互/分轮对话的基准上验证，对『主动响应』类任务的覆盖不足；(2) 1 fps 采样 + 最多 8 帧的设计在快速运动场景下可能漏掉关键动作，没有给出不同运动速度下的鲁棒性曲线；(3) 4 帧窗口对超长上下文（如 OVO-Bench 中需要数百秒追溯的任务）天然无力，理论上无法处理『需要在整个流中精确回溯到某个特定事件』的查询，论文的贡献更多是『基线重置』而非『能力突破』。

独立分析的弱点

独立分析的方法弱点与改进方向有三：第一，『只用最近 N 帧』在因果约束下确实无法解决真正需要长程回溯的问题，例如 OVO-Bench Backward Tracing 中需要回忆几十秒前的事件细节的题，SIMPLESTREAM 缺乏任何针对性机制，未来可以探索『先用 SIMPLESTREAM 解决感知类问题，再用触发式检索补充回溯』的混合架构；第二，固定的 1 fps 采样忽略了帧间运动信息，在动作密集场景（如体育、舞蹈）下可能错过关键帧，可以考虑加入自适应帧采样或事件检测触发器；第三，实验只在英文/英文基准上验证，没有跨语言和文化场景的鲁棒性测试，VLM 在中文视频问答上的短时感知能力可能不同。

未来方向

作者明确指出的方向是『recent-first, history-on-demand』原则：默认保留清晰未压缩的最近帧，只有当问题确实需要历史信息时才触发记忆检索；并呼吁基准应分别报告感知、记忆、幻觉三类指标而非单一平均分。基于这些观察可延伸的研究包括：(1) 设计『感知无损的记忆注入』机制，例如通过 attention 引导或特征蒸馏让检索到的历史块不干扰最近帧的 attention；(2) 构造新的『纯记忆』基准，剔除 HLD 等噪声任务并平衡感知/记忆权重；(3) 探索 backbone 与最优窗口的 scaling law，本文已证明『最优窗口 ≠ 单调随规模上升』但还没给出解析描述；(4) 把 SIMPLESTREAM 思路推广到流式音频、流式多模态对话等其他时序场景。

复现评估

复现友好性较高：代码已开源在 https://github.com/EvolvingLMMs-Lab/SimpleStream，项目主页 https://simple-stream.github.io/ 提供了更多可视化结果；主实验仅需 Qwen2.5-VL-7B-Instruct 和 Qwen3-VL-8B-Instruct 两个开源 VLM，加上 1 fps 抽帧和截尾 N 帧这种最简单的预处理，无需任何额外训练或专用硬件；评测数据是 OVO-Bench（1640 题）和 StreamingBench（2500 题），都可通过官方渠道下载；规模扩展实验需要的最大模型 Qwen2.5-VL-72B 对显存要求较高（建议 4×A100 80G），但主实验的 7B/8B 模型单卡即可运行；总体复现难度为『中低』，核心创新（极简输入策略 + $\Delta P / \Delta M$ 指标）在普通实验环境下即可验证。

面向流式视频理解的简洁基线方法 A Simple Baseline for Streaming Video Understanding