CurveStream：通过曲率感知分层视觉记忆管理提升多模态大模型的流式视频理解能力 CurveStream: Boosting Streaming Video Understanding in MLLMs via Curvature-Aware Hierarchical Visual Memory Management
用特征轨迹的曲率作为语义变化的几何探针，把流式视频帧动态路由进高清清晰记忆与低分辨率模糊记忆，在严格 token 预算下取得超 10% 的绝对提升。
前置知识
多模态大模型 (MLLM) 与视觉 Token 爆炸
以 Qwen2.5-VL、LLaVA-OneVision 为代表的多模态大模型将每一帧视频切成大量视觉 token，再和文本一起送入 LLM 自注意力层。当视频长度趋于无穷时，视觉 token 数量线性爆炸，self-attention 的二次方复杂度迅速让单卡 GPU 显存耗尽 (OOM)，或被迫截断早期 token 导致灾难性遗忘。
本文直面的是流式视频场景下 MLLM 的核心工程瓶颈——固定 token 预算下的长程记忆管理，不理解这个背景就难以体会 CurveStream 提出曲率评分的动机。
特征流形 (feature manifold) 与离散曲率
把视频每帧经过冻结视觉编码器（如 DINOv2）再 L2 归一化后，可以视作高维单位球面上的一个点；随时间连续移动形成的轨迹就是一条离散参数曲线。曲率 κ 在微分几何中衡量切向量随弧长变化的剧烈程度，在本文被离散化为相邻位移向量 $d_1, d_2$ 的夹角余弦距离 $C_t = 1 - \langle T_1, T_2\rangle$。
曲率是本文的核心度量，它把"语义是否发生突变"的几何直觉形式化为一个可计算的标量，是与传统余弦相似度、光流等一阶度量的根本区别。
K-Sigma 动态阈值 (K-Sigma rule)
借鉴工业过程控制中的统计异常检测思想：用指数滑动平均 (EMA) 实时维护曲率序列的均值 $\mu_t$ 与方差 $\sigma_t^2$，再生成两条自适应阈值线 $g_1 = \mu_t + k_1\sigma_t$ 与 $g_2 = \mu_t + k_2\sigma_t$，把样本分为低于、介于、高于三个区间。本文中 $k_1=0, k_2=1$，对应"低于均值"、"高于均值但不超过一个标准差"、"超过一个标准差"三档。
非平稳视频流中无法预设静态阈值，K-Sigma 让阈值随场景节奏自适应漂移，是实现"在线感知"的关键工程手段。
FIFO (First-In-First-Out) 队列淘汰
当记忆库达到容量上限 $N_{max}$ 时，强制移除最早进入队列的 token。该策略实现简单、严格保证常驻显存恒定，但缺点是无法区分重要与冗余 token，容易把关键早期事件挤出窗口。
FIFO 是 CurveStream 在路由之后兜底的容量控制手段，了解其优缺点有助于理解为何单靠 FIFO 会造成灾难性遗忘。
研究动机
现有流式视频理解管线存在三方面难以调和的痛点。第一，token 数量随视频时长线性增长，单张 GPU 的 KV cache 容量上限 $N_{max}$ 让长视频必然触发 OOM 错误或被朴素截断，造成灾难性遗忘。第二，主流视觉信息保留策略要么采用均匀采样（如 1 fps 等间隔抽帧），要么依赖一阶物理度量（帧间余弦相似度 $1 - \langle F_t, F_{t-1}\rangle/\|F_t\|\|F_{t-1}\|$、光流 Pyramid Optical Flow 等），它们对摄像头平滑平移等恒速运动极其敏感——一段从左到右的缓慢扫视会让余弦相似度持续偏低，触发误判；第三，现有的记忆管理机制多采用被动滑窗或外部检索（KV cache eviction、StreamForest/ReKV/Venus 等外部存储），这些方法本质上是事后查询驱动 (post-hoc query-driven)，无法在没有用户提问时主动维持长期上下文一致性，导致语义碎片化 (semantic fragmentation) 与关键过渡点不可逆的信息模糊 (information blurring)。例如在 StreamingBench 上，Qwen2-VL-7B 仅靠均匀 1 fps 采样只能拿到 69.04% 平均准确率，GPT-4o 拿到 73.28%，离人类水平 91.46% 仍有 18–22% 的巨大差距。
本文的目标是本文的核心目标是设计一种无需训练 (training-free) 的、即插即用的视觉记忆管理框架，让任意现成 MLLM 都能在固定 token 预算 $N_{max}$ 内长期、连续地感知流式视频；具体而言，希望在 StreamingBench 的 10 个实时理解子任务与 OVOBench 的 6 个实时感知子任务上，把开源 7B–8B 模型的绝对准确率相对各自基线提升 10% 以上，并首次让 7B 开源模型在 OVOBench (73.48%) 上超越 GPT-4o (64.46%) 与 Gemini 1.5 Pro (69.32%)。
与已有工作不同的是，作者切入的角度是几何先验 (geometric prior)：他们观察到，把连续视频流投影到冻结视觉编码器的特征空间后，沿着这条离散轨迹，**高曲率区域精确对应着高层语义突变**——比如镜头切换、新主体入场、动作起止边界。一个尖锐的轨迹转弯 ($\kappa$ 大) 意味着事件级语义跳跃，而一段几乎平直的轨迹 ($\kappa\approx 0$) 对应摄像头平滑平移或静止背景。这一观察区别于现有所有方法：(1) 与均匀采样相比，它利用了特征几何结构而非依赖时间间隔；(2) 与一阶相似度相比，它是二阶导数，能过滤恒速背景运动；(3) 与被动外部检索相比，它是在线、主动、无需查询的实时感知机制。作者把这一直觉形式化为 Curvature Score，并把曲率评分与 K-Sigma 在线阈值耦合，最终落地为一套 training-free 框架 CurveStream。
核心方法
CurveStream 的整体思路可以理解为"先感知、再路由"两阶段流水线：先用 Curvature-Aware Scorer (CAS) 给每一帧打一个反映语义突变强度的曲率分数；再让 Hierarchical Visual Memory Management (HVMM) 模块依据在线维护的均值与方差，动态生成两个 K-Sigma 阈值，把帧三档分流到高分辨率 Clear Memory、低分辨率 Blurred Memory 或直接丢弃，同时用 FIFO 保证记忆库容量恒定。整个流程无需任何训练、不依赖后验查询 (post-hoc query)，作为插件套在 Qwen2.5-VL / Qwen3-VL / LLaVA-OneVision 等 MLLM 前端即可生效。
最核心的创新是把"曲率"从微分几何教科书搬到视觉记忆管理领域，并给出严格的等价性证明：在单位球面上，二阶几何曲率 $C_t$ 与单位切向量 $T_1, T_2$ 的平方距离满足 $\|T_2 - T_1\|^2 = 2(1-\langle T_1, T_2\rangle) = 2C_t$，因此 $C_t$ 严格等价于曲率的二阶离散近似。这意味着当且仅当特征轨迹方向发生剧烈改变时 $C_t$ 才会出现尖峰，而恒速运动下 $C_t\approx 0$。现有方法用余弦相似度看的是一阶幅度 $\|d\|$，必然把"平稳 pan"误判为关键事件；用光流看的也是一阶像素速度场，对噪声敏感且算力昂贵。CurveStream 的二阶几何度量从数学结构上就把语义突变与物理平移解耦了。
方法步骤详情
完整流程如 Algorithm 1 所示，对每个流入的视频帧 $I_t$ 依次执行以下操作：(1) 用冻结的 DINOv2-small 编码器抽取 L2 归一化的全局特征 $F_t \in \mathbb{R}^D$。(2) 当 $t \geq 3$ 时，CAS 模块同时计算一阶 Motion Variation $M_t = 1 - \langle F_t, F_{t-1}\rangle / (\|F_t\|\|F_{t-1}\|)$ 和二阶 Geometric Curvature $C_t = 1 - \langle d_1, d_2\rangle / (\|d_1\|\|d_2\|)$，其中 $d_1=F_{t-1}-F_{t-2}$、$d_2=F_t-F_{t-1}$。(3) 最终 Curvature Score 为 $CS_t = M_t + \lambda C_t$，$\lambda=0.2$ 为几何惩罚权重。(4) HVMM 用 EMA 公式 $\mu_t = \gamma\mu_{t-1} + (1-\gamma)CS_t$ 和 $\sigma_t^2 = \gamma\sigma_{t-1}^2 + (1-\gamma)(CS_t - \mu_t)^2$ 在线更新流形分布参数，$\gamma$ 为动量因子。(5) 由分布参数生成两个动态阈值 $g_1 = \mu_t + k_1\sigma_t$、$g_2 = \mu_t + k_2\sigma_t$（实验中 $k_1=0, k_2=1$）。(6) 路由决策：若 $CS_t \geq g_2$ 或 $t=t_q$（查询触发的当前帧）则标记为 Clear Memory、保留原生高分辨率；若 $g_1 \leq CS_t < g_2$ 则标记为 Blurred Memory、下采样到 $224\times 224$；否则丢弃。(7) 若记忆库长度 $|\mathcal{M}_t| > N_{max}$ 则执行严格 FIFO 淘汰最旧 token。整套流程对每帧是 $O(1)$ 复杂度，DINOv2 之外的算力开销可忽略不计。
技术新颖性
技术新颖性体现在三个层面的组合创新。第一，**度量层面**：把"曲率"从纯理论概念落地为可微、可计算的在线评分 $CS_t = M_t + \lambda C_t$，并在附录 C 给出 $\|T_2-T_1\|^2 = 2C_t$ 的严格几何等价证明，使其区别于一阶相似度具有数学可解释的抗噪能力。第二，**调度层面**：把工业界的过程控制统计量 (K-Sigma) 引入视觉记忆管理，让阈值 $\mu_t + k\sigma_t$ 随场景节奏自适应漂移，而非依赖人工预设或训练得到。第三，**架构层面**：设计 Clear/Blurred/Discard 三态分层记忆，把显存预算分配到"信息密度最高的时间点"，配合 224×224 的统一过渡分辨率，比 HERMES、ReKV、StreamForest 等检索型方法更轻量、比 TimeChat-Online 等剪枝型方法更稳定。
实验结果
在五个主流基准上系统验证后，CurveStream 给出了多项显著结论。第一，在 StreamingBench 上把 Qwen2-VL-7B 从 69.04% 拉到 81.04%（↑12.00%），把 Qwen2.5-VL-7B 从 73.31% 拉到 84.00%（↑10.69%），把 Qwen3-VL-8B 从 73.20% 拉到 85.56%（↑12.36%）。第二，在 OVOBench 上同样把 Qwen2-VL-7B 从 60.65% 拉到 70.73%（↑10.08%），把 Qwen2.5-VL-7B 从 59.90% 拉到 73.48%（↑13.58%），首次让 7B 开源模型在该榜单上超越 GPT-4o 的 64.46% 和 Gemini 1.5 Pro 的 69.32%。第三，模型规模上的可扩展性：Qwen3-VL-4B/8B/32B 在 StreamingBench 上分别获得 8.7%/12.4%/11.5% 的提升，在 OVOBench 上获得 11.2%/10.7%/10.6% 的稳定增益，证明收益不依赖于特定参数规模。第四，在离线短/长视频 MVBench、VideoMME 上也有 1.03%–5.82% 的正向迁移，其中 Qwen2.5-VL-7B 在 VideoMME 上略有下滑 1.55%（64.52% → 62.97%），作者承认这是为了在数小时长视频中维持 OOM-safe 不得不牺牲的部分全局细节。第五，曲率权重 $\lambda$ 在 $[0.1, 0.4]$ 区间内准确率波动仅 3.33%（峰值 65.83%、最低 62.50%），$k_1$、$k_2$ 的鲁棒性同样出色（Fig. 4），证明该框架是低敏感度的即插即用模块。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| StreamingBench (10 个实时视觉理解子任务) | 平均准确率 (%) | Qwen2.5-VL-7B + CurveStream = 84.00% (10–20 帧动态队列) | Qwen2.5-VL-7B 均匀 1 fps 采样 = 73.31% | ↑10.69% (绝对值)，相对 StreamForest-7B 77.26% 与 FreshMem 74.20% 也有 6.74% 与 9.80% 的领先 |
| OVOBench (6 个实时视觉感知子任务) | 平均准确率 (%) | Qwen2.5-VL-7B + CurveStream = 73.48% (10–20 帧动态队列) | Qwen2.5-VL-7B 均匀 1 fps 采样 = 59.90% | ↑13.58%，超过 HERMES 68.98% 与 FreshMem 66.67%，也超过闭源 GPT-4o 64.46% 与 Gemini 1.5 Pro 69.32% |
| MVBench (20 个细粒度动作感知子任务) | 平均准确率 (%) | Qwen2.5-VL-7B + CurveStream = 66.03% | Qwen2.5-VL-7B 均匀 1 fps 采样 = 65.00% | ↑1.03%，说明短视频场景下动态路由仍能保持甚至略有提升 |
| VideoMME (覆盖小时级长视频) | 平均准确率 (%) | Qwen2.5-VL-7B + CurveStream = 62.97% | Qwen2.5-VL-7B 均匀 1 fps 采样 = 64.52% | ↓1.55%（绝对下降），作者承认是为维持 OOM-safe 牺牲的部分全局细节；但 LLaVA-OV-7B + CurveStream 仍能在该基准获得 ↑1.77% |
| EgoSchema (第一人称长视频) | 平均准确率 (%) | Qwen2.5-VL-7B + CurveStream = 64.29% | Qwen2.5-VL-7B 均匀 1 fps 采样 = 58.47% | ↑5.82%，证明对第一人称动态视角同样有效 |
| FAVOR-Bench (微动作感知) | 平均准确率 (%) | Qwen2.5-VL-7B + CurveStream = 47.32% | Qwen2.5-VL-7B 均匀 1 fps 采样 = 40.76% | ↑6.56%，证明对微运动信号的高频捕获能力 |
局限与改进
作者明确承认的第一个限制是 VideoMME 上的轻微性能下降 (64.52% → 62.97%)，原因是 CurveStream 为了在数小时长视频中严格保证 OOM-safe，把固定容量 20 帧的 Clear/Blurred 记忆用于捕捉语义过渡点，必然要牺牲部分无突变但仍有价值的全局静态背景，造成一些依赖整体上下文的任务出现细节缺失。第二个限制体现在 Counting 子任务上：Qwen2.5-VL-7B + CurveStream 在 StreamingBench 的 CT (Counting) 上仅 44.79%，虽然高于基线 52.85% 的反向对比，但绝对值仍是该模型所有子任务中的最低点，说明单纯靠 20 帧的记忆难以支撑对密集计数目标的统计。第三，从我们观察的角度，框架存在 (a) 对短时局部突变依赖强：如果连续多帧都在曲率峰值上，K-Sigma 阈值会被快速抬高，导致真正剧烈的突变反而被压回 Blurred Memory；(b) DINOv2-small 作为冻结特征提取器，对部分细粒度 OCR、Attribute Recognition 的语义判别力有限，可能限制了 Clear Memory 选帧的精度；(c) 当前所有实验都只在 20 帧的固定队列长度下进行，对超长视频 (>10 小时) 的扩展性还未充分测试。
独立分析的弱点
独立分析来看，本文存在几个可改进的弱点。第一，**特征提取器单一**：所有实验都基于 DINOv2-small 而非与下游 MLLM 联合微调，可能在某些与任务强相关的视觉信号上不够敏感；改进方向是用 LoRA 适配一个共享的 ViT，让曲率评分与下游 query 任务分布对齐。第二，**Clear vs Blurred 的二元分配过于刚性**：当前只支持 $224\times 224$ 一种低分辨率，未来可设计多档分辨率（如 $224/336/448$）并按曲率分位数动态分配，让 0%–100% 之间任意比例都能平滑过渡。第三，**曲率峰值的解耦假设仍依赖经验**：Appendix C 的理论证明建立在 L2 归一化与切向量平行的假设上，但实际视频中"匀加速运动""短暂遮挡"也可能产生曲率尖峰，引入误判；改进方向是把曲率与时间导数、注意力熵等多源信号做特征级融合。第四，**缺乏与查询的交互**：当前 HVMM 是完全 query-agnostic 的，但真实场景里用户往往只关心某类事件，未来可在 routing 阶段引入轻量 query 条件 (例如 query-aware attention prior)。第五，**对训练型基线的对比深度不足**：Table III 中只与一个训练型 StreamForest (77.26%) 对比且仅高出 0.05%，应进一步在更多训练型 SOTA 上系统对比。
未来方向
作者在结论部分提到要把这一几何记忆范式扩展到 embodied AI 应用，例如自动驾驶导航 (autonomous navigation) 与长时间机器人操控 (prolonged robotic manipulation)。我们基于其实验结果可以延伸出几个方向：(1) 把曲率评分与 RLHF/DPO 的人类偏好对齐，让 Clear Memory 选择更贴合任务意图；(2) 在多摄像头、多模态 (音频+惯性测量单元) 流中推广曲率概念，构建跨模态统一流形；(3) 探索把 K-Sigma 阈值改造成基于因果发现 (causal discovery) 的动态估计，让"语义突变"具有因果意义；(4) 与神经符号记忆 (neural-symbolic memory) 结合，把高曲率点抽象为事件节点，形成可编辑、可回放的长期记忆图；(5) 将框架扩展到超长视频 (>10 小时、>100K 帧)，并研究层级化 KV cache 压缩与曲率路由的耦合。
复现评估
作者明确表示代码将在 GitHub 上开源 (https://github.com/streamingvideos/CurveStream)，论文中给出了 Algorithm 1 完整伪代码、Table XI 详细超参数 (Queue Size=20、$\lambda=0.2$、$k_1=0$、$k_2=1$、TRANSITION SIZE=224) 以及所有基准的子任务分解结果，可复现性较好。从硬件角度看，所有实验仅需单张推理 GPU（作者强调"independently executed on a single inference GPU"），不依赖大规模训练算力；数据方面使用的都是公开的 StreamingBench、OVOBench、MVBench、EgoSchema、VideoMME、FAVOR-Bench 数据集。复现难度整体评估为中等：主要工作量在于把 CurveStream 的视觉编码器替换 DINOv2 与目标 MLLM 的 projector 对齐，以及复现 EMA 与 K-Sigma 的数值稳定性，但这些都是 50–200 行 Python 代码可完成的工作，无需训练。
论文图表
(a) 左侧柱状图展示了在 OVOBench 上各方法的平均准确率：Qwen2.5-VL-7B 基线约 59.90%，+CurveStream 后达到 73.48%，箭头标注 ↑13.6%。(b) 右侧示意图把流式视频帧沿时间轴排列，用一条蓝色曲线表示曲率随时间的演变，并叠加一条粉色虚线 K-Sigma 动态阈值；曲率尖峰处的"High-Semantic Frames"被黄色高亮标出并保留到 Clear Memory，其余 Low-Semantic Frames 被滤除。
这是论文的"门面图"，把"性能提升"与"机制原理"放在一张图里，让读者 5 秒内抓住全文主旨——曲率峰值即关键语义。
扫描 $\lambda \in \{0.2, 0.4, 0.6, 0.8, 1.0\}$ 五个取值，对应 OVOBench 准确率 65.83%/62.50%/63.33%/62.50%/65.00%，峰值出现在 $\lambda=0.2$，基线 60.65%。
为 $\lambda$ 这个核心超参数的选择提供经验依据，并展示框架的低敏感度。
对比 Qwen3-VL-32B 基线 (误判人物在调试三脚架) 与 CurveStream (正确识别为举着能量饮料喝) 在同一帧上的回答差异；用红/绿框标注正误。
用具体案例展示曲率峰值如何锚定"drinking action"这类关键瞬间，解释为何能减少幻觉。
基线根据"背景椅子"偏见预测人会坐下；CurveStream 通过保留操作手机的因果链，正确预测人会继续操作手机。
展示第一人称视频中"因果链完整性"如何避免长程推理偏差。
展示一个带有"嵌套菱形图案"的陶罐：基线因均匀下采样把图案模糊为"角形互锁形状"；CurveStream 把图案清晰帧保留为 Clear Memory，正确识别出"每个菱形内有一个小点"。
证明 Clear Memory 在高分辨率细节保留上的价值，对应 ATR/OCR 类任务。
猴子手里拿着的小物体：基线因模糊记忆错判为"木棍"；CurveStream 在叉子暴露清晰的关键帧上保留细节，正确识别为"多齿餐具 (fork)"。
展示严重遮挡场景下，"关键曝光瞬间"被曲率捕获并锚定的能力，对应 OJR 子任务。