HERMES：将KV缓存作为层次化记忆实现高效流式视频理解 HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding
分层管理KV缓存，免训练实现10倍加速的流式视频理解
前置知识
KV Cache（键值缓存）
在Transformer的自注意力机制中，每一层会对输入序列计算Key（键）和Value（值）矩阵。在自回归生成时，为了避免重复计算前面token的Key和Value，会将它们缓存下来，这就是KV Cache。随着输入序列变长，KV Cache占用的GPU显存会线性增长。以LLaVA-OV-7B为例，每个视频帧编码为196个token，处理数百帧的长视频时，KV Cache可能消耗数十GB显存，成为流式部署的主要瓶颈。
HERMES的核心就是对KV Cache进行分层压缩和管理，理解KV Cache的结构和显存开销是读懂本文的基础。
流式视频理解（Streaming Video Understanding）
与离线视频理解（一次性拿到完整视频再处理）不同，流式视频理解要求模型实时处理连续到达的视频帧，并随时响应用户的查询。这带来三个核心挑战：（1）视频长度不可预知，无法预先分配资源；（2）需要低延迟响应，不能在用户提问时做大量预处理；（3）需要稳定地维持长期记忆，不能因为新帧到来就遗忘关键信息。典型的流式场景包括监控视频实时分析、直播内容理解、自动驾驶环境感知等。
本文明确面向流式场景设计，与离线视频理解方法有本质区别，理解流式场景的特殊约束是理解本文动机的关键。
RoPE（旋转位置编码）
RoPE（Rotary Position Embedding）是当前主流LLM使用的位置编码方式，通过对Query和Key向量施加基于位置的旋转变换来编码token的绝对和相对位置。当KV Cache中的token被压缩或重新排列时，原来缓存的Key向量的位置信息会失效，需要通过位置重索引（Position Re-Indexing）来修正。M-RoPE是Qwen2.5-VL中使用的多维旋转位置编码，在时间、高度、宽度三个维度分别编码，用于视频输入的时空位置表示。
HERMES的位置重索引策略（lazy和eager两种）是保证压缩后推理正确性的关键技术环节，需要理解RoPE的基本原理。
TTFT（Time to First Token）
TTFT即首Token延迟，定义为从用户输入查询到模型解码出第一个输出token所经历的时间。在流式视频场景中，TTFT是衡量实时性的核心指标。当用户提问时，模型需要先对视频token进行prefilling（预填充），然后才能开始解码。如果KV Cache需要从外部设备（如CPU或磁盘）检索并重建，TTFT会显著增加。本文报告HERMES在256帧设置下TTFT低于30毫秒，比之前最好的方法StreamingTOM快10倍。
TTFT是本文最核心的效率指标之一，直接体现了HERMES在实时响应方面的优势。
Ebbinghaus遗忘曲线
Ebbinghaus遗忘曲线是心理学中描述记忆衰减的经典理论，指出记忆强度随时间呈指数衰减。HERMES借鉴这一理论来建模浅层KV Cache中token的重要性：越新的token（时间距离较小）重要性越高，越远的token重要性越低，用指数衰减公式来计算重要性分数。这种基于认知科学的建模方式是HERMES层次化策略的理论基础之一。
HERMES为浅层设计的token重要性计算直接借鉴了遗忘曲线理论，这是方法设计的灵感来源。
注意力机制（Attention Mechanism）
注意力机制是Transformer的核心组件，通过计算Query与所有Key的相似度得到注意力权重，再对Value加权求和得到输出。注意力权重反映了模型在处理当前token时对各个历史token的关注程度。HERMES通过分析不同层的注意力分布模式（如浅层的近因偏差、深层的稀疏节律模式）来指导KV Cache的分层压缩策略，这是本文方法论的核心洞察。
HERMES的方法建立在对注意力机制的机械化分析（mechanistic investigation）之上，理解注意力权重的含义是理解本文分析方法的前提。
研究动机
现有的多模态大语言模型（MLLMs）在离线视频理解上取得了显著进展，但在流式视频场景中面临三重困境。首先，实时响应难以保障：如ReKV和LiveVLM等免训练方法将KV Cache卸载到外部CPU或磁盘，当用户查询到达时需要从外部设备检索完整的KV Cache并重建到GPU上，导致严重的延迟。其次，GPU显存开销无法控制：随着视频流持续输入，KV Cache线性增长，可能引发OOM（显存溢出）错误。第三，长期记忆不稳定：现有方法如StreamMem依赖启发式策略（如利用chat template tokens指导压缩）进行粗粒度的KV Cache管理，缺乏细粒度的层次化管理和可解释性。具体来看，Flash-VStream-7B在StreamingBench上仅有23.23%的准确率，VideoLLM-online-8B仅有35.99%，远低于离线模型的水平，说明现有流式方法的理解能力严重不足。
本文的目标是本文的目标是设计一个免训练（training-free）、即插即用（plug-and-play）的流式视频理解框架，能够无缝集成到现有MLLM中，同时实现三个目标：（1）稳定准确的理解性能，在减少高达68%视频token的情况下仍保持或超越基线模型的精度；（2）极低的响应延迟，确保TTFT低于30毫秒；（3）恒定的GPU显存占用，不随视频长度增长，避免OOM风险。该框架在用户查询到达时无需任何辅助计算或外部设备检索，直接复用压缩后的KV Cache即可生成响应。
与已有工作不同的是，本文的独特切入角度在于对MLLM解码层的注意力偏好进行了系统性的机械化分析（mechanistic investigation），首次揭示了KV Cache的层次化记忆结构。通过可视化分析LLaVA-OV-7B在不同层对视频token的注意力分布，作者发现：浅层表现为感觉记忆（强近因偏差），深层表现为长期记忆（稀疏的帧级锚点token），中间层表现为工作记忆（平衡近因信息与帧级语义）。这一发现启发了分层差异化的KV Cache管理策略——不同层采用不同的token重要性计算方法和压缩策略，而非像已有方法那样对所有层统一处理。这种基于注意力机制本质特性的设计，使得HERMES在可解释性和性能上都优于启发式方法。
核心方法
HERMES的核心直觉来自一个简洁的观察：Transformer的不同层天然地扮演着不同粒度的记忆角色。浅层像人类的感觉记忆，只关注最新的视觉输入；深层像长期记忆，存储关键的帧级语义信息；中间层则像工作记忆，在两者之间进行过渡和整合。基于这个洞察，HERMES将KV Cache视为一个层次化记忆框架（Hierarchical Memory Framework），对不同层采用不同的token重要性计算和压缩策略。整体技术路线为：首先对输入视频进行chunk-wise编码（每chunk 16帧），逐chunk预填充到LLM的KV Cache中；当KV Cache超过预设的显存预算时，触发层次化的token压缩；压缩后的KV Cache直接复用，用户查询时无需额外的检索或重建操作，从而实现零延迟的实时响应。
HERMES与已有方法的本质区别在于三点。第一，分层差异化管理：已有方法（如ReKV、StreamMem）对所有层采用统一的FIFO或启发式压缩策略，而HERMES根据各层的注意力特性设计差异化的token重要性分数——浅层用基于Ebbinghaus遗忘曲线的指数衰减，深层用注意力权重，中间层用两者加权插值。第二，跨层记忆平滑（Cross-Layer Memory Smoothing）：通过从深层向浅层传播重要性信号，解决各层独立压缩导致的跨层不一致问题。第三，无需外部设备和辅助计算：与ReKV和LiveVLM需要在查询时从CPU/磁盘检索不同，HERMES的所有压缩和管理都在编码阶段完成，查询时直接复用压缩后的KV Cache。
方法步骤详情
HERMES的方法分为三个核心步骤。第一步，层次化KV缓存管理：将LLM的28个解码层划分为三组——10%浅层（感觉记忆）、60%中间层（工作记忆）、30%深层（长期记忆）。对每个视频token计算层特定的重要性分数：浅层基于时间距离的指数衰减（遗忘率k>0），深层基于对通用引导提示（guidance prompt）的注意力权重，中间层基于两者的加权插值（权重随层深度线性变化，初始值0.75，衰减率0.6）。第二步，跨层记忆平滑与Top-K选择：对原始重要性分数施加跨层平滑（浅层lambda=0.1，中间层lambda=0.3，深层lambda=0.4），然后基于平滑后的分数进行Top-K选择，每层保留固定预算M个token。被丢弃的深层token聚合为一个摘要token（summary token）保留在KV Cache中以保留长期信息。第三步，位置重索引：由于token压缩后位置索引会出现间隙，需要重新映射到连续范围[0, M)。流式场景使用懒重索引（lazy re-indexing，仅在接近位置上限时触发），离线场景使用急切重索引（eager re-indexing，每次压缩时执行）。对于1D RoPE（LLaVA-OV），通过左紧凑映射进行位置重排，并通过旋转校正更新缓存的Key向量；对于3D M-RoPE（Qwen2.5-VL），在时间、高度、宽度三个维度独立进行相同的左紧凑映射和校正。
技术新颖性
HERMES的技术新颖性体现在多个层面。首先，将KV Cache概念化为层次化记忆框架是一个全新的视角，这是首次从认知科学（感觉记忆、工作记忆、长期记忆）的角度系统性地解释Transformer不同层的注意力行为。虽然此前有工作观察到不同层的注意力模式不同，但HERMES首次将这种观察转化为具体可操作的压缩策略。其次，跨层记忆平滑机制是一个优雅的设计，解决了分层独立压缩可能导致的视觉记忆错位问题，同时保持了较低的计算开销。第三，基于通用引导提示计算深层token重要性是一个巧妙的方案，使得方法能够在无法预知用户查询的流式场景下工作。最后，摘要token聚合算法（通过旋转对齐后进行均值池化）为长期记忆的保留提供了一种紧凑的表示方式。这些设计共同使得HERMES成为首个在免训练方法中同时实现低延迟、低显存和高准确率的流式视频理解框架。
实验结果
HERMES在多个维度的实验中展现了全面的优势。在流式视频理解方面，基于Qwen2.5-VL-7B的HERMES（4K token预算）在StreamingBench实时理解任务上达到79.44%，相比基线模型的73.31%提升6.13个百分点；在OVO-Bench上达到68.98%的实时感知准确率和49.43%的回溯追踪准确率，平均59.21%，相比基线52.28%提升6.93个百分点。在开放域流式任务RVS-Ego和RVS-Movie上，基于LLaVA-OV-7B的HERMES（6K token）在RVS-Movie上达到54.4%准确率和3.6分，与ReKV的上界持平，相比基线43.0%提升11.4个百分点。在效率方面，HERMES在256帧设置下GPU显存恒定在16.54-17.66GB（取决于chunk大小），TTFT仅为27-29毫秒，比之前最好的StreamingTOM快10倍。在离线基准测试上，HERMES同样表现出色：基于LLaVA-OV-7B在Egoschema上达到60.29%（基线59.93%），在VideoMME长视频子集上达到49.22%（基线48.00%）。消融实验表明，4K token预算即可在流式任务上达到稳定性能；跨层记忆平滑机制对VideoMME性能有显著贡献（从54.74%提升到58.44%）；摘要token有效保留了长期记忆信息。HERMES还在Qwen2.5-VL-32B、Qwen3-VL-8B、Qwen3-VL-4B等多个模型上验证了广泛适用性，在Qwen3-VL-8B上达到StreamingBench 81.28%和OVO-Bench 73.29%的最新水平。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| StreamingBench 实时视觉理解 | Accuracy (%) | HERMES (4K, LLaVA-OV-7B): 73.23%; HERMES (4K, Qwen2.5-VL-7B): 79.44% | LLaVA-OV-7B: 71.34%; Qwen2.5-VL-7B: 73.31% | LLaVA-OV: +1.89%; Qwen2.5-VL: +6.13% |
| OVO-Bench 实时感知 + 回溯追踪 | Average Accuracy (%) | HERMES (4K, Qwen2.5-VL-7B): 59.21% | Qwen2.5-VL-7B: 52.28% | +6.93% |
| RVS-Movie 开放域流式理解 | Accuracy (%) | HERMES (6K, LLaVA-OV-7B): 54.4% | LLaVA-OV-7B (64帧均匀采样): 43.0% | +11.4% |
| VideoMME 长视频子集 | Accuracy (%) | HERMES (4K, LLaVA-OV-7B): 49.22% | LLaVA-OV-7B: 48.00% | +1.22% |
| Egoschema 长视频理解 | Accuracy (%) | HERMES (4K, LLaVA-OV-7B): 60.29% | LLaVA-OV-7B: 59.93% | +0.36% |
| TTFT延迟 (256帧) | 毫秒 (ms) | HERMES: ~28 ms | StreamingTOM (prior SOTA): ~280 ms | 10倍加速 |
| GPU显存 (256帧) | GB | HERMES: 16.54-17.66 GB (恒定) | LiveVLM (prior SOTA): ~17.4 GB | 恒定不增长，约1.04倍降低 |
| StreamingBench (Qwen2.5-VL-32B) | Accuracy (%) | HERMES (4K): 80.08% | Qwen2.5-VL-32B: 74.27% | +5.81% |
| OVO-Bench (Qwen3-VL-8B) | Average Accuracy (%) | HERMES (4K): 73.29% | Qwen3-VL-8B: 68.64% | +4.65% |
局限与改进
作者坦诚地指出了两个主要局限。第一，由于计算资源限制，未能在更大规模的模型（如Qwen2.5-VL-72B）上进行实验验证，这限制了对HERMES在超大规模模型上效果的了解。第二，HERMES未与其他正交的免训练技术进行集成探索，如与更高效的注意力机制或其他token压缩方法结合可能进一步提升性能和效率。从个人观察来看，HERMES的方法还存在一些潜在局限：（1）分层比例（10%浅层、60%中间层、30%深层）是基于LLaVA-OV-7B的28层架构分析得到的，对于不同层数或架构的模型可能需要重新调整；（2）引导提示（guidance prompt）虽然实验证明对具体措辞不敏感，但仍引入了人工设计的先验，在更复杂的视频场景中可能需要精心设计；（3）摘要token的均值池化聚合方式相对简单，可能丢失被丢弃token中的细粒度信息；（4）在离线长视频任务（如VideoMME Long子集）上，4K token预算相比6K token预算的性能有所下降（49.22% vs 49.11%），说明极低预算下长期信息保留仍面临挑战。
独立分析的弱点
HERMES存在几个值得关注的弱点。首先，层次划分策略相对固定（10%/60%/30%），缺乏自适应机制。不同类型的视频内容（如快速运动的体育视频vs静态的讲座视频）可能需要不同的层次划分比例，当前方法无法根据视频内容动态调整。改进方向可以是设计基于视频内容复杂度的自适应层次划分策略。其次，深层token重要性计算依赖于通用引导提示作为伪查询，虽然实验证明对措辞不敏感，但这种固定提示可能无法覆盖所有语义场景。可以探索基于视频内容自动生成引导提示的方法。第三，跨层记忆平滑的超参数虽然是层相关的，但仍是手工设定的，可以通过在小规模验证集上进行自动搜索来优化。第四，当前方法对所有token的重要性分数都是独立计算的，未考虑token之间的语义关系，可能遗漏了具有互补信息的token组合。第五，摘要token的聚合方式（均值池化）较为简单，可以探索更复杂的注意力加权聚合或使用轻量级网络进行信息压缩。
未来方向
作者提到未来计划在更大规模的MLLM（如72B模型）上验证HERMES的效果，并探索与其他正交免训练技术的集成。基于HERMES的成果，可以延伸出多个有价值的研究方向。第一，将HERMES的层次化记忆框架与其他模态（如音频、文本流）结合，构建多模态流式理解系统。第二，将分层注意力分析扩展到更多模型架构（如Mamba等状态空间模型），探索是否也存在类似的层次化记忆结构。第三，结合自适应的token预算分配——根据视频内容的复杂度和用户查询的类型动态调整各层的token预算，而非使用固定的4K或6K总预算。第四，探索HERMES与在线学习/持续学习的结合，使模型能够在流式交互中不断更新其层次化记忆策略。第五，将HERMES应用于实时交互场景（如视频通话中的AI助手），验证在真实用户交互中的延迟和准确性表现。第六，研究摘要token的信息保留能力，探索更高级的长期记忆压缩方法，如使用低秩近似或知识蒸馏技术。
复现评估
HERMES的复现条件较好。代码已在GitHub开源（https://github.com/haowei-freesky/HERMES），论文主页也提供了详细信息（https://hermes-streaming.github.io/）。方法本身是免训练的，不需要任何额外的模型微调或数据标注，只需在现有MLLM的推理阶段插入KV Cache管理逻辑即可。所有效率实验在单张A800 GPU（80GB）上完成，精度评估在单张H200 GPU上完成，算力需求相对合理。论文提供了详细的层次划分比例、超参数配置（如lambda值、初始权重和衰减率的取值）以及位置重索引的具体实现细节。消融实验全面覆盖了各个组件和超参数，为复现者提供了充分的参考。然而，需要注意的是：（1）论文使用的LLaVA-OV和Qwen2.5-VL基模型本身需要较大显存；（2）部分实验依赖GPT-3.5-turbo进行评估（RVS任务），需要API访问权限；（3）论文中提到的引导提示模板在附录中有详细给出，复现时需严格按照模板实现。总体而言，HERMES是一个复现门槛较低、学术价值较高的工作。
论文图表
该图展示了在6K视频token预算下LLaVA-OV-7B三个代表性层的注意力分布：(a)浅层（layer 0）表现出强烈的近因偏差，注意力尖锐地集中在最新的视觉token上并快速衰减；(b)深层（layer 26）呈现稀疏的节律性模式，局部极大值恰好间隔N=196个token（对应一帧的token数），这些是帧级锚点token；(c)中间层（layer 8）在近因偏差和节律模式之间过渡，注意力分布更均匀。
这是HERMES方法论的核心动机图，通过直接的注意力可视化证据揭示了KV Cache的层次化记忆结构，是理解为什么需要分层差异化管理的关键。
包含两个子图：(a)基于LLaVA-OV-7B和(b)基于Qwen2.5-VL-7B在不同token预算（1K到10K）下的性能变化。结果表明，流式数据集对较小预算更鲁棒（4K即可稳定），而离线长视频数据集在预算低于4K时性能显著下降。两张图的趋势一致，验证了结论的模型无关性。
该图展示了显存预算选择的实验依据，帮助读者理解为什么HERMES选择4K和6K作为主要配置，以及不同场景下的预算需求差异。
展示了当存在对话历史时用于指导token压缩的局部引导提示模板，提示内容要求模型根据对话历史找到与当前场景相关的最近细节，描述当前场景中的具体物体、细粒度动作和空间关系。
该图展示了HERMES中间层token压缩使用的引导提示模板，是方法可复现性的重要细节，也说明了如何在流式场景中利用对话上下文指导压缩。
展示了当没有对话历史时用于指导token压缩的局部引导提示模板，提示内容要求模型描述当前场景的细节，关注具体物体、细粒度动作和空间关系。
与Figure 7配合展示了HERMES引导提示设计的完整性，覆盖了流式交互的冷启动场景。
展示了当存在对话历史时用于指导深层token压缩的全局引导提示模板，提示内容要求模型基于对话上下文总结视频叙事，识别主要角色、关键事件、时间线变化和整体主题。
该图展示了深层token压缩使用的全局引导提示，体现了深层专注于帧级全局语义信息的设计理念。
展示了当没有对话历史时用于指导深层token压缩的全局引导提示模板，提示内容要求模型总结视频叙事，识别主要角色、关键事件、时间线变化和整体主题。
与Figure 9配合展示了深层引导提示的完整设计，覆盖了冷启动场景。
该表展示了HERMES在两种chunk大小（8和16）下，不同帧数（16、64、256、512）的GPU显存、TTFT和TPOT。结果表明GPU显存不随视频长度增长（恒定在16.54-17.66GB），TTFT和TPOT也保持稳定（TTFT约27-29ms，TPOT约24ms），验证了HERMES在实际流式场景中的实时响应能力。
该表提供了HERMES效率特性的详细量化数据，是验证恒定显存和低延迟承诺的关键证据。
该表对比了有无摘要token聚合在VideoMME上的表现。不使用摘要token时平均57.96%，使用后提升到58.44%，特别是在长视频子集上提升更明显（47.78%到49.11%），验证了摘要token在保留长期记忆信息方面的有效性。
该表验证了摘要token这一设计细节的贡献，展示了长期记忆保留策略的有效性。
该表对比了懒重索引和急切重索引在离线基准VideoMME上的表现。与流式基准相反，急切重索引在VideoMME上全面优于懒重索引（平均58.44% vs 54.93%），特别是在长视频子集上差距更大（49.11% vs 43.44%），验证了急切重索引更适用于离线长视频场景（维持严格的RoPE连续性有利于长距离视觉语义）。
与Table 8互补，共同验证了HERMES为流式和离线场景分别设计位置重索引策略的合理性。
该表汇总了所使用的离线基准的关键统计数据：MVBench（16秒短视频，3641视频，4000 QA，多选题）、Egoschema（3分钟，5063视频，5063 QA，多选题）、VideoMME（17分钟，900视频，2700 QA，多选题）。
该表提供了离线评估数据集的基本信息，帮助读者理解离线实验的覆盖范围。