AURA：基于视频流的持续理解与实时辅助 AURA: Always-On Understanding and Real-Time Assistance via Video Streams
端到端流式视觉交互框架，支持实时问答和主动响应，在多项基准测试中达到SOTA
前置知识
Video Large Language Models (VideoLLMs)
VideoLLMs是将视觉感知与语言推理和响应相结合的视频理解核心范式，通过集成视觉编码器和语言大模型来处理视频内容。这些模型通常采用视频编码器提取视觉特征，再通过跨模态对齐层将视觉token映射到语言模型的语义空间，最后由语言模型生成文本响应。关键挑战在于平衡空间分辨率、时间覆盖率和计算成本。
AURA建立在Qwen3-VL-8B-Instruct之上，理解VideoLLM的基本架构和训练方法是理解AURA如何实现流式交互的基础。
流式推理 (Streaming Inference)
流式推理是指模型能够持续处理连续输入流（如视频帧序列）并增量式生成响应，而不需要等待完整输入后再处理。这要求模型具备在线上下文管理能力，能够在有限上下文窗口内动态保留和丢弃历史信息。关键技术包括滑动窗口管理、KV-cache重用和增量式状态更新，以实现低延迟的实时响应。
流式推理是AURA与离线VideoLLM的本质区别，论文核心贡献都是围绕如何在有限上下文窗口内实现稳定高效的流式推理设计的。
双滑动窗口策略 (Dual Sliding-Window Strategy)
双滑动窗口是AURA用于管理无界视频流和对话历史的上下文管理机制。视频滑动窗口保留最近的$N$秒视频（如$N=30$），因为视觉token密集且用户关注的信息通常与近期视觉内容相关。QA交互滑动窗口保留视频窗口之外的$M$个QA组（如$M=10$），因为QA交互是文本形式、token高效且承载关键用户意图和历史上下文。这种设计在控制上下文长度和计算成本的同时保留了重要历史信息。
双滑动窗口是AURA的核心技术创新，解决了如何在有限上下文窗口内组织无界视频和文本输入的问题，是实现稳定长期流式交互的基础。
KV-cache 重用 (KV-cache Reuse)
KV-cache重用是Transformer推理中的一种优化技术，通过缓存之前的键值对来避免重复计算。在流式推理中，如果上下文前缀保持不变，就可以重用之前计算的KV-cache，显著降低计算成本。AURA通过让视频窗口在$N+N'$范围内浮动（如$N'=15$），只有当窗口长度再次达到$N+N'$时才一次性删除最旧的$N'$个视频块，使得在插入下一个$N'$个视频块期间可以连续重用KV前缀。
KV-cache重用是AURA实现实时推理的关键优化，论文消融实验显示禁用前缀缓存会导致TTFT持续保持高位，证明该技术对实时性能的重要性。
ASR和TTS
ASR（Automatic Speech Recognition，自动语音识别）将用户语音转换为文本，TTS（Text-to-Speech，文本转语音）将模型生成的文本转换为语音。AURA集成Qwen3-ASR-1.7B和Qwen3-TTS-12Hz-1.7B-Base，与主模型异步运行。ASR将9.41秒中文语音转换为文本的端到端延迟为84.2ms，TTS首块延迟稳定在93.0ms，实时因子（RTF）为0.42。
ASR和TTS的集成使AURA能够实现完整的语音交互闭环，端到端延迟约312.2ms（ASR 84.2ms + TTFT 75ms + 首句解码约60ms + TTS首块93ms），支持实时对话交互。
研究动机
大多数现有的VideoLLM仍然是为离线设置设计的，需要先缓冲完整视频或预采集片段再进行分析。这种设置适合事后分析，但限制了系统及时响应正在发生的事件的能力，对于实时AI助手、实时视频解说和交互式机器人系统等应用效果较差。现有的流式VideoLLM主要分为两类：解耦架构和统一架构。解耦架构依赖两个独立部署的模型，触发模型决定主VideoLLM是否应该响应，但由于触发模型与主模型不共享相同的上下文状态且规模通常小得多，触发准确性及其与响应生成的一致性可能有限，导致系统行为不稳定。统一架构虽然性能上限更高，但这些工作通常局限于字幕式解说任务，对于复杂的开放式视频问答仍然不够有效。
本文的目标是本文的目标是提出AURA（Always-On Understanding and Real-Time Assistance），一个由流式VideoLLM驱动的端到端流式视觉交互框架。通过数据、算法和系统的协同设计，AURA实现高稳定性、广泛能力和长期耐力。具体而言，AURA解决流式视频理解的两个基本挑战：一是使统一模型能够逐帧处理视频流并自主决定保持沉默还是生成适当的响应；二是稳定地处理长时间内的无界视频文本输入。
与已有工作不同的是，本文的独特切入角度是将流式视觉交互视为一种需要持续观察、选择性沉默和及时响应的设置，超越了传统的轮次式问答范式。与现有工作不同，AURA不仅支持实时问答，还引入了主动响应能力，即模型可以基于从视频流中发现的信息主动响应，而不仅仅是在收到明确查询后才响应。此外，AURA是首个系统性解决长期流式交互中稳定性和效率问题的端到端框架，从数据构造、模型训练和系统部署三个层面进行协同设计。
核心方法
AURA的整体思路是在统一VideoLLM框架内实现连续的流式视觉交互。直觉上，这需要模型同时具备三个能力：持续观察视频流、智能判断何时应该响应以及生成合适的响应内容。技术路线从四个层面展开：上下文管理层面，提出交互式视频流上下文管理机制，使用双滑动窗口策略组织无界的视频帧流和文本QA交互；数据构造层面，开发由粗到精的数据引擎，通过五阶段管道系统性地构造实时QA、主动QA和多响应QA的训练数据；训练目标层面，引入沉默-说话平衡损失，在连续沉默和及时响应之间取得平衡；系统部署层面，实现实时流式推理框架，利用KV-cache重用和相关优化支持高效实时推理。
AURA的核心创新点是将流式视频理解从传统的查询-响应范式扩展为异步的持续交互范式，引入了$<|silent|>$特殊显式沉默令牌来表示模型在某个时间步保持沉默，定义了三种流式QA类型：实时QA（模型基于当前或之前观察到的视觉上下文立即生成单个响应）、主动QA（模型在收到查询后保持沉默，只有在积累了足够的视觉证据后才生成单个响应）和多响应QA（随着新视觉信息变得可用，模型随时间生成多个响应而无需重复用户输入）。这种设计与已有的解耦架构（触发模型和主模型分离）和仅支持字幕式解说的统一流式VideoLLM有本质区别，使AURA能够在单个统一框架内支持多样化的响应模式。
方法步骤详情
AURA的方法步骤包括四个核心环节。第一，交互式视频流上下文管理采用分块会话格式将视频流组织为每秒一个块的用户消息，如果有用户问题则将问题和对应的视频块打包在一起，否则用户消息只包含视频块没有文本。每个用户消息后跟随一个助手消息，如果有助手响应则包含响应文本，否则填充特殊令牌$<|silent|>$表示模型在那一刻保持沉默。同时采用双滑动窗口策略，对视频流保留最近$N$秒（如$N=30$），对QA交互流保留视频窗口之外最近的$M$个QA组（如$M=10$）。第二，由粗到精的数据引擎通过五阶段管道构造训练数据：视频准备（从网络收集高质量视频，重新采样到2 FPS，用H.264重新编码）、QA合成（为实时和主动QA使用MLLM生成场景级描述和候选QA对并进行验证，为多响应QA基于场景描述生成问题和多个答案）、QA细化（为实时QA增加难度多样性，为主动和多响应QA增加问题表述多样性）、流式结构化（将时间戳QA注释转换为匹配上下文管理机制的训练样本）、质量验证（验证目标答案是否受保留的视频上下文和QA历史支持）。第三，沉默-说话平衡损失仅对沉默助手消息和每个训练样本中最后一个非沉默助手消息应用损失，对沉默助手消息的目标token进行下权重$w_{silent} = 1/N_{silent}$以防止过度偏向沉默预测。第四，实时流式推理框架基于vLLM实现，允许视频窗口在$N+N'$范围内浮动，只有当窗口长度再次达到$N+N'$时才一次性删除最旧的$N'$个视频块，实现KV前缀的连续重用，同时ASR和TTS模块异步运行。
技术新颖性
AURA的技术新颖性体现在多个方面。首先，在问题定义上，首次将流式视频理解明确建模为需要持续观察、选择性沉默和及时响应的设置，定义了三种流式QA类型（实时、主动、多响应），超越了传统的轮次式问答范式。其次，在上下文管理上，提出的双滑动窗口策略分别针对视觉token密集但近期相关、文本QA token稀疏但承载关键历史信息的特性进行差异化处理，在控制上下文长度的同时保留了重要历史信息。第三，在数据构造上，五阶段管道系统性地解决了流式训练数据的质量和多样性问题，特别是质量验证阶段确保训练样本的幻觉风险可控。第四，在训练目标上，沉默-说话平衡损失解决了流式交互中沉默和响应不平衡的问题，消融实验显示使用默认交叉熵损失会使整体性能从25.4%降至16.4%，主动告警能力从37.5%降至0%。第五，在系统部署上，浮动的双窗口设计结合KV-cache重用实现了高效的实时推理，TTFT在5分钟持续流式会话中平均为75.0ms。最后，AURA的端到端协同设计思想将数据构造、训练目标和系统部署三个层面有机整合，这是与之前分别优化单个组件的工作的本质区别。
实验结果
AURA在三项流式视频理解基准测试中均取得了最佳整体性能，证明了其在流式场景中的强大能力。在StreamingBench上，AURA的整体准确率达到73.1%，比最强的开源基线MiniCPM-o-4.5高出10.4%，比最强的专有模型Gemini-1.5-Pro高出6.0%。AURA在三个高级别组（实时视觉理解RTVU、全源理解OSU、上下文理解CU）中均排名第一，在18个细粒度子任务中的14个上排名第一。在OVO-Bench上，AURA的整体准确率达到65.3%，比最佳开源结果ViSpeak高出4.2%，比Gemini-1.5-Pro高出2.3%。在三个高级别设置中的两个（实时视觉感知RTVP和向后追踪BT）上AURA是最佳开源模型。在OmniMMI上，AURA的整体准确率达到25.4%，超越了所有开源和专有模型，在9个细粒度指标中的5个上排名第一。在推理性能方面，AURA实现了最低的平均TTFT，禁用前缀缓存会使TTFT持续保持高位，禁用滑动窗口会导致延迟随多模态上下文积累而增加。端到端延迟分解显示ASR为84.2ms，TTFT为75.0ms（5分钟持续流式会话中p50=74.6ms，p90=87.8ms），首句解码约60ms，TTS首块93.0ms，从用户语音输入到首个语音响应的总端到端延迟约312.2ms。在研究问题方面，RQ1显示流式导向训练后AURA在离线基准LongVideoBench（58.8%）、MVBench（68.1%）、Video-MME（65.1%）上与基础模型Qwen3-VL-8B-Instruct（61.9%、69.0%、68.6%）保持接近，说明流式导向训练在增强在线交互能力的同时很大程度上保留了离线视频理解能力。RQ2显示使用默认交叉熵损失替代本文目标会严重损害整体性能：整体平均值从25.4%降至16.4%，PA从37.5%降至0%，这直接反映了本文目标旨在解决的问题：重新权重沉默消息以防止过度沉默预测，仅监督最后一个非沉默助手消息以减少幻觉。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| StreamingBench | 准确率（%） | 73.1 | MiniCPM-o-4.5 (62.7), Gemini-1.5-Pro (67.1) | +10.4% vs MiniCPM-o-4.5, +6.0% vs Gemini-1.5-Pro |
| OVO-Bench | 准确率（%） | 65.3 | ViSpeak (61.1), Gemini-1.5-Pro (63.0) | +4.2% vs ViSpeak, +2.3% vs Gemini-1.5-Pro |
| OmniMMI | 准确率（%） | 25.4 | Gemini-1.5-Pro (22.0), GPT-4o (16.8) | +3.4% vs Gemini-1.5-Pro, +8.6% vs GPT-4o |
| StreamingBench RTVU | 平均准确率（%） | 83.2 | Gemini-1.5-Pro (75.7) | +7.5% |
| StreamingBench OSU | 平均准确率（%） | 62.0 | Gemini-1.5-Pro (60.2) | +1.8% |
| StreamingBench CU | 平均准确率（%） | 59.0 | Gemini-1.5-Pro (48.7) | +10.3% |
| OVO-Bench RTVP | 平均准确率（%） | 79.8 | Gemini-1.5-Pro (69.3) | +10.5% |
| OmniMMI PA | 准确率（%） | 37.5 | 非流式模型不支持 | N/A（首次在OmniMMI上评估PA任务） |
| 端到端延迟 | 毫秒 | 312.2 | N/A | 支持实时对话交互 |
| 实时推理性能 | 帧率（FPS） | 2 | N/A | 在两个80G加速器上运行 |
局限与改进
作者承认的局限性包括：视频窗口大小$N$设置为30秒，对于需要更长历史信息的任务可能不够；2 FPS的采样率可能丢失某些快速视觉事件的细节；8B参数规模在复杂推理任务上可能有限；实时部署需要两个80G加速器。我观察到的局限性包括：浮动的双窗口设计虽然提高了效率，但推理时的上下文长度略大于训练时使用的长度，可能在极端情况下导致性能下降；论文没有报告在极端长时间流式会话（如超过1小时）中的性能表现；论文主要在内部视频数据上训练，在极端领域（如医疗影像、工业监控）上的泛化能力未知；消融实验主要集中在StreamingBench和OmniMMI上，对OVO-Bench和离线基准的详细分析较少；论文没有详细分析不同视频领域（体育、纪录片、动画等）上的性能差异；虽然集成了ASR和TTS，但没有评估多语言支持能力；TTFT测量是在5分钟会话中进行的，对于更长会话的性能表现需要进一步验证。
独立分析的弱点
AURA在具体场景中存在几个可以改进的弱点。首先，固定30秒的视频窗口在需要跟踪长期依赖关系的场景中可能不够，例如在监控视频中跟踪跨长时间段的事件演化，改进方向可以是动态自适应的视频窗口大小，根据任务复杂度和视觉内容变化率动态调整$N$值。其次，2 FPS的固定采样率可能无法捕捉快速运动场景中的关键细节，例如体育比赛中的快速动作或工业流水线上的高速操作，改进方向可以是自适应采样策略，在检测到快速运动时提高采样率，在静态场景时降低采样率以节省计算。第三，论文没有显式处理音频信息（虽然集成了ASR但只用于用户语音），对于需要理解环境声音的场景（如警报检测、情绪识别）能力有限，改进方向可以是集成音频编码器实现真正的多模态流式理解。第四，8B参数规模在复杂推理任务上可能受限，例如需要跨多个事件进行因果推理或反事实推理的任务，改进方向可以是扩展到更大参数规模或采用推理增强技术（如思维链）。第五，论文主要在视觉和语言模态上工作，对于需要理解其他模态（如传感器数据、深度信息）的应用场景适应性有限，改进方向可以是扩展到更通用的多模态流式理解框架。
未来方向
作者提出的未来研究方向包括扩展上下文窗口以支持更长的历史信息、探索更复杂的时序建模技术、以及将音频信息集成到统一框架中。基于AURA的成果可以延伸的未来工作包括：开发自适应的上下文管理策略，根据任务需求、计算预算和视觉内容复杂度动态调整视频窗口和QA窗口的大小；研究更高效的长期记忆机制，例如引入外部记忆库或检索增强生成（RAG）来支持超长期流式交互；探索模型压缩和蒸馏技术，使AURA能够在边缘设备上部署；扩展到多语言和多场景的流式理解，提高模型在国际化应用中的实用性；研究流式视频理解的可解释性和可控性，例如提供响应的视觉依据或允许用户调整模型的响应策略；探索AURA在更多应用场景中的适用性，如教育（实时辅导）、医疗（远程监控）、交通（实时路况分析）等；开发更丰富的流式交互模式，例如支持多用户同时与系统交互或支持模型主动发起对话；研究流式视频理解的安全性和鲁棒性，例如对抗攻击防御、隐私保护等。
复现评估
AURA的复现性评估如下：作者计划发布AURA模型和实时推理框架，这是积极的信号。论文提供了详细的实现细节：模型从Qwen3-VL-8B-Instruct初始化，只微调LLM组件而冻结视觉编码器和连接器；训练数据包括约115k流式视频QA样本（约1.04B token）和约59k内部离线视频QA样本（约0.16B token），总共约174k样本和1.2B token；训练在一个包含32个加速器的计算集群上进行，全局批大小为128，学习率为$1 imes 10^{-5}$；上下文管理的视频块大小设置为1秒，超参数$N$、$N'$和$M$分别设置为30、15和10。论文提供了详细的实验设置和结果，包括基准测试的具体配置、推理性能的详细分解和消融实验。然而，论文没有提供训练数据的具体来源和构造细节，这可能影响其他人复现数据构造管道。此外，论文没有报告训练时间和计算成本的具体数字，使得其他人难以评估训练的计算资源需求。总体而言，AURA的复现性处于良好水平，特别是如果作者能够按计划发布代码和模型，但仍有改进空间，特别是在数据构造细节和计算资源报告方面。
论文图表
该图通过四个具体示例展示了三种流式QA交互类型。左侧示例展示了实时QA（用户询问何时看到小马玩偶，模型立即响应），中间两个示例展示了主动QA（用户询问纸巾盒颜色，模型回答；用户要求每次看到小马玩偶时提醒，模型延迟响应），右侧示例展示了多响应QA（用户询问总共看到了多少小马，模型随时间多次响应）。
这张图对理解论文非常重要，因为它通过具体示例清晰地定义了AURA的三种流式QA类型（实时QA、主动QA、多响应QA），这是AURA与传统离线VideoLLM和只支持字幕式解说的流式VideoLLM的本质区别。通过这张图，读者可以直观理解AURA如何支持多样化的响应模式，以及这些响应模式如何在真实流式交互场景中应用。