STRIDE：何时说话遇上序列去噪的流式视频理解

通过掩码扩散建模窗口级激活序列，实现流式视频中稳定的主动响应触发

前置知识

Video-LLM

视频大语言模型，将视频编码为视觉token序列，结合LLM进行视频理解和推理。主流方法采用帧采样+视觉编码器的架构，通过视觉-语言连接器将视觉特征注入语言模型，实现视频问答、描述等任务。视频LLM主要在离线模式下工作，需要完整视频上下文。

本文的STRIDE框架建立在Video-LLM基础上，将其扩展到流式场景，需要理解其架构和训练方式才能理解为何要解耦激活决策和响应生成。

Masked Diffusion Model (MDM)

掩码扩散模型，一种替代自回归生成的文本生成方法。通过迭代去噪部分掩码的离散token序列来生成文本，支持双向上下文和并行token更新。给定序列 $x_0$，前向过程用掩码token [M] 以概率 $t$ 替换每个token，生成 $x_t$。反向过程训练掩码预测器 $p_\theta(\cdot|x_t)$ 预测所有掩码位置，通过最小化掩码位置的交叉熵损失训练：$\mathcal{L}(\theta) = -\mathbb{E}_{t,x_0,x_t} \sum_{i=1}^L 1[x_i^t=M] \log p_\theta(x_i^0|x_t)$。

STRIDE的核心创新就是将MDM从文本生成迁移到激活序列预测，理解MDM的去噪机制和双向推理特性是理解方法的关键。

Span-structured Activation

跨度结构化激活，将激活决策建模为连续的激活片段而非独立的帧级决策。激活序列 $a_T = [a_{T-W}, \ldots, a_T] \in \{0,1\}^W$ 表示时间窗口内的激活状态，需要捕获 $0 \to 1$ 开始、$1 \to 1$ 持续、$1 \to 0$ 结束的转换动态。这要求模型在时间邻域内联合建模激活序列，形成连贯的连续激活片段。

这是本文相对于现有方法的核心差异点，理解跨度结构化激活才能理解为何要用结构化序列建模而非二分类。

研究动机

现有Video-LLMs主要工作在离线模式，处理预录制的视频，在生成响应前可访问整个时间上下文。这限制了它们在流式场景的应用，如第一视角助手、自动驾驶或具身AI智能体，这些场景需要模型持续感知正在进行的视频流并实时决定何时响应、响应什么。现有流式视频理解方法主要是被动的，只在收到用户查询时生成响应，缺乏主动确定何时触发响应的能力。最近的模块化方法虽然将流式流水线解耦为轻量级前端预测每帧激活信号和下游Video-LLM生成响应，但将激活简化为点对点二分类问题，每步预测"现在是否应该响应"，没有显式建模激活状态如何跨越时间跨度转换。这导致激活闪烁和 poorly resolved 边界，造成不稳定触发行为和碎片化的激活片段。

本文的目标是本文的目标是将流式视频中的主动激活重新构建为时间激活窗口上的结构化序列建模问题，将跨度级激活作为预测单元。通过联合建模激活序列的转换动态，捕获一致的 $0 \to 1$ 开始、持续的 $1 \to 1$ 保持和良好解析的 $1 \to 0$ 结束，形成连贯的连续激活片段。使下游Video-LLM能够在良好限定的视觉上下文下被激活（既不会过早因证据不足，也不会过晚错失时机）。

与已有工作不同的是，现有方法将激活问题简化为孤立的时间步二分类，忽略了激活状态跨越时间的一致性和转换动态。本文的独特切入点是观察到流式视频中的时间转换自然形成跨度结构的激活模式，应该联合建模滑动时间窗口上的激活信号并随着新帧到达迭代更新，而非逐帧独立决策。这类似于跨度结构决策而非点对点决策。本文借鉴掩码扩散模型的机制，将激活视为部分掩码离散序列上的结构化序列建模，通过迭代去噪推理整个序列并渐进细化上下文中的状态，天然与跨度结构对齐。

核心方法

STRIDE采用两阶段流式框架。第一阶段是轻量级激活模型，持续监控传入流并确定是否应触发主动响应。第二阶段是下游Video-LLM，当触发时消耗累积帧缓存生成响应。激活模型在时间窗口上建模激活序列 $a_T = [a_{T-W}, \ldots, a_T] \in \{0,1\}^W$，表示窗口内的非激活或激活状态。每个激活token取值于离散词汇表 $\{0, 1, [M]\}$，其中 $[M]$ 表示待去噪的掩码位置。激活模型基于视觉缓存联合推理时间窗口内的掩码激活状态。训练时采用边界感知的跨度掩码策略破坏激活序列的连续区域，鼓励模型从更广泛时间上下文推理开始和偏移，而非依赖孤立的二进制信号。推理时，随着新帧到达，STRIDE通过携带向前置信状态并选择性重掩码不确定位置来渐进更新激活窗口，实现部分可观察性下的时间连贯跨度，同时保持即插即用并与现成的Video-LLMs兼容。

STRIDE的核心创新点是将主动流式激活视为结构化序列建模而非独立的每帧决策，使用轻量级掩码扩散模块联合预测激活序列并捕获跨度级结构。与现有方法的本质区别在于：现有方法将激活简化为BCE损失训练的每帧二分类，而STRIDE通过掩码扩散在激活窗口上联合建模激活序列，显式捕获激活状态转换的时间连贯性。另一关键区别是训练采用结构化掩码策略而非标准MDM的独立掩码采样，包括边界锚定跨度掩码（强制模型从更广时间上下文确定活动区域的开始和结束）、跨度去掩码（从完全掩码序列开始揭示连续块同时保持边界相邻位置掩码，模拟推理时间模式）、全掩码（初始掩码整个激活序列用于冷启动）。这些策略鼓励模型推理连续激活片段及其边界转换，而非依赖孤立token预测。

方法步骤详情

STRIDE的训练和推理包含以下完整步骤。训练阶段：步骤1-序列复制：由于掩码扩散需要全序列上下文而AR预训练的激活模型只暴露左上下文，引入输入重参数化。将激活区域与副本拼接形成 $[a, a']$，副本 $a'$ 产生扩散预测而 $a$ 作为因果注意力下的条件前缀。步骤2-结构化掩码：随机应用三种掩码策略之一（概率相等）破坏 $a'$：边界锚定跨度掩码破坏与至少一个激活边界重叠的连续块；跨度去掩码从完全掩码序列开始揭示连续块；全掩码初始掩码整个激活序列。步骤3-去噪训练：通过最小化 $a'$ 上的掩码交叉熵损失训练激活模块：$\mathcal{L}(\theta) = -\mathbb{E}_{t, a'_0, a'_t} \sum_{j=1}^W 1[a'^j_t=M] \log p_\theta(a'^j_0|q, V_{\leq t}, a'_t)$，其中 $t \sim \mathcal{U}[0,1]$，$a'_t$ 应用掩码策略获得，用户查询 $q$ 和视觉缓存 $V_{\leq t}$ 作为固定条件前缀。推理阶段：步骤1-选择重掩码：激活序列向前滑动，窗口外的区域被驱逐，新帧被附加。确定每个携带向前决策在给定新视觉证据 $v_{T+1}$ 下是否仍然合理，应用置信度保留：如果 $p_\theta(a_j^{T+1}=a_{j+1}^T|q, V_{\leq T+1}, a_{T+1}) > \tau$（$\tau=0.75$），位置 $j$ 继承先前决策；否则重掩码为 $[M]$。步骤2-K步渐进去噪：通过优先高置信度位置在 $K=8$ 步中解析掩码位置。每步计算每个掩码位置的激活概率 $p_j = p_\theta(a_j=1|q, V_{\leq T+1}, a_{T+1})$ 并导出置信度分数 $c_j = \max(p_j, 1-p_j)$，按 $c_j$ 排序的前 $k=\lceil N_{init}/K \rceil$ 个位置被去掩码，其余保持掩码用于后续细化。步骤3-触发判断：激活窗口完全解析后，仅当激活跨度持续至少 $\gamma=1$ 个连续位置时才触发响应。

技术新颖性

STRIDE的技术新颖性体现在三个方面：一是将掩码扩散模型从文本生成迁移到激活序列预测，首次将MDM用于流式主动响应触发，利用其双向推理和并行更新特性捕获跨度级时间结构；二是设计针对激活序列的结构化掩码策略，打破标准MDM的独立掩码采样方式，强制模型推理连续激活片段和边界转换而非依赖局部插值；三是提出序列复制技术，通过输入重参数化实现双向条件而无需修改因果注意力层，使AR预训练的激活模型能够享受全窗口上下文。这些设计共同实现了从点对点二分类到跨度结构序列建模的范式转变。

**Figure 1**: Overview of STRIDE, which operates in a streaming setting where frames arrive online. A lightweight activation model based on masked diffusion maintains an activation region over a sliding temporal window and iteratively denoises masked activation states to predict a coherent trigger segment. A trigger is issued only if an active span is sustained for a predefined span ratio. When activation is triggered, the accumulated frame context is forwarded to a downstream Video-LLM to generate the response.

**Figure 2**: Activation modeling and inference stage of STRIDE. Training applies sequence duplication and three masking strategies (boundary-anchored masking, span unmasking, full masking). During inference, the activation window slides with incoming frames, retaining confident past decisions while selectively re-masking and progressively denoising uncertain positions.

实验结果

STRIDE在多个流式基准上展现了显著的性能提升。在OVO-Bench上，STRIDE在前向主动响应（Forward Active Responding）任务上取得突破性进展，Qwen3-VL-8B+STRIDE达到59.70%，相比Baseline-AR（52.81%）提升6.89个百分点；InternVL3-8B+STRIDE达到56.98%，相比Baseline-AR（51.64%）提升5.34个百分点。实时视觉感知也有显著提升，Qwen3-VL-8B+STRIDE达到69.68%，Baseline-AR为65.00%。在StreamingBench上，STRIDE在主动输出（Proactive Output）子任务上表现突出，Qwen3-VL-8B+STRIDE达到42.80%，相比Baseline-AR（36.38%）提升6.42个百分点，这是直接评估主动响应时机的任务。STRIDE在三个评估维度（实时视觉理解、多源理解、语境理解）上均取得一致改进。在ET-Bench的激活评估中，STRIDE在时间视频定位（TVG）上达到62.8 F1，相比Baseline-AR（35.7）提升27.1个百分点，在所有5个子任务上平均达到32.6，相比Baseline-AR（24.3）提升8.3。STRIDE仅用2B参数就超越了7-13B参数的时序定位专用MLLMs（如VTimeLLM 9.8、TimeChat 12.5）。消融研究显示独立掩码策略最差，Span+Full+Span组合达到32.6，移除序列复制降至22.9，移除选择性重掩码降至22.6。行为分析显示Baseline-AR在事件边界附近频繁振荡，STRIDE产生更稳定的激活模式。延迟分析显示K=8步时ET-Bench平均F1接近最大，延迟约100ms。流式效率测量显示STRIDE激活模块开销仅占总处理时间的7%（113ms vs 1511ms），VRAM占用5.2GB。

**Table 1**: Evaluation results on OVO-Bench Niu et al. (2025). Baseline-AR uses autoregressive binary prediction. Offline models follow the original single-turn protocol with segmented clips, whereas streaming methods process frames sequentially.

**Table 2**: Evaluation results on StreamingBench Lin et al. (2024b). Baseline-AR uses autoregressive binary prediction. Offline models follow the original single-turn protocol with segmented clips, whereas streaming methods process frames sequentially.

**Table 3**: Online activation accuracy on ET-Bench Liu et al. (2024b). The Baseline-AR uses autoregressive prediction, while other setups are the same as STRIDE.

**Table 4**: Ablation studies on ET-Bench evaluating (a) masking strategy design, (b) sequence duplication, and (c) selective re-masking.

**Table 5**: Latency and VRAM usage of the downstream Video-LLM and STRIDE activation modules (with AR variation) during streaming inference.

**Figure 3**: Activation transition frequency results around event boundaries on ET-Bench TVG. Baseline-AR model shows frequent oscillations near boundaries, whereas STRIDE produces more robust activation spans.

**Figure 4**: Trade-off between ET-Bench performance (mean F1) and inference latency for denoising step K.

查看结构化数据

任务	指标	本文	基线	提升
OVO-Bench - Forward Active Responding	Average Score	59.70% (Qwen3-VL-8B+STRIDE)	52.81% (Qwen3-VL-8B+Baseline-AR)	+6.89个百分点
OVO-Bench - Real-Time Visual Perception	Average Score	69.68% (Qwen3-VL-8B+STRIDE)	65.00% (Qwen3-VL-8B+Baseline-AR)	+4.68个百分点
StreamingBench - Proactive Output	Score	42.80% (Qwen3-VL-8B+STRIDE)	36.38% (Qwen3-VL-8B+Baseline-AR)	+6.42个百分点
ET-Bench - Temporal Video Grounding	F1 Score	62.8	35.7 (Baseline-AR)	+27.1
ET-Bench - Average across 5 tasks	F1 Score	32.6	24.3 (Baseline-AR)	+8.3

局限与改进

作者承认的局限性包括：激活模型的性能依赖于训练数据的时序标注质量和覆盖范围，对于训练数据中罕见的事件类型可能表现不佳；当前框架假设视频帧以固定速率（1 FPS）到达，对于可变帧率或动态采样率的场景需要额外适配；触发判断使用固定的跨度比率 $\gamma=1$，可能需要根据具体任务调整。我观察到的额外局限性：STRIDE主要关注单流主动响应，未考虑多流或并发查询的场景；消融研究显示置信度阈值 $\tau$ 和去噪步数K影响性能，但未提供跨任务的自动调参策略；选择性重掩码策略需要计算每个位置的置信度，在极低延迟要求的场景可能成为瓶颈；当前评估主要集中在视觉理解任务，对对话式交互的长期连贯性缺乏评估；方法依赖下游Video-LLM生成响应的质量，如果下游模型本身能力有限，激活改进的价值可能受限。

独立分析的弱点

STRIDE存在以下具体场景的弱点：第一，训练数据依赖性。对于稀有事件或长尾场景，由于训练数据中时序标注不足，激活模型可能无法准确学习这些事件的跨度模式。改进方向：引入数据增强策略如时序边界抖动、合成激活序列，或利用无监督/自监督学习从视频本身学习时序结构。第二，固定帧率限制。当前方法假设1 FPS的固定帧率，对于可变帧率或动态采样率的流式视频（如网络带宽波动导致帧率变化）适应性差。改进方向：设计时间感知的激活窗口，将激活序列建模为连续时间区间而非离散帧，支持可变间隔的帧到达。第三，多流处理缺失。当前方法仅处理单一流式视频，实际应用如自动驾驶需要同时处理多摄像头流。改进方向：扩展激活模型为多流联合建模，学习跨流的激活同步和冲突解决机制。第四，长期对话连贯性未考虑。当前设计将每次触发视为独立事件，未建模多次触发间的长期依赖。改进方向：引入记忆机制或跨触发的状态维护，考虑对话历史和用户反馈调整激活策略。第五，置信度阈值缺乏自适应性。固定阈值 $\tau=0.75$ 可能在不同场景下次优。改进方向：根据视觉不确定度、历史性能或用户反馈动态调整阈值，或引入元学习学习自适应阈值策略。

未来方向

作者提出的未来方向包括：探索更复杂的激活序列表示，如多级激活（不仅0/1，还包括响应强度或类型）、层次化激活（粗粒度到细粒度的决策）；扩展到多模态流式场景，如音频、文本、传感器数据的联合激活；研究激活模型与下游Video-LLM的联合训练，而非当前的冻结下游模型设置；探索更高效的推理策略，如自适应去噪步数或并行去噪，进一步降低延迟。基于成果可延伸的研究方向：将STRIDE框架迁移到其他序列决策任务，如时序动作检测、视频摘要生成、对话系统中的对话时机管理；研究激活模型的可解释性，分析模型如何从视觉上下文推断激活边界；探索在资源受限设备（如移动端）上的轻量化部署，通过模型蒸馏或量化减少计算开销；将主动激活与强化学习结合，通过交互反馈优化激活策略；研究跨领域的泛化能力，如从烹饪视频迁移到医疗手术或体育分析等不同领域的流式理解。

复现评估

STRIDE提供了良好的开源支持。项目页面https://interlive-team.github.io/STRIDE提供了代码（https://github.com/interlive-team/STRIDE）和Huggingface模型（https://huggingface.co/interlive）。训练数据来自多个公开时序标注视频数据集，包括密集视频描述、时序活动检测、视频问答、序列步骤识别和时刻定位任务。论文提供了详细的实现细节：激活模型从Qwen3-VL-2B初始化，下游Video-LLMs保持冻结，视频帧以1 FPS采样，去噪过程采用K=8步，$\tau=0.75$，$\gamma=1$。训练在单节点8×NVIDIA H100 GPU完成，评估在单H100 GPU。论文附录提供了超参数设置和额外配置。VRAM占用5.2GB，激活状态10MB，每帧额外30MB。延迟测量显示STRIDE增加113ms，占总时间7%。复现难度中等：依赖Qwen3-VL预训练模型和多个训练数据集，需要GPU资源，但代码和模型已开源，实现细节详细。潜在复现挑战包括：数据集的获取和预处理（特别是时序标注的转换）、训练数据的随机掩码策略实现、序列复制的正确实现、选择性重掩码的置信度计算。整体而言，STRIDE的复现性较好，开源程度高，适合研究复现。

STRIDE：何时说话遇上序列去噪的流式视频理解 STRIDE: When to Speak Meets Sequence Denoising for Streaming Video Understanding