视频流式思维：VideoLLMs可以边看视频边同步思考 Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously

VST方法的完整执行包含以下步骤：第一步，视频流分片与编码。给定视频流 $V$，模型以2fps采样帧，当累积的视觉token达到预设容量 $L$ 时形成一个视频片段 $c_k = \{v_i\}_{i=\tau_{k-1}+1}^{\tau_k}$。第二步，流式思维生成。在每个片段 $k$ 到达时，模型基于当前片段 $c_k$ 和累积记忆 $m_{k-1}$ 生成流式思考 $z_k \sim p(z | c_k, m_{k-1})$，其中 $z_k$ 是对当前视频片段关键语义的文本总结。第三步，记忆更新。长期文本记忆采用先进先出（FIFO）策略更新 $m_k = \text{Update}(m_{k-1}, z_k)$，丢弃最早的记忆条目以维持固定内存预算。第四步，流式注意力掩码。训练时应用流式视频注意力掩码，限制模型只能看到最近 $L$ 个视觉token的滑动窗口，所有非视觉token在因果约束下完全可见，具体为：当 $\mathbb{I}_v(j)=0$ 或 $\sum_{t=j+1}^{i} \mathbb{I}_v(t) \leq L$ 时 $M_{i,j}=0$，否则 $M_{i,j}=-\infty$。第五步，最终响应生成。当在第 $K$ 步接收到用户查询 $q$ 时，模型基于累积的先前思考和最新视觉上下文生成最终响应 $y$。联合概率分解为：$p(y, z^1, \ldots, z^{K-1} | q, V) = p(y | q, c^K, m^K) \prod_{k=1}^{K-1} p(z^k | c^k, m^{k-1})$。第六步，VST-SFT训练。使用流式注意力掩码在合成数据上进行监督微调，序列格式为 $\mathcal{S} = (m^0, (c^1, z^1), \ldots, (c^{K-1}, z^{K-1}), c^K, q, y)$，损失仅作用于流式思考和最终响应token。第七步，VST-RL训练。采用GRPO策略，每条问题生成 $N=8$ 条轨迹，根据最终答案正确性计算奖励 $r_i$，优势 $\hat{A}_i = r_i - \text{mean}(R)$ 分配到整个轨迹的所有token上进行策略梯度优化。

VST的技术新颖性体现在多个层面。首先，在范式层面，VST首次提出了'流式视频思维'的概念，将LLM推理从被动的查询响应模式转变为主动的流式思考模式，这在流式视频理解领域是全新的。此前的所有流式VideoLLMs（包括StreamingForest、Dispider、TimeChatOnline等）都只关注感知层面的流式处理，从未涉及推理层面的流式化。其次，在架构层面，VST设计的双记忆系统（短期视觉记忆+长期文本语义记忆）巧妙地平衡了视觉细节保留和长历史管理的需求，这种'视觉+文本'的混合记忆架构在视频理解领域是首创。第三，在训练层面，VST-SFT阶段引入的流式视频注意力掩码（限制视觉token只能看到固定大小的滑动窗口）是一种专门为流式场景设计的注意力机制，它在保持非视觉token完全可见的同时，强制视觉信息的时序因果性。第四，在数据层面，基于知识图谱的流式思维数据合成流水线是解决流式思维训练数据稀缺问题的创新方案，它通过视频实体提取→证据链采样→流式QA合成的三阶段流程，生成了100K高质量训练样本。第五，VST-RL阶段将轨迹级奖励分配到所有token上（包括中间思考token），使RL能够优化中间推理步骤的质量而非仅优化最终答案，这是对GRPO策略在流式推理场景下的创新应用。

从独立分析的角度来看，VST存在以下几个值得关注的弱点。第一，流式思维的文本形式可能导致信息损失。VST将视觉信息压缩为文本形式的流式思考，再用FIFO策略管理记忆，这意味着早期的视觉细节会逐渐被丢弃。对于需要精确回忆早期视觉细节的任务（如精确计数、细粒度物体识别），这种文本压缩可能不够充分。改进方向可以探索混合记忆策略，将文本摘要与关键视觉token的KV Cache结合使用。第二，数据合成流水线的质量控制仍有提升空间。当前流水线依赖世界知识检查、格式对齐、逻辑一致性等自动过滤规则，但这些规则可能无法完全保证流式思考的质量。特别是生成的流式思考是否真正反映了'在观看时思考'的认知过程，而非简单地总结视频内容，这一点难以通过自动化手段完全验证。可以考虑引入人类标注或更强的验证模型来提升数据质量。第三，VST-RL的奖励设计较为简单。当前仅基于最终答案正确性计算二值奖励，未能区分不同程度的正确性（如部分正确的推理过程），这可能导致模型在探索阶段收到的信号过于稀疏。改进方向可以设计更细粒度的奖励函数，如对中间思考的相关性和准确性也给予奖励信号。第四，流式注意力掩码的设计可能过于严格。当前的滑动窗口机制完全丢弃了窗口外的视觉token，对于需要回溯早期视觉信息的场景可能造成信息丢失。可以探索软性衰减机制，允许模型以较低权重访问更早的视觉信息。

作者在论文中明确提出了两个未来研究方向。第一，探索潜空间推理（latent reasoning）以实现更高效的流式思维。当前VST在文本空间中生成流式思考，每个思考步骤都需要消耗LLM token，这带来了不可忽略的计算开销。如果能在潜空间中进行推理（例如通过连续向量而非离散token来表示中间思考），可以大幅减少token消耗，实现更高效的流式推理。第二，将VST的文本引导记忆管理与现有的流式视觉记忆机制相结合。VST的文本记忆管理与基于KV Cache检索的视觉记忆管理是正交的，探索两者的组合可能产生协同效应，进一步提升流式视频理解的能力。此外，基于VST的成果还可以延伸出以下研究方向：将VST范式扩展到多模态流式理解（如音频+视频+文本的联合流式推理）、探索VST在具身智能中的应用（机器人在实时观察环境时同步进行推理决策）、研究自适应流式思维深度控制（根据视频内容的复杂度动态调整每个片段的思考token数量）、以及将VST与模型压缩技术（如蒸馏、量化）结合以降低部署成本。

在复现方面，VST具有较好的可复现条件。作者承诺将代码、数据和模型在GitHub仓库 https://github.com/1ranGuan/VST 上开源，这为学术界复现和改进提供了基础。训练数据方面，VST-SFT使用了100K合成的流式思维样本（来自LLaVA-Vid和Video-Marathon视频）加上50K LLaVA-Vid开放问答样本，VST-RL使用了11K采样问题。数据合成流水线基于Gemini 3.0 Flash，复现者需要有访问该模型的能力。算力需求方面，7B模型的训练在32块80GB VRAM GPU上进行，SFT阶段使用24K视觉token上限配8K语言上下文，RL阶段使用verl框架配合vLLM和FSDP后端，rollout batch size为256、group size为8。这对大多数研究机构来说算力门槛较高。基座模型为Qwen2.5-VL-Instruct（开源可获取），视频处理帧率为2fps，这些超参数都是公开的。总体而言，如果有足够的算力资源和Gemini API访问权限，VST的复现是可行的，且作者提供了详细的超参数配置（包括SFT的学习率5e-6、RL的学习率5e-7、KL惩罚系数0.001等）有助于精确复现。