OneStreamer：统一流式视频交互中的感知、记忆与主动响应 OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction
以主动生成为统一接口，让流式视频模型边观察、边记忆、边及时响应
前置知识
流式视频理解
模型以因果方式逐段接收视频帧，任意时刻只能利用已观察内容做理解与回答，不能回看未来帧。它与离线视频理解的本质区别在于：任务问题可能在任意时刻到来，且相关证据可能在问题提出前就已滑出视野，因此要求实时感知、长期记忆与响应时机控制三者同时成立。
OneStreamer 的全部设计（PHCM 字幕记忆、PSTL 状态监督、流式数据合成）都是围绕“证据先于任务可知”这一流式约束展开的，不理解流式设定就无法理解这些设计动机。
生成式状态词元
在 LLM 词表中加入特殊控制 token（如 、、），让模型在自回归生成中显式输出“继续观察/证据渐现但不足/开始回答”等状态信号，从而把响应时机建模为普通的序列预测问题，无需外挂的分类器或策略网络。
OneStreamer 用 、、、、 五类控制词元同时驱动记忆写入与任务响应，PSTL 的全部工作就是优化这些词元的监督方式。
FIFO 滑动窗口与上下文竞争
只保留最近 N 帧（Recent-N）的视觉 token 进入 LLM 上下文，更早的帧被先进先出地丢弃。若改保留全部历史视觉 token，它们会与当前帧竞争有限的上下文容量，反而稀释模型对当前画面的注意力，损害实时感知——这是本文消融中 Full 与 FIFO 两条基线的由来。
PHCM 的核心动机正是弥补 FIFO 丢弃的远期证据，同时避免 Full 历史对实时感知的干扰，消融表 Table 2 全部围绕这一权衡展开。
类别不平衡与 focal loss
状态词元序列中“沉默”标签远多于“响应”标签，普通交叉熵损失会被多数类主导，模型学会几乎总是输出沉默。Focal loss 通过下调易分类样本的损失权重来再平衡，是处理此类不平衡的常用手段，但仍需监督全部 token。
Table 3 显示全量交叉熵在 ProactiveVQA 仅得 26.1，focal loss 升至 47.0，而 PSTL 以 27.5% 的监督量达到 48.7——这条对比链是理解 PSTL 价值的直接依据。
条件似然评分
给定视频前缀 $V^{(t)}$ 与问题 $q$，计算参考答案 $a$ 的条件概率 $P(a \mid q, V^{(t)})$，用于衡量“到时刻 $t$ 为止证据是否足以支撑该答案”。配合滑窗扫描即可把响应时间校准到分数首次越过可靠性阈值的最早时刻。
这是 OneStreamer-1M 数据合成中 QA 分支响应时间校准的核心工具，决定了训练序列中 出现的时机是否与真实证据可用性对齐。
研究动机
真实世界的视频以开放式流到来：直播助手、可穿戴智能体、安防监控中，模型并不知道当前观察何时会与未来任务相关，一个起初不起眼的事件可能在其源帧离开有限视觉上下文后才变得关键，同时用户可见的回答必须基于已有证据并在相关时刻过去之前给出。现有方法各有结构性短板：记忆压缩或检索类方法（Flash-Vstream、VideoChat-Online 等）保留的历史视觉 token 会与近期观察竞争有限的上下文容量，反而削弱实时感知；流式思维方法的推理链并不构成可复用的、时间对齐的事实记录；基于状态词元的响应控制若做密集监督，重复的“沉默”标签会在数量上淹没稀疏的“响应”决策——一段 360 秒视频的状态序列中沉默 token 占绝对多数。基准数字也印证了难题：作为基线的 Qwen3-VL-4B 在 OVOBench 仅 58.8 分、ProactiveVQA 仅 34.3 分、OVO-Timing 仅 29.4 F1，说明实时感知与响应时机的联合优化远未解决。
本文的目标是本文的目标是构建一个流式视频 LLM，能够把持续到来的观察转化为可复用的事实记忆，并在证据充足时及时给出同时利用过去与当前证据的响应，且不牺牲实时感知。这一总目标被拆解为三个子问题：其一，何时以及写入什么记忆（查询无关的证据记录）；其二，何时以及生成什么内容来响应用户（任务响应）；其三，如何构造内容与时机都对齐可用证据的大规模训练数据。衡量标准非常明确：以 4B 参数规模，在覆盖感知、记忆与主动响应的八个基准（OVOBench、StreamingBench、OVBench、ODVBench、ProactiveVQA、OmniMMI、OVO-Timing、ViSpeak）上全部取得最优，并把记忆与响应的收益建立在可控的计算开销之上。
与已有工作不同的是，本文的独特切入是重新定义“主动生成”的角色：它不只是产出用户可见回答的机制，更是把已观察证据转写为可复用事实记录的统一学习接口，从而把感知学习与查询无关的记忆形成连接成一件事。与把记忆做成独立检索或压缩模块的思路不同，OneStreamer 在单一因果视觉-语言序列中通过预测任务专属控制词元及其关联文本，联合学习“何时记录或响应”与“生成什么”。针对沉默标签主导问题，作者没有沿用 focal loss 或只监督状态转移，而是提出保留全部输出锚点、按配额抽样状态变化与状态持续 token 的选择性监督。再配合一条显式对齐输出内容与释放时机的数据合成流水线，三者共享同一个生成接口，这是与先前流式视频工作最本质的差异。
核心方法
直觉上，与其让模型事后检索或压缩历史视觉特征，不如让它边观察边把证据“写”成带时间戳的文字记忆，回答时同时使用“近期视觉窗口 + 累积文字记录”这一混合上下文。技术上，OneStreamer 由视觉编码器、投影层和 LLM 组成，把直播视频流按时间顺序切成 clip 增量处理：Recent-N FIFO 滑动窗口只保留最近 N 帧的视觉 token，与包含累积字幕记录和对话历史的文本交错成因果视觉-语言序列，保证任意时刻序列只含当前可得信息。LLM 在该序列上预测控制词元（、、、、）并在状态触发输出时生成关联文本。训练侧由三部分支撑：PHCM 提供流式字幕监督，PSTL 提供选择性状态词元监督，数据来自把离线视频转为流式序列的合成流水线，最终形成超过一百万条记录的 OneStreamer-1M 数据集，对 Qwen3-VL-4B-Instruct 做单阶段 SFT（32 张 H200、1 个 epoch、最大序列长 131,072、峰值学习率 $1\times10^{-5}$）。
核心创新是把“记忆写入”本身也建模为主动生成。PHCM 让模型生成两类时间对齐记录： 引出短区间密集局部细节字幕（描述对象、动作、场景与状态变化）， 引出已完成事件或片段的稀疏语义摘要；训练时因果流式字幕目标监督模型对已观察视频前缀的解读，推理时记录按生成顺序追加进文本历史，无需检索或重访历史视觉特征。这与记忆压缩/检索方法的本质区别在于：记忆是模型自己生成的、查询无关的显式文本上下文，写什么由共享的生成过程决定，而非任务到来后的事后检索。PSTL 则用配额解决状态监督不平衡：令 $q=\max_X\max_{a\in\mathcal{A}_\tau} n_{X\to a}$（输出锚点所在最大转移组的规模），每个转移组 $X\to Y$ 无放回均匀抽样 $|\mathcal{I}_{X\to Y}|=\min(n_{X\to Y},q)$ 个 token 进入状态损失，其余状态 token 仅从状态损失中屏蔽，所有输出锚点和全部任务文本监督原样保留。
方法步骤详情
第一步，流式字幕合成：先经语义检索、场景检测与视觉丰富度评估筛选视频池，剔除低画质、长静态、黑帧与碎剪片段；用 Gemini 与 Seed 生成帧/clip、片段、视频三级带时间戳字幕并对照源视频校验；再把帧/clip 字幕转为其支持区间结束处的 目标、片段字幕转为段边界处的 目标，流末尾追加全视频摘要指令并以视频级字幕作答。第二步，流式 QA 合成：按能力定义用模板生成 QA 对；VLM 粗定位证据区间并仅凭该片段作答以验证可答性，答错即丢弃；区间内滑窗校准响应时间——推理型任务按参考答案在视频前缀下的条件似然 $P(a\mid q,V^{(t)})$ 评分，感知型任务按窗口与目标事件的相似度 $\mathrm{sim}(e,V^{(t)})$ 评分，取最早达标时刻；证据出现前标 、渐现标 、校准时刻标 。第三步，训练与推理：冻结视觉编码器，优化投影层与 LLM 一个 epoch；推理时模型直接从学到的条件分布生成控制状态与文本，不施加 PSTL。
技术新颖性
技术新颖性体现在三层。其一，记忆形成被纳入生成过程本身：先前工作或压缩/检索历史视觉 token（与当前感知竞争容量），或维护推理链（不可复用为时间对齐事实记录），PHCM 首次让模型以查询无关方式主动产出两级（局部细节/事件摘要）时间对齐文本记录，作为与近期视觉窗口互补的持久上下文，实现“感知监督即记忆写入”。其二，PSTL 不同于三种已有做法：全量交叉熵被沉默标签主导（ProactiveVQA 仅 26.1），focal loss 虽再平衡但仍密集监督（47.0），Transition Only 只监督状态变化、缺少状态持续的直接监督（OVO-Timing 仅 15.3）；PSTL 以配额抽样在仅监督 27.5% 状态标注的同时保留全部输出锚点与代表性持续样本，兼得稀疏与覆盖。其三，数据流水线显式对齐内容与时机：字幕在其支持区间观察完毕才释放，QA 响应时间被校准到证据恰好充分的最早时刻，直击开源流式数据中响应时间错配、诱导语言先验与幻觉的痛点。
实验结果
主结果：4B 的 OneStreamer 在全部八个基准领先——OVOBench 72.1（较 Qwen3-VL 基线 +13.3，超 11B 的 MOSS-VL-Realtime 1.9）、StreamingBench 86.9（+5.1）、OVBench 66.8（+11.4）、ODVBench 71.3（+13.7）、ProactiveVQA 48.7（+14.4）、OmniMMI 36.6（+7.2）、OVO-Timing 41.6 F1（+12.2）、ViSpeak 2.87（vs 2.41），对基线平均相对提升 25.0%。消融一：Recent-16 下保留生成字幕使 OVOBench-Backward ASI 63.5→71.6、EPM 62.0→62.6，证明主动字幕是有效记忆写入。消融二：PHCM 实时感知超 FIFO（81.4 vs 80.9、86.9 vs 86.3），记忆超 Full（ASI 71.6 vs 67.6），总体 72.1 最高，是双赢而非折中。消融三：PSTL 以 27.5% 监督率达 48.7/36.6/41.6，优于同比例随机稀疏（26.6/27.4/1.4）与密集 focal（47.0/32.8/26.5）。效率：PHCM 较 Full 省 93.1% 上下文 token（62,094→4,308）、60.4% 显存（25.18→9.98 GB），TTFT 4.560s→0.124s；较 FIFO 仅多 1,272 token、0.29 GB、0.030s。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 在线视频理解 | OVOBench Overall | 72.1 | Qwen3-VL (4B) 58.8；最强对比 MOSS-VL-Realtime (11B) 70.2 | 较基线 +13.3，较最强对比 +1.9 |
| 流式实时感知 | StreamingBench Real-Time | 86.9 | Qwen3-VL 81.8；MOSS-VL-Realtime 82.9 | +5.1 / +4.0 |
| 在线视频综合理解 | OVBench Avg | 66.8 | Qwen3-VL 55.4；最强对比 StreamForest 65.4 | 较基线 +11.4，较最强对比 +1.4 |
| 在线细节视频理解 | ODVBench Overall | 71.3 | Qwen3-VL 57.6；MOSS-VL-Realtime 63.9 | +13.7 / +7.4 |
| 主动视频问答 | ProactiveVQA Avg | 48.7 | Qwen3-VL 34.3；MOSS-VL-Realtime 47.2 | +14.4 / +1.5 |
| 多模态主动交互 | OmniMMI Avg（含 ASR） | 36.6 | Qwen3-VL 29.4；MOSS-VL-Realtime 32.7 | +7.2 / +3.9 |
| 响应时机预测 | OVO-Timing Avg F1 | 41.6 | Qwen3-VL 29.4；MOSS-VL-Realtime 38.5 | +12.2 / +3.1 |
| 主动视听交互 | ViSpeak Overall | 2.87 | Qwen3-VL 2.41；MOSS-VL-Realtime 2.48 | +0.46 / +0.39 |
| 历史记忆问答（消融） | OVOBench-Backward ASI | 71.6（PHCM，Recent-16） | FIFO 63.5；Full 历史保留 67.6 | 较 FIFO +8.1，较 Full +4.0 |
| 答案阶段延迟（消融） | TTFT（360s 样本，单张 H200） | 0.124 s（PHCM） | Full 4.560 s；FIFO 0.094 s | 较 Full 降低 97.3%，较 FIFO 仅增 0.030 s |
局限与改进
作者承认的局限包括：PHCM 的 EPM 记忆分（62.6）仍略低于保留全视觉历史的 Full（63.0），说明文本抽象对部分远期细节仍有损耗；ViSpeak 绝对分仅 2.87，主动视听交互的整体水平仍有很大提升空间；训练依赖 32 张 H200，算力门槛高。我自己的观察还有几点：其一，字幕记忆由模型自生成，存在错误累积与幻觉自我强化的风险，论文未量化记录错误率及其对下游 QA 的传播影响；其二，文本记忆天然丢失像素级信息（精确空间布局、图表数字、人脸细节），对依赖此类细节的问题可能失效；其三，数据合成依赖 Gemini 与 Seed 两个闭源模型，管线的许可与可复现性受限；其四，效率测量基于 360 秒的 OVOBench 样本，小时级长流与多路并发直播场景未验证；其五，PSTL 配额对所有转移组统一取最大组规模，长序列中极稀有的关键转移（如 Standby→Response）仍可能欠采样；其八项评测均为英文短视频基准，跨语言与全天候直播泛化有待检验。
独立分析的弱点
弱点一：自生成记忆缺乏可靠性护栏——若 阶段写入错误事实（如认错物体、记错时间戳），该错误会以文本形式长期驻留并影响后续所有预测，且没有被纠正的机制；改进方向是给每条记录附加置信度门控，或允许后续证据触发记录修订。弱点二：记忆粒度固定为局部细节与事件摘要两级，压缩率无法按查询重要性自适应，重要事件可能被过度压缩；可引入重要性评分让关键区间保留更细记录或缩略图特征。弱点三：响应时间校准依赖参考答案似然阈值，阈值设定对边界样本敏感，论文未做阈值敏感性分析；可用人类实时反应数据校准阈值。弱点四：PSTL 的配额 $q$ 取全序列最大转移组规模，虽把监督比例降到 27.5%，但极稀有转移在无放回抽样中仍可能完全缺失，可改为按组稀有度加权抽样。弱点五：缺少 Recent-N 窗口长度 N 的系统消融，也只在 4B 规模验证，与更大基座（>11B）的组合效果未知；窗口长度与模型规模的交互规律值得补齐。
未来方向
作者层面的延伸包括：把主动生成接口推广到音频流、屏幕流等更多模态与具身智能体场景；继续扩充 OneStreamer-1M 覆盖更长视频、更多语言与任务家族；进一步压低状态监督比例。基于成果可延伸的方向：一是给 PHCM 加检索层，在海量累积记录之上按查询检索相关字幕并选择性回填对应片段的视觉特征，弥合文本记忆的细节损失；二是用强化学习替代校准时间戳监督来优化响应时机，以任务成功率或用户满意度为奖励，处理“早答错”与“迟答无用”的非对称代价；三是研究记忆的自我修订与遗忘机制，处理被后续证据推翻的早期记录；四是把模型蒸馏到 1-2B 端侧规模——PHCM 的 TTFT 仅 0.124 秒，非常适合可穿戴设备与直播助手；五是把 PSTL 的配额式监督迁移到其他标签极度不平衡的生成式控制任务，如对话插话时机、自动驾驶接管决策。
复现评估
复现难度评估为中等偏高。有利条件：基座 Qwen3-VL-4B-Instruct 完全开源；论文给出完整训练配置（单阶段 SFT、1 epoch、最大序列长 131,072、峰值学习率 $1\times10^{-5}$、冻结视觉编码器、优化投影层与 LLM）；PSTL 有公式化定义（配额 $q$ 与抽样集 $\mathcal{I}$ 的构造），几十行代码即可实现；八项评测基准均为公开基准，评测部分可直接复现；项目主页 https://mcg-nju.github.io/OneStreamer 已上线。障碍：其一，OneStreamer-1M 的生成与校验依赖 Gemini 和 Seed 两个闭源模型，即便数据集发布，从头重建管线也无法完全复刻，阈值细节与提示词模板是关键暗知识；其二，正式训练需要 32 张 NVIDIA H200，学术实验室复现成本很高，尽管 4B 规模下用 LoRA 或缩减数据有望降到 8 卡量级；其三，正文未明确承诺代码与数据集开源，需关注主页后续发布。总体判断：评测与 PSTL 算法可复现性好，端到端训练复现需要较大算力投入，数据合成管线的忠实复现最难。
论文图表
对比三种问答设定：Memory QA 依靠留在记忆中的过去证据作答；Perception QA 依据当前视觉证据作答；Proactive QA 先收到问题，模型持续观察直到证据充分才输出答案。
它界定了流式视频交互的三类核心任务形态，对应了 PHCM（记忆）、实时感知窗口（感知）与 </Standby>/</Response> 状态控制（主动）三个技术模块各自服务的场景，是理解评测设计与模块分工的地图。