StreamOPD：面向流式视频理解的时空线索门控后训练配方 StreamOPD: A Post-Training Recipe with Spatio-Temporal Cue Gating for Streaming Video Understanding
固定免记忆近窗推理，用思考模式蒸馏与线索门控让4B学生追平9B教师
前置知识
流式视频理解（Streaming Video Understanding）
要求多模态大模型在视频仍在播放时回答问题的范式：问题到达的时刻，模型只能看到此前按因果顺序到达的帧前缀，不能预览未来帧，也不能反复回看完整视频。典型场景包括直播助手、可穿戴相机和环境监控。StreamingBench 与 OVO-Bench 通过实时感知、回溯追踪和前瞻性提问来评测这种在线能力。
本文全部实验都固定在“免记忆近窗”流式协议下进行，理解这一设定才能明白为什么作者强调推理路径完全不变、所有改进都只能来自模型权重的更新。
在线策略蒸馏（On-Policy Distillation, OPD）
区别于传统蒸馏在固定数据上模仿教师输出，OPD 先让学生对提示采样生成自己的回答轨迹 $y_i \sim \pi_\theta(\cdot|q_i)$，再让冻结教师在这条学生轨迹上逐 token 打分，构造密集的逐 token 监督。本文用采样 token 的 k(1) 估计器，优势定义为 $A^{OPD}_{i,t} = \tau_{i,t} - s_{i,t}$，即教师与学生对同一实现 token 的对数概率之差。
OPD 是 StreamOPD 核心配方的训练目标，ST-CueGate 的全部改动本质上都只是给这个优势乘一个门控权重 $w_i$。
RLVR 与 GRPO
可验证奖励强化学习（RLVR）用规则可判定的奖励（如 MCQ 选项字母对错、计数是否正确）训练模型；GRPO 是其群体相对实现，对同一提示采样一组回答，用组内奖励标准化作为优势。由于奖励只在最终答案上给出，它是稀疏的：能约束答案本身，却约束不了答案之前的推理轨迹和输出格式。
论文用 GRPO 诊断出流式场景下纯 RL 的“格式漂移”失败模式（解析器敏感、回答暴长），这解释了主配方为何改用密集监督的 OPD。
采样 token 反向 KL 散度
OPD 最小化学生在每个位置对教师的反向 KL：$KL_{i,t} = \sum_v \pi_\theta(v)\log\frac{\pi_\theta(v)}{\pi_\tau(v)}$。对整个词表求和在长多模态提示下代价过高，因此用在实现 token 处的单样本估计 $\hat{k}^{(1)}_{i,t} = s_{i,t} - \tau_{i,t}$，它在学生自身采样分布下无偏，其负数即 OPD 优势。
理解该估计器才能看懂优势的符号约定，以及“短轨迹尺度假设”——思考模式下涉及指令模式训练时可用 token 位置过少、有效方差变大，导致梯度范数飙到 70–120 的崩塌解释。
教师特权信息（Privileged Information）
源自 Vapnik 的 LUPI 思想：训练时只给教师提供学生部署时拿不到的额外信息。本文的特权是一条时空视觉线索——形如 “Around 0:04, look at the man's arms” 的一句话指针，由更强的 VLM（Qwen3.5-27B）从完整训练片段离线生成，经泄漏筛查后只进入教师提示；部署时学生永远看不到线索。
ST-CueGate 的核心问题正是“教师拿到什么”而非“教师多大”，线索条件化与门控机制全部围绕这一特权信息展开。
思考模式与指令模式（Thinking / Instruct Mode）
统一骨干模型支持两种解码模式：思考模式先生成长推理链再给答案，指令模式直接输出简洁答案（如单个选项字母）。论文发现训练与部署模式可以解耦——师生都用思考模式训练才收敛，而部署时改用指令模式评测反而更好且输出格式与基准对齐。
“思考训练、指令部署”是 StreamOPD 配方的关键经验配置，也是理解 OPD 模式崩塌与 GRPO 格式漂移这两组诊断实验的前提。
研究动机
流式视频理解要求模型在视频尚未播完时就作答，这对开源 MLLM 仍然困难。为弥补差距，现有系统普遍在推理时堆砌记忆库、KV-cache 压缩、检索或专用流式模块（Dispider、TimeChat-Online、StreamForest、HERMES 等）。但 SimpleStream 的实测表明，一个完全免训练、只看最近 4 帧（1 fps）的滑窗基线就能在 OVO-Bench 达到 67.7%、StreamingBench 达到 80.6%，追平甚至超过这些复杂系统，说明架构复杂度并非主要瓶颈。与此同时，后训练路线各有隐患：无教师的 GRPO 虽然任务奖励不低，却漂移出越来越长的推理链，把答案放到句尾——同一检查点在按“最后一个选项字母”解析时得 82.4%，换成部署时“读第一个答案”的解析器只剩 35.1%，中位回答长度在训练中增长超过十倍；而带教师的 OPD 若涉及指令模式训练则直接崩塌，验证分从约 69% 在 100 步内跌到 24–26%，600 步后低于 2%，梯度范数飙到 70–120（稳定运行仅 1–10）。换言之，推理端加料未必必要，而后训练本身在流式设定下存在两种未被系统记录的失配。
本文的目标是本文刻意固定一个免记忆的近窗推理协议——只用最近 4 帧、1 fps、无记忆库、无检索、无压缩——把推理路径完全冻结，从而提出一个干净的问题：在不改动部署的前提下，仅靠后训练能把小模型推到什么程度？具体目标有三层：第一，建立可复现的 StreamOPD 核心配方，包括约 25k 条可验证流式视频问答数据、经验上稳定的“思考模式训练、指令模式部署”的 OPD 配置；第二，用该配方缩小 Qwen3.5-4B 学生与 Qwen3.5-9B 教师在 StreamingBench 和 OVO-Bench 上的差距，且推理成本与架构保持不变；第三，进一步追问“教师应该看到什么”——把教师特权信息从被动灌输改为按测得敏感度加权，提出 ST-CueGate，在不修改部署的情况下继续提升四个基准。
与已有工作不同的是，与主流“给流式模型加记忆/推理模块”的路线相反，本文把推理协议当成常量，把全部自由度留给后训练，从而把架构改进与权重改进解耦。在教师选择之外，它提出了一个被忽视的维度：教师收到什么信息、其预测分布在有无线索时如何变化。作者不是简单地把视觉线索拼进教师提示（ViCuR 的被动做法），而是用“嵌套去线索”参照——同一段帧、同一问题、同一条学生轨迹，只改变线索有无——逐 token 度量线索引起的教师似然比，发现该信号极度稀疏：56.5% 的 token 对比近乎为零（$|\Delta| \le 0.01$），正分最高的 20% token 携带 82% 的正质量，因此均匀条件化无法区分不同线索敏感度的轨迹，应当按测得的敏感度对蒸馏梯度加权。这种“先测量特权信息价值、再决定蒸馏权重”的视角，以及把 OPD、外推、线索门控统一写成 $A_{i,t} = w_i(\tau_{i,t} - s_{i,t})$ 一族的分析框架，是本文的独特切入。
核心方法
StreamOPD 分为两层：核心配方加上可选的教师特权扩展。直觉上，既然免训练近窗基线已能匹敌复杂系统，缺的不是推理端机制而是权重里的能力，那就把部署路径焊死，只动训练。技术路线上，核心配方包含三件事：(1) 数据——从公开视频指令数据改造出约 25k 条答案可规则验证的问答（MCQ、二元、计数三种格式）；(2) 训练——学生 Qwen3.5-4B 与冻结教师 Qwen3.5-9B 都在思考模式下做 OPD：学生对提示采样轨迹 $y_i \sim \pi_\theta(\cdot|q_i)$，教师对同一轨迹逐 token 打分，优势取 $A^{OPD}_{i,t} = \tau_{i,t} - s_{i,t}$，配合截断重要性比的策略梯度更新；(3) 部署——同一个蒸馏后的策略改用指令模式、贪心解码、近 4 帧评测，输出简洁的选项格式。在此之上，ST-CueGate 作为扩展在训练时给教师额外提供一条经泄漏筛查的时空视觉线索，并计算线索与无线索两次教师前向的逐 token 似然比 $\Delta_{i,t} = \tau^+_{i,t} - \tau^-_{i,t}$，聚合成响应级分数后在同提示兄弟组内标准化，得到门控 $w_i$ 去乘 OPD 优势；学生的提示、输入帧和推理路径自始至终不变。
核心创新有两个。其一是训练-部署模式解耦：作者系统测试了师生训练模式配对，发现 both-instruct 与 teacher-thinking/student-instruct 两种配对全部崩塌（验证分从约 69% 在 100 步内跌到 24–26%，600 步后低于 2%，梯度范数飙到 70–120，而稳定运行只有 1–10），只有 both-thinking 收敛；因此训练时都用思考模式，部署时换回指令模式反而更好且格式简洁。这与无教师 GRPO 的“格式漂移”（82.4% 对 35.1% 的解析器差、长度涨十倍）一起，构成两个此前未被记录的后训练失配。其二是“从给予特权到门控特权”的转变：已有做法要么让教师多看帧（AFD）、要么被动提供线索（ViCuR）、要么外推教师相对基座的改进（ExOPD），这些都是无条件地把特权塞给教师；ST-CueGate 则在每条学生轨迹上实测线索对该轨迹的似然增益，再据此重新分配蒸馏权重——线索让教师更确信学生实际输出的那条轨迹获得更大权重。参照系的选择是本质区别：V-Zero 用时间打乱的视频做负样本视图，而 ST-CueGate 的嵌套去线索参照保持帧、问题、轨迹不变、只动线索，是更干净的对照。
方法步骤详情
第一步，数据构建：把 LLaVA-Video、Tarsier2 等公开指令数据改造成 MCQ（69.7%）、二元（25.3%）、计数（5.0%）三种可验证格式；视频短（中位约 5.5 秒，89% 短于 15 秒），71.8% 的问题需要时间推理。先用学生和教师各 8 次温度 0.7 采样估计通过率，滤掉对两者都太容易的样本得 8.3k 过滤集，再并入 23,884 条可验证 CoT 池，合成 25,118 条训练集。第二步，线索生成与筛查：冻结的 Qwen3.5-27B 看完整训练片段，在剥离选项后输出不超过 25 词的时空指针，格式固定为 “Around {when}, look at {region}”；规则筛查（禁止选项字母、答案实体、属性、屏幕文字、结果描述）失败则按 0.5/0.7/0.9 温度重生成最多三次，再由同一模型零温度判官裁决，自动接受 24,257 条（96.6%），861 条回退原教师提示；人工双人审计 300 条，残余泄漏率 7/300 = 2.3%（95% Wilson 区间 1.1–4.7%）。第三步，ST-CueGate 训练循环：学生在思考模式采样响应 $y_i$；教师在同一教师池做两次前向——带线索提示得 $\tau^+_{i,t}$、复用同一批已解码帧和原始提示得 $\tau^-_{i,t}$；计算 $\Delta_{i,t} = \tau^+_{i,t} - \tau^-_{i,t}$ 和长度归一均值 $g_i = \frac{1}{T_i}\sum_t \Delta_{i,t}$；在 $n=4$ 的同提示（UID）兄弟组内做种群标准化得 $\hat{g}_i$；设 $w_i = \mathrm{clip}(1 + \alpha_g \hat{g}_i, [w_{\min}, w_{\max}])$，取 $\alpha_g = 0.5$、区间 $[0,2]$；最终优势为 $A^{ST\text{-}CueGate}_{i,t} = w_i(\tau^+_{i,t} - s_{i,t})$，用截断策略梯度更新。训练配置：学习率 $1\times10^{-6}$，4 个 epoch，批量 32，最大提示 16k/响应 512 token，4 张学生 + 4 张教师 NVIDIA H200，种子 42/43/44。第四步，部署：学生切回指令模式，贪心解码，只看最近 4 帧，无任何线索或记忆模块。
技术新颖性
技术新颖性体现在四点。第一，实证记录了流式视频后训练的两个失配模式——GRPO 的稀疏奖励只约束最终答案不约束前置轨迹，导致部署格式下性能崩塌；OPD 涉及指令模式训练时的崩塌伴随短轨迹与大梯度范数——并给出“短轨迹尺度假设”作为机制性解释，同时诚实说明未能因果识别。第二，把教师特权信息从“给什么”推进到“它在这条轨迹上值多少”：线索与无线索的逐 token 似然比构成嵌套对照，且逐 token 对比可望远镜求和为序列级量 $\sum_t \Delta_{i,t} = \log \pi_\tau(y_i|q_i,c_i) - \log \pi_\tau(y_i|q_i)$，作者刻意把它当作似然比统计量而非互信息，因为两次前向来自同一网络的两种提示方式。第三，统一的重加权视角 $A_{i,t} = w_i(\tau_{i,t} - s_{i,t})$：标准 OPD、ExOPD、ViCuR、V-Zero、DAD、ST-CueGate 都是该族成员，差异仅在 $w_i$ 的来源（师生分歧、退化视觉视图、线索有无），这把散落的方法放进同一设计空间。第四，门控数学性质干净：组内种群标准化保证截断前 $\sum_j w_j$ 恒等于组大小（均值保持），且在 $n=4$、$\alpha_g=0.5$ 时可达权重区间 $[0.13, 1.87]$ 严格落在截断区间 $[0,2]$ 内，截断永不生效，门控是平滑单调重加权。附带的负结果地图（27B 教师更差、无根据外推震荡、token 级门控噪声大）本身也有方法论价值。
实验结果
核心配方层面：标准 OPD 在推理不变的前提下把 Qwen3.5-4B 学生的 StreamingBench 从 77.87% 提到 83.91%，距 9B 教师的 84.15% 仅 0.3 分；OVO-Bench（去 HLD）从 59.94% 升 9.1 分到 69.02%。子任务收益不均：实时感知中 STU +20.7、OCR +13.4，其余实时子任务 +3.0 到 +9.2，回溯的 EPM +9.1、ASI +7.4；但 HLD 从 47.9 掉到 38.7，说明密集监督强化可答任务能力却削弱拒答。ST-CueGate 层面：四个基准全面提升到 84.55 / 71.93 / 64.85 / 61.41（StreamingBench / OVO 去 HLD / Video-MME / LongVideoBench），相对 OPD(n=4) 分别 +0.7、+1.8、+0.8、+0.2，四基准均值从 69.81 升至 70.69；它是唯一在全部四个基准上都高于未训练学生（均值 64.94）的配置。ST-CueGate 在 OVO-Bench 九个子任务中的六个（OCR、ACR、STU、FPD、EPM、ASI）超过 9B 教师 1.1–4.0 分，宏平均 69.34 对 67.95；对最强流式系统 HERMES-7B 领先 StreamingBench 5.1 分、OVO 宏 10.1 分，且只用 4 帧。诊断实验：无教师 GRPO 检查点在“末字母”解析下 82.4%、“首答案”解析下仅 35.1%，中位长度涨逾十倍；指令模式 OPD 100 步内崩到 24–26%。消融：被动线索 ViCuR cue-only(n=1) 均值仅 66.70，反而低于 OPD(n=1) 的 69.03；无根据外推 ExOPD 69.20 无一致增益；V-Zero 视频变体 68.36 全面低于 ST-CueGate；token 级门控在 OVO 掉 3.2 分，证明响应级聚合更稳；$\alpha_g=1.0$ 全面变差；27B 教师均值 66.63 反而比 9B 低 4.06 分，说明教师规模不保证更好的在线监督。同骨干 OPSD 版本达到 83.35 / 67.35，且 HLD 高达 57.0%，超过学生的 47.9% 和 9B 教师的 47.3%，证明拒答损失并非配方固有。上下文策略对照：同一模型换 dense-32 均匀采样后 ASI +12.17、EPM +7.48，但实时宏掉 10.50、HLD 掉 15.05、StreamingBench 掉 3.04，呈现清晰的感知-记忆权衡。
![Ablation of the ST-CueGate strength αg with fixed n=4, UID sibling normalization, γ=1, and gate range [0, 2].](/papers/2608.16320/images/table_4.jpg)
![Attainable gate values before clipping to [wmin, wmax]=[0, 2], from the bound |ĝ| ≤ √(n−1).](/papers/2608.16320/images/table_11.jpg)
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| StreamingBench（流式视频理解） | 答案准确率（%，近4帧·指令模式·贪心解码） | 84.55（ST-CueGate）/ 83.91（标准 OPD） | 未训练学生 77.87；9B 教师 84.15；最强流式系统 HERMES-7B 79.44 | 较学生 +6.68，基本追平 9B 教师（差 0.4 分内），超 HERMES-7B +5.11 |
| OVO-Bench（去 HLD） | 实时+回溯宏平均准确率（%） | 71.93（ST-CueGate） | 未训练学生 59.94；OPD(n=4) 70.09 | 较学生 +11.99，较标准 OPD +1.84 |
| Video-MME（通用视频理解） | 总体准确率（%，标准协议 ≤32 帧） | 64.85 | 未训练学生 64.22；标准 OPD(n=1) 63.33 | +0.63（ST-CueGate 是唯一不牺牲通用视频能力的配置） |
| LongVideoBench（长视频理解） | 总体准确率（%，标准协议 ≤32 帧） | 61.41 | 未训练学生 57.74 | +3.67 |
局限与改进
作者承认的局限包括：大教师蒸馏下拒答能力（HLD）从 47.9% 降到 38.7%，尽管同骨干 OPSD 变体能到 57.0%，说明该问题可缓解但与教师选择强耦合；子任务收益不均，标准 OPD 在 Video-MME 上还略低于基座；所有表格只报 3 个种子的均值，无标准差与配对显著性检验，+0.2 到 +0.8 量级的提升难以统计确认；门控是相对量而非绝对效用——若组内所有 $g_i$ 都为负，较差负者仍会被上调；响应级均值混合了推理、答案、标点和格式 token，无法定位哪些 token 受益于线索，作者明确说 $g_i$ 只能当“相对线索敏感度代理”而非忠实的效用归因；“短轨迹尺度假设”只是机制性假设，未做长度匹配对照，模式崩塌也可能源于初始化分布、师生 KL、归一化或裁剪方式；训练数据全部为短片段（中位 5.5 秒），对长视频流式的适用性未经训练端验证。我自己的观察：线索生成、筛查、判官都依赖同一个 Qwen3.5-27B，存在自我确认偏置，人工审计仅 300 条且未报评审者间一致性；Video-MME 与 LongVideoBench 并非流式协议且提升小（+0.63 / +3.67），泛化证据偏弱；评测全部是规则可验证的选择/二元/计数格式，开放式生成能力未测。
独立分析的弱点
第一，拒答与密集蒸馏存在张力：HLD 是安全相关指标，部署到真实监控场景时蒸馏后的模型更容易对不可答问题硬答。改进方向是在蒸馏目标中加入拒答感知项或显式校准，并像 OPSD 实例化那样优先尝试容量更近的教师。第二，门控粒度粗糙：一个标量 $w_i$ 乘到整条响应的所有 token 上，格式 token 与推理 token 被同等放大或缩小，而 token 级独立门控又太噪（OVO −3.2）。改进方向是只对答案 token 或正分 token 聚合，或用 top-k/截尾均值——作者自己也承认这些替代方案未测。第三，线索管线有单点依赖：生成、筛查、判官同为 27B 模型，2.3% 残余泄漏虽低但会直接污染教师条件分布，可引入异构验证器或对判 SAFE 的线索做二次对抗检验。第四，训练数据全部是秒级短片段，而监控、直播等流式应用往往是小时级长视频，近 4 帧协议下长视频的线索选择与轨迹分布尚属空白。第五，教师规模负结果（27B 比教师 9B 差 4.06 分）只有“容量更近的教师分布更贴合学生轨迹”的推测性解释，可做教师规模扫描并监控师生 KL 与轨迹对齐度。第六，报告只有均值，+0.2~+0.8 的核心增益缺乏显著性支撑，应报告种子间方差与配对检验。
未来方向
作者提出的方向包括：用长度匹配对照和多种子崩塌率实验对“短轨迹尺度假设”做因果识别；测试绝对正截断门控、答案 token 聚合、top-k/分位数/截尾均值等未探索的聚合方式，把相对排名信号升级为绝对线索效用估计；论文还指出对 27B 教师未做调优，更贴近学生容量的教师值得系统探索。基于本文成果可延伸的研究：一是把线索从离线静态文本升级为在线生成或可学习查询，让教师在训练中动态决定看什么；二是把该配方与轻量记忆/检索在等算力预算下做受控比较，检验“后训练优先”结论在长视频上是否成立；三是探索拒答保持蒸馏，把 HLD 崩塌变成可控旋钮；四是把统一重加权族 $A_{i,t}=w_i(\tau_{i,t}-s_{i,t})$ 形式化，研究不同参照选择（去线索、打乱视频、容量外推）的偏差-方差权衡；五是把配方迁移到音频-视频流、具身智能体等在线多模态场景，验证线索门控的普适性；六是检验更大骨干（30B+ 学生）下 thinking-train/instruct-infer 配对是否仍然稳定。
复现评估
复现条件相当友好。开源方面：论文提供项目主页和透明的脚本入口（scripts/eval_all.sh 跑四个基准、scripts/score_all.sh 聚合），训练配置、逐轴搜索过的超参值、全部提示模板（学生提示、线索生成、泄漏判官、评测模板）都在附录逐字复现。数据方面：25,118 条训练集的构建管线（数据来源、通过率过滤、线索生成、筛查规则、人工审计）描述完整，视频来自公开指令数据（LLaVA-Video、Tarsier2），模型为公开的 Qwen3.5-4B/9B/27B；评测基准 StreamingBench、OVO-Bench、Video-MME、LongVideoBench 均公开，两个通用基准直接用标准 lmms-eval。算力方面：主实验用 4 张学生卡 + 4 张教师卡 NVIDIA H200，训练 4 个 epoch，规模中等但对个人实验室偏贵；ST-CueGate 的无线索前向复用学生已解码帧和同一教师池，额外 GPU 开销很小。统计方面：3 个种子取均值、只用验证集聚合选模型、贪心解码消除采样噪声。难点主要在于需要在 HybridFlow/vLLM 框架上复现四项视频 OPD 定制（响应级教师对数概率提取、容错数据路径、可验证奖励函数、独立教师输入构建器），以及 27B 线索生成的一次性成本；总体属于“中等算力门槛、高度可复现”。
论文图表
在 300,866 个学生响应 token 上统计线索条件似然比 Δ 的分布：56.5% 的 token |Δ|≤0.01 近乎无响应，23.1% 为负，正分最高的 20% token 携带 82% 的正质量。
这张图是 ST-CueGate 的动机证据：教师对线索的响应极度稀疏且重尾，说明均匀的线索条件化不够、必须按敏感度门控。
GRPO 训练中输出从简洁答案长成冗长推理链（中位长度涨逾十倍），且对“读第一个答案”还是“读最后一个答案”的解析器极其敏感（35.1% vs 82.4%）；OPD 模型保持简洁且解析器无关。
这是论文记录的第一个后训练失配（稀疏奖励下的格式漂移）的直接证据，解释了为何流式直接作答场景需要密集监督的 OPD。
教师规模消融：27B 教师四基准均值 66.63，全面低于 9B 教师的 70.69（LongVideoBench 差距最大 −7.0），且未重新调参。
反直觉发现：更大的教师不保证更好的在线监督，支撑“教师-学生分布对齐比容量更重要”的论点。
列出每个超参轴试过的全部取值（门控强度、rollout 数、粒度、分组方式、教师、学习率、数据池规模、外推系数等）与最终选用值，说明是逐轴搜索而非联合网格。
透明呈现搜索空间与选择准则（只看验证集聚合），帮助读者评估结论的稳健性与调参偏差。