回合至关重要：回合级信用分配推进流式视频强化学习 Turns Matter: Advancing Streaming Video RL via Turn-Level Credit
TurnWise 以回合级信用分配与回合均值聚合改进流式视频 GRPO
前置知识
GRPO（组相对策略优化）
DeepSeek 提出的免 critic 强化学习算法：对同一提示采样一组 $G$ 条轨迹，用组内奖励均值 $?ar{R}$ 和标准差 $\sigma_R$ 把每条轨迹的终局奖励归一化为相对优势 $\hat{A}_i=(R_i-?ar{R})/(\sigma_R+\epsilon)$，再以 PPO 式截断代理损失更新策略。它不学习价值网络，而是靠组内比较提供基线，实现简单且稳定。
TurnWise 的全部修改都发生在 GRPO 的优势计算与 token 损失聚合这两个环节上：文中 $A^{global}_i$ 就是标准 GRPO 优势，$\hat{A}_{i,t}$ 是在它基础上的回合级修正。不熟悉 GRPO 就无法理解论文到底改了什么。
流式视频交互（Streaming Video Interaction）
模型随视频流逐帧接收观察，在预先约定的决策时间点上反复选择：输出一段回答，或输出显式等待动作 NO REPLY（记作 $?arnothing$）继续观察。与离线看完整视频再作答不同，它必须在部分观察下持续决策，且一条新回答的价值同时取决于当前证据和之前已经说过什么。
这是论文的问题设定本身。方法的核心技巧——沉默补全前缀打分——正是利用了流式设定自带的显式等待动作与共享观察时间表才能实现，理解设定才能理解方法为何可行。
信用分配（Credit Assignment）
强化学习中把轨迹级回报拆分到各个动作、判断每个动作对最终结果贡献的过程，经典手段包括价值函数、时序差分与 return-to-go。粒度错配指反馈粒度与决策粒度不一致：轨迹级的一个优势信号被广播给轨迹内所有动作，导致好轨迹里的坏动作也被强化。
本文的核心论点就是现有流式视频 RL 存在回合粒度错配：整条轨迹一个 GRPO 优势让冗余回复继承早期成功、有用追问替早期失败背锅，TurnWise 的解法本质上是一种免 critic 的回合级信用分配。
PAUC（主动式时机敏感曲线下面积）
ProactiveVQA 使用的评测指标：只有落在标注回复窗口内的回答，其质量分才被计入，且回答越早、在窗口内累积贡献的时间越长，从而同时考核答案质量与应答时机。本文训练奖励 $R_i=3P_i-2D^i_{rep}-0.5D^i_{out}-2D^i_{prefix}$ 以 PAUC 分量 $P_i$ 为主体，叠加重复、窗外作答、共享前缀超限三类惩罚。
PAUC 既是三大评测基准之首也是训练奖励的核心分量；TurnWise 的前缀打分 $U_{i,t}$ 就是对同一 PAUC 打分器在截断轨迹上的重复调用，理解 PAUC 的窗口机制才能明白为何沉默后缀不会破坏已有回答的得分。
token-mean 损失聚合
将策略梯度损失对所有生成 token 直接求平均的做法。在含等待动作的流式设定里，一段长回复贡献很多 token，一次简短的 NO REPLY 只贡献极少 token，于是长回复在总损失中天然占更大权重，等待决策的学习信号被稀释。
turn-mean 聚合是对 token-mean 的直接替代：先在每个回合内对 token 求平均、再跨回合平均，使每个决策权重均为 $1/T_i$。不理解 token-mean 的长度偏置，就无法理解论文第二个贡献的动机。
研究动机
流式视频理解要求模型在视频持续到达的过程中反复决策：此刻作答还是继续观察。MMDuet2、ThinkStream、StreamPro 等近期工作虽然在奖励设计上不断改进（PAUC 奖励、正确性/格式/时机混合奖励、回合级与轨迹级混合奖励），但都沿用轨迹级 GRPO：整条轨迹算出一个组相对优势 $A^{global}_i$ 后广播给所有决策回合。后果很具体：论文图 1 的例子里，模型在一段 128 秒的做菜视频流中先正确回答「棕色的鸡肉配米饭」，之后又连续四次重复同一内容；由于整条轨迹优于组均值，GRPO 给每个回合都打上约 +0.984 的正优势，冗余回复反而被强化。反过来，早期失败之后真正有用的追问，也会因轨迹总分低于组均值而吃到负优势。此外 token-mean 损失聚合按输出长度加权：长回复压过简短的「继续观察」决策，回复与等待两类动作在目标函数中权重不等。
本文的目标是本文的目标是把「决策回合」变成流式视频强化学习中优势估计与损失聚合的共同单元：让每个「作答/沉默」决策获得与其自身剩余回报相称的学习信号，且不引入学习型 critic、不增加额外 rollout 或评审调用。具体拆成两点：一是消除早期累计奖励对后续回合优势的污染——轨迹整体好不代表每个回合都好，后期冗余回复不应继承正优势，差轨迹里的有用追问不应被负优势压制；二是让回复决策与等待决策在策略损失中权重相等，不受输出长度影响。最终目标是在 ProactiveVQA、OVO-Timing、StreamingBench 三个基准上用 Qwen2.5-VL-3B 与 Qwen3-VL-4B 两个骨干全面超过 MMDuet2、ThinkStream、StreamPro 等 RL 基线，同时降低冗余回复、改善应答时机。
与已有工作不同的是，已有工作的改进几乎都集中在「奖励怎么设计」上，TurnWise 则指出回合级打分与回合级策略信用是两个独立的设计选择，并把后者作为切入点。其独特之处在于巧妙利用了流式设定自带的结构：显式的等待动作 $?arnothing$ 与共享的观察时间表。把一条采样轨迹的前 $t$ 个动作保留、其余全部替换为沉默后，用同一个轨迹打分器即可得到「到此为止、之后全沉默」的前缀得分，从而把轨迹级反馈精确分解为每个回合的剩余回报，无需 critic、无需额外 rollout 或评审调用。return-to-go 式的思想此前主要出现在离线强化学习中，本文首次将其与 GRPO 的组相对归一化结合并用于流式视频交互；同时用回合均值聚合补上损失权重维度，使「回合」同时成为两种机制的单位。
核心方法
TurnWise 的直觉是：一个回合该得多少学分，取决于从这一回合开始还能赚回多少，而不是此前已经赚了多少。技术上由两个互补模块组成。其一是回合级信用分配：对每组 $G=4$ 条采样轨迹，用沉默补全前缀打分计算 $U_{i,t}=R(a_{i,1},\dots,a_{i,t},\varnothing,\dots,\varnothing)$，即保留前 $t$ 个动作、之后全部沉默时的完整轨迹得分；由此得到已累计奖励 $C_{i,t-1}=U_{i,t-1}-U_{i,0}$ 和剩余回报 $F_{i,t}=R_i-U_{i,t-1}$，再在组内相对归一化并截断到 $\pm a_{max}$（$a_{max}=5$）得到回合优势，用 $\alpha$ 从 0 线性升到 1（前 10% 更新步）逐步从 GRPO 全局优势过渡到回合优势。其二是回合均值策略优化：先在每个回合内对 token 损失取平均、再跨回合平均，使每个决策权重恒为 $1/T_i$。奖励沿用 PAUC 形式 $R_i=3P_i-2D^i_{rep}-0.5D^i_{out}-2D^i_{prefix}$，由 gpt-oss-20b 评判。
核心创新是沉默补全前缀打分。GRPO 的共享优势 $A^{global}_i=(R_i-\bar{R})/(\sigma_R+\epsilon)$ 让同一轨迹内所有决策同涨同跌；TurnWise 用等待动作把未来「关掉」：$U_{i,t}$ 表示保留前 $t$ 个决策、之后全沉默的完整轨迹得分，打分上下文（初始对话、决策时间戳、回复窗口、评估视野）与原轨迹完全一致，固定视野保证已有回答的 PAUC 贡献与各类惩罚分母不被改变。于是 $F_{i,t}=R_i-U_{i,t-1}$ 恰好是从回合 $t$ 起的剩余回报，且望远镜分解 $C_{i,t-1}+F_{i,t}=R_i-U_0$ 对含比例型重复惩罚的非加性打分器也精确成立。组相对优势可改写为 $\hat{A}_{i,t}=\mathrm{clip}\big(A^{global}_i-(C_{i,t-1}-\bar{C}_{t-1})/(\sigma_R+\epsilon)\big)$，即从全局优势中扣除「早期已多赚部分」的组中心化残差。这样好轨迹里的坏回合拿到负优势、差轨迹里的好回合能拿到正优势，再配合回合均值聚合让每个决策等权。
方法步骤详情
训练分两阶段。先 SFT：在 EgoExo4D、EgoExoLearn、Live-WhisperX、Tarsier2、LLaVA-Video 混合的 100,874 条指令数据上训练 1 epoch，学习率 $10^{-5}$，视觉塔冻结。再 GRPO 式 RL：3,983 条 20 秒片段的流式实例，最多 90 帧、每 2 秒采样；batch 8、每组 $G=4$ 条对齐轨迹、温度 1.2、top-$k$ 10、AdamW 学习率 $10^{-6}$、共 497 次更新，无 KL/熵正则。每个迭代：采样轨迹并打分 $R_i$（gpt-oss-20b）；缓存回复评估后用确定性扫描计算 $\{U_{i,t}\}$；若 $\sigma_R=0$ 则优势置 0，否则逐回合算 $F_{i,t}$，按式 (5) 求插值优势，$\alpha=\min\{1, s/\lceil 0.1S\rceil\}$ 线性升温；再用双向截断 PPO 损失 $\ell$（$A<0$ 时取 $\min(\ell_{clip}, -cA)$，$c=3$），回合内平均再跨回合平均得 $L_i$，汇总更新。超参 $\epsilon=10^{-6}$、$a_{max}=5$、$\delta=0.2$。
技术新颖性
与最接近的工作对比：MMDuet2 用 PAUC 奖励加短段训练缓解稀疏性，但优势仍是轨迹级；StreamPro 虽同时用回合级与轨迹级奖励，但最终仍聚合成一个共享优势广播给所有回合；ThinkStream 的增量推理奖励组合同理。TurnWise 的本质区别有三：第一，信用修正不是启发式折扣，而是基于精确的望远镜分解，对非加性打分器（比例型重复惩罚同时改变分子分母）也严格成立，且通过缓存评估复用实现零额外成本；第二，$\alpha$ 插值（式 A.7）给出从 GRPO 到回合级信用的连续谱并配预热调度，实验表明 $\alpha=1$ 全修正最优；第三，回合均值聚合首次把「回合」同时作为优势单元与损失权重单元。图 4 的实证凸显差异：84,184 个决策中 21.20% 在两种分配下优势符号相反，53.15% 的轨迹同时含正负回合优势。
实验结果
三个基准、两个骨干全部最优。Qwen2.5-VL-3B：ProactiveVQA PAUC 43.56（MMDuet2 39.60，+3.96，四子类全领先）；OVO-Timing 平均 Timing F1 21.59（StreamPro 17.72，+3.87）；StreamingBench 均值 49.43（+0.69）。Qwen3-VL-4B：PAUC 42.44（ThinkStream 36.18，+6.26，VAD、Web 超竞品 3.49、6.43）；Timing F1 11.15（MMDuet2 9.23，+1.92）；StreamingBench 58.96（+2.38），主动输出 38.40 对基线 35.60。消融（表 2）显示两模块互补：仅回合信用 PAUC 43.12/重复率 15.53/F1 18.63，仅回合均值 41.87/9.78/8.17，结合后 43.56/5.98/21.59——重复率相对仅信用降 61.5%、F1 升 2.96；相对仅回合均值 F1 升 13.42、重复降 38.9%。$\alpha=1$ 在表 3 四项全优。训练动态（图 3）：最后 50 步平均奖励 0.657 升至 0.711，重复惩罚 0.069 降至 0.036，非沉默决策比例 62.2% 降至 37.0%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ProactiveVQA（Qwen2.5-VL-3B） | PAUC（4 类平均） | 43.56 | 39.60（MMDuet2） | +3.96 |
| OVO-Timing（Qwen2.5-VL-3B） | 平均 Timing F1（CRR/SSR/REC） | 21.59 | 17.72（StreamPro） | +3.87 |
| StreamingBench（Qwen2.5-VL-3B） | 平均准确率 | 49.43 | 48.74（SFT，最强非 TurnWise） | +0.69 |
| ProactiveVQA（Qwen3-VL-4B） | PAUC（4 类平均） | 42.44 | 36.18（ThinkStream） | +6.26 |
| OVO-Timing（Qwen3-VL-4B） | 平均 Timing F1（CRR/SSR/REC） | 11.15 | 9.23（MMDuet2） | +1.92 |
| StreamingBench（Qwen3-VL-4B） | 平均准确率 | 58.96 | 56.58（SFT，最强非 TurnWise） | +2.38 |
| 消融：冗余回复（Qwen2.5-VL-3B） | 重复率 Rep.（非沉默回复中） | 5.98 | 15.53（仅回合信用） | -61.5% |
局限与改进
作者承认并可见的局限：一是奖励完全依赖 LLM 评审（训练用 gpt-oss-20b，评测用 GPT-5.6-luna），打分噪声会直接进入优势估计，沉默补全打分还隐含假设评审对同一回复在不同前缀语境下打分一致；二是组规模仅 $G=4$，组相对估计方差大，且 $\sigma_R=0$ 时整组优势清零会浪费整批样本；三是 RL 数据仅 3,983 条 20 秒片段，决策网格固定为每 2 秒一个点，未验证更长视频和自适应决策时间表；四是骨干只到 4B，未测试更大规模，也未与带 critic 的 PPO 类方法直接对比来验证「免 critic」路线的相对收益；五是 StreamingBench 上 3B 仅提升 0.69 且最强非 TurnWise 基线是 SFT 而非 RL 方法，说明收益集中在主动交互类指标，纯视觉理解增益有限；六是重复检测依赖评审标注，ProactiveVQA 评测子集仅 300 实例，未报告统计显著性。
独立分析的弱点
独立分析有几个可攻击点。其一，评审一致性是单点故障：$U_{i,t}$ 的扫描要求同一回复在不同前缀语境下得分稳定，若 LLM 评审受对话上下文影响（例如长对话后打分漂移），剩余回报估计会产生系统偏差——改进方向是对评审做上下文消解校准，或改用可分解的过程奖励模型直接输出回合级增量。其二，回合均值把长而信息密集的回复压到与 NO REPLY 同权，在需要长答案的任务上可能欠奖励——可按任务或回合类型自适应混合 token-mean 与 turn-mean。其三，方法要求组内轨迹对齐同一观察计划并共享决策网格，这排除了模型自适应决定何时查看视频的策略——可探索连续时间或可学习决策点上的前缀打分扩展。其四，$G=4$ 下 $\sigma_R$ 与组均值估计噪声大，截断 $a_{max}=5$、$\delta=0.2$、$c=3$ 均未做敏感性扫描，稳健性未知——建议补超参消融并报告多种子方差。
未来方向
可延伸的方向：一是把回合级信用与自适应决策时间表结合，让模型联合学习「何时看、何时说」，摆脱固定 2 秒网格；二是用学到的过程奖励模型替代 LLM 评审，消除打分漂移并降低成本，同时让 $U_{i,t}$ 的分解有更可靠的逐回合依据；三是与增量推理（ThinkStream 式思维链）和记忆压缩（Flash-VStream、TimeChat-Online）叠加，检验信用修正对推理型流式策略的作用；四是把剩余回报优势推广到其他存在「显式放弃/沉默动作」的交互式 RL 场景，如智能体工具调用与对话系统；五是从理论上分析截断、$\alpha$ 插值与组归一化交互下优势估计的偏差-方差权衡，特别是小 $G$ 情形；六是在 7B 以上骨干与更长视频流上验证可扩展性，并补充与 critic-based PPO 的对照实验来定量评估免 critic 设计的收益与代价。
复现评估
论文首页标注了 Code/Model/Dataset 开放入口，三个基准（ProactiveVQA、OVO-Bench、StreamingBench）均为公开数据，复现的信息基础较好。算力门槛中等：SFT 仅 100,874 条指令数据 1 epoch；RL 只有 3,983 条实例、约 497 次更新，batch 8 且每组 $G=4$，3B/4B 模型在单机多卡（如 8×A100 级别）即可训练；前缀打分是对缓存评估的确定性扫描，几乎零额外计算成本。主要成本与门槛在评审环节：训练奖励需本地部署 gpt-oss-20b（20B），评测需 GPT-5.6-luna API，而每个前缀重打分实际都要过一次打分器，大批量训练时评审调用量可观。超参论文给全（$a_{max}=5$、$\delta=0.2$、$c=3$、预热 10%、$\epsilon=10^{-6}$），真正难点在流式 rollout 基础设施（观察计划、对齐采样、前缀重打分）的工程实现。
论文图表
以 128 秒做菜视频流为例对比两种信用分配：模型先正确回答「鸡肉配米饭」，随后出现补充细节、重复、再到完全重复的六回合轨迹。GRPO 给每个回合分配同一正优势（+0.984），后期重复回复继承早期成功的正信用；TurnWise 用回合专属优势（如 -0.529、-0.754、-1.027）区分各决策，奖励带来新信息的回合、惩罚重复回合。优势曲线绘自真实记录的 TurnWise 优势与对应 GRPO 反事实。
这是全文的问题陈述图：用一个直观例子讲清轨迹级共享优势为何会强化冗余回复，是理解动机和后续方法设计的入口。
组件消融：Base（PAUC 22.15/重复 65.40/F1 1.33）、SFT（28.74/3.79/0.57）、MMDuet2（39.60/6.08/17.72）、仅回合均值（41.87/9.78/8.17）、仅回合信用（43.12/15.53/18.63）、TurnWise 双开（43.56/5.98/21.59，StreamingBench 均值 49.43）。组合使重复率相对仅信用降 61.5%、F1 升 2.96；相对仅回合均值 F1 升 13.42、重复降 38.9%。
证明两个组件作用正交互补：信用定学习方向、聚合定权重，单独使用各有短板，结合才同时提升任务分并压低重复，是理解方法必要性的关键消融。