Stream-R1：面向流式视频生成的可靠性-困惑度感知奖励蒸馏框架 Stream-R1: Reliability-Perplexity Aware Reward Distillation for Streaming Video Generation

完整流程分四步。Step 1（Inter-Reliability Score Extraction）：student chunk-wise 生成 rollout $V \in \mathbb{R}^{F \times H \times W \times 3}$，用 VQ/MQ/TA 三个 reward head 分别前向推理，得到 $\{r_d\}_{d \in D}$；先用 $\overline{r}_d = (1/|D|)\sum_d (r_d - \lambda \cdot \sigma_{\Delta})$ 计算 $r_{\mathrm{final}}$（其中 $\sigma_{\Delta}$ 是跨维 $\Delta_d$ 的标准差，详见 Step 4），然后 $W_{\mathrm{inter}} = \exp(\beta \cdot r_{\mathrm{final}})$。Step 2（Adaptive Gradient-Saliency Combination）：对每个 $r_d$ 反向传播得 $S^{(d)}[f,h,w] = \left|\partial R_d / \partial V\right|_{f,h,w}$，三者按 $\alpha_d = \exp(-r_d/\tau)/\sum_{d'} \exp(-r_{d'}/\tau)$ 自适应加权得到 $S_{\mathrm{combined}} = \sum_d \alpha_d \cdot S^{(d)}$。Step 3（Spatiotemporal Saliency Decomposition）：先沿空间求平均得 $p_f = (1/HW)\sum_{h,w} S_{\mathrm{combined}}[f,h,w]$，min-max 归一并截断到 $\tau_{\min}$ 后再做 mean-normalize 得到 $w_f^{(t)}$；再对每帧内部独立做同样的 min-max + clamp-to-$\sigma_{\min}$ 得到 $w_{f,h,w}^{(s)}$；两维相乘并整体 mean-normalize 得到 $W_{\mathrm{intra}}[f,h,w]$。Step 4（Balanced Multi-Dimensional Reward）：维护长度 $N$ 的滑动窗口，把每个维度最近均值减去基线均值作为 $\Delta_d$，其标准差 $P_{\mathrm{bal}} = \sigma(\{\Delta_d\})$ 代入 $r_{\mathrm{final}} = (1/|D|)\sum_d r_d - \lambda \cdot P_{\mathrm{bal}}$，前 $N$ 步为 warmup 不计算惩罚。整体目标 $\mathcal{L}_{\mathrm{Stream-R1}} = (1/2) \cdot W_{\mathrm{inter}} \cdot \mathrm{mean}(W_{\mathrm{intra}} \odot \mathcal{L}_{\mathrm{DMD}})$，反向时 $W_{\mathrm{intra}}$ 与 $W_{\mathrm{inter}}$ 都参与梯度计算。

技术新颖性体现在四个交叉点。其一，把 NLP 中的 perplexity 概念重新解释为"图像/视频中回报敏感性的空间分布"，并把这个分布作为损失权重的物理依据，这是 reward-guided 生成领域的首次系统化提法。其二，单 reward 模型同时承担两个角色（scalar reliability + pixel saliency），通过前向/反向的同一组参数驱动全部权重，无需额外检测器或人工 mask。其三，spatiotemporal factorized normalization 让时间权重（per-frame）和空间权重（per-pixel-within-frame）在不同粒度上独立缩放，避免了高 saliency 帧主导整段损失。其四，把 intra-stream 平衡从 softmax 局部化（$\alpha_d$）扩展到 inter-trajectory 全局标准差惩罚（$P_{\mathrm{bal}}$），形成层级化的多维均衡机制，这一点在已有 reward-guided 工作中没有出现过。

第一，saliency 图只取幅值不带符号，会在 reward 地形振荡场景下高估"需要优化"的位置——可以在 $W_{\mathrm{intra}}$ 中加入 reward model 的二阶近似（Hessian-vector product）来识别真正的极小值方向，避免对抗性敏感度污染。第二，$r_{\mathrm{final}} = \tfrac{1}{|D|}\sum_d r_d - \lambda \cdot \sigma_\Delta$ 用线性均值 + 标准差惩罚隐含地假设三维度 reward 同等重要且同尺度，但 VQ/MQ/TA 的 reward 网络本身可能在不同数值域，理论上需要做 z-score 标准化或对每个维度维护独立温度 $\tau_d$，否则 $\alpha_d$ softmax 仍会被原始量纲主导。第三，$W_{\mathrm{intra}}$ 完全依赖单个 reward backbone 的梯度，若奖励模型本身过拟合某个视觉风格（比如偏好高频纹理），整段视频的优化压力会被错误集中——可以引入 reward ensemble 或在多个 reward head 间取方差做 uncertainty-aware 调整。第四，方法只针对 chunk-wise 3 帧设置做实验，但 $w_f^{(t)}$ 的归一化语义会随 chunk 长度变化——chunk 越长、per-frame 时间权重越平权——这块未做 sensitivity sweep。第五，diff 章节的 long-video 评估只跑自对比（Stream-R1 vs Reward Forcing），缺一组无 reward baseline（CausVid/Self-Forcing）的同口径对照，难以完全归因到时空加权这一具体因素。

作者在结尾提出 reward 解耦思想可以拓展到图像合成（把 per-pixel saliency 应用到 DMD-x 类的图像扩散蒸馏）和 3D 内容生成（NeRF/3DGS 流式渲染）。基于本文成果还可以延伸几条：第一，把同样的 input-gradient localization 思路用于 GRPO/DPO 类 RL 微调，把 scalar reward 也替换成 per-pixel advantage map，验证 LLM-R1 风格 pipeline 在视觉生成上的有效性；第二，研究 temporal saliency $w_f^{(t)}$ 在超长视频（分钟级到小时级）下的累积稳定性，探索是否能替代现有的 KV recaching 或 sliding window context；第三，把 Intra-Perplexity 与 Self-Forcing 的 autoregressive rollout correction 机制结合——既然教师只能在已访问区域局部修正，那 perplexity 估计的"远未饱和"区域恰好是该让 student 探索的方向，可以与 LongLive 的 long-context memory 联动；第四，探索 $\beta$、$\tau$、$\sigma_{\min}$ 等超参的 curriculum，按训练步数从 sharp 切换到 soft 来平衡早期探索与后期利用。

论文给出较充分的实现细节：student 为 Wan2.1-T2V-1.3B，teacher 为 Wan2.1-T2V-14B，视频分辨率 832×480、5s，denoise steps [1000, 750, 500, 250]、3 latent frames/chunk、attention window 9，ODE regression checkpoint 来自 16k pairs（参照 CausVid）。Stream-R1 自身超参 $\tau=1.0$、$\sigma_{\min}=0.15$、$\tau_{\min}=0.20$、reward 模式 Overall、$\beta=2.0$ 全给。训练规模：1000 steps × 8 A100 GPUs × per-GPU batch 1 × grad-accum 8（effective batch 64）；AdamW 学习率 G=2e-6 / sfake=4e-7；generator 每 5 步更新、fake score 同步；EMA decay 0.99 从 step 200 开始；总时长约 56 小时。VBench 946 prompts × 5 seeds，long-video 走 MovieGen Video Bench 前 128 prompts × {10s,30s,60s,120s,180s} 五档，VLM 评测走 Qwen3-VL-235B-A22B-Instruct，人工评测 5 名标注者 × 50 段 × 5 维度。复现难度评估：中-高，门槛是 8 卡 A100 的 56 小时训练 + Wan-14B teacher 推理 + 完整 reward backbone 实现；项目页 https://stream-r1.github.io 放出来，但官方代码与训练数据在论文截止日尚未确认公开，多数组件（Wan、Qwen2.5、Qwen3-VL、Reward Forcing）已有开源实现可拼接。