RAVEN：基于一致性模型 GRPO 的实时自回归视频外推网络 RAVEN: Real-time Autoregressive Video Extrapolation with Consistency-model GRPO
RAVEN 通过重打包自展开轨迹并结合一致性模型策略优化，实现高质量实时自回归视频生成。
前置知识
自回归视频扩散
将视频切成若干 chunk 逐块条件式生成：$p_\theta(x_{1:T}|c) = \prod_t p_\theta(x_t|h_t,c)$，$h_t = H(x_{<t})$。因果结构支持流式生成，但每块都成为后续预测的上下文，错误会沿序列累积。
RAVEN 要解决自回归视频生成中历史表征缺乏端到端监督的核心矛盾，是论文动机的源头。
分布匹配蒸馏（DMD）
通过固定真实分数教师与可学习假分数评论家估计 score 梯度，把多步扩散蒸馏为少步生成器，目标 $\nabla_\theta D_{KL}(p_\theta \| p_{\text{data}})$，常把几十步采样压缩到 1–4 步。
RAVEN 在 CausVid 的 DMD 蒸馏框架上重新组织历史与监督，是本文方法的工程基础。
一致性模型
少步生成模型，将任意噪声 $u$ 处潜变量映射到干净端点 $\hat{x}_\theta = f_\theta(\tilde{z}^{(u)}, u, c)$，$\tilde{z}^{(s)} = \alpha_s \hat{x}_\theta + \sigma_s \epsilon$ 形成高斯核。
CM-GRPO 利用该转移核做策略优化，无需 Euler-Maruyama 辅助过程，是与 Flow-GRPO 的本质区别。
GRPO
无需 critic 的策略优化方法：采样 $G$ 条轨迹得奖励 $\{R_i\}$，组内归一化优势 $\hat{A}_i = (R_i - \bar{R})/(\text{std}+\epsilon)$，最大化 $\hat{A}_i \log \pi_\theta(a_i|s_i)$ 更新参数。
本文将 GRPO 框架迁移到一致性采样转移核上，是 CM-GRPO 的算法骨架。
研究动机
实时流式视频生成要求模型以少步、自回归方式逐 chunk 外推，但现有因果蒸馏范式在历史表征的构造与监督上存在系统缺陷：Teacher Forcing 用真实历史块训练，分布与推理时严重不一致；Diffusion Forcing 为每块独立采样 SNR，仍然优化在与推理不同的历史分布下，误差随自回归展开累积；Self Forcing 改用自展开历史但将其以 stop-gradient 形式作为 detached 上下文，使得历史缓存完全得不到后续 chunk 损失的梯度。具体表现上，Self Forcing 的 Dynamic Degree 仅 2.343，远低于 Teacher Forcing 的 3.000，而其 Total Score 也只有 84.06，质量（85.10）与语义（80.97）虽高但运动性弱；Causal Forcing 也只能把总分推到 84.96，动态度 2.669，长时序下仍然存在身体拉伸、颜色过饱和等结构性失败。
本文的目标是本文目标有两层：第一是弥合训练-推理的历史分布与监督缺口，让缓存的历史表征真正接收到后续 chunk 损失的端到端梯度，同时避免沿自回归采样轨迹反向传播带来的巨大显存与计算开销；第二是在此基础上为少步一致性采样器设计一个不引入额外随机过程、且与推理采样接口完全一致的在线强化学习目标，进一步突破分数蒸馏的瓶颈。最终在 VBench 的 Total/Quality/Semantic/Dynamic 四维度上同时达到最优，总分 85.46（+CM-GRPO），其中动态度提升到 2.962。
与已有工作不同的是，RAVEN 的独特切入角度是"训练时测试"（training-time test）：复用 fake-score 阶段已经产生的自展开轨迹，将其重打包成交替的"干净历史端点 + 同一 chunk 的有噪去噪状态"序列，使得同一前向计算内同时完成历史构建与去噪监督，且历史以非 detached 方式参与注意力计算。这与 EAGLE-3 在 LLM 推测解码上的做法思想一脉相承，但首次适配到多步去噪轨迹 + 因果视频自回归的场景；同时 CM-GRPO 首次指出 Flow-GRPO 的 Euler-Maruyama 辅助核对于一致性采样器是不必要的，直接在一致性转移核上做策略优化就能避免 train-test mismatch。
核心方法
RAVEN 建立在 CausVid 的非对称蒸馏上：冻结的双向教师把知识蒸馏给少步因果学生，训练在 fake-score 与 generator 两步间交替。直觉上，自展开得到的轨迹本身就包含推理时所需的"未来上下文"，因此无需额外模拟推理，只要把这串轨迹按"$\hat{z}^{(u)}_1, \hat{x}_1, \hat{z}^{(u)}_2, \hat{x}_2, \dots, \hat{z}^{(u)}_T$"的交错形式重新打包，在同一因果注意力掩码下重跑学生网络，干净端点就充当历史 $\hat{x}_{<t}$，有噪状态就充当去噪输入，后续 chunk 的 DMD 损失自然通过注意力反向传播回前面作为历史的干净块。同时 CM-GRPO 利用一致性采样步骤天然的高斯核直接定义策略，避免了 Flow-GRPO 在 ODE 之外外挂 SDE 的做法。
核心创新点有二。第一个是历史监督间隙（history supervision gap）的发现与弥合：现有范式要么历史分布与推理不一致（Teacher/Diffusion Forcing），要么历史以 stop-gradient 形式脱离监督图（Self Forcing）；RAVEN 通过把自展开得到的同一轨迹在序列维度重新交织，使得干净历史端点处于带梯度的注意力 KV 中，从而历史表征第一次能接收到下游 chunk 的 DMD 梯度，且无需沿自回归轨迹反向传播。第二个是 CM-GRPO：把一致性采样步骤 $\tilde{z}^{(s)} = \alpha_s \hat{x}_\theta + \sigma_s \epsilon$ 视为条件高斯策略核 $\pi_\theta(\tilde{z}^{(s)}|\tilde{z}^{(u)}, c) = \mathcal{N}(\tilde{z}^{(s)}; \alpha_s \hat{x}_\theta, \sigma_s^2 I)$，直接在核上做 GRPO 优化，避免了 Euler-Maruyama 引入的 train-test 差异。
方法步骤详情
训练含交替两步与可后接 CM-GRPO。Step 1（fake-score）冻结学生自回归展开 $T$ 个 chunk，沿少步一致性时间表 $\tau_1 > \dots > \tau_K = 0$ 得轨迹 $\{\hat{z}^{(\tau_k)}_t\}$ 与干净端点 $\hat{x}_t$，训练双向 fake-score 评论家。Step 2（generator）取同一自展开，按 $I^u = (\hat{z}^{(u)}_1, \hat{x}_1, \hat{z}^{(u)}_2, \hat{x}_2, \dots, \hat{z}^{(u)}_T)$ 交错打包，在 RAVEN 掩码（图 1d）下重跑学生，由真实/假分数教师共同给出反向 KL 梯度。Step 3（chunk-wise loss scaling）按未来参与分 $p_j$ 通过 shift $\alpha=-1$ 加权。Step 4（CM-GRPO）按组采样 $G$ 条一致性轨迹，归一化为 $\hat{A}_i$，用 stop-gradient 回归目标更新 $\hat{x}_\theta$。
技术新颖性
技术新颖性体现在三个层面。其一，将"训练时测试"从 LLM token 级推测解码扩展到视频 chunk 级、且涉及多步去噪轨迹的情形，巧妙复用 fake-score 阶段的自展开，而非额外模拟推理，节省显存。其二，提出 future participation score 驱动的 chunk-wise loss scaling，建模"靠前 chunk 历史少、靠后 chunk 历史丰富但需抑制误差传播"的非对称性，shift $\alpha=-1$ 把总分再推 1.3 点。其三，首次指出 Flow-GRPO 的 Euler-Maruyama 离散化对一致性采样器是 train-test 不一致的，并把 GRPO 直接建立在一致性转移核的闭式高斯形式上，使策略接口与推理采样器一致，并给出参考 KL 的闭式正则 $\alpha_s^2\|\hat{x}_\theta - \hat{x}_{\text{ref}}\|^2/(2\sigma_s^2)$。
实验结果
主实验基于 Wan2.1-T2V-1.3B、3 帧/块、VBench 6220 条视频评估。表 1 显示 RAVEN 取得 Total 85.15 / Quality 86.18 / Semantic 81.04 / Dynamic 2.951，四项全面超越 CausVid（83.01）、Self Forcing（84.27）、Causal Forcing（84.96）等基线；叠加 CM-GRPO 后总分 85.46、Quality 86.54、Dynamic 2.962，为最强条目。表 2 消融表明：TF 动态度 3.000 但总分仅 82.64；SF 84.06；DF w/ Self Rollout 83.30，证仅对齐分布而不监督历史会把误差从运动项重分配到质量与语义；RAVEN 85.15 验证梯度通过干净端点作为历史的有效性。图 5 显示 shift $\alpha=-1$ 把总分拉到 85.15，较 mode $s=-0.54$ 的 82.58 提升明显。表 4 显示 EM 各档总分停留在 85.03–85.27，CM-GRPO 一步推到 85.46，证辅助随机过程冗余。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VBench 长视频生成（Total Score） | Total Score (越高越好) | RAVEN + CM-GRPO = 85.46 | Causal Forcing = 84.96；Self Forcing = 84.27；CausVid = 83.01 | 相对最强基线 Causal Forcing 提升 +0.50；相对 Self Forcing 提升 +1.19 |
| VBench 视频质量 | Quality Score (越高越好) | RAVEN + CM-GRPO = 86.54 | Causal Forcing = 86.00；Self Forcing = 85.10 | 相对 Causal Forcing 提升 +0.54 |
| VBench 语义一致性 | Semantic Score (越高越好) | RAVEN + CM-GRPO = 81.17 | Causal Forcing = 80.76；Reward Forcing = 80.87 | 相对 Causal Forcing 提升 +0.41，且为表中所有基线的最高分 |
| 动态度（RAFT 光流幅值） | Dynamic Degree (越高越好) | RAVEN + CM-GRPO = 2.962 | Causal Forcing = 2.669；Self Forcing = 2.543；Teacher Forcing (消融) = 3.000 | 相对 Causal Forcing 提升 +0.293，相对 Self Forcing 提升 +0.419，且接近 TF 上限 3.000 |
| 训练时测试范式对比（消融） | Total Score | RAVEN = 85.15 | Teacher Forcing = 82.64；Diffusion Forcing = 84.09；Self Forcing = 84.06；DF w/ Self Rollout = 83.30 | 在共享 ODE 蒸馏初始化与 chunk-wise loss scaling 下，RAVEN 比最佳 SF 高 1.09，比 DF w/ Self Rollout 高 1.85 |
| 块级加权函数消融 | Total Score | Shift ($\alpha=-1$) = 85.15 | Mode $s=-0.54$ = 82.58；Mode $s=0.81$ = 83.08；Logit-Normal = 83.31；Shift $\alpha=1$ = 83.79；Shift $\alpha=0$ = 83.82 | 相对最优基线 Shift $\alpha=0$ 提升 +1.33 |
| 策略核选择（消融） | Total Score | RAVEN + CM-GRPO = 85.46 | RAVEN = 85.15；EM ($\sigma=0.8, \beta=0.004$) = 85.27（EM 变种中最佳） | 相对最强 EM 变种提升 +0.19，相对 RAVEN 自身提升 +0.31 |
局限与改进
作者明确两点局限：第一，参考策略 KL 正则项给出闭式表达 $\alpha_s^2\|\hat{x}_\theta - \hat{x}_{\text{ref}}\|^2/(2\sigma_s^2)$，但双向教师无法通过一致性接口采样得到 $\hat{x}_{\text{ref}}$，实际训练未使用该正则，留下与未来兼容参考一致性模型对接的空间。第二，奖励设计上 VLM-based 奖励数据多来自高质量/高步数生成器，与少步蒸馏模型存在分布漂移；RAFT 光流 Dynamic Degree 同时捕捉相机抖动与真实运动，存在奖励欺骗风险，因此奖励组合是经验性的，缺乏对长时序稳定性的整体度量。此外，所有方法 Dynamic Degree 仍小于 3.0，且论文未与最新世界模型类长视频方案直接对比，框架在超长视频（>几分钟）下的扩展性也未验证。
独立分析的弱点
独立审视可识别以下薄弱环节。其一，RAVEN 当前以干净潜变量作为历史，但 Rolling Forcing 类方案以中间有噪潜变量作历史在长程依赖上更稳定，论文虽声明框架可模拟但未给实际收敛数据。其二，CM-GRPO 的奖励组合是 TA/DD/MS/AQ/IQ 五项简单加权和，权重搜索空间有限；实验显示提权重会偏移语义分数 1 分左右，奖励信号存在耦合。其三，实验基于 Wan2.1-T2V-1.3B、3 帧/块，对 5B+ 模型与 16+ 帧/块的扩展是否仍能保持 0.5 分领先尚未验证；附录也未公开训练算力（GPU 时长、显存峰值）与基线是否做了公平超参搜索。其四，论文未在理论上证明交错打包严格等价于"沿完整自回归轨迹反向传播"，二者注意力掩码的细微差异值得更严格形式化分析。
未来方向
论文在 Appendix D 与正文中给出了若干延伸方向：第一，将 RAVEN 的训练时测试范式从干净历史推广到有噪历史（rolling forcing 式条件化），从而兼容更广的自回归视频设计；第二，为 CM-GRPO 训练一个兼容的参考一致性模型以启用闭式 KL 正则 $\alpha_s^2\|\hat{x}_\theta - \hat{x}_{\text{ref}}\|^2/(2\sigma_s^2)$，缓解策略漂移；第三，把奖励设计扩展为基于树搜索或分支轨迹的分步信用分配，引入逐步级优势而非仅端点级 $\hat{A}_i$；第四，把 RAVEN 嫁接到世界模型与交互式视频生成中，因为这些场景对长程历史一致性的要求更严；第五，进一步形式化 RAVEN 与完整自回归反向传播之间的等价性，并在理论上给出收敛性保证。基于结果本身，自然延伸还包括把 CM-GRPO 用于图像少步扩散器（LCM/SDXL-Turbo 等）、把训练时测试范式用于音频/3D 自回归生成等。
复现评估
代码与权重方面，论文主页 https://yanzuo.lu/raven 列出了项目链接，但截至本次解读时具体开源仓库尚未在文末给出明确 URL，附录 B 承诺将提供更多实现细节；实验基于 Wan2.1-T2V-1.3B 与 Causal Forcing 的开源初始化（Causal Forcing 本身已开源），因此复现起点是公开的。训练硬件方面，致谢提到使用 Isambard-AI 国家级 AI 研究资源（英国 DSIT/STFC 资助），Jiankang Deng 获 NVIDIA Academic Grant，但论文正文未公开 GPU 型号、数量、训练时长、显存峰值，复现需要相当规模的算力；评估上 VBench 与 UnifiedReward-32B 均为公开工具，复现门槛较低。总体而言，方法思路与算法流程足够清晰，复现难度中等偏高，主要瓶颈在于少步一致性采样器 + DMD 双教师蒸馏的工程实现复杂度，以及 CM-GRPO 阶段需要多奖励模型协同调参。
论文图表
