面向自回归视频生成的推测解码方法

用图像质量路由实现视频扩散的推测解码，1.59×加速保98%质量

前置知识

推测解码（Speculative Decoding）

一种大模型推理加速技术，先用小模型草拟若干候选，再用大模型一次性验证并保留与目标分布一致的输出。可在不改变输出分布的前提下显著降低大模型调用次数，广泛用于 LLM 推理。

SDVG 直接借鉴 LLM 的推测解码框架，但需要理解它原本依赖 token 级精确拒绝采样，这在连续视频张量上并不成立。

自回归视频扩散（Autoregressive Video Diffusion）

将视频切成若干时空块，按因果顺序逐块生成，每块通过共享 KV 缓存条件依赖前一块。该范式支持流式输出，Self-Forcing 是代表性方法。其核心组件是 causal attention 与 KV cache。

本文的整个方法建立在 block-wise 自回归结构之上，'块可独立评估'正是推测解码可移植的前提。

ImageReward / VisionReward

ImageReward 是基于人类偏好的文图奖励模型，给定文本 prompt 与图像输出一个标量分；VisionReward 是面向视频的 VQA 式指标，聚合 29 个关于画质、时序一致性、运动自然度的问题得分。两者都用作自动质量代理。

SDVG 用 ImageReward 做块级路由，用 VisionReward 做最终评估，因此需要理解奖励模型可作为连续域中的'质量分布'代理。

步级蒸馏（Step Distillation）

通过训练让学生模型以更少的去噪步数逼近教师模型的输出分布，常用于把 50 步扩散压缩到 4 步。自回归视频如 Self-Forcing 即在蒸馏后的模型上运行。

本文的 drafter 与 target 都已蒸馏到 4 步，因此整篇工作的加速粒度是'块 × 4 步'而非'单步'，理解蒸馏有助于看清加速空间。

研究动机

自回归视频扩散（如 Self-Forcing、Wan2.1）虽然支持流式生成且消除了曝光偏差，但前沿 14B 参数模型（如 Krea Realtime Video）单块推理就需要高算力显卡（如 NVIDIA B200），完整生成一段 832×480 视频平均耗时 97.0 秒；而 1.3B 量级的小模型（如 Wan2.1-T2V-1.3B）只需 25.7 秒即可完成，但 VisionReward 仅 0.0644，与大模型的 0.0788 存在显著画质差距。这意味着用户在质量与速度之间只能做二元取舍：要么付费给大模型等 1.6 分钟，要么忍受小模型的明显降质。这一问题在交互式视频创作与实时流媒体场景下尤为突出。

本文的目标是论文提出 SDVG，目标是在不修改模型结构、不引入额外训练的前提下，让 1.3B drafter 与 14B target 协作，使整体推理既快于 target-only 又近于其质量。具体而言，希望在 1003 条 MovieGenVideoBench 提示上以 $\tau$ 为旋钮，在 $[1.59\times, 2.09\times]$ 加速区间内保持 95.7%–98.1% 的目标质量，并稳定超越 draft-only 基线超过 +17%。

与已有工作不同的是，现有协作方法（T-Stitch、SRDiffusion、HybridStitch、MoDM）都聚焦于去噪步或请求层面的拆分，无法在 block 级提供每块质量保障，且视频块是连续高维张量，传统基于 token 概率的精确拒绝采样无法直接迁移。本文独辟蹊径：放弃精确分布匹配这一'LLM 神圣原则'，改用 ImageReward 作为块级质量代理，以一个固定阈值 $\tau$ 完成 accept/reject 路由，从而在保证质量下界的同时换取可控加速比。

核心方法

SDVG 的整体直觉是：让 1.3B 小模型快速'草稿'每个视频块，再用图像质量评分器判断是否值得写入大模型的 KV 缓存。如果质量够好就直接接受，否则让 14B 大模型从头重生成这一块。这套流程保留了 LLM 推测解码'大小协作、分块评估'的骨架，但用 ImageReward 替换了原本的 token 概率验证，从而绕开了视频连续张量没有显式 logit 分布的难题。整体系统包含 drafter、target、VAE 解码器、ImageReward 路由和共享 KV 缓存五部分。

核心创新在于把 LLM 中'精确拒绝采样'替换为'基于奖励的近似路由'，并围绕视频特性补充三条关键设计：固定阈值 $\tau$ 作为单一旋钮、强制重生成首块以锚定场景构图、最差帧聚合（min-frame）评分以捕获单帧瑕疵。这三条共同保证了路由既简单又对视频有效——本质上是用'训练好的奖励模型充当分布代理'，承认分布会有偏移，但通过阈值与首块策略把偏移限制在可控范围内。值得强调的是，奖励路由不仅绕过'视频块无 token 概率'的难题，更让系统拥有了 LLM 推测解码不具备的'质量–速度可调性'：通过 $\tau\in\{-0.7,-2.5\}$ 的扫描，可以平滑产出 1.59× 到 2.09× 的加速档位，而无需重新训练或重新校准。

方法步骤详情

推理流程对每个块 $b$ 按以下顺序执行：(1) drafter $D$ 在其 KV 缓存 $K_D$ 条件下运行 $S=4$ 步去噪，输出候选 $\hat{x}_b$，KV 缓存无条件更新以保证 drafter 始终基于自身输出；(2) VAE 解码 $\hat{x}_b$ 得到 $F$ 帧像素（首块 9 帧、后续每块 12 帧），同时克隆 VAE 解码缓存以便在拒绝时恢复；(3) 用 ImageReward 对每帧计算 $R(f_i^{(b)}, p)$，取最小值得块质量分 $q_b = \min_{i=1..F} R(f_i^{(b)}, p)$；(4) 决策：若 $b=0$ 或 $q_b < \tau$，则拒绝并让 target $T$ 在共享 $K_T$ 上用 4 步去噪重生成 $x_b^*$；若 $q_b \geq \tau$ 且 $b>0$，则直接接受 $\hat{x}_b$ 并把解码帧发送给用户；(5) 拒绝时恢复 VAE 解码缓存，确保块间时序一致性。训练阶段完全冻结，无需任何参数更新。

技术新颖性

技术上新颖之处有三：第一，放弃了 LLM 推测解码'精确保持目标分布'的理论保证，代之以奖励路由的近似，这在视频生成文献中是首次系统化尝试；第二，提出了 worst-frame 聚合公式 $q_b = \min_i R(f_i^{(b)}, p)$，相比平均聚合能可靠捕获单帧瑕疵（消融中使 VR 从 0.0755 提到 0.0773）；第三，强制首块再生策略认识到 block 0 没有 KV 先验，其构图错误会通过 KV 缓存污染后续所有块，因此必须由大模型生成。三者合一构成了一个简单、可调、与步级加速正交的免训练框架。

实验结果

Table 1 在 1003 条 MovieGenVideoBench 提示、832×480、9 块/视频下展示完整 Pareto 前沿：target-only VR 0.0788/97.0 秒；draft-only 0.0644/25.7 秒（3.77× 但质量掉 18.3%）。SDVG 在 $\tau=-0.7$ 时 VR 0.0773/60.9 秒（1.59× 加速、保 98.10% 质量）；$\tau=-2.5$ 时 2.09× 加速、95.69% 质量。所有 7 个 $\tau$ 取值都比 draft-only 高 +17% 以上。Table 2 消融：(a) 随机路由在 70% 接受率下 VR 仅 0.0706，比 reward-guided 的 0.0773 低 8.6%，证明 ImageReward 是承重信号；(b) 平均帧评分 VR 0.0755，比 min-frame 低 2.3%，证实后者能捕获均值掩盖的帧级瑕疵。Figure 3 呈现平滑 Pareto 曲线，Figure 1 展示 SDVG 在人物动作、浪花纹理上接近 target-only。

**Table 1**: Main results on 1003 MovieGenVideoBench prompts (832×480, 9 blocks/video)

**Figure 3**: Quality–speed Pareto curve

查看结构化数据

任务	指标	本文	基线	提升
MovieGenVideoBench 1003 提示视频生成 (832×480, 9 块/视频)	VisionReward (↑)	SDVG τ=−0.7: 0.0773 / 60.9s；τ=−2.5: 0.0754 / 46.4s	Target-only 0.0788 / 97.0s；Draft-only 0.0644 / 25.7s	τ=−0.7 保留 98.10% 质量同时 1.59× 加速；τ=−2.5 达 2.09× 加速且比 draft-only 高 +17.1% 绝对 VR
奖励信号必要性 (随机路由消融)	VisionReward (↑)	Reward-guided SDVG: 0.0773 @ 73.1% 接受率	Force-reject + 随机路由: 0.0771；纯随机路由: 0.0706	去掉 ImageReward 信号后 VR 下降 8.6%，且低于仅强制首块再生的简单基线
最差帧 vs 平均帧聚合	VisionReward (↑)	Min-frame τ=−0.7: 0.0773 @ 73.1%	Avg-frame τ=−0.7: 0.0755 @ 78.4%；τ=−0.5: 0.0759 @ 75.3%	在可比接受率下 min-frame 比 avg-frame 高 2.3% VR，证明单帧瑕疵检测关键

局限与改进

作者明确承认三点局限：(1) 分布偏移——不同于 LLM 的精确拒绝采样，SDVG 不可避免地向 drafter 分布靠拢，更严格的 $\tau$ 能缩小差距但会牺牲加速比；(2) ImageReward 作为代理的偏差——它在图文对上训练，独立评估单帧，遗漏了时序一致性与运动质量，需要专用视频块质量模型；(3) 浪费的草稿计算——拒绝块（包括强制重生的 block 0）的 drafter 前向与 VAE 解码被丢弃，可通过批处理或推测式 VAE 解码缓解。此外我的观察是：评价仅在 MovieGenVideoBench 一个基准上进行，且 ImageReward 与 VisionReward 都基于 CLIP-like 表征，可能存在 reward hacking 风险；端到端没有人类主观评测，长期视频（>9 块）的误差累积也未验证。

独立分析的弱点

独立分析可见以下弱点。其一，$\tau$ 需离线标定且对模型对、VAE、奖励版本高度耦合，跨模型迁移困难——可探索在线自适应阈值或基于预测方差的动态 $\tau$。其二，min-frame 聚合对'一帧全黑'等极端情况敏感，奖励模型的尖峰噪声会引发误拒，可改用稳健统计（如剔除极值后的均值）或滑动窗口奖励。其三，强制首块再生意味着每个视频至少调用一次 14B target，对 1–2 块的短视频几乎没有加速空间，可针对短视频设计跳过首块强制的策略或预生成首块模板。其四，路由决策依赖 VAE 解码+ImageReward 推理，链路较长，可蒸馏一个轻量'块质量预测器'直接吃 latent 特征。

未来方向

作者建议的方向包括：构建专用视频块质量模型替代 ImageReward 以捕捉时序一致性；对被拒绝块的 drafter 前向做批处理或推测式 VAE 解码以减少浪费；与 T-Stitch、SRDiffusion 等步级方法正交组合进一步压缩 target 步数。基于此成果还可延伸出若干方向：在更长视频（如 30+ 块）上研究 KV 缓存漂移对路由阈值的影响；将 SDVG 推广到文生 3D、自回归音频等其它连续模态；引入强化学习对路由策略进行端到端优化，联合优化质量与延迟；探索多 drafter 集成（不同尺度/不同奖励）以扩大可接受候选集合。

复现评估

复现性总体良好：论文详细列出了模型组合（drafter: Wan2.1-T2V-1.3B Self-Forcing；target: Krea Realtime Video 14B；路由器: ImageReward）、生成协议（B=9 块、每块 3 潜帧、分辨率 832×480、4 步去噪时间表 t=[1000,937,833,625,0]、bf16、guidance 3.0、timestep shift 5.0、固定种子 42）、硬件（两块 RTX A6000 48GB，通过 CUDA streams 重叠跨设备传输）、评估基准（1003 条 MovieGenVideoBench 提示）。这些模型均基于公开的 Wan2.1 架构与 Self-Forcing 方法。主要复现门槛在于 Krea Realtime Video 14B 与 Wan2.1-T2V-1.3B Self-Forcing 的 checkpoint 需自行获取或复现蒸馏过程，且双 GPU 通信编排代码未开源，需要研究者自行实现跨设备流水线；阈值 $\tau$ 的离线标定过程未给出脚本。

面向自回归视频生成的推测解码方法 Speculative Decoding for Autoregressive Video Generation