Causal Forcing++：可扩展的少步自回归扩散蒸馏方法，应用于实时交互式视频生成 Causal Forcing++: Scalable Few-Step Autoregressive Diffusion Distillation for Real-Time Interactive Video Generation
用因果一致性蒸馏替代因果ODE蒸馏，4倍加速AR视频扩散训练，延迟减半。
前置知识
扩散模型与流匹配
扩散模型通过加噪 $x_t = \alpha(t)x_0 + \sigma(t)\epsilon$ 把数据扰动到噪声, 再学反向去噪的 score。流匹配是参数化: $\alpha=1-t$, $\sigma=t$, 网络预测速度 $v_\theta$, 解 PF-ODE 即可生成样本。
本文的因果 CD 和 ODE 蒸馏都建立在流匹配框架上，速度参数化 $v_\theta$ 与一致性函数 $G_\theta(x_t,t)=x_t-t v_\theta$ 的关系是推导 Causal Forcing++ 理论的核心。
自回归扩散视频生成
在帧（或 latent 帧）粒度上做自回归、在每段内部做扩散生成的混合范式。模型用 causal attention mask 训练，自回归 rollout 时使用 KV cache。代表工作 CausVid、Wan2.1-1.3B 即采用此范式。
本文针对的正是自回归扩散在实时交互场景下的延迟问题，理解 chunk-wise 与 frame-wise 的区别、teacher forcing 与 self-rollout 的训练-推理 gap，是读懂 Causal Forcing++ 的前提。
一致性蒸馏 (Consistency Distillation, CD)
把多步扩散蒸馏到少步的方法。学习 consistency function $f(x_t,t)\to x_0$, 约束相邻步 $G_\theta(x_{t+\Delta t})=G_{\theta^-}(x_t)$ 输出一致, $\theta^-$ 是 EMA。
本文的因果 CD 是把标准 CD 从双向生成扩展到 AR 生成场景的关键改动，掌握原始 CD 的损失和理论是读懂 Causal Forcing++ 替代 Stage 2 的基础。
ODE 蒸馏
让学生模型直接回归教师在 PF-ODE 轨迹上的中间状态或终端状态 $x_0$。在 Causal Forcing 中需要先让 AR 教师跑出 48 步完整 PF-ODE 轨迹，离线存储 $(x_{t_i}, x_0)$ 对再训练学生。
ODE 蒸馏是 Causal Forcing 的 Stage 2，也是 Causal Forcing++ 要替换的对象；理解它的成本结构（11,600 GPU 小时 + 1,900 GiB 存储）才能明白本文 4× 加速的意义。
DMD (Distribution Matching Distillation)
通过最小化学生与真实分布在噪声空间中的 KL 散度，把多步扩散模型蒸馏到少步生成器。优化方向是 $s_{real}-s_{fake}$ 的差分, 属于 reverse-KL 优化, 表现为 mode-seeking 行为。
DMD 是 Causal Forcing 和 Causal Forcing++ 的 Stage 3 核心, 也是本文用来对比 CD 的 baseline; 理解 mode-seeking 与 mode-covering 的差别是抓住因果 DMD 在 AR 设定下失败原因的关键。
研究动机
实时交互式视频生成要求低延迟、流式、用户可控的 rollout。现有 AR 扩散蒸馏方法 (CausVid、Self Forcing、Causal Forcing) 仅在 chunk-wise 4-step 设定下验证, 推到更激进的 frame-wise 1-2 step 时三种初始化策略都失败: (1) Self Forcing 用双向教师 ODE 初始化违反 frame-level injectivity, frame-wise 1-step 下 VBench Total 仅 78.87、Dynamic=0, 后期帧崩塌; (2) LiveAvatar/WorldPlay 用多步 AR 扩散初始化无少步能力, 1-step 下 Dynamic=0、IF=-14; (3) Causal Forcing 用 AR 教师做因果 ODE 初始化, 2-step Total 83.77 质量最好, 但需 AR 教师跑 48 步 PF-ODE 轨迹并离线存储, 80K 规模要 11,600 A800 GPU 小时和 1,900 GiB 存储。AR、少步、可扩展三者不可兼得。
本文的目标是本文的具体目标是把 AR 扩散蒸馏推进到更激进的 frame-wise 1-2 step 设定, 实现真正的实时交互式视频生成; 同时把初始化阶段的算力和存储开销降到可承受范围。具体三个子目标: (1) 找到一种理论上与因果 ODE 蒸馏等价、但工程上可扩展的初始化方法; (2) 在 2-step frame-wise 设定下达到或超过 SOTA 4-step chunk-wise Causal Forcing 的生成质量; (3) 把首帧延迟从 0.60s 降到 0.27s (即 50% 降幅), 吞吐量从 10.4 FPS 提升到 14.1 FPS, Stage 2 训练成本从 11,600 降至 2,900 A800 GPU 小时。
与已有工作不同的是，本文的独特切入角度是把一致性蒸馏 (CD) 引入 AR 设定, 替换 ODE 蒸馏作为 Stage 2 的初始化方案。核心洞察是: 因果 ODE 蒸馏和因果一致性蒸馏虽然监督形式完全不同, 但学习目标是同一个东西——AR 条件下的 flow map (或称 consistency function)。基于这个等价性, 本文证明因果 CD 可以作为因果 ODE 蒸馏的原则性替代品: (1) 因果 CD 用单步在线教师 ODE 监督, 完全消除离线轨迹预生成, 把存储从 1,900 GiB 降到 0; (2) 因果 CD 的 per-step 优化 gap 从 ODE 蒸馏的整段 t→0 区间压缩到 Δt, 优化更容易, 经验上能产生更强的少步学生; (3) 进一步发现 mode-seeking 的因果 DMD 在 AR 设定下会因曝光偏差导致后期帧质量崩溃, 证明 mode-covering 的 CD 更适合 AR rollout。
核心方法
Causal Forcing++ 的整体思路是用局部一致性监督代替全局 ODE 回归, 保留 Causal Forcing 的三阶段框架但替换其中最昂贵的 Stage 2。直觉上, 一个少步 AR 学生只要在相邻时间步之间保持一致, 就能学会教师的 AR 条件 flow map; 不需要像 Causal Forcing 那样先让 AR 教师跑出 48 步 PF-ODE 轨迹再让学生去回归 $x_0$。技术路线分三阶段: Stage 1 用 teacher forcing 把双向 Wan2.1-1.3B 训练成多步 AR 扩散模型; Stage 2 用因果 CD 把多步 AR 模型蒸馏成少步 AR 学生, 关键创新是只用单步在线教师 ODE; Stage 3 沿用非对称 DMD + self-rollout, 保持 teacher/critic 双向、学生 AR, 把少步学生进一步优化。整个 pipeline 见图 1, 改动集中在 Stage 2, 上下游兼容。
和已有方法的本质区别在于监督信号的粒度。因果 ODE 蒸馏: 对每个训练样本, 让 AR 教师跑出整条 PF-ODE 轨迹 $\{(x_{t_i}, x_0)\}_{i=1}^{48}$, 学生用 MSE 直接回归从任意 $x_{t_i}$ 到 $x_0$ 的端点, gap 大但有离线轨迹作支撑; 因果一致性蒸馏: 不预存轨迹, 而是实时把 $x_t$ 加噪、对真实前缀 $x_{<i}^{gt}$ 跑一次教师 ODE 得到 $\hat{x}_{t-\Delta t}$, 然后让学生 $G_\theta(x_t, x_{<i}^{gt}, t)$ 与 stop-gradient 的 $G_{\theta^-}(\hat{x}_{t-\Delta t}, x_{<i}^{gt}, t-\Delta t)$ 在局部一致, gap 仅 $\Delta t$。本文还发现 mode-seeking 的因果 DMD 在 AR 设定下会因 mode collapse 导致后期帧质量大幅退化, 因此选择 mode-covering 的 CD 而非 DMD 作为初始化。
方法步骤详情
三阶段流水线, 数据 OpenVid 80K, 基础 Wan2.1-1.3B, batch 64。**Stage 1** (20K 步): 双向 Wan2.1-1.3B + causal mask 训多步 AR 扩散 $\phi$。**Stage 2** (因果 CD, 5K 步): 加噪真实 $x_i^{gt}$ 得 $x_i^t$, AR 教师在真实前缀 $x_{<i}^{gt}$ 下做单步 Euler ODE 得 $\hat{x}_i^{t-\Delta t}$; 学生 $G_\theta(x_i^t, x_{<i}^{gt}, t)$ 与 stop-gradient 的 $G_{\theta^-}(\hat{x}_i^{t-\Delta t}, x_{<i}^{gt}, t-\Delta t)$ 用平方范数距离作损失, 输出少步 AR 学生 $\theta$。**Stage 3** (非对称 DMD, 1K 步): Wan2.1-14B 双向作 real/fake score, 学生 self-rollout。推理支持 1/2/4-step frame-wise。
技术新颖性
技术新颖性体现在三个维度。理论维度: 本文证明因果 ODE 蒸馏和因果 CD 共享学习目标——AR 条件 flow map $f_\phi: (x_i^t, x_{<i}^{gt}, t) \mapsto x_i^0$, 两者差距仅来自 ODE 求解器精度 $O(\Delta t^p)$; 因此 CD 是 ODE 蒸馏的原则性替代品而非启发式改动。方法维度: 把 per-sample 48 步轨迹预生成 + 离线存储替换为 per-iteration 1 次在线 ODE 调用, 从结构上消除数据存储瓶颈; 同时因 $\Delta t \ll 1$, 优化难度比 ODE 蒸馏的端点回归低, 经验上能产生更强的少步学生。经验维度: 在 frame-wise 2-step 设定下取得 VBench Total 84.14, 首次超过 4-step chunk-wise SOTA Causal Forcing (84.04), 同时 Stage 2 成本 4× 降低、首帧延迟 50% 降低; 还把 pipeline 扩展到 Genie3 风格的动作条件世界模型生成, 验证了方法的通用性。
实验结果
Wan2.1-1.3B 生成 480×832×81 帧, VBench + VisionReward 评测。**Tab. 1**: 2-step CF++ 取得 Total 84.14 / Quality 84.89 / VisionReward 6.661, 超过 4-step Causal Forcing (84.04/84.59/6.326), 延迟 0.27s vs 0.60s (-50%), 吞吐 14.1 vs 10.4 FPS (+35.6%)。1-step CF++ 仍达 Total 83.35; 4-step CF++ 在 VisionReward (6.798) 和 Dynamic (71) 创新高。**Tab. 2 消融**: causal CD 在 1/2/4-step 下匹配或超过 causal ODE; Self Forcing ODE 在 frame-wise 下失败; causal DMD VisionReward 低约 0.5。**效率**: causal CD 加速 4×、省 1,900 GiB。**应用**: 实现 Genie3 风格世界模型。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| frame-wise 2-step 视频生成 (VBench) | Total / Quality / Semantic | 84.14 / 84.89 / 81.13 | Causal Forcing (4-step) 84.04 / 84.59 / 81.84 | Total +0.1, Quality +0.3, Semantic 略低 0.71 |
| frame-wise 2-step 视频生成 (VisionReward) | VisionReward / Instruct | 6.661 / 51 | Causal Forcing (4-step) 6.326 / 56 | VisionReward +0.335, Instruct -5 |
| frame-wise 1-step 视频生成 (VBench) | Total / Quality / Dynamic | 83.35 / 84.50 / 66 | Causal Forcing (4-step) 84.04 / 84.59 / 68 | 略低于 4-step SOTA, 但延迟仍减半 |
| frame-wise 4-step 视频生成 (VBench) | Total / Dynamic / VisionReward | 84.10 / 71 / 6.798 | Causal Forcing (4-step) 84.04 / 68 / 6.326 | Dynamic +3, VisionReward +0.472 |
| Stage 2 训练效率 | GPU hours / 额外存储 | 2,900 A800 小时 / 0 GiB | Causal ODE 11,600 A800 小时 / 1,900 GiB | 4× 加速, 1,900 GiB 存储节省 |
| 首帧延迟与吞吐 | Latency / Throughput | 0.27s / 14.1 FPS (2-step) | Causal Forcing 0.60s / 10.4 FPS | 延迟 -50%, 吞吐 +35.6% |
局限与改进
**作者承认**: (1) action-conditioned 变体只到 chunk-wise 4-step, 未推到 frame-wise 2-step; (2) 4× 加速在 80K 视频验证, 更大规模下 CD 优势是否保持 4× 未知; (3) Stage 3 只 1K 步, 更多步可能拉大差距但有过拟合风险。**可观察的**: (1) 1-step Semantic 从 81.84 掉到 78.75 (-3.09), 极端少步仍牺牲语义一致性, CD 无法完全弥补; (2) Dynamic Degree 1/2/4-step 为 66/64/71, 物理动态性随步数减少而下降, 推测是 AR rollout 误差累积; (3) 1-step 与 4-step 首帧延迟相同 (0.27s), 因首帧沿用 ASD trick 单独 4-step, 极端 1-step 下首帧是否也能压到 1-step 待研究; (4) Stage 3 teacher/critic 用 Wan2.1-14B 双向、学生用 Wan2.1-1.3B AR, 显存压力大。
独立分析的弱点
**独立分析**: 第一, 理论保证的边界: CD 与 ODE 学习相同目标仅渐近成立, CD 第一步 gap (t=1→0.9375) 仍大, 可能是 1-step 下 Semantic 大幅下降的原因; 改进: Stage 2 给早期 t 更高权重, 或加 teacher forcing fallback。第二, 曝光偏差未根除: 2/4-step Dynamic (64/71) 远好于 1-step, 1-step VisionReward (5.412) 低于 4-step (6.798); 改进: 引入 KV-cache consistency regularization, 或 Stage 3 加长 self-rollout 上下文窗口。第三, 数据规模有限: 80K OpenVid 相比工业级仍有差距; 改进: 引入 Pexels 等更大数据集验证 4× 加速比是否保持。第四, 首帧未真压到 1-step: 1/2-step 共享 0.27s, 因首帧用 4-step; 改进: 把首帧也用 1-step 并验证退化。
未来方向
**作者提出**: (1) 把 action-conditioned 推到 frame-wise 2-step, 实现完全实时的 Genie3 风格交互式世界模型; (2) 用更大教师 (Wan2.1-14B) 蒸馏, 验证因果 CD 在更大规模的可扩展性。**可延伸**: (1) 把因果 CD 扩展到 3D/4D 场景生成, 用于具身智能 (embodied AI) rollout 训练; (2) 探索因果 CD 与 RLHF/DPO 结合, 用偏好信号做 reward-aware distillation; (3) 把局部一致性思想扩展到音频-视频联合生成、3D 资产、long-horizon 语言模型推理; (4) 研究 CD 与 model-based RL 联系, 因果一致性作为 value function 归纳偏置; (5) 把 causal CD 与 speculative decoding 结合; (6) 在 diffusion-forcing 框架下统一 chunk-wise 与 frame-wise 理论。
复现评估
**开源**: 项目页 https://github.com/thu-ml/Causal-Forcing 和 https://github.com/shengshu-ai/minWM 开源 Causal Forcing++ 代码, 是首个开源的非对称 DMD + 因果 CD 初始化工作。**复现资源**: 基础模型 Wan2.1-1.3B + Wan2.1-14B; 数据 OpenVid 80K + VidProM + WorldPlay 相机位姿; 算力 A800 约 3K 小时, 与表 2 的 2,900 GPU 小时一致; 关键超参 48 时间步 + square norm + Euler 求解器; Stage 3 时间表 t={1, 0.9375, 0.8333, 0.625} (4-step) / {1, 0.8333} (2-step) / {1} (1-step)。**复现难度**: 中高。Stage 2 在线教师 ODE 的 EMA、stop-gradient 需严格对齐; Stage 3 显存压力建议 4 卡 A800 (80G) 起步。
论文图表
(a) 三阶段流程对比: Self Forcing 用双向教师做 ODE 初始化 (有理论缺陷), Causal Forcing 用 AR 教师 ODE 初始化 (正确但昂贵), Causal Forcing++ 用 AR 教师 + 因果 CD 初始化 (正确、高效、可扩展); (b) 量化对比: CF++ 的 Stage 2 初始化时间从 11,600 降到 2,900 A800 小时、额外存储从 1,900 GiB 降到 0、首帧延迟从 0.60s 降到 0.27s、VBench Total 从 83.74/84.04 提升到 84.14。
论文的核心示意图, 用一张图说清三个方法的本质差异 (teacher 类型 + 初始化方式) 和 CF++ 的全面优势, 是理解整篇论文动机的入口图。
在 chunk-wise 4-step、frame-wise 4-step、frame-wise 1-step 三种设定下分别展示 Self Forcing ODE 初始化、多步 AR 扩散初始化、Causal Forcing ODE 初始化三种方法在 DMD 之后的视频质量。结果显示: Self Forcing ODE 在 frame-wise 设定下质量崩塌 (motion 几乎消失), 多步 AR 扩散在 1-step 下几乎不可用, 只有 Causal Forcing ODE 在所有设定下都稳定。
用 3×3 的视频截图对比直观展示三种初始化方法在 frame-wise 1-2 step 设定下的失败, 是 Sec. 3.1 motivation 的核心证据, 让读者一眼看到现有方法都不够好的实证。
(a) 性能对比: 因果 CD 在 Stage 2 结束时 VBench (约 82) 和 Stage 3 完成后 VBench (约 83.5) 都略高于因果 ODE; (b) 效率对比: 因果 CD 的训练时间 (约 2,900 GPU 小时) 远低于因果 ODE (约 11,500 GPU 小时), 额外存储从约 1,900 GiB 降到 0。
直接支撑本文最核心的论点 CD 是 ODE 蒸馏的可扩展替代品, 既验证了性能 (略优), 又验证了效率 (4× 加速、零存储), 是 Sec. 3.2 的关键证据。