因果强迫：为高质量实时交互式视频生成正确实现自回归扩散蒸馏

用自回归教师做ODE初始化，解决双向→自回归蒸馏中的帧级非单射性问题，显著提升视频质量。

前置知识

扩散模型（Diffusion Models）

扩散模型是一类生成模型，通过逐步向数据添加高斯噪声（前向扩散过程），再学习从噪声中恢复数据（反向去噪过程）。前向过程由 $x_t = \alpha_t x_0 + \sigma_t \epsilon$ 定义，其中 $\epsilon \sim \mathcal{N}(0, I)$，$t \in [0, T]$。模型通过预测速度场 $v_\theta(x_t, t)$ 来参数化，训练目标为加权均方误差 $\mathbb{E}_{x_0, \epsilon, t}[w(t)\|v_\theta(x_t, t) - v_t\|^2]$。采样时通过求解概率流ODE（PF-ODE）$dx_t = v_\theta(x_t, t) dt$，从 $x_T \sim \mathcal{N}(0, I)$ 逐步去噪至 $x_0$。

本文的核心在于分析扩散模型蒸馏过程中PF-ODE轨迹的数学性质（单射性），因此理解扩散模型的前向过程、PF-ODE和流映射是读懂全文的基础。

自回归视频扩散模型（AR Video Diffusion）

自回归视频扩散模型将视频生成分解为逐帧的自回归过程，即 $p_\theta(x_{1:N}^0) = \prod_{i=1}^N p_\theta(x_i^0 | x_{<i}^0)$，其中每个条件分布 $p_\theta(x_i^0 | x_{<i}^0)$ 通过标准扩散模型建模。与一次性生成所有帧的双向模型不同，自回归模型按顺序逐帧生成，这使得用户可以在生成过程中实时交互、调整后续帧的条件。训练策略主要有两种：教师强迫（Teacher Forcing, TF）以干净的历史帧为条件，扩散强迫（Diffusion Forcing, DF）则对历史帧添加噪声。

本文的核心问题是将双向模型蒸馏为自回归模型时产生的架构差距，理解自回归和双向架构的本质区别是理解论文动机的关键。

ODE蒸馏与一致性蒸馏（ODE / Consistency Distillation）

ODE蒸馏是一种简化的蒸馏方法，通过直接回归将多步扩散模型压缩为少步模型：$\theta^* = \min_\theta \mathbb{E}_{t, x_t}[\|G_\theta(x_t, t) - x_0\|^2]$，其中 $x_t$ 和 $x_0$ 位于教师模型同一PF-ODE轨迹上。一致性蒸馏（CD）则学习一个流映射 $G_\theta: (x_t, t) \mapsto x_0$，通过最小化同轨迹上不同时间步映射结果的距离来训练。这两种方法都要求配对数据满足单射性条件。

本文证明了ODE蒸馏中配对数据的单射性是正确学习流映射的必要条件，而现有方法违反了这一条件，这是论文理论分析的核心。

分布匹配蒸馏DMD（Distribution Matching Distillation）

DMD是一种得分蒸馏方法，通过最小化学生模型分布与数据分布之间的KL散度来训练少步生成模型。其梯度形式为 $-\mathbb{E}[\tilde{s}_{real}(\tilde{x}_t, t) - \tilde{s}_{fake}(\tilde{x}_t, t)]\frac{\partial \tilde{x}}{\partial \theta}$，其中 $\tilde{s}_{real}$ 是冻结的扩散模型（预测数据分布的得分），$\tilde{s}_{fake}$ 是可训练的在线扩散模型（预测学生分布的得分）。在自回归蒸馏中，DMD通常作为第二阶段，进一步提升ODE蒸馏后的模型质量。

Self Forcing的两阶段蒸馏管道中，DMD是第二阶段。本文证明DMD无法修复第一阶段ODE初始化中的架构差距，因此正确的ODE初始化至关重要。

帧级单射性（Frame-level Injectivity）

帧级单射性是本文提出的核心概念。对于自回归学生模型的ODE蒸馏，要求PF-ODE的流映射 $\phi_{AR}: (x_i^t, t) \mapsto x_i^0$ 满足：对任意时间步 $t$，每个噪声帧 $x_i^t$ 唯一对应一个干净帧 $x_i^0$。形式化为：$\forall i \in [N], x_i^t = y_i^t \Rightarrow \phi_{AR}(x_i^t, t) = \phi_{AR}(y_i^t, t)$。如果违反这一条件，MSE回归目标的最优解将退化为条件期望 $\mathbb{E}[x_i^0 | x_i^t, t]$，导致视频模糊。

这是本文理论分析的基石：证明了现有方法（如Self Forcing）违反帧级单射性，并提出用自回归教师来满足这一条件。

研究动机

在实时交互式视频生成的蒸馏过程中，现有方法面临一个根本性的架构差距（architectural gap）问题。以当前SOTA方法Self Forcing为例，它采用两阶段蒸馏管道：先用ODE蒸馏将双向教师模型蒸馏为自回归学生模型，再用DMD进一步提升质量。然而，当将双向模型（具有全注意力机制，可看到未来帧）转换为因果注意力架构（只能依赖过去上下文）时，ODE蒸馏阶段存在理论缺陷。具体来说，双向扩散模型的PF-ODE只在视频级别满足单射性，在帧级别则不满足——同一个噪声帧 $x_i^t$ 在不同视频中可能对应多个不同的干净帧 $x_i^0$。如图1所示，即使从同一个双向教师模型蒸馏，Self Forcing在动态度（Dynamic Degree）、视觉质量（VisionReward）和指令跟随（Instruction Following）等指标上都显著落后于标准DMD蒸馏双向学生模型。这表明现有自回归蒸馏管道存在根本性的次优问题，其性能瓶颈无法通过后续的DMD阶段来弥补。

本文的目标是本文的目标是从理论和实践两个层面解决自回归视频扩散蒸馏中的架构差距问题。理论上，作者要证明现有ODE蒸馏方法的数学缺陷——违反帧级单射性条件——是导致生成质量下降的根本原因。实践上，作者要提出一种名为Causal Forcing的三阶段蒸馏方法，在相同训练预算下（3K步ODE初始化 + 750步DMD）显著超越现有SOTA Self Forcing，在Dynamic Degree上提升19.3%，VisionReward上提升8.7%，Instruction Following上提升16.7%，同时保持相同的推理延迟（0.69秒/帧，17 FPS吞吐量）。

与已有工作不同的是，本文的独特切入点在于从ODE蒸馏的数学基础——单射性条件——出发来分析问题。以往的工作（如Self Forcing、CausVid）虽然意识到双向→自回归蒸馏存在性能差距，但没有从理论上理解其根源。作者抓住了一个被忽视的关键点：ODE蒸馏要求配对数据满足单射性，而这个条件在帧级别不成立。具体来说，双向模型在去噪第 $i$ 帧时会使用所有帧的信息（包括未来帧），但自回归学生模型没有 $x_{>i}^t$，导致信息丢失。作者进一步证明DMD阶段无法弥补这一初始化缺陷（图2），问题必须在ODE初始化阶段解决。基于这一分析，自然的解决方案是使用自回归教师而非双向教师来进行ODE蒸馏，因为自回归教师的PF-ODE天然满足帧级单射性。

核心方法

Causal Forcing的核心思想可以用一个类比来理解：如果你要教一个学生按时间顺序讲故事（自回归生成），你不应该让他模仿一个能同时看到过去和未来的全知叙述者（双向模型），而应该让他模仿另一个同样按时间顺序讲故事的老师（自回归教师）。技术路线分为三个阶段：第一阶段，用教师强迫（Teacher Forcing）训练一个自回归扩散模型作为教师；第二阶段，从这个自回归教师的PF-ODE轨迹中采样配对数据，进行因果ODE蒸馏来初始化学生模型；第三阶段，使用与Self Forcing相同的非对称DMD（Asymmetric DMD）进一步提升学生模型的生成质量。这个管道的关键洞察是：ODE蒸馏的配对数据必须满足帧级单射性，而只有自回归教师的PF-ODE才能天然满足这一条件。整个流程的训练预算与Self Forcing完全相同（总计约3K步ODE初始化 + 750步DMD），但通过正确的理论指导获得了显著的性能提升。

本文最核心的创新点是发现了ODE蒸馏中的帧级单射性问题，并提出了用自回归教师替代双向教师的解决方案。这是与已有方法（Self Forcing、CausVid）最本质的区别。已有方法使用双向教师模型的PF-ODE轨迹来训练自回归学生，但双向模型的PF-ODE映射 $\phi_{Bi}: (x_{1:N}^t, t) \mapsto x_{1:N}^0$ 只在视频级别满足单射性，在帧级别则不满足——论文通过引理3.2严格证明，存在 $x_i^t = y_i^t$ 但 $\phi_{Bi}(x_{1:N}^t, t)_i \neq \phi_{Bi}(y_{1:N}^t, t)_i$ 的情况，且这种碰撞具有非零测度。违反帧级单射性的后果是MSE回归目标的最优解退化为条件期望 $G_\theta^*(x_i^t, t) = \mathbb{E}[x_i^0 | x_i^t, t]$，而非真实数据分布，导致生成视频模糊。Causal Forcing通过用自回归教师的PF-ODE来构建配对数据，天然满足帧级单射性 $\phi_{AR}(x_i^t, t) = x_i^0$，使学生模型能准确学习流映射。此外，作者还证明了教师强迫（TF）优于扩散强迫（DF），因为DF存在训练-推理分布不匹配：训练时条件于噪声前缀 $x_{<i}^t$，推理时条件于干净前缀 $x_{<i}^0$。

方法步骤详情

Causal Forcing分为三个阶段：（1）自回归扩散训练：使用教师强迫（Teacher Forcing）在约3K个合成样本上训练自回归扩散模型2K步。训练时将干净视频与其噪声版本拼接，应用因果注意力掩码，使第 $i$ 帧的噪声版本 $x_i^t$ 可以关注干净的历史帧 $x_{<i}^0$。这里使用的是Wan2.1-T2V-1.3B作为基座模型，生成81帧832×480分辨率的视频。（2）因果ODE蒸馏：从训练好的自回归教师模型中采样PF-ODE轨迹，构建3K个因果ODE配对样本 $\mathcal{D}_{Causal}$。具体做法是从真实数据集采样干净历史帧 $x_{<i}^{gt}$，然后从高斯噪声 $x_i^T \sim \mathcal{N}(0, I)$ 出发，用自回归教师的ODE求解器生成当前帧的去噪轨迹。学生模型 $G_\theta$ 通过MSE回归学习映射 $x_i^t \mapsto x_i^0$，训练1K步。（3）非对称DMD：使用因果ODE蒸馏后的模型初始化自回归学生，以双向模型Wan2.1-14B作为DMD教师（$s_{real}$），Wan2.1-1.3B作为在线训练的得分模型（$s_{fake}$），在VidProM数据集上训练750步至收敛。推理时使用4步采样，时间步为1、0.9375、0.8333、0.625，采用chunk-wise方式（每chunk 3个潜在帧）。

技术新颖性

Causal Forcing的技术新颖性体现在三个层面：首先，这是第一个从理论上证明自回归扩散蒸馏中存在帧级单射性问题的工作。论文通过严格的数学分析（引理3.2和命题3.3），证明了用双向教师训练自回归学生的ODE蒸馏必然退化为条件期望回归，这是一个前人未发现的理论缺陷。其次，本文提出了第一个因果一致性蒸馏（Causal CD）框架，用自回归教师训练一致性模型 $G_\theta$，并在理论上证明其优于非对称CD（用双向模型作教师），因为后者同样违反帧级单射性。实验显示因果CD的VisionReward比非对称CD高出9.781分。第三，本文推翻了一个常见认知——扩散强迫（DF）优于教师强迫（TF）。通过命题3.4证明DF存在训练-推理分布不匹配，TF在所有指标上都优于DF（VisionReward提升111.2%）。这些发现对自回归视频扩散模型的训练范式有重要的指导意义。

**Figure 3**: ODE初始化的必要原则及Self Forcing的缺陷

实验结果

论文在多个维度进行了全面评估，结果一致表明Causal Forcing显著优于所有基线方法。在主要实验（表1）中，与当前SOTA的Self Forcing相比，Causal Forcing在Dynamic Degree上从57提升到68（+19.3%），VisionReward从5.820提升到6.326（+8.7%），Instruction Following从48提升到56（+16.7%），用户评分从2.87降至1.64（越低越好，+42.9%）。值得注意的是，Causal Forcing与Self Forcing保持完全相同的推理延迟（0.69秒）和吞吐量（17 FPS），训练预算也相同。与双向基座模型Wan2.1-1.3B相比，Causal Forcing的吞吐量高出2079%（17 FPS vs 0.78 FPS），同时在所有质量指标上匹配甚至超越（Total: 84.04 vs 83.37）。在消融实验（表2）中，教师强迫的VisionReward（3.343）远超扩散强迫（1.583），提升111.2%；因果ODE初始化在chunk-wise设置下将Self Forcing的ODE初始化从VisionReward 3.330提升到6.326（+90.0%），Dynamic Degree从24提升到68（+183.3%）。在帧-wise设置下提升更为显著，Dynamic Degree提升3100%。因果CD方面，VisionReward比非对称CD高出9.781分，Instruction Following高出60分。10人用户研究也确认Causal Forcing在10个提示词上获得最佳整体质量排名。

**Figure 5**: Self Forcing与Causal Forcing的性能对比

查看结构化数据

任务	指标	本文	基线	提升
Dynamic Degree（动态程度）	Dynamic Degree↑	68	Self Forcing 57	+19.3%
VisionReward（视觉质量）	VisionReward↑	6.326	Self Forcing 5.820	+8.7%
Instruction Following（指令跟随）	Instruction Following↑	56	Self Forcing 48	+16.7%
VBench总分	Total↑	84.04	Self Forcing 83.74	+0.36%
用户评分	Rating↓（越低越好）	1.64	Self Forcing 2.87	+42.9%
因果ODE vs SF的ODE初始化（chunk-wise DMD）	VisionReward↑	6.326	3.330	+90.0%
因果CD vs 非对称CD	VisionReward↑	1.798	-7.983	+9.781

局限与改进

论文存在以下局限性：首先，当前的因果一致性蒸馏（Causal CD）只是一个初步实现，直接采用了原始LCM方案，尚未经过充分优化，性能仍低于基于得分蒸馏的方法（DMD）。作者指出这里存在大量的设计空间待探索，如更先进的CD方法（如MeanFlow、Score-regularized CT等）。其次，与Self Forcing一样，Causal Forcing在5秒视频上训练，注意力窗口最多覆盖5秒，直接外推到更长视频会导致训练-推理不匹配和质量下降。虽然存在正交的长视频适配方法（如LongLive、Rolling Forcing、Infinity-RoPE、Deep Forcing），但本文未探索这一方向。第三，论文只在Wan2.1-T2V-1.3B这一个基座模型上验证，未在更大规模模型（如14B）或其他架构上测试泛化性。第四，评估使用的是内部合成的100个提示词集合，而非大规模公开基准的完整测试集，可能存在选择偏差。第五，扩散强迫在动态度指标上反而更高（60 vs 50），虽然作者解释这源于collapse导致的病理化运动膨胀，但这也暗示了评估指标本身的局限性。

独立分析的弱点

从独立分析的角度看，Causal Forcing存在以下几个弱点：（1）第一阶段的教师强迫训练仍使用双向基座模型合成的数据集 $\mathcal{D}_{Bi}$（3K样本），这意味着自回归教师本身的质量受限于双向模型的合成能力，如果基座双向模型生成的视频存在偏差或质量问题，会传递到整个蒸馏管道中。改进方向是使用更大规模或更高质量的真实视频数据集来训练自回归教师。（2）论文假设双向DiT模型的注意力模块满足非恒定条件（即引理B.1的前提），但未提供严格的实验验证（如注意力图分析）。如果某些架构或设置下该条件不成立，理论分析的适用范围可能受限。改进方向是加入注意力可视化实验来验证前提假设。（3）因果CD的实现过于简单，直接使用了LCM方案和x0-prediction形式，未充分探索更先进的CD技术。这导致因果CD在表2中仍低于DMD（VisionReward: 1.798 vs 6.326）。改进方向是结合MeanFlow、Score-regularized CT等最新CD方法。（4）推理时每帧需要4步ODE求解，且需要维护时序KV缓存，虽然与Self Forcing相同，但对于更高帧率或更大模型的实时应用仍有优化空间。改进方向是探索更少步数（如1-2步）的蒸馏方案。

未来方向

论文和作者提出的未来方向包括：（1）因果一致性蒸馏的深度优化：当前的Causal CD只是一个初步实现，作者明确指出存在大量设计空间，结合最新的CD进展（如MeanFlow、Score-regularized CT）有望进一步提升性能甚至超越DMD。（2）长视频生成：将Causal Forcing与长视频适配方法（如LongLive、Rolling Forcing、Infinity-RoPE、Deep Forcing）结合，实现超长实时交互视频生成。（3）基于论文成果的自然延伸包括：将帧级单射性分析扩展到其他粒度的自回归模型（如token级自回归），探索非对称DMD中$s_{real}$和$s_{fake}$的最优配置，以及将Causal Forcing应用于其他模态（如音频、3D）的自回归扩散蒸馏。（4）更大规模验证：在14B甚至更大参数量的基座模型上验证Causal Forcing的有效性，以及在更多样化的视频生成任务（如文本引导编辑、视频续写）上测试泛化能力。

复现评估

在复现性方面，论文提供了较好的支持。代码已在GitHub开源（https://github.com/thu-ml/Causal-Forcing），并提供了项目页面。训练使用的是开源基座模型Wan2.1-T2V-1.3B，数据集为内部合成的3K样本（使用VidProM提示词生成），评估遵循公开的VBench基准和VisionReward工具。算力需求方面，论文使用H100 GPU进行训练和推理，batch size为64，使用Adam优化器（lr=2×10⁻⁶, β₁=0, β₂=0.999）。总训练步数约3750步（2K TF + 1K ODE + 750 DMD），对于拥有H100集群的研究者来说是可承受的。推理延迟为0.69秒/帧，吞吐量17 FPS。不过，论文使用了Wan2.1-14B作为DMD的$s_{real}$模型，这意味着需要额外的14B模型推理资源。整体复现难度中等，需要多GPU环境和对扩散模型蒸馏的深入理解。

因果强迫：为高质量实时交互式视频生成正确实现自回归扩散蒸馏 Causal Forcing: Autoregressive Diffusion Distillation Done Right for High-Quality Real-Time Interactive Video Generation