HiAR：通过层次化去噪实现高效自回归长视频生成 HiAR: Efficient Autoregressive Long Video Generation via Hierarchical Denoising
层次化去噪替代逐块生成，实现高质量长视频
前置知识
扩散模型与Flow Matching
扩散模型通过一个前向加噪过程将干净数据逐步腐蚀为高斯噪声，然后训练神经网络学习逆过程以从噪声中恢复数据。本文采用Flow Matching形式化：前向插值定义为 $x_t = (1 - \sigma_t) x_0 + \sigma_t \epsilon$，其中 $\sigma_t = s \cdot t / (1 + (s-1) \cdot t)$ 是由偏移参数 $s$ 控制的噪声调度曲线。神经网络 $v_\theta(x_t, t)$ 预测速度场 $v^* = \epsilon - x_0$，通过从 $t=1$ 到 $t=0$ 积分概率流ODE实现数据生成。实践中将轨迹离散为 $S$ 步并使用欧拉更新。
本文所有技术改进都建立在Flow Matching框架之上，理解这一基础才能理解层次化去噪的噪声匹配设计
自回归视频扩散
双向注意力扩散模型只能在固定时间窗口内生成视频，无法扩展到任意长度。自回归视频扩散将视频潜变量序列划分为 $N$ 个连续块 $\{B_1, \ldots, B_N\}$，每块包含 $k$ 帧，然后逐块自回归生成：第 $n$ 块以已生成的 $B_{<n}$ 为条件进行去噪。具体而言，去噪器以 $v_\theta(x^{(n)}_t, t \mid c_{<n})$ 形式查询，其中 $c_{<n}$ 是通过因果注意力注入的前序块上下文表示。
这是本文研究的基本框架，HiAR的核心创新就是改变了这个自回归去噪管线中的执行顺序
自展开训练与DMD蒸馏
Self-Forcing提出自展开(self-rollout)训练来弥合训练-测试差距：每个训练迭代中，学生模型 $v_\theta$ 先生成预测 $\hat{x}^{(n-1)}_0$，然后将其作为下一块去噪的上下文。训练目标是非对称分布匹配蒸馏(DMD)损失，即学生单步输出分布与教师多步输出分布之间的反向KL散度：$\mathcal{L}_{DMD} = \mathbb{E}_{t,x_t}[D_{KL}(p_\theta(x_0|x_t) \| p_{teacher}(x_0|x_t))]$。这鼓励学生向教师的高密度区域mode-seek，但本质上是反向KL，容易导致mode dropping。
理解DMD蒸馏的mode-seeking特性是理解本文Forward-KL正则化动机的关键
暴露偏差与分布漂移
在标准teacher forcing训练中，模型在训练时以真实上下文 $c_{<n} = x^{(<n)}_0$ 为条件，但推理时上下文来自模型预测 $\hat{x}^{(<n)}_0$，这种训练-测试不匹配导致每步误差沿自回归链累积——即暴露偏差。在长视频生成中，累积误差表现为渐进式过饱和、运动重复和语义漂移，统称为分布漂移。Self-Forcing虽通过自展开训练缓解了部分问题，但仍使用 $t_c = 0$（完全干净）的上下文，以最大置信度传播预测误差。
这是本文要解决的核心问题，理解分布漂移的根源才能理解为何需要改变上下文噪声级别
研究动机
现有自回归视频扩散方法在生成长视频时面临严重的质量退化问题。核心矛盾在于：为保证时间连续性，现有方法通常将前序块完全去噪为干净上下文（$t_c = 0$），然后条件化生成下一块。但这恰恰以最大置信度传播了累积的预测误差。如论文Figure 1(b)所示，Self-Forcing方法在生成200秒视频时，画面逐渐出现过饱和、色彩漂移和细节丧失。论文通过误差分解将上下文 $c^{(t_c)}_{n-1}$ 拆分为三项：真实信号 $(1-\sigma_{t_c})x^{(n-1)}_0$、传播偏差 $(1-\sigma_{t_c})\delta^{(n-1)}$ 和随机扰动 $\sigma_{t_c}\eta$。当 $t_c = 0$ 时，前两项共享系数 $1$，预测误差 $\delta^{(n-1)}$ 被完整传播且无衰减，这是质量退化的根本原因。
本文的目标是本文的具体目标是设计一种新的自回归去噪管线，在不牺牲时间连续性的前提下，大幅减少块间误差传播，从而实现稳定、高质量、可扩展到任意长度的视频生成。同时，在不增加计算成本的情况下提升推理效率，使模型能够实时生成长视频内容。
与已有工作不同的是，本文的独特切入角度来自一个关键观察：双向扩散模型（如Wan2.1）对所有帧在同一噪声级别上并行去噪，仍然能产生时间连贯的视频（Figure 1(a)），这证明含噪上下文已经提供了足够的连续性信号。基于这一insight，作者提出高度干净的上下文并非必要条件——如果让上下文噪声级别与当前去噪步骤的输出噪声级别匹配（$t_c^* = t_{j+1}$），则既能保持时间因果性约束 $\text{SNR}(t_c) \geq \text{SNR}(t_{j+1})$，又能最大化衰减传播偏差。这种从先完全去噪再生成下一块到在每个去噪步骤中跨所有块进行因果生成的范式转换，是本文最根本的创新点。
核心方法
HiAR的整体思路可以用一个类比来理解：传统自回归视频生成像是流水线作业——先完成第一块的全部去噪，再开始第二块；而HiAR像是交叉施工——在每个去噪步骤中，同时推进所有块的去噪进度。具体来说，传统方法的去噪顺序是块优先（block-first）：先完成块1的S步去噪，再完成块2的S步去噪；HiAR改为步骤优先（step-first）：在去噪步骤1中，依次处理所有N个块，然后进入步骤2。这种简单的顺序调换带来两个关键好处：一是每块的上下文噪声级别自然匹配当前步骤的输出噪声级别，大幅衰减误差传播；二是层次结构天然支持流水线并行推理，利用不同 $(n, j)$ 位置的计算独立性实现约1.8倍的加速。训练方面，HiAR在自展开训练框架下使用DMD反向KL蒸馏目标，同时引入双向注意力模式下的前向KL正则化器来防止运动退化。
本文的核心创新在于对上下文噪声级别的最优选择进行了理论分析，并据此设计了层次化去噪框架。关键推导如下：对于在步骤 $j$（从噪声级别 $t_j$ 到 $t_{j+1}$）去噪的块 $B_n$，上下文 $c^{(t_c)}_{n-1}$ 的误差分解表明，噪声级别 $t_c$ 控制着偏差-信息的trade-off。时间因果性要求 $\text{SNR}(t_c) \geq \text{SNR}(t_{j+1})$，即 $t_c \leq t_{j+1}$。由于偏差系数 $(1-\sigma_{t_c})$ 随 $t_c$ 单调递减，选择 $t_c < t_{j+1}$ 只会传播更多误差而无额外收益。因此最优选择是约束的边界：$t_c^* = t_{j+1}$，即满足时间因果性的最噪声上下文。这与已有方法的本质区别在于：Self-Forcing使用 $t_c = 0$（最干净），而HiAR使用 $t_c = t_{j+1}$（当前步骤输出的噪声级别），后者在保留全部去噪所需信息的同时最大化衰减了传播偏差。
方法步骤详情
HiAR的方法分为推理和训练两部分。推理过程如Algorithm 1所示：输入为去噪调度 $t_1 > t_2 > \cdots > t_S \approx 0$ 和初始噪声 $\{x^{(n)}_{t_1}\}_{n=1}^N$。对于每个去噪步骤 $j = 1, \ldots, S$，执行因果块扫描：依次处理块 $n = 1, \ldots, N$，每块的去噪公式为 $x^{(n)}_{t_{j+1}} = x^{(n)}_{t_j} + v_\theta(x^{(n)}_{t_j}, t_j \mid x^{(<n)}_{t_{j+1}})(\sigma_{t_{j+1}} - \sigma_{t_j})$，注意上下文 $x^{(<n)}_{t_{j+1}}$ 是已在当前步骤 $j$ 去噪过的前序块。推理完成后输出 $\hat{x}^{(n)}_0 = x^{(n)}_{t_S}$。训练过程结合两个损失：(1) DMD反向KL蒸馏损失 $\mathcal{L}_{DMD}$，通过因果注意力自展开计算；(2) 前向KL正则化损失 $\mathcal{L}_{FKL} = \mathbb{E}_i[\|v_\theta(x^{ref}_{t_i}, t_i) - \frac{x^{ref}_{t_{i+1}} - x^{ref}_{t_i}}{\sigma_{t_{i+1}} - \sigma_{t_i}}\|^2]$，在双向注意力模式下计算，仅约束前 $K$ 个去噪步骤（实验中 $K=1$）。总损失为 $\mathcal{L} = \mathcal{L}_{DMD} + \lambda \mathcal{L}_{FKL}$，其中 $\lambda = 0.1$。
技术新颖性
HiAR的技术新颖性体现在三个层面。第一，理论层面：论文首次对自回归扩散中上下文噪声级别的选择进行了严格的数学分析，证明了 $t_c^* = t_{j+1}$ 是满足时间因果性的最优边界选择，这一结论具有独立的理论价值。第二，架构层面：层次化去噪将去噪顺序从块优先改为步骤优先，这一看似简单的改变从根本上改变了误差传播的路径——误差不再沿自回归链线性累积，而是在每个步骤中被噪声衰减。同时，层次结构自然支持流水线并行，不同去噪步骤可分配给独立进程，通过异步点对点通信交换中间潜变量。此外，因果注意力下的KV缓存更新和下一块去噪可以融合为单次前向传播，进一步将每阶段的计算成本从 $2N$ 降至 $N+2$。第三，训练层面：前向KL正则化器的设计精巧——利用双向和因果注意力动态分数之间的强正相关性（Pearson $r = 0.968$），在双向注意力模式下计算正则化损失，既有效防止了因果推理路径的运动退化，又避免了与DMD目标的梯度干扰。
实验结果
HiAR在多个维度上均取得了最优结果。在VBench 20秒视频生成评测中，HiAR的总分达到0.821，超越所有对比方法，包括双向扩散模型Wan2.1-1.3B（0.802）和其他自回归模型。质量分0.846为所有方法最高，语义分0.723保持强劲，动态分0.686接近双向教师模型Wan2.1-1.3B的0.690，远超Self-Forcing的0.542。在论文提出的漂移指标上，HiAR得分0.257，为所有蒸馏自回归模型中最低，相比Self-Forcing的0.355降低了27.6%，说明层次化去噪确实大幅减少了长时域质量退化。推理效率方面，HiAR实现30 fps吞吐量和0.30秒延迟，相比其他蒸馏自回归模型（17 fps，0.69秒延迟）实现约1.8倍加速，且加速不以牺牲质量为代价。消融实验进一步验证了各组件的贡献：(1) $t_c = t_{j+1}$ 在质量和漂移之间取得最佳平衡（质量0.846，漂移0.257），优于 $t_c = 0$（质量0.829，漂移0.355）和 $t_c = t_j$（质量0.799，漂移0.184但运动不连贯）；(2) 去掉前向KL正则化后动态分从0.686暴跌至0.445，证实了低运动捷径问题的存在；(3) 仅在推理时应用层次化去噪（不重新训练）可降低漂移（0.309 vs 0.355）但严重损害视觉质量（质量0.767），凸显了训练-测试对齐的重要性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 20秒视频生成 - 综合质量 | VBench Total Score | 0.821 | Self-Forcing 0.805 / Causal Forcing 0.810 | +2.0% vs Self-Forcing，所有方法中最高 |
| 20秒视频生成 - 视觉质量 | VBench Quality Score | 0.846 | Self-Forcing 0.829 / Causal Forcing 0.837 | +2.1% vs Self-Forcing，所有方法中最高 |
| 20秒视频生成 - 动态多样性 | VBench Dynamic Score | 0.686 | Self-Forcing 0.542 / Causal Forcing 0.672 | +26.6% vs Self-Forcing，接近双向教师0.690 |
| 20秒视频生成 - 时间漂移 | Drift Score (lower is better) | 0.257 | Self-Forcing 0.355 / Causal Forcing 0.615 / CausVid 0.842 | -27.6% vs Self-Forcing，所有蒸馏AR模型中最低 |
| 推理效率 | Throughput (frames/s) | 30 | Self-Forcing / CausVid / Causal Forcing 均为 17 | +76% 吞吐量提升，延迟从0.69s降至0.30s |
局限与改进
尽管HiAR取得了显著进步，仍存在若干局限性。首先，论文仅在Wan2.1-1.3B骨干网络上进行了实验，未验证方法在更大规模模型（如14B）上的效果，方法的可扩展性尚不明确。其次，所有实验基于5秒训练片段和4步去噪调度，对于更长训练片段或不同步数调度的表现未做探索。第三，前向KL正则化需要额外采样大量去噪轨迹（论文中为20k条，每条50步ODE），增加了训练准备的计算成本。第四，论文的评估主要依赖VBench协议和自定义漂移指标，在人类主观评价维度上缺乏系统性验证，尤其是长视频中运动自然性和语义一致性的感知质量。第五，虽然流水线并行推理带来了1.8倍加速，但论文未详细讨论多GPU通信开销和内存占用情况，在资源受限场景下的实用性有待评估。此外，作者指出反向KL蒸馏固有的低运动捷径问题在层次化训练中被放大，虽然前向KL正则化缓解了这一问题，但 $\lambda$ 和 $K$ 的选择依赖实验调优，缺乏自适应机制。
独立分析的弱点
论文有几个值得独立分析的弱点。第一，实验规模有限：仅使用1.3B参数模型，且训练数据来自Wan2.1教师模型的采样，未使用大规模真实视频数据集。改进方向是在更大骨干（如7B-14B）和多样真实数据上验证方法的泛化性。第二，前向KL正则化的计算开销：需要从教师模型采样20k条50步ODE轨迹作为参考，这在大规模训练中可能成为瓶颈。可以探索在线蒸馏或缓存轨迹复用策略来降低成本。第三，评估维度单一：VBench主要评估视觉质量和语义保真度，对长视频的叙事连贯性、物理合理性和用户交互体验缺乏评测。建议引入更全面的长视频评估benchmark。第四，流水线并行的实现细节不够透明：跨GPU通信的具体策略、内存管理方式以及在不同硬件配置下的扩展性未充分讨论。第五，论文未探讨条件生成（如图像到视频、视频到视频）场景下层次化去噪的适用性，这限制了方法的实际应用范围。
未来方向
作者提出和可延伸的未来研究方向包括：(1) 将层次化去噪扩展到更大规模的视频生成基础模型，验证其在模型规模扩大时的收益是否持续；(2) 探索自适应噪声级别调度策略，根据内容复杂度动态调整 $t_c$ 而非固定使用 $t_{j+1}$；(3) 将前向KL正则化与在线蒸馏结合，减少离线轨迹采样的计算开销；(4) 将层次化去噪范式应用于条件生成任务（图生视频、视频编辑等）和交互式世界模型，利用其支持实时干预和无限长度扩展的特性；(5) 设计更完善的长视频评估协议，包括人类主观评价、叙事连贯性评估和物理合理性测试；(6) 探索与Diffusion Forcing等其他去噪策略的融合，例如在不同块使用异构噪声级别；(7) 研究层次化去噪在音频、3D等其他连续生成模态中的适用性。
复现评估
论文的复现条件相对友好但仍有门槛。骨干模型Wan2.1-1.3B为开源模型，基础框架基于标准的Flow Matching和DMD蒸馏，代码实现难度适中。训练使用64的总批大小，20k步，需要中等规模GPU集群（论文未明确给出具体GPU数量，但从Wan2.1-1.3B的规模推测可能需要多卡）。关键的训练数据——16k对ODE解和20k条50步去噪轨迹——需要从教师模型Wan2.1-14B采样生成，这需要较大的算力投入。推理时的KV缓存管理（滑动窗口，常数5秒注意力窗口）实现相对直接。论文提供了项目主页链接（https://jacky-hate.github.io/HiAR/2026），但截至论文发表时尚未明确公布代码仓库。总体而言，在有充足GPU资源的条件下，具备视频扩散模型经验的研究者应该可以在数周内完成复现。
论文图表
图展示了三种视频生成范式的对比：(a) 双向扩散模型（Wan2.1）证明共享噪声级别足以维持时间一致性，但受限于固定时间窗口；(b) 标准因果自回归（Self-Forcing）可扩展长度但存在质量退化，因为完全干净的上下文放大了误差传播；(c) HiAR方案——仅在推理时应用层次化去噪（w/o training）可缓解退化但破坏连续性，而配合训练（w/ training）则同时实现稳定的长视频生成和无缝连续性。
这张图是理解全文核心motivation的关键，直观展示了高度干净上下文并非必要这一insight，以及层次化去噪如何在质量、长度和连续性三个维度之间取得平衡
表格报告了所有方法在20秒生成上的VBench分数（总分/质量/语义/动态）、漂移指标和推理效率（吞吐量fps和延迟秒数）。涵盖双向扩散模型（LTX-Video、Wan2.1-1.3B）、自回归扩散模型（NOVA、Pyramid Flow、SkyReels-V2、MAGI-1）和蒸馏自回归模型（CausVid、Self-Forcing、Causal Forcing、HiAR）三类。HiAR在总分0.821、质量0.846、动态0.686和漂移0.257上均为最优或次优，吞吐量30fps和延迟0.30s显著领先其他蒸馏方法。
这是论文最核心的定量结果表，系统性地展示了HiAR相对于所有基线方法的优势，涵盖质量、稳定性和效率三个维度