VideoAR：基于下一帧与多尺度预测的自回归视频生成 VideoAR: Autoregressive Video Generation via Next-Frame & Scale Prediction
首个大规模VAR视频生成框架，多尺度下一帧自回归，13倍加速推理
前置知识
Visual AutoRegressive (VAR) 建模
VAR是一种将自回归范式应用于视觉生成的方法，核心思想是将传统的逐像素/逐token的光栅扫描预测改为从粗到细的'下一尺度预测'（next-scale prediction）。具体来说，图像先通过多尺度量化器被分解为K个逐渐增大的残差图 $R_{1:K}$，Transformer从最粗尺度开始逐尺度预测，每个尺度的预测条件是所有更粗尺度的预测结果。相比逐token方法，VAR天然匹配2D空间结构，序列长度大幅缩短，推理效率更高，且展现出优于扩散模型的泛化性和缩放特性。
VideoAR正是将VAR从图像扩展到视频的关键工作，理解VAR的多尺度残差预测机制是理解本文整体框架的基础。
3D多尺度分词器 (3D Multi-scale Tokenizer)
3D分词器是将原始视频压缩为离散潜在表示的模块。本文在VAR的2D编码器-解码器基础上引入3D因果卷积架构，将输入视频 $V \in \mathbb{R}^{(1+T) \times H \times W \times 3}$ 压缩为紧凑的时空潜在表示 $F \in \mathbb{R}^{(1+T/\tau) \times H' \times W' \times d}$，其中 $\tau$ 是时间压缩因子。该分词器在空间上实现16倍压缩（编码为 $5 \times 8 \times 8$ 的潜在token网格），同时通过时间子采样利用相邻帧之间的冗余性。训练时采用3D膨胀策略，从预训练的2D图像分词器初始化以高效迁移空间知识。
分词器的质量直接决定了自回归生成的上限，本文的16倍空间压缩比相比已有方法（8倍）实现了4倍的序列长度缩减，这是推理加速的关键。
Rotary Position Embeddings (RoPE)
RoPE是一种旋转位置编码方法，通过将位置信息编码为旋转矩阵来表示token之间的相对位置关系。它具有良好的外推性，能自然地与线性注意力兼容，已成为现代大语言模型（如LLaMA）的标准位置编码方案。在本文中，RoPE被扩展为多尺度时间版本，将嵌入空间分解为时间、高度、宽度三个轴，以同时捕获时空依赖关系。
本文提出的Multi-scale Temporal RoPE是核心技术贡献之一，需要理解原始RoPE才能理解其扩展设计。
Classifier-Free Guidance (CFG)
CFG是一种在生成模型推理时平衡条件生成和无条件生成的技术。模型同时进行条件预测 $p(x|c)$ 和无条件预测 $p(x)$，最终输出通过引导系数 $\gamma$ 加权：$\hat{\epsilon} = \epsilon_\theta(x_t, c) + \gamma \cdot (\epsilon_\theta(x_t, c) - \epsilon_\theta(x_t, \varnothing))$。较大的 $\gamma$ 提升视觉质量和动态感，较小的 $\gamma$ 提升时间一致性和采样多样性。本文在此基础上提出了时空自适应CFG策略。
理解CFG对于理解VideoAR在推理阶段如何平衡语义保真度和时间一致性至关重要。
Error Propagation in Autoregressive Models
自回归模型在推理时以逐步采样方式进行，每一步的预测都依赖于前面的输出。当序列较长时，早期步骤的小误差会随着生成过程逐步累积放大，导致后续生成质量严重退化。这在视频生成中尤为突出，因为视频不仅有空间维度的token序列，还有时间维度的帧序列，误差在两个维度上都会传播。本文提出的Cross-Frame Error Correction和Random Frame Mask正是为了解决这一核心问题。
误差传播是自回归视频生成的根本性挑战，理解它才能理解本文两项训练策略的设计动机。
研究动机
当前视频生成领域主要由扩散模型和流匹配模型主导，如Sora、Veo3、Hunyuan-Video等。这些方法虽然能产生高质量结果，但存在三个核心问题：第一，计算成本极高，因为它们依赖对整个时间序列同时进行双向去噪，难以扩展到长视频生成；第二，推理速度慢，以PAR-4x为代表的自回归基线在UCF-101上虽然取得了99.5的gFVD分数，但需要323个推理步骤，耗时11.27秒；第三，自回归方法应用于视频生成时面临空间与时间建模的根本性不匹配——朴素的逐token预测无法有效处理2D空间合成和因果时间推进这两个遵循不同建模原则的维度。此外，现有自回归方法在长视频token序列上会导致严重的误差传播，质量随帧数增加而显著下降，且缺乏对视频动态和时长的细粒度控制能力。
本文的目标是本文的目标是构建第一个大规模视觉自回归（VAR）视频生成框架VideoAR，通过将VAR的多尺度残差预测范式与下一帧预测相结合，实现高效、高质量、时间一致的视频生成。具体目标包括：在UCF-101基准上超越现有自回归方法的gFVD分数（目标优于99.5），将推理步骤从数百步降低到数十步以实现数量级的加速，生成的视频需具备高保真度和强时间一致性，同时在VBench综合评估上达到与参数量大一个数量级的扩散模型可比的性能。
与已有工作不同的是，本文的独特切入角度在于三个层面的解耦设计。首先在建模范式上，不同于PAR等逐token方法和InfinityStar的3D-VAR方法，VideoAR采用帧内VAR建模加帧间因果下一帧预测的混合范式，分别用最适合的原则处理空间和时间维度。其次在分词器设计上，将2D VAR编码器膨胀为3D因果架构，实现16倍空间压缩（4倍于MAGVIT和OmniTokenizer的8倍压缩），大幅缩短序列长度。最后在训练策略上，针对误差传播这一自回归模型的根本痛点，提出Cross-Frame Error Correction（通过时间相关的渐进腐蚀模拟推理时误差累积）和Random Frame Mask（通过随机遮断帧间依赖防止过度记忆）两项互补策略，从根本上增强长序列生成的稳定性。
核心方法
VideoAR的整体思路可以用'解耦-压缩-纠正'三个关键词概括。直觉上，视频生成面临的核心矛盾是：空间上需要精细的2D结构建模，时间上需要稳定的因果时序建模，而朴素地将两者统一为一维序列会同时损失两方面的建模质量。VideoAR的解决方案是将空间和时间建模解耦：在每个帧内部，采用VAR的多尺度残差预测实现从粗到细的空间生成；在帧与帧之间，采用因果的下一帧预测维持时间顺序。技术路线上，首先构建3D多尺度分词器将视频压缩为紧凑的离散表示，然后用一个基于LLaMA架构的Transformer自回归地预测每一帧在多个尺度上的残差图，预测条件是所有已生成帧的完整多尺度表示、当前帧的更粗尺度残差、以及文本提示。最后通过多阶段训练流程逐步对齐空间和时间学习。
VideoAR与已有方法的本质区别在于三个设计选择。第一，与LlamaGen、MAGVIT-v2等逐token自回归方法不同，VideoAR在帧内采用多尺度残差预测而非光栅扫描逐token预测，这天然匹配2D图像结构，序列长度大幅缩短。第二，与InfinityStar的3D-VAR（每个生成块操作一个时间窗口内的多帧）不同，VideoAR采用严格的下一帧预测范式，每帧独立进行多尺度生成，帧间通过因果状态传递时间信息，这使得模型可以灵活控制生成时长。第三，与所有现有方法不同，VideoAR提出了Cross-Frame Error Correction机制——通过在训练时对每帧的比特级残差注入随时间递增的随机翻转（flip ratio从0渐增到0.25），并让第一帧的翻转比例继承上一帧末尾尺度的翻转比例，迫使模型学习在每个时间步纠正前序误差，从根本上解决自回归视频生成的误差传播问题。
方法步骤详情
VideoAR的方法包含以下关键步骤。第一步，3D视频分词：输入视频 $V \in \mathbb{R}^{(1+T) \times H \times W \times 3}$ 通过3D因果卷积编码器压缩为时空潜在表示 $F \in \mathbb{R}^{(1+T/\tau) \times H' \times W' \times d}$，再通过时间独立的多尺度量化器将每帧分解为K个逐渐增大的残差图 $R_k \in \mathbb{R}^{H_k \times W_k \times |V|}$。第二步，自回归生成：Transformer对第t帧的第k个尺度预测残差 $\hat{R}_k^t$，输入特征通过聚合当前帧所有更粗尺度的残差构建：$\tilde{F}_{k-1}^t = \text{down}\left(\sum_{i=1}^{k-1}\text{up}(R_i^t, (H,W)), (H_k, W_k)\right)$。第三步，位置编码：采用Multi-scale Temporal RoPE，将位置分解为时间t、高度h、宽度w三个轴，对文本token赋予相同的时间和空间索引以保持兼容性，同时添加可学习的尺度嵌入 $s_k$ 区分不同尺度。第四步，训练增强：应用Cross-Frame Error Correction（时间相关的比特级翻转腐蚀，Eq.8）和Random Frame Mask（在因果滑动窗口内随机遮断帧依赖，Eq.9）两项策略。第五步，多阶段训练：Stage I在图像和低分辨率视频上联合预训练，Stage II在高分辨率数据上继续训练，Stage III在高分辨率长视频上微调。第六步，推理：采用因果解码配合缓存状态，应用时空自适应CFG，通过帧重编码实现时长扩展。
技术新颖性
VideoAR的技术新颖性体现在多个层面。首先是架构创新：首次将VAR范式从图像扩展到视频，提出3D因果卷积分词器架构，从预训练的2D分词器通过3D膨胀策略初始化，实现了16倍空间压缩比——这是MAGVIT和OmniTokenizer等已有方法8倍压缩的2倍，使得每个视频帧仅需64个token（$8 \times 8$），序列长度缩减4倍。其次是位置编码创新：Multi-scale Temporal RoPE将标准RoPE扩展为三轴因子化设计，在保持与文本RoPE兼容性的同时显式编码时间和多尺度空间位置，消融实验证明单独使用即可将gFVD从96.04降至94.95。第三是训练策略创新：Cross-Frame Error Correction通过时间递增的比特级翻转腐蚀和帧间误差继承机制（翻转因子 $\delta = 0.01$）模拟推理时的误差累积，Random Frame Mask通过伯努利采样随机遮断注意力窗口内的帧依赖，两项策略分别对应'纠正误差'和'减少误差传播路径'两个互补方向。最后是推理创新：提出时间-空间自适应CFG调度策略，沿尺度和时间维度分别调整引导强度，在语义保真度和时间一致性之间实现灵活平衡。
实验结果
VideoAR在多个基准上取得了显著成果，核心发现如下。在UCF-101类条件生成任务上，VideoAR-XL（2B参数）达到88.6的gFVD分数，超越此前最佳自回归模型PAR-4x的99.5，提升幅度达11%。更值得注意的是推理效率：VideoAR仅需30个推理步骤，相比PAR-4x的323步减少超过10倍，推理时间从11.27秒降至0.86秒（VideoAR-L，926M参数），实现13倍加速。在分词器质量上，VideoAR-L在16倍空间压缩下达到61的rFVD分数，与MAGVIT在8倍压缩下的58相当，证明了激进压缩策略的有效性。在VBench真实世界文生视频评估上，VideoAR-4B达到81.74的总分，与参数量大7.5倍的Step-Video-T2V（30B，81.83）和大3.25倍的Hunyuan-Video（13B，83.24）相当。尤其突出的是VideoAR达到77.15的语义分数（Semantic Score），为所有方法中最高，展示了卓越的文本-视频对齐能力。此外，VideoAR在Object Class（94.98）和Multiple Objects（72.88）上也取得了最佳或接近最佳成绩。消融实验进一步验证了各组件的贡献：Multi-scale Temporal RoPE将gFVD从96.04降至94.95，加上Time-dependent Corruption进一步降至93.57，再加上Error Inheritance降至92.50。Random Frame Mask在VBench上将Overall Score从76.22提升至77.00。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| UCF-101 类条件视频生成 | gFVD ↓ | VideoAR-XL: 88.6, VideoAR-L: 90.3 | PAR-4x: 99.5 | 相对提升11%（从99.5到88.6），推理步骤从323降至30 |
| VBench 文生视频 | Total Score | 81.74 | CogVideoX(5B): 81.61, LaVie(3B): 77.08 | 超越CogVideoX 0.13分，超越LaVie 4.66分 |
| VBench 语义分数 | Semantic Score | 77.15 | CogVideoX: 77.04, Hunyuan-Video(13B): 75.82 | 所有方法中最高，为SOTA |
| UCF-101 视频重建 | rFVD ↓ | 61（16倍压缩） | MAGVIT: 58（8倍压缩）, OmniTokenizer: 42（8倍压缩） | 4倍序列长度缩减下保持可比重建质量 |
| UCF-101 推理速度 | Time (s) | VideoAR-L: 0.86s, VideoAR-XL: 1.12s | PAR-4x: 11.27s, OmniTokenizer: 336.70s | 相比PAR-4x加速13倍，相比OmniTokenizer加速391倍 |
局限与改进
作者在论文中坦诚地指出了当前模型的三个主要局限性。第一，分辨率和帧率受限：VideoAR-4B目前生成的视频分辨率为384×672、帧率为8FPS，远未达到商业应用的标准规格（通常为24FPS、720P）。这一限制源于训练时计算资源的约束导致最大序列长度受限，加上全VAR注意力掩码带来的高计算开销。第二，高动态场景下的漂移问题：VideoAR-4B在处理复杂人体运动等高动态场景时倾向于产生漂移运动，这是自回归模型固有的误差传播问题在极端情况下的表现。第三，本文作者自己的观察——与InfinityStar的对比分析表明，VideoAR从头训练而非从大规模预训练图像生成模型微调，在利用已有视觉知识方面存在劣势；训练序列长度相对有限，长程时间一致性尚未被充分探索。此外，论文未提供模型权重或完整训练代码，对社区复现和进一步研究造成一定障碍。
独立分析的弱点
从独立分析的角度，VideoAR存在以下几个值得关注的弱点。首先，16倍空间压缩虽然大幅缩短了序列长度，但在精细纹理和小物体的重建上不可避免地会损失信息，rFVD分数61相比OmniTokenizer的42仍有差距，这表明压缩效率的提升是以牺牲部分重建保真度为代价的。改进方向可以探索自适应压缩策略，对纹理复杂区域使用更高分辨率的token。其次，全VAR注意力掩码导致计算开销随帧数平方增长，限制了长视频生成的可扩展性。可以考虑引入稀疏注意力机制，如局部窗口注意力加全局token混合，以降低计算复杂度。第三，Cross-Frame Error Correction中的翻转比例调度（$p_{min}=0, p_{max}=0.25, \delta=0.01$）是一个经验性设计，缺乏理论分析来确定最优参数。可以通过系统性的超参数搜索或自适应调度来改进。第四，论文中的CFG调度策略针对不同任务（UCF-101 vs 真实世界文生视频）采用了不同的手动设计调度，缺乏统一的自适应机制，未来可学习CFG调度本身。最后，8FPS的帧率使得生成的视频在观看体验上明显卡顿，限制了实际应用价值。
未来方向
基于论文成果和当前局限，可以延伸出多个有前景的未来研究方向。作者明确提出的包括：扩展训练序列长度以探索长程时间一致性，探索稀疏注意力机制以支持高分辨率流式视频生成，以及整合迭代推理时rollout和强化学习算法来改善高动态场景的生成质量。从更广泛的角度，VideoAR的VAR+下一帧预测范式可以自然地扩展到多模态生成——例如与音频自回归模型结合实现视频-音频联合生成。帧重编码机制已展示了时长扩展的潜力，未来可以研究更高效的无限长度视频流式生成方法。此外，将VideoAR的分词器和生成框架应用于视频编辑、视频预测、视频理解等下游任务也是有价值的方向。从缩放定律的角度，VideoAR已经观察到模型增大带来质量提升的清晰趋势，更大规模的训练（如10B+参数）有望进一步缩小与扩散模型的差距。最后，探索连续值token替代离散量化可能进一步提升生成质量。
复现评估
从复现角度来看，本文存在一定的复现挑战。开源方面，论文提供了项目主页链接（https://ernie-research.github.io/VideoAR/），但截至论文发布时未提供模型权重或完整训练代码。数据方面，UCF-101是公开数据集（8K视频片段，101个动作类别），可用于复现基准实验，但大规模真实世界训练使用的是百度内部私有数据集，这使得完整复现大规模实验结果几乎不可能。算力方面，论文训练了926M、2B和4B三个规模的模型，采用多阶段训练流程（三个Stage），对计算资源需求较高，小规模团队难以负担。技术细节方面，论文提供了较为详细的超参数设置（如翻转比例参数$p_{min}=0, p_{max}=0.25, \delta=0.01$，AdamW优化器参数$\beta_1=0.9, \beta_2=0.95$，学习率$1 \times 10^{-4}$），分词器从公开的Infinity图像模型初始化，这些信息对复现有帮助。总体而言，UCF-101基准实验的复现可行性中等，但完整系统（包括大规模真实世界训练）的复现难度较高。
论文图表