自适应一维视频扩散自编码器 Adaptive 1D Video Diffusion Autoencoder
用 Transformer 替代 CNN 做视频压缩，支持自适应长度编码和扩散解码
前置知识
视频自编码器 (Video Autoencoder)
视频自编码器是视频生成管线中的核心组件，由编码器和解码器两部分组成。编码器将原始像素空间的视频（如 17×256×256×3）压缩为低维隐空间表示（latent），解码器再从隐空间重建视频。这种压缩大幅降低了后续生成模型的计算量——例如一个 5 秒 1080p 视频约需 200,000 个 token，压缩后可能只需几千个。主流视频自编码器（如 HunyuanVideo、Wan2.1）通常采用 3D CNN 架构，在空间维度做 8× 或 16× 压缩，在时间维度做 4× 压缩。
本文提出的 One-DVA 是一种全新的视频自编码器范式，理解传统视频自编码器的工作方式和局限性是理解本文创新点的基础。
扩散模型与 Flow Matching
扩散模型通过逐步向数据添加噪声再学习去噪来生成数据。Flow Matching 是扩散模型的一种变体，它学习从噪声到数据的速度场（velocity field），训练目标是最小化预测速度与真实速度之间的均方误差，其中噪声样本通过对原始数据和随机噪声进行线性插值得到。推理时通过多步采样从纯噪声逐步生成干净视频。
One-DVA 的解码器是一个像素空间的扩散 Transformer，理解扩散训练和采样机制才能理解其解码策略以及为何需要多步采样。
可变长度编码 (Variable-length Encoding)
传统视频自编码器对所有视频使用固定的压缩比（如 4×16×16），无论视频内容复杂度如何都产生相同大小的隐空间表示。可变长度编码则根据视频内容动态调整隐空间大小——简单视频用更少的 token，复杂视频用更多。这类似于 Matryoshka（套娃）学习策略，训练时随机丢弃部分 token 来模拟不同压缩比。
可变长度编码是本文三大核心创新之一，理解它才能理解为何本文能实现自适应压缩以及这种设计带来的 token 效率优势。
Query-based Transformer 与 Vision Transformer (ViT)
Vision Transformer 将图像/视频切分成 patch，通过自注意力机制处理这些 patch 序列。Query-based 方法则引入一组可学习的 query token，让它们通过交叉注意力从输入特征中选择性地提取信息。这种设计的关键优势是 query 数量可以任意设定，从而天然支持可变长度输出。在本文中，1D query 从 ViT 提取的时空特征中抽取重建所需的视觉信息。
本文编码器的核心架构就是基于 query 的 ViT，理解 query 机制才能理解编码器如何提取可变长度的 1D 隐变量。
隐空间对齐 (Latent Space Alignment)
当一个模型的隐空间包含多种不同来源的表示（如本文的结构化隐变量和 1D 隐变量）时，这些表示可能具有不同的统计特性和分布，直接混合使用会导致训练不稳定。隐空间对齐通过正则化损失（如 KL 散度、余弦距离匹配）将不同来源的隐变量拉到相似的分布空间，使下游模型能统一处理它们。
One-DVA 的结构化隐变量和 1D 隐变量来自不同的提取路径，统计特性差异大，理解隐空间对齐机制才能理解如何让这两类隐变量在统一的 LDM 中协同工作。
研究动机
现有视频自编码器存在三个核心问题。第一，固定压缩率造成 token 浪费。以 24fps、5 秒 1080p 视频为例，使用 16× 空间和 4× 时间压缩后仍需约 200,000 个 token，但很多简单视频（如静态场景、缓慢运动）其实远不需要这么多 token 来表示。固定压缩率无法根据视频内容复杂度动态调整，导致简单视频浪费 token、复杂视频信息不足。第二，CNN 架构的固有限制。主流视频自编码器（CogVideoX、HunyuanVideo、Wan2.1/2.2 等）均采用 3D CNN 架构，CNN 的固定大小卷积核无法处理可变形状的输入，从根本上阻碍了可变长度隐变量的建模。第三，确定性解码器的重建上限。现有方法的解码器是确定性的 CNN，当压缩比过高时，丢失的高频细节无法恢复，解码器只能尽力拟合，而非通过生成来补偿缺失信息。
本文的目标是本文的目标是设计一种全新的 Transformer 视频自编码器框架，同时实现三个目标：（1）支持自适应可变长度压缩，根据视频内容复杂度动态调整隐变量长度，提高 token 利用效率；（2）使用 Transformer 架构替代 CNN，获得处理任意形状输入的灵活性；（3）引入基于扩散的生成式解码器，将重建视为生成的子任务，通过学习数据分布来补偿压缩损失的细节。最终要在标准压缩比下达到与 3D CNN VAE 相当的重建质量（PSNR、SSIM、LPIPS 等指标），同时额外支持自适应压缩和下游生成。
与已有工作不同的是，本文的独特切入角度在于将三个原本独立探索的特性——可变长度 1D 编码、Transformer 架构、扩散解码——整合到一个统一的视频自编码器中。此前的工作分别验证了这些想法：1D 自编码器（如 TiTok、One-D-Piece）探索了可变长度编码但在图像领域；扩散解码器（如 D-AE、ε-VAE）探索了生成式解码但通常用于 2D CNN 自编码器；3D Transformer 自编码器（如 Magi-1）探索了 Transformer 架构但未实现自适应压缩。本文抓住的关键洞察是：Transformer 架构天然支持可变长度输入输出（通过注意力机制），而这正是实现自适应压缩的架构基础。此外，将重建视为生成的子任务、用扩散解码器补偿压缩损失，这一视角转换也是本文独有的思考。
核心方法
One-DVA 的整体设计可以用一个类比来理解：传统的视频自编码器像是用固定规格的集装箱装货——不管货物大小，都用同样大的箱子。One-DVA 则像是自适应打包系统——先用 ViT 骨干网络提取视频的全局结构信息（相当于先量货物大小），再用一组可学习的 query 去选择性地抽取细节信息（相当于按需添加填充物），query 的数量可以根据视频复杂度动态调整。解码器则不走传统的确定性重建路线，而是在像素空间做条件扩散生成——想象一个画家看着粗略的素描（隐变量），通过多步细化画出完整的画作，能自动补回压缩时丢失的细节。技术路线上，编码器是一个 query-based ViT，输出两类隐变量：结构化隐变量（来自 ViT 的时空特征）和 1D 隐变量（来自 query 的选择性提取）；解码器是一个像素空间 Diffusion Transformer（DiT），以这两类隐变量为条件进行视频重建。
One-DVA 最核心的创新是将可变长度 1D 编码与扩散解码统一在一个 Transformer 框架中，这与已有方法有本质区别。首先，与传统 3D CNN VAE（如 HunyuanVideo 的 4×8×8 压缩）不同，One-DVA 用 query-based Transformer 替代 CNN，使得隐变量长度可以任意调整——训练时通过「变量长度丢弃」（Variable-length Dropout）随机丢弃 1D 隐变量的尾部来模拟不同压缩比，类似 Matryoshka 套娃学习。其次，与确定性解码器不同，One-DVA 的解码器是像素空间的扩散 Transformer，将重建视为条件生成任务。这一视角转换的关键意义在于：当压缩比过高导致信息丢失时，确定性解码器只能产生模糊的平均结果，而扩散解码器可以利用学到的数据分布来「生成」合理的细节。第三，双阶段训练策略是实现这一框架的关键：第一阶段用确定性预训练迫使编码器学习完整的信息提取能力（解码器输入纯噪声，防止信息泄露），第二阶段才释放扩散调度和可变长度丢弃。
方法步骤详情
One-DVA 的完整流程分为编码、隐空间处理和解码三个阶段。编码阶段：输入视频（如 17×256×256）首先通过线性 patchifier 将 RGB 像素投影为高维时空嵌入，然后展平为序列并与可学习的 1D query 拼接。这个序列经过 24 层 Transformer block 的自注意力处理后，query 从时空特征中选择性提取重建所需的信息。之后通过通道压缩层降低维度，并从 query 特征中选取前 ceil(T/Pt - 1) × ceil(H/Ps) × ceil(W/Ps) 个形成 1D 隐变量，同时从时空特征中采样形成 1 × ceil(H/Ps) × ceil(W/Ps) 的结构化隐变量。隐空间处理阶段：变量长度丢弃模块根据视频运动分数（由启发式运动估计器计算像素差异得出）动态截断 1D 隐变量长度，丢弃的 token 用 padding 替代。训练时 10% 的条件使用完整隐变量，10% 仅使用结构化隐变量。解码阶段：解码器是像素空间 DiT，输入包括噪声输入（随机噪声或加噪后的原始视频）和条件（处理后的隐变量），通过线性层变换后拼接送入 Transformer block，输出速度预测，通过多步采样从噪声生成重建视频。unpatchifier 包含跳跃连接、线性投影、像素洗牌和最终卷积层。
技术新颖性
One-DVA 的技术新颖性体现在三个层面。第一，架构层面：它是首个将 query-based ViT 编码器与像素空间扩散 Transformer 解码器结合的视频自编码器，而此前的 1D 自编码器（TiTok、One-D-Piece）仅用于图像，视频领域的 Transformer 自编码器（Magi-1）使用 3D 结构化隐变量而非 1D 可变长度隐变量。第二，训练策略层面：双阶段训练（确定性预训练 + 随机后训练）是专门为这一框架设计的——第一阶段通过输入纯噪声迫使编码器承担全部重建责任，避免信息泄露；第二阶段释放扩散调度和可变长度丢弃。端到端训练的对比实验（Tab. 3）证明了这一策略的有效性：端到端训练的 rFVD 为 230.06，而两阶段训练达到 115.64。第三，适配生成的后训练流程：隐空间对齐（自对齐损失）将 1D 隐变量与结构化隐变量对齐，使其能在统一的 LDM 中建模；解码器微调使用 LDM 生成的隐变量（而非编码器的隐变量）来训练，消除了训练-推理不一致导致的 patch-like 伪影。
实验结果
论文的核心实验结果可以分为重建质量和生成质量两大部分。在重建质量方面（Tab. 1），One-DVA 在标准压缩比（4×16×16）下使用 100% 1D 隐变量时，PSNR 达到 36.48（最优），SSIM 达到 0.95（最优），rFVD 为 56.96（第二优，仅次于 HunyuanVideo 的 51.47），LPIPS 为 0.025。值得注意的是，HunyuanVideo 使用的是 4×8×8 压缩比（通道维度 16），而 One-DVA 使用更激进的 4×16×16 压缩比（通道维度 64），在更高压缩比下仍能取得有竞争力的结果。当使用自适应压缩（Avg 55.8% 1D）时，PSNR 为 35.42，rFVD 为 70.28，这意味着在仅使用约 56% 的 1D token 的情况下仍保持合理质量。消融实验（Fig. 3）表明增加扩散采样步数对短隐变量的重建增益更大——从 1 步到 25 步，100% 1D 时 rFVD 从 58.64 降至 56.96，而 0% 1D 时从 170 降至 149.97。训练策略消融（Tab. 3）证明两阶段训练优于端到端训练：两阶段的 rFVD 为 115.64 而端到端为 230.06。在生成质量方面（Tab. 4），类条件视频生成的 gFVD 为 210.9，与 Hi-VAE 的 210.9 持平，显著优于 Latte（478.0）和 LVDM（372.0）。消融表明解码器微调贡献明显：不微调时 gFVD 为 274.2，微调后降至 210.9；仅使用结构化隐变量（0% 1D）时 gFVD 为 325.8，说明 1D 隐变量对生成质量至关重要。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视频重建 | PSNR (↑) | 36.48 | HunyuanVideo 35.54 / Wan2.1 34.95 | +0.94 / +1.53 |
| 视频重建 | SSIM (↑) | 0.95 | HunyuanVideo 0.94 / Wan2.1 0.94 | +0.01 |
| 视频重建 | rFVD (↓) | 56.96 | HunyuanVideo 51.47 / Wan2.2 60.18 | -5.49 (vs HunyuanVideo) / +3.22 (vs Wan2.2) |
| 视频重建 | LPIPS (↓) | 0.025 | HunyuanVideo 0.023 / Wan2.1 0.024 | -0.002 / -0.001 |
| 类条件视频生成 | gFVD (↓) | 210.9 | Hi-VAE 210.9 / Latte 478.0 | 持平 / -267.1 |
局限与改进
论文在多个方面存在局限性。首先，模型规模方面，作者训练了 1B 和 3B 参数的自编码器并发现性能几乎相同（Fig. 12），这说明当前的重建目标可能过于简单，无法充分利用更大模型的容量，但也暗示了该框架在规模化方面的天花板。其次，token 长度估计目前依赖启发式运动分数（基于像素差异的指数移动平均），缺乏理论最优性，作者也承认「identifying the theoretically optimal token length remains an open question」。第三，计算资源需求较高：训练需要 48 张 80G GPU，第一阶段 415K 迭代（约 7 天），第二阶段 800K 迭代，加上隐空间对齐和解码器微调，总训练成本显著高于传统 CNN VAE。第四，流式生成尚未实现——作者提到架构有支持流式生成的潜力（利用重叠时空窗口类似 Magi-1），但实验中未验证。第五，评估数据集较小（1000 个视频片段），且仅在 17×256×256 等较低分辨率下评估，未在 1080p 或更长视频上验证。此外，GAN 后训练的失败（Tab. 6 显示 5K 迭代 GAN 训练导致 rFVD 从 67.56 恶化到 75.48）表明该框架与对抗训练的兼容性有待探索。
独立分析的弱点
从独立分析的角度，One-DVA 存在几个值得关注的弱点。第一，推理效率问题：解码器是像素空间的扩散 Transformer，需要多步采样（论文中使用 25 步），每一步都需要完整的 DiT 前向传播，这比传统确定性 CNN 解码器慢数十倍。在实际部署场景中，如果下游应用对延迟敏感（如实时视频编辑），这可能成为瓶颈。改进方向可以探索一致性模型或蒸馏技术将采样步数压缩到 1-4 步。第二，64 通道的隐变量维度较大：传统 3D CNN VAE 使用 16 通道，而 One-DVA 使用 64 通道，这增加了下游 LDM 的计算量。虽然压缩比更高（4×16×16 vs 4×8×8），但通道维度的 4 倍增长部分抵消了这一优势。可以探索更高效的通道压缩策略或量化方法。第三，隐空间对齐的局限性：自对齐损失强制 1D 隐变量模仿结构化隐变量的分布，这可能限制了 1D 隐变量表达高频细节的能力——对齐越强，1D 隐变量越「像」结构化隐变量，其独特价值就越小。Tab. 5 显示对齐权重 0.01 时 PSNR 保持 36.55，但权重增大到 0.1 时 PSNR 降至 35.83，说明过度对齐会损害重建。第四，缺乏与最新 SOTA 的全面对比：论文未与 2025 年下半年的最新工作（如 HunyuanVideo 1.5、LTX-Video 等）进行对比，难以准确定位其在当前技术前沿的位置。
未来方向
作者在论文末尾提出了几个重要的未来方向。第一，流式生成（streaming generation）：利用重叠时空窗口实现长视频建模，类似 Magi-1 的设计，这是将 One-DVA 应用于长视频生成的关键。第二，全合一像素空间扩散解码器：将重建和条件生成任务（文本/图像到视频）整合到单一解码器框架中，消除对独立 LDM 的需求，实现真正的端到端视频生成。第三，引入预训练基础模型（如 CLIP）开发语义更丰富的基础自编码器，支持多尺度编码。基于本文成果还可延伸以下方向：探索 1D 隐变量的离散化（如 VQ 或 FSQ），使其能与自回归模型兼容；研究更优的 token 长度估计方法，从启发式走向可学习的评分网络；将 One-DVA 应用于视频编辑、视频理解等下游任务，验证其隐空间的通用性。
复现评估
复现评估方面，论文提供了较详细的架构和训练细节。模型架构：编码器和解码器均使用 1152 维隐藏层、24 个 block、16 个注意力头，自编码器总参数量 1.0B，DiT 为 1.3B 参数。训练细节：AdamW 优化器（beta1=0.9, beta2=0.999），学习率第一阶段 5e-5、第二阶段 1e-5，损失权重 lambda1=10, lambda2=0.1, lambda3=1e-4, lambda4=0.1。数据集使用大规模内部数据（未公开），评估使用 Frozen in Time 的 1000 个视频片段。算力需求：48 张 80G GPU，第一阶段约 7 天，第二阶段约 800K 迭代，加上后训练总时长约数周。复现的主要障碍是：（1）训练数据未开源，需要自行收集大规模视频数据集；（2）计算资源需求较高，48 张 80G GPU 对大多数实验室是显著门槛；（3）论文未提供开源代码或预训练权重。总体复现难度中等偏高，适合有充足 GPU 资源的研究团队。
论文图表
