EVATok：面向高效视觉自回归生成的自适应长度视频分词器 EVATok: Adaptive Length Video Tokenization for Efficient Visual Autoregressive Generation
通过内容自适应的token分配，在保持重建质量的同时节省24%以上的视频token开销
前置知识
视频分词器（Video Tokenizer）
视频分词器是将连续的像素级视频帧压缩成离散token序列的神经网络组件。它通过编码器将高维视频数据映射到低维潜在空间，然后通过向量量化（VQ）将连续特征离散化为码本中的离散token。解码器则从这些离散token重建原始视频。分词器的设计直接决定了重建质量和token序列长度，进而影响下游自回归模型的计算成本和生成质量。
本文的核心就是改进视频分词器的token分配策略，理解分词器的工作原理是理解本文创新点的基础。
自回归视频生成（AR Video Generation）
自回归视频生成模型借鉴了大型语言模型（LLM）的next-token预测范式，将视频生成转化为序列预测任务。模型以离散token序列为输入，通过因果注意力机制逐个预测下一个token，最终生成完整的视频。这种方法的优势在于可以利用LLM的规模化训练技术和统一的多模态生成能力，但token序列的长度直接影响训练和推理的计算开销。
本文的优化目标是为下游AR生成模型提供更高效的token序列，理解AR生成的工作方式有助于理解为什么token长度如此重要。
代理奖励（Proxy Reward）
代理奖励是本文提出的一个新颖度量指标，用于量化特定token分配方案的质量-成本权衡性能。它综合考虑重建质量（通过LPIPS衡量）和token长度成本，并通过权重参数反映对质量或成本的偏好。具体公式为 R_proxy = w_q * Q(E_proxy, x, a) - w_l * L(a)，其中 w_q 和 w_l 分别控制对质量和成本的偏好。
代理奖励是本文方法论的核心创新，它将最优分配识别问题转化为可计算的优化问题，是整个四阶段框架的理论基础。
Q-Former架构
Q-Former是一种基于Transformer的查询式编码器架构，最初由BLIP-2提出用于视觉-语言对齐。在视频分词器中，Q-Former使用可学习的1D查询序列从3D视频特征中提取信息，通过交叉注意力机制实现灵活的token长度调整。这种架构天然适合自适应分词，因为可以灵活控制查询序列的长度来产生不同数量的token。
EVATok采用Q-Former风格的1D分词器架构，理解这种架构有助于理解为什么EVATok能够实现灵活的token长度分配。
时序因果注意力（Temporally Causal Attention）
时序因果注意力是一种注意力掩码机制，确保视频分词器中的1D token只能编码来自当前及之前时序块的信息，而不能访问后续时序块的内容。这种因果约束对于自回归生成至关重要，因为它保证了token序列的时序一致性，使得AR模型能够在推理时按时间顺序生成视频。
时序因果注意力是EVATok架构设计的关键组成部分，理解它有助于理解token如何在不同时间块之间分配和编码。
研究动机
现有的视频分词器普遍采用均匀token分配策略，对所有视频的每个时序块分配相同数量的token。这种一刀切的方法在处理视频内容时存在严重的效率问题：对于简单、静态或重复的视频片段（如背景静止的对话场景），分配了过多的token造成计算浪费；而对于动态或复杂布局的片段（如快速运动的体育场景），token数量又不足以充分编码信息，导致重建质量下降。以因果视频分词器为例，一个 16x128x128 的视频片段通常被均匀分配1024个token，但这种分配方式完全没有考虑视频内容的实际复杂度。更关键的是，信息密度不仅在不同视频之间存在差异，在同一视频的不同时间块之间也存在显著变化——这正是均匀分配策略的根本缺陷。
本文的目标是本文的核心目标是为每个视频预测一个最优的token分配方案 a* = (k_1, k_2, ..., k_T)，使得在给定的质量-成本偏好下，能够实现最佳的重建质量与token开销的权衡。具体而言，EVATok希望在保持或提升重建质量的同时，相比均匀分配基线节省至少20%的token长度，并且这种效率提升能够转化为下游AR生成模型的性能改进。此外，框架需要能够处理不同长度的视频，并支持灵活的质量-成本偏好调节。
与已有工作不同的是，与之前的自适应视频分词器（如ElasticTok和AdapTok）相比，EVATok的独特切入角度在于：它不依赖于启发式的阈值搜索或小批量整数线性规划（ILP）来确定token分配，而是将最优分配识别问题形式化为一个可计算的最大代理奖励分配预测任务。这种方法的本质区别在于，它为每个视频单独确定最优分配，而不是在批次层面进行优化，从而能够更精确地匹配每个视频的内在复杂度。此外，EVATok首次提出了通过轻量级路由器来快速预测最优分配的方法，避免了推理时的暴力搜索开销。
核心方法
EVATok的方法可以类比为一个智能的资源分配系统：想象你有一个视频编辑团队，需要决定将多少预算分配给不同片段的制作。传统方法是对所有片段平均分配预算，而EVATok的做法是先让一个「评估专家」（代理分词器）分析每个片段的复杂度，找出最优的预算分配方案；然后训练一个「快速决策者」（路由器）学习这些最优分配；最后用这个决策者来指导实际的视频编码。技术路线上，EVATok采用四阶段框架：(1)训练代理分词器用于评估不同分配方案的质量；(2)通过代理奖励搜索最优分配并构建训练数据集；(3)训练轻量级路由器实现快速分配预测；(4)使用路由器指导训练最终的自适应分词器。
EVATok的核心创新在于代理奖励（Proxy Reward）的概念和基于路由器的快速分配预测机制。与已有方法的本质区别在于：传统方法（如ElasticTok）使用启发式的阈值搜索来确定保留多少token，这种方法无法保证全局最优；而AdapTok使用小批量ILP优化，但受限于批次组成和固定的平均预算约束。EVATok则直接为每个视频定义了一个可优化的目标函数 R_proxy = w_q * Q(E_proxy, x, a) - w_l * L(a)，通过代理分词器来评估任意分配方案的质量-成本权衡，从而能够精确找到每个视频的最优分配。更重要的是，EVATok训练了一个轻量级路由器来快速预测这些最优分配，使得推理时无需暴力搜索，实现了真正的实时自适应分词。
方法步骤详情
EVATok的四阶段框架具体如下：第一阶段，训练代理分词器。输入随机采样的token分配 a = (q_1, q_2, q_3, q_4)，分词器学习在不同分配下重建视频。采用Q-Former风格的1D分词器架构，视频先被时空patch化为3D嵌入，然后根据分配初始化1D查询序列，经过Q-Former编码和向量量化后得到离散token。训练损失包括L1重建损失、感知损失、对抗损失、VQ码本损失和表示对齐损失，总损失为 L_total = L_vqgan + lambda * L_align + gamma * L_entropy。第二阶段，构建路由器训练数据集。使用训练好的代理分词器，对100k视频片段遍历所有候选分配方案（每个时序块有5种选择{32, 64, 128, 256, 512}，4个块共625种组合），计算每种分配的代理奖励，选择奖励最高的分配作为该视频的最优分配。第三阶段，训练路由器。采用ViT-S架构（19.9M参数），将最优分配预测建模为分类任务，输入视频输出625种候选分配的概率分布，使用交叉熵损失训练。第四阶段，训练最终自适应分词器。使用路由器预测的最优分配来指导分词器训练，避免了代理分词器的训练-推理差距问题。最终分词器还引入了VideoMAE语义判别器来提升重建质量。
技术新颖性
EVATok的技术新颖性体现在多个方面：首先，代理奖励的概念是全新的，它将重建质量和token成本统一到一个可优化的目标函数中，使得最优分配识别变得可计算。其次，将最优分配预测重新定义为分类任务并通过路由器实现，这是一种高效的新范式，避免了推理时的暴力搜索。第三，EVATok摒弃了传统的尾部token丢弃（tail-token-dropping）策略，直接在查询初始化阶段决定token长度，避免了额外计算开销和尾部查询角色模糊的问题。第四，将VideoMAE语义判别器引入视频分词器训练，虽然会略微降低PSNR/LPIPS指标，但显著提升了感知质量（减少模糊和时间闪烁），这一发现对视频分词器设计具有重要启示。
实验结果
EVATok在多个基准测试上展示了显著的效率和质量提升。在WebVid-10M数据集上，使用路由器的最终分词器相比均匀分配基线，在保持相当LPIPS的同时，实现了29.6%的token长度节省（从1024个token降至721个），并且重建FVD（rFVD）从63改善到33。在UCF-101数据集上，EVATok实现了24.4%的token节省（从1024降至774），同时重建质量更好（rFVD为13对比基线的13）。在下游AR生成任务中，UCF-101类条件视频生成的gFVD达到48，相比之前SOTA方法LARP的57提升了15.8%，同时生成token数量减少26.2%。在K600帧预测任务中，EVATok的gFVD为4.0，优于LARP的5.1和AdapTok的11，生成token数量减少15.8%。值得注意的是，VideoMAE语义判别器的应用虽然略微降低了PSNR（从27.77降至26.68）和LPIPS（从0.1056升至0.1197），但显著改善了rFVD（从63降至13）和下游gFVD（从98降至9），表明感知质量指标与像素级指标之间存在权衡。代理奖励策略相比均匀分配和阈值搜索策略都表现更好，在WebVid上实现了56%的token节省，在UCF上实现了42%的节省。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WebVid视频重建 | LPIPS | 0.1068 | 0.1056（均匀分配） | 可比性能，token节省29.6% |
| WebVid视频重建 | rFVD | 33 | 63（均匀分配） | 47.6%提升 |
| UCF-101视频重建 | LPIPS | 0.1212 | 0.1303（均匀分配） | 7.0%提升，token节省24.4% |
| UCF-101类条件生成 | gFVD | 48 | 57（LARP） | 15.8%提升，token节省26.2% |
| K600帧预测 | gFVD | 4.0 | 5.1（LARP） | 21.6%提升，token节省15.8% |
局限与改进
EVATok存在几个明显的局限性。首先，实验仅限于 16x128x128 的短视频片段，未在更高分辨率或更长时长的视频上验证，这限制了方法在工业级应用中的适用性。其次，当视频时长增加时，候选分配方案的数量会指数级增长（m^T），使得暴力搜索变得不可行，虽然作者讨论了潜在的自回归近似搜索方案（复杂度从 O(m^T) 降至 O(T^2)），但未在本文中实现。第三，由于计算资源限制，作者未在更复杂的下游任务（如文本到视频生成）上验证EVATok的效果。第四，代理奖励的计算需要遍历所有候选分配方案，这个过程虽然可以并行化，但仍需要大量计算资源（在64块V100上需要12.5小时处理100k视频）。此外，路由器的top-1准确率相对较低（WebVid上为11.72%，UCF上为5.77%），虽然代理奖励百分位数仍然很高（96%以上），但这表明路由器的学习任务具有一定的内在难度。
独立分析的弱点
从独立分析的角度，EVATok存在几个值得关注的弱点。首先，代理奖励的质量依赖于代理分词器的训练质量，如果代理分词器本身对某些分配方案的评估不准确，那么搜索到的「最优」分配可能并非真正最优。改进方向是引入更鲁棒的质量评估机制，例如使用多个代理分词器的集成或基于人类感知的评估指标。其次，路由器的分类建模方式将连续的分配空间离散化为625个类别，这可能导致分配粒度不够细。可以考虑将分类任务改为回归任务或使用混合精度预测。第三，VideoMAE判别器虽然提升了感知质量，但导致PSNR和LPIPS指标下降，这表明当前的评估指标体系可能无法完全反映人类感知质量。改进方向是开发更符合人类感知的综合评估指标。第四，四阶段训练框架的总训练成本较高（约521小时乘以64块V100），对于资源有限的研究团队可能难以复现。可以探索将多个阶段合并或使用更轻量级的代理模型来降低训练成本。
未来方向
基于EVATok的成果，未来研究方向可以从多个维度展开。作者提出的三个方向值得重点关注：(1)将自适应分词扩展到更长视频，通过自回归近似搜索将复杂度从 O(m^T) 降至 O(T^2)；(2)将自适应长度思想迁移到连续VAE和扩散模型中，探索扩散模型对可变长度序列的去噪能力；(3)改进路由器设计，使其能够接受显式的质量-成本偏好输入，提供更灵活的应用方式。此外，基于EVATok的框架还可以延伸到：多模态自适应分词，为文本-视频对齐任务设计自适应分配策略；实时自适应分词，通过在线学习或流式处理实现视频的实时自适应压缩；以及跨模态统一tokenization，将图像和视频的自适应分词统一到一个框架中。
复现评估
EVATok的复现可行性需要从多个方面评估。代码开源方面，论文提供了项目页面（https://silentview.github.io/EVATok/），但未明确说明是否开源代码。数据集方面，使用了公开可用的WebVid-10M、UCF-101和Kinetics-600数据集，数据获取相对容易。算力需求方面，四阶段框架的总训练成本较高：代理分词器训练需要64块V100运行116小时，数据集构建需要4x64块V100运行12.5小时，路由器训练需要32块V100运行5小时，最终分词器训练需要64块V100运行347小时。下游AR模型训练还需要额外的88-140小时乘以64块V100。总体而言，复现EVATok需要大规模GPU集群，对大多数研究团队来说存在一定门槛。建议的复现策略是先在小规模数据集上验证四阶段框架的可行性，再逐步扩展到完整规模。
论文图表
