VideoFlexTok：灵活长度的由粗到细视频分词方法 VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization
可变长度粗到细视频token，让生成模型少8倍算力
前置知识
VAE / VQ-VAE 视觉分词器
用编码器将高维像素压缩为低维潜空间表示（连续 VAE）或离散码本 token（VQ-VAE），再用解码器重建像素。视频场景下常用 3D 时空网格结构（如 VidTok FSQ、Cosmos-DV），将视频映射为固定大小的 $T \times H \times W$ 个 token。
本文提出的 VideoFlexTok 是 VAE-based 分词器的下一代演进，必须先理解 3D grid 分词器的工作原理和局限，才能体会为什么要打破固定大小结构。
Rectified Flow / Flow Matching
一类基于 ODE 的生成式建模方法。在数据 $x_0$ 与噪声 $x_1$ 间定义直线轨迹 $\tilde{x}_t = (1-t) x_0 + t x_1$，训练模型预测速度场 $v_\theta(\tilde{x}_t, t)$，再由数值积分生成数据。比 DDPM 步数更少、训练更稳。
VideoFlexTok 的解码器本质上是一个 rectified flow 模型，从任意数量的 token 重建视频。理解 flow matching 是看懂解码器损失 $\mathcal{L}_{Flow}$ 与多步去噪采样的前提。
Register Tokens
Darcet 等人 2023 年提出。在 ViT 输入序列中追加一组可学习的「寄存器」token，它们与 patch 一起做自注意力，但不直接对应图像块；其作用是吸收全局信息、避免 patch token 携带 artifact。FlexTok 把它重新用作输出表示空间。
VideoFlexTok 的核心是给每一帧加 $K=256$ 个 register token 作为表征载体，没有它就没有可变长度序列这一概念。
Nested Dropout
在训练时对 token 序列末端随机丢弃若干个：先选 $1 \le k \le K$，再 mask 掉第 $k+1 \sim K$ 个 token，迫使模型按位置重要性自动组织信息——前几个 token 必须能独立完成重建，从而 emergent 形成粗到细层级。
这是让 register token 自动涌现出「首 token 抓语义、末 token 抓细节」的关键训练技巧，是论文最核心的训练机制。
Time-Causal Attention
Transformer 内的因果掩码，只允许第 $t$ 帧的 token 关注 $\le t$ 的所有 token，禁止看未来帧。这与语言模型的自回归掩码类似，但维度是帧而非 token；好处是支持流式输入、保留时序结构。
VideoFlexTok 在编码器和解码器都用 time-causal attention，与 LARP 的全局自注意力形成对比，是本文的一个重要设计抉择。
FSQ (Finite Scalar Quantization)
Mentzer 等人 2023 年提出的离散化方法。不维护码本，而是把每个通道独立量化到几个有限的整数 bin（如每维 8 个 bin）。相比 VQ-VAE 没有码本坍缩问题，训练更稳定。VideoFlexTok 使用 64000 个隐式码（$\prod$ 各维 bin 数）。
VideoFlexTok 用 FSQ 而非 VQ-VAE 做离散化，是其能稳定支持 64000 大码本、高压缩率的工程基础。
REPA 表征对齐损失
Yu 等人 2025 年提出。在 diffusion / flow 训练中，把 decoder 中间层特征与 DINOv2 特征做余弦对齐，把自监督语义信号蒸馏到生成表征中，能加速收敛并提升质量。
VideoFlexTok 把 REPA 扩展为「让首 token 捕获语义」的关键工具，没有它，nested dropout 学到的只是重建重要性而非语义重要性。
FVD 与 ViCLIP Score
FVD 用 I3D 特征空间的高斯距离度量视频保真度；ViCLIP Score 用 InternVid 训练的 ViCLIP 模型算文本-视频相似度；Cls. Score 用 Kinetics 微调的 UMT-L 分类器评估类对齐。
所有实验指标都建立在这三个指标之上，理解它们各自捕捉「保真度」还是「语义对齐」才能正确解读 Table 1 和 Figure 6/7 的结论。
研究动机
现有视频分词器（VidTok FSQ、Cosmos-DV、Omnitokenizer、LARP 等）几乎都把视频表示为固定大小的时空 3D token 网格，每个视频无论内容复杂度都得到相同数量的 token（如 1280 或 1024 个）。这带来三个具体问题：(1) 任何视频都要用所有 token 表达低层细节，下游 text-to-video 模型必须学会「逐像素预测」，学习复杂度与视频长度线性增长；(2) 当视频时长加长时，token 数爆炸，AR Transformer 上下文长度与显存占用急剧上升，例如 17 帧就需要 5376 个 token；(3) 不同任务对抽象层次的需求不同（动作识别只需语义，而重建需要细节），固定粒度无法灵活适配。作者明确指出，「任何视频都用同样多 token」会导致「不必要的计算开销」。
本文的目标是本文提出 VideoFlexTok，把视频编码为可变长度的、由粗到细排列的 token 序列。前几个 token 主动捕获抽象信息（语义、几何、相机与物体运动），后续 token 渐进补充细节；解码器是 rectified flow 生成模型，能从任意数量的 token 前缀重建出真实视频。下游 AR 模型据此可以按需选择 token 数量，在对齐要求高的任务用 32 token/frame，在保真度要求高的任务用 256 token/frame。最终目标是：在不牺牲质量的前提下让 AR 视频生成模型规模缩小 5-10×、训练 token 量减少 5-10×、长视频（10 秒 81 帧）只用 672 token 即可生成。
与已有工作不同的是，本文的独特切入角度是「粗到细、灵活长度」这一组合，与已有方法的差异体现在三方面：(1) 对比 LARP 等 1D 平铺 token 方案，VideoFlexTok 采用时序因果的 2D register 结构，保留帧间时序使 AR 预测更易；(2) 对比 FlexTok 在图像上的工作，本文把它扩展到视频域并引入 REPA 语义蒸馏，让首 token 真正捕获语义/运动而非仅是「重建信息」；(3) 对比 ElasticTok 的可变长度方案，VideoFlexTok 压缩率更高（最多 256× 字节减少），并首次定量证明「灵活长度」带来训练算力的端到端下降。
核心方法
VideoFlexTok 的整体直觉是「让视频像人眼一样分层次感知」——先抓全局语义、再补充局部细节。技术路线上分三步：(1) 在 VidTok 3D VAE 潜空间上叠加时间因果 Transformer 编码器，每帧插入 $K=256$ 个可学习 register token 并与 VAE 潜变量沿时间维交错，经注意力融合后用 FSQ（64000 码本）离散化为 video tokens；(2) 在 token 序列第二维做嵌套 dropout（nested dropout），强制按位置重要性组织信息；(3) 训练一个 rectified flow 解码器（DiT 架构），输入为「mask 后的 register + 加噪 VAE latents」沿时间交错，输出为去噪潜变量。整体损失为 $\mathcal{L}(\theta) = \mathcal{L}_{Flow} + \lambda \cdot \mathcal{L}_{REPA}$，后者把 DINOv2 特征对齐到 decoder 中间层，让前几个 token 真正学到语义。
本文的核心创新点是把「嵌套 dropout 训练出的位置敏感表征」与「生成式 flow 解码器」结合，从而首次让视频分词具备真正的「按需精度」。与已有方法的本质区别在于：(1) 不再用显式监督去指定哪些 token 抓什么，而是让模型在「前 token 必须能独立重建」的压力下自己 emergent 出粗到细结构；(2) 解码器不是确定性 VAE 解码器，而是能「从任何前缀 token 补全合理细节」的流式生成模型，这是支持可变长度的关键；(3) 引入 REPA 损失把 DINOv2 的自监督语义信号注入首 token，确保 coarse 层不是「低码率重建」而是「真正的语义概括」。
方法步骤详情
完整方法步骤为：(1) 视频经 VidTok 3D VAE 编码为潜变量 $p \in \mathbb{R}^{T \times HW \times D}$（$C=16$，压缩比 $4 \times 8 \times 8$），与 register $r$ 沿时间维交错成 $[p_1, r_1, \ldots, p_T, r_T]$；(2) 时间因果 Transformer 编码器输出 $\hat{r}$；(3) FSQ（64000 码本）量化后做嵌套 dropout：随机 $1 \le k \le K$，mask 末尾 $K-k$ 个 token；(4) 解码器把 masked $\hat{r}$ 与加噪 VAE latents 沿时间交错，输入 DiT 预测速度场；(5) 损失 $\mathcal{L}(\theta) = \mathcal{L}_{Flow} + \lambda \cdot \mathcal{L}_{REPA}$；(6) 长视频切分为带 $n$ 帧重叠 chunk，后续 chunk 把前 chunk 末 $n$ 帧作条件保证时序一致性。
技术新颖性
技术新颖性体现在四个维度：(1) 时间因果 2D register 结构——既保留帧间时序（区别于 LARP 的 1D 平铺），又保留 token 内因果（区别于完整自注意力），让 token 序列可流式生成；(2) nested dropout + REPA 联合训练首次让「首 token 即语义」成为 emergent 现象，无需任何显式层级监督信号；(3) rectified flow 生成式解码器让「任意前缀都可解码」成为可能，区别于传统确定性解码器只能吃定长输入；(4) 长视频「重叠 chunk + 条件解码」策略在极少 token 下（32/frame）仍保持时序一致性，是 10 秒 81 帧视频仅用 672 token 重建的关键。
实验结果
论文在 Kinetics-600（C2V，128×128，17 帧）和 Panda70M（T2V，256×256）两大基准验证。核心发现四点：(1) Figure 6 左图 C2V 模型尺寸扫描中，VideoFlexTok 在 64M-2B 全尺寸下 gFVD 与 Cls. Score 都优于 3D grid，1.3B 即可达大模型级对齐；(2) 中图训练 token 扫描中，仅 1/5-1/10 训练 token 即可达同等指标；(3) 右图 T2V Chinchilla FLOPs 扫描中，32 token/frame 训练即可与全 token 持平，1.1B 比 5.2B baseline 更省算力；(4) Figure 1/8 展示 10 秒 81 帧长视频用 3.2B 模型、672 token（vs 5376）成功生成。Table 1 中 VideoFlexTok 以 5-1280 token（少 6-8 倍）取得 rFVD=48.7、gFVD=80.0、Cls.=0.833，超过 LARP/Cosmos/VidTok，仅 Cls. 略低于 Omnitokenizer。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Kinetics-600 类到视频生成（2.2B AR 模型） | gFVD (↓) | 80.0（5-1280 tokens，160 tokens 推理） | LARP 87.5 / VidTok FSQ 131.7 / Cosmos-DV 187.6 / Omnitokenizer 102.6 | 比最强 baseline LARP 提升 8.6%，且 token 数减少 6-8× |
| Kinetics-600 类到视频生成（2.2B AR 模型） | Cls. Score (↑) | 0.833 | LARP 0.739 / VidTok FSQ 0.799 / Omnitokenizer 0.858 | 比 LARP 提升 +0.094，仅比 Omnitokenizer 低 0.025 |
| Kinetics-600 重建质量（rFVD ↓） | rFVD (↓) | 48.7 | LARP 42.1 / Omnitokenizer 63.6 / Cosmos-DV 220.5 | 远超 Cosmos-DV，比 LARP 略高 6.6（trade-off 换取 6-8× token 效率） |
| T2V 模型规模对比（Chinchilla 缩放） | 可比 gFVD/ViCLIP Score 所需参数量 | 1.1B 模型即可达 5.2B 3D grid 水平 | 3D grid 5.2B 模型 | 5× 更小模型达到相同生成质量 |
| T2V 训练效率 | 达到相同对齐得分所需训练 token | 1/5-1/10 的 token 数 | 3D grid 全 token baseline | 训练 token 量减少 5-10× |
| 长视频 T2V（10s 81 帧） | 视频表征所需 token 数 | 672 tokens（32 token/frame） | 5376 tokens（3D grid 16×16×21） | 8× token 压缩，3.2B 模型用 ~$10^{21}$ FLOPs 即可训练 |
| T2V 1D vs 2D register 结构消融 | rFVD / gFVD (↓) | 时序因果 2D：rFVD=48.9, gFVD=287.6 | 1D 平铺：rFVD=69.9, gFVD=352.1 | 重建 rFVD 提升 21 点，下游生成 gFVD 提升 64 点 |
| 解码器自注意力模式消融 | rFVD / gFVD (↓) | Time-Causal：rFVD=80.9, gFVD=175.1 | Full Self-Attention：rFVD=58.3, gFVD=211.5 | gFVD 提升 36 点，rFVD 略升 22.6 但下游生成显著更好 |
局限与改进
作者承认的局限：(1) 实验仅在 400M-5.2B 模型范围内扩展，更大规模未验证；(2) tokenizer 主要在 17 帧训练，长视频仅做了 10 秒 81 帧示例；(3) Table 1 中 Cls. Score 略低于 Omnitokenizer（0.833 vs 0.858）；(4) REPA 增加训练成本与超参敏感度。我自己的观察：(a) Figure 7 显示 1-4 token/frame 的 gFVD 显著下降（如 Cls. 从 0.25 跌至约 0.05），coarse 抽象存在信息瓶颈；(b) Figure 8 长视频缺定量评估；(c) 仅在 Kinetics/Panda70M 验证，对人脸、医学等域迁移性未知；(d) FSQ 64000 码本的利用率与坍缩问题未深入讨论。
独立分析的弱点
独立分析的弱点：(1) **首 token 语义受 DINOv2 限制**：coarse token 捕获的语义被 DINOv2 预训练分布框定，若下游任务分布差异大（如医学视频）粗到细结构可能失效；改进方向是用任务相关或多教师蒸馏。(2) **长视频 chunk 边界伪影风险**：重叠 chunk 解码可能产生闪烁或运动不连续；改进方向是引入更长上下文 chunk 或 motion smoothness 正则。(3) **两阶段训练未端到端**：FSQ 离散化阻断梯度；改进方向是探索可微离散化（如 Gumbel-Softmax）实现端到端训练。(4) **短序列信息瓶颈**：1-4 token/frame 对齐得分饱和；改进方向是 query-specific 条件化让不同任务选不同 token 子集。
未来方向
作者明确提出的未来方向：在更抽象的语义空间建模视觉信号，有望像语言模型一样捕获长程依赖。我进一步展望五条延伸路径：(1) **跨域迁移**：把 VideoFlexTok 思路扩展到 world model（如自动驾驶仿真）和具身智能，让 agent 在不同抽象层级做决策——高层语义决定路线，低层细节补全画面；(2) **视频理解任务**：把粗到细推理范式用于动作识别、视频问答，模型先看抽象 token 决定关注区域，再决定是否细化；(3) **混合稀疏架构**：结合 Mixture-of-Experts 让 AR 模型在不同 token 维度分配不同算力，把短序列训练的优势进一步放大；(4) **更长时长**：基于本文 8× token 节省，可以把视频生成推广到分钟级甚至更长——10s 已验证，可尝试 60s/600-frame 视频；(5) **与 diffusion 协同**：用 VideoFlexTok 做粗布局规划，再用 diffusion 做局部细节补全，可能比单一范式更高效。
复现评估
复现评估：论文未明确声明代码与权重开源，仅给项目主页 https://videoflextok.epfl.ch。超参数较详细（$d_{enc}=18, d_{dec}=18$ 或 28、$C=16$、$K=256$、FSQ 64000、$\lambda$ REPA、LLaMA-like AR、T5）。完整复现门槛极高：(a) **数据**：Kinetics-600 约 30 万视频需申请访问，Panda70M 子集需自行重新 caption；(b) **算力**：T2V AR 覆盖 400M-5.2B 共 6 个尺寸加长视频 3.2B，FLOPs 从 $1.6 \times 10^{20}$ 到 $5 \times 10^{21}$ 跨两个数量级，至少需 64-256 张 H100/A100 集群；(c) **工程**：FSQ、嵌套 dropout、REPA 头、时序因果 mask、重叠 chunk 解码均需细致实现。小团队完整复现成本极高。
论文图表
顶部左侧展示 VideoFlexTok 的可变 token 数量概念：从 1 token/2 bytes 到 256 token/512 bytes，token 越多越细；顶部右侧展示固定 3D Grid 只能通过减少视频时长来减少 token。底部展示用 672 个 VideoFlexTok token（比 3D Grid 的 5376 少 8 倍）生成 10 秒 81 帧红车在弯曲道路上行驶的视频示例，并展示 9 个关键帧。
这是论文的「门面图」，最直观地传达了本文要解决的核心问题（3D Grid 灵活性差）和最终效果（10s 长视频用 8 倍更少 token 即可生成），是理解全文 motivation 的入口。