Quant VideoGen：基于2-Bit KV缓存量化的自回归长视频生成 Quant VideoGen: Auto-Regressive Long Video Generation via 2-Bit KV-Cache Quantization

QVG的完整处理流程分为以下步骤。输入为一段视频的KV缓存张量 $X \in \mathbb{R}^{N \times d}$，其中 $N$ 为token数，$d$ 为head维度。第一步，语义感知平滑（Semantic-Aware Smoothing）：(a) 将 $N$ 个token按隐藏表示用k-means聚类为 $C$ 组 $G = \{G_1, G_2, \ldots, G_C\}$；(b) 计算每组质心 $C_i \in \mathbb{R}^d$；(c) 对每组减去质心得到残差 $R_i = X_{G_i} - C_i$。第二步，渐进残差量化（Progressive Residual Quantization）：设 $R^{(0)} = X$，共 $T$ 个阶段。在每个阶段 $t$，对 $R^{(t-1)}$ 再次执行Semantic-Aware Smoothing得到 $R^{(t)}$、$C^{(t)}$、$\pi^{(t)}$。第三步，最终量化：对最后一个阶段的残差 $R^{(T)}$ 执行对称分组整数量化 $X_{\text{INT}}, S_x = Q(R^{(T)})$，存储到全局显存。同时存储所有阶段的质心 $C^{(t)}$ 和分配向量 $\pi^{(t)}$，中间残差 $R^{(t)}$ 作为临时结果丢弃。反量化时从阶段 $T$ 到阶段 $1$ 逐步恢复：先反量化得到 $\hat{X}^{(T-1)}$，然后逐阶段加上对应质心 $\hat{X}^{(t-1)} = \hat{X}^{(t)} + C^{(t)}_{\pi_i}$，最终得到重建张量 $\hat{X}^{(0)}$。

QVG的技术新颖性体现在多个方面。首先，它首次系统性地识别并利用了视频KV缓存的时空冗余性来进行压缩，这在LLM KV缓存量化文献中从未被考虑。其次，Semantic-Aware Smoothing的设计巧妙地将减均值思想与语义聚类结合，使得残差张量的数值范围从原来的 $\max|K| \sim 10^2$、$\max|V| \sim 10^3$ 量级大幅下降，INT2量化变得可行。第三，Progressive Residual Quantization借鉴流式视频编码器的多尺度编码思想，在量化领域首次实现了coarse-to-fine的多阶段残差迭代量化，第一阶段即带来5.83倍的MSE降低。第四，算法-系统协同设计的思路值得关注：流式质心缓存策略将k-means开销降低3倍；融合的反量化内核将多阶段质心恢复操作在寄存器中完成，避免反复读取全局显存；采用pre-RoPE key caching使Key分布更规则；使用FP8 E4M3 per-group缩放因子减少元数据开销。这些工程优化使得整体端到端延迟开销控制在1.3%至4.3%之间。

QVG的几个具体弱点值得深入分析。第一，k-means聚类的超参数敏感性：聚类中心数 $C$ 的选择直接影响压缩比和质量的权衡，但论文未提供自动选择 $C$ 的方法。在不同视频内容（静态场景vs高速运动）下，最优的 $C$ 可能差异很大，这是一个潜在的实用化障碍。改进方向可以是自适应地根据token分布的复杂度动态调整 $C$。第二，INT2量化的精度天花板：即使经过Semantic-Aware Smoothing，2比特量化仍然只有4个量化级别，在视频内容快速变化的帧中（如剧烈运动、复杂纹理），残差的分布可能仍不够集中，导致局部质量退化。可以考虑混合精度策略，对信息密度高的帧或区域使用更高比特。第三，质心存储的内存开销：每个阶段需要存储 $C$ 个质心（每个 $d$ 维）和 $N$ 个分配索引，在 $T=4$ 阶段、$C=256$ 个中心的配置下，这些元数据可能占据相当比例的显存。改进方向包括对质心本身进行压缩或使用低秩表示。第四，当前方法对Key和Value使用相同的分组策略，但论文Figure 6显示Key和Value的统计特性有显著差异（Key的MSE降低6.9倍，Value仅2.6倍），可能需要针对Key和Value设计不同的平滑策略。

基于QVG的成果，有多个值得探索的研究方向。首先，将QVG与其他压缩技术（如稀疏注意力、token剪枝）正交组合，可能实现更大幅度的压缩。论文提到Sparse VideoGen系列的工作已经在探索视频扩散中的稀疏性，与QVG的KV缓存量化结合是自然的延伸。其次，将QVG扩展到更长的生成时长（分钟级甚至小时级），这对世界模型、交互式游戏等应用至关重要。论文提到Google Project Genie等系统仍限制在60秒左右，QVG的技术有望突破这一限制。第三，探索自适应量化策略：根据视频内容的复杂度（如场景变化检测）动态调整量化比特数和聚类粒度，在简单场景用更激进的压缩，在复杂场景保留更多精度。第四，将QVG的思想推广到其他模态的自回归生成模型中，例如长序列音频生成或多模态流式推理中的KV缓存压缩。最后，开发硬件友好的INT2量化kernel和专用加速器支持，进一步降低QVG的实际部署门槛。

QVG的复现条件相对友好。论文声称将开源代码（GitHub链接已在论文中标注），这对复现至关重要。方法本身是training-free的，不需要额外的训练数据或微调过程，只需在推理时插入量化模块即可。使用的三个模型（LongCat-Video-13B、HY-WorldPlay-8B、Self-Forcing-Wan-1.3B）均为开源模型。评估使用的是MovieGen benchmark的prompt suite，也是公开数据。算力方面，主要实验在NVIDIA H100上进行，但也展示了在消费级RTX 5090上的可行性，降低了复现的硬件门槛。自定义CUDA和Triton kernel的实现可能需要一定的GPU编程经验，但核心算法逻辑（k-means聚类加质心减除加多阶段残差量化）是清晰的，可以用PyTorch等高层框架快速原型验证。总体而言，复现难度中等偏低，主要挑战在于kernel优化部分。