← 返回 2026-01-27

iFSQ：用一行代码改进FSQ实现更优图像生成 iFSQ: Improving FSQ for Image Generation with 1 Line of Code

Bin Lin, Zongjian Li, Yuwei Niu, Kaixiong Gong, Yunyang Ge, Yunlong Lin, Mingzhe Zheng, JianWei Zhang, Miles Yang, Zhao Zhong, Liefeng Bo, Li Yuan 📅 2026-01-23 👍 34 2026-07-13 08:35
tokenizer 向量量化 图像生成 扩散模型 离散表示 自回归模型
arXiv HuggingFace PDF

用2σ(1.6x)-1替换tanh，使FSQ同时实现100%利用率和最优精度

前置知识

Finite Scalar Quantization (FSQ)

FSQ是一种向量量化方法，通过将连续潜变量投影到固定的有界网格上（元素级取整）来实现离散化，从而替代VQ-VAE中复杂的可学习码本。具体而言，FSQ对潜变量z应用一个边界函数$f: \mathbb{R} \to [-1, 1]$（通常使用tanh），然后通过取整操作映射到离散整数索引集$\{0,...,L-1\}$。量化公式为 $q_j = \text{round}\left(\frac{L-1}{2} \cdot (f(z_j) + 1)\right)$。FSQ的优势在于消除了码本查找操作，避免了码本崩溃问题，简化了训练动态。

iFSQ是基于FSQ的改进，理解FSQ的量化机制和其存在的问题是理解本文创新点的前提

Activation Collapse（激活坍缩）

当神经网络激活值（通常呈高斯分布）通过FSQ的等间隔量化时，大部分数据点集中在少数中心bin中，而边缘bin严重未被充分利用。这种现象称为激活坍缩。例如，原始FSQ在9级量化下仅能达到83.3%的bin利用率，信息熵为2.64 bits（低于理论最大值3.17 bits）。这导致量化后的信息效率低下，限制了模型学习多样模式的能力。

激活坍缩是FSQ的核心缺陷，也是本文要解决的关键问题

信息熵与bin利用率

信息熵衡量量化后码本中各bin被使用的均匀程度，理论最大值为 $\log_2(L)$ bits（L为量化级数）。bin利用率表示实际被激活的bin占总bin数的比例，100%利用率意味着所有bin都被等概率使用。高信息熵和高利用率意味着量化器能更有效地编码信息，避免信息瓶颈。

这两个指标直接衡量量化器的信息效率，是评估iFSQ改进效果的核心指标

Autoregressive (AR) 模型与Diffusion模型

AR模型（如LlamaGen）通过自回归方式逐token预测离散图像token，依赖VQ-VAE或FSQ提供离散码本。Diffusion模型（如DiT）通过逐步去噪连续潜变量生成图像，依赖VAE提供连续分布。两种范式在tokenizer选择上的差异（离散vs连续）阻碍了统一建模和公平基准测试。

本文的核心目标之一是通过iFSQ作为统一tokenizer，公平比较两种生成范式

Representation Alignment (REPA)

REPA是一种特征对齐策略，通过将模型的中间层特征与预训练视觉模型（如DINOv2）的特征进行对齐，来加速模型学习高级语义表示。具体做法是在特定层施加一个对齐损失 $\mathcal{L}_{\text{align}} = \lambda \cdot \text{dist}(h_l, h_{\text{DINOv2}})$，其中 $\lambda$ 是对齐系数。这使得模型能在更早的层就获得语义对齐的能力。

本文将REPA扩展到自回归模型LlamaGen，发现对齐深度和系数的选择对AR模型有独特规律

研究动机

当前图像生成领域存在根本性的范式割裂：自回归（AR）模型依赖VQ-VAE产生离散token，而扩散模型依赖VAE产生连续潜变量。这种割裂带来了两个核心问题。第一，公平比较困难——很难区分性能差异是来自生成模型本身（AR vs Diffusion）还是来自底层tokenizer的不同特性（VQ-VAE vs VAE）。第二，FSQ作为潜在的统一解决方案存在关键缺陷：其等间隔量化与神经网络激活值的非均匀分布（高斯分布）之间存在不匹配。具体而言，原始FSQ面临一个两难困境：使用等间隔bin时，中心bin过密而边缘bin空置（MSE=0.1678，利用率仅83.3%）；而强制等概率bin时，边缘bin必须过宽以适应高斯尾部，导致精度损失（MSE升至0.1812，虽然利用率达100%但重建质量下降）。

本文的目标是本文的目标是通过一个极简的修改解决FSQ的激活坍缩问题，使量化器同时实现高信息效率（100% bin利用率）和高重建精度（最低MSE）。更进一步，利用改进后的iFSQ作为统一tokenizer，建立一个公平的基准平台来比较AR和扩散模型的生成性能，并揭示两种范式在计算效率和生成质量上的本质差异。

与已有工作不同的是，本文的独特切入角度在于从分布匹配的角度解决量化问题。作者观察到神经网络激活值遵循高斯分布，而FSQ使用tanh（等价于 $2\sigma(2x)-1$）将无界输入映射到[-1,1]区间。关键洞察是：tanh将高斯分布映射为非均匀的双峰分布，导致量化bin利用率不均。作者提出用 $2\sigma(1.6x)-1$ 替代tanh，这个简单的变换能将近似高斯的潜变量分布映射为近似均匀分布，从而在数学上保证等间隔bin被等概率使用。这一方法仅需一行代码修改，不引入额外参数或推理延迟，是完全免费的即插即用模块。

核心方法

iFSQ的方法思路非常简洁优雅。直觉上，问题的根源在于：神经网络激活值呈高斯分布，而FSQ的等间隔量化假设输入是均匀分布——这种分布不匹配导致了激活坍缩。解决方案自然就是：找一个激活函数，能将高斯分布映射为均匀分布。作者通过对sigmoid函数的一般形式 $s(x) = A \cdot \sigma(\alpha x) + B$ 进行参数扫描，发现当A=2.0、α=1.6、B=-1时，即 $y = 2.0 \cdot \sigma(1.6x) - 1$，能将标准正态分布最优地映射为均匀分布。这个函数与原始tanh（α=2.0的情况）仅在参数α上有微小差异，但带来的效果是质的飞跃。技术路线上，iFSQ完全继承FSQ的量化框架，仅替换激活函数，保持所有后续操作（取整、索引计算）不变。

iFSQ的核心创新在于用分布匹配的视角重新审视FSQ的激活函数选择。与原始FSQ的本质区别在于：原始FSQ使用tanh（等价于 $2\sigma(2x)-1$），这会产生非均匀分布，导致量化bin利用率不均；而iFSQ使用 $2\sigma(1.6x)-1$，这是一个精心选择的参数，能将近似高斯的神经网络激活值映射为近似均匀分布。这个改动在数学上保证了两个关键性质：（1）所有量化bin被等概率使用（100% bin利用率，信息熵达到理论最大值3.17 bits），实现最优信息效率；（2）由于bin是等间隔的且使用均匀，每个bin内的量化误差被均匀分摊，实现最优重建精度。这解决了原始FSQ中效率与精度之间的根本矛盾。

方法步骤详情

iFSQ的完整流程如下（伪代码见Algorithm 1）：（1）输入边界化：将潜变量z通过 $z = 2 \cdot \text{sigmoid}(1.6 \cdot z) - 1$ 映射到[-1, 1]区间，这是与原始FSQ唯一的区别（原始使用tanh）。（2）网格缩放：计算 $z_{\text{scaled}} = z \cdot \text{half\_width}$，其中 $\text{half\_width} = (L-1)/2$，L为每个维度的量化级数。（3）STE量化：执行 $z_{\text{rounded}} = \text{round}(z_{\text{scaled}})$，并通过直通估计器（Straight-Through Estimator）保持梯度传播：$z_{\text{hat}} = z_{\text{rounded}} - z_{\text{scaled}}.\text{detach}() + z_{\text{scaled}}$。（4）归一化输出（用于扩散模型）：$z_q = z_{\text{hat}} / \text{half\_width}$，映射回[-1, 1]连续空间。（5）索引计算（用于AR模型）：将量化后的整数向量通过双射基展开映射为单一标量索引 $I = \sum_{j=1}^{d} q_j \cdot L^{d-j}$，隐式码本大小为 $|C| = L^d = (2K+1)^d$。

技术新颖性

iFSQ的技术新颖性体现在以下几个层面：首先，它将量化问题重新框架化为分布匹配问题，这一视角在现有FSQ文献中是全新的。其次，通过系统性的参数扫描（α从1.0到2.4）和定量分析（RMSE和KS统计量），作者找到了最优参数α=1.6，这不仅是经验选择，而是有数学依据的最优化。第三，修改的简洁性本身就是一种创新——仅改变一个浮点数（从2.0到1.6），就能同时解决信息效率和重建精度的矛盾，这体现了对问题本质的深刻理解。第四，iFSQ作为统一tokenizer为公平比较AR和扩散模型提供了前所未有的控制变量实验平台，揭示了4-bit量化的最优平衡点和两种范式的根本差异。

2.0·sigmoid(αx)-1.0的实证数值研究
Figure 2: 2.0·sigmoid(αx)-1.0的实证数值研究
LlamaGen模型的逐层分析
Figure 6: LlamaGen模型的逐层分析
不同REPA对齐深度下的逐层CKNNA分数
Figure 7: 不同REPA对齐深度下的逐层CKNNA分数

实验结果

本文通过大量实验验证了iFSQ的有效性，主要发现包括：（1）图像重建方面，iFSQ（α=1.6）在PSNR、SSIM和LPIPS指标上一致性地优于原始FSQ（α=2.0），在ImageNet和COCO数据集上均成立，证明分布匹配策略的普适性。（2）扩散模型生成方面，在DiT-Large上不使用CFG的情况下，iFSQ（4-bit）的gFID为12.76，优于AE的13.78，同时实现了3倍更高的压缩率（96 vs 24）。使用REPA后，iFSQ（4-bit）达到gFID 10.48，与AE的10.67相当。（3）自回归模型生成方面，在LlamaGen-Large上使用REPA，iFSQ（dim=8, 2-bit）的gFID为26.02，显著优于VQ（dim=8, 14-bit）的29.91。（4）量化的最优平衡点在4-bit：低于4-bit时性能显著下降（2-bit时iFSQ的gFID为18.52 vs AE的13.78），高于4-bit时提升不明显甚至波动。（5）训练效率比较揭示了AR和扩散模型的根本差异：AR模型初期收敛快，但扩散模型最终达到更高的性能天花板，暗示AR的严格顺序约束可能限制生成质量的上限。（6）REPA扩展实验发现最优对齐深度约为网络总深度的1/3（Large: 8/24, XLarge: 12/36, XXLarge: 16/48），且AR模型需要比扩散模型更强的对齐系数（λ=2.0 vs 标准的0.5）。

DiT-Large上的FID比较（无CFG）
Table 1: DiT-Large上的FID比较（无CFG）
LlamaGen-Large上的FID比较（无CFG）
Table 2: LlamaGen-Large上的FID比较（无CFG）
LlamaGen-REPA的组件分析
Table 3: LlamaGen-REPA的组件分析
iFSQ中α参数的效果
Figure 3: iFSQ中α参数的效果
训练效率比较：DiT vs LlamaGen（FID vs 计算量）
Figure 4: 训练效率比较：DiT vs LlamaGen（FID vs 计算量）
不同量化级别的性能表现
Figure 5: 不同量化级别的性能表现
不同架构和规模下对齐深度的消融研究
Figure 8: 不同架构和规模下对齐深度的消融研究
λ参数的扩展实验
Figure 9: λ参数的扩展实验
查看结构化数据
任务指标本文基线提升
图像重建（ImageNet PSNR） PSNR (dB) iFSQ α=1.6 约27.4 dB 原始FSQ α=2.0 约27.0 dB 约+0.4 dB，同时KS和RMSE指标均显著改善
扩散模型生成（DiT-Large, 无CFG） gFID↓ iFSQ 4-bit: 12.76 AE 16-bit: 13.78 降低1.02 FID，同时压缩率提高3倍（96 vs 24）
扩散模型生成（DiT-Large, 有REPA） gFID↓ iFSQ 4-bit + REPA: 10.48 AE 16-bit + REPA: 10.67 降低0.19 FID，压缩率高3倍
自回归模型生成（LlamaGen-Large, 有REPA） gFID↓ iFSQ dim=8, 2-bit: 26.02 VQ dim=8, 14-bit: 29.91 降低3.89 FID，同时比特率大幅降低
FSQ vs iFSQ（DiT-Large, 无CFG） gFID↓ iFSQ 4-bit: 12.76 FSQ 4-bit: 13.38 降低0.62 FID

局限与改进

本文的局限性包括以下几个方面。作者承认的局限：（1）实验主要在ImageNet数据集上进行，虽然在COCO上验证了迁移性，但未在更多样化的数据集上测试。（2）最优参数α=1.6是通过经验扫描获得的，虽然有RMSE和KS指标的理论支持，但缺乏严格的数学证明说明为什么1.6是最优的。（3）iFSQ作为统一tokenizer的基准比较中，AR和扩散模型使用的是不同规模的模型（LlamaGen-L vs DiT-L），虽然FLOPs相近，但架构差异可能影响结论的普适性。我的观察：（4）论文未充分讨论α=1.6在不同分布（非高斯）下的鲁棒性，如果某些网络层的激活分布偏离高斯，该参数是否仍最优值得探讨。（5）4-bit最优平衡点的结论主要基于特定的模型规模（Large），在更大规模模型上是否成立需要进一步验证。（6）论文的实验迭代数相对有限（100k-500k），更长训练是否能进一步拉开差距尚不清楚。

独立分析的弱点

独立分析的弱点包括：（1）参数选择缺乏理论推导——α=1.6的最优性是通过经验扫描而非数学推导得出的，论文中Fig. 2(b)展示了RMSE和KS随α变化的曲线，但未给出为什么最小值恰好在1.6的理论解释。改进方向：可以尝试从最优传输理论或Wasserstein距离的角度推导最优映射函数。（2）分布匹配假设的局限——iFSQ假设神经网络激活值是高斯分布的，但实际网络中的激活分布可能因层、架构、训练阶段而异。改进方向：可以设计自适应的激活函数，根据实际激活分布动态调整α参数。（3）缺乏与更多量化方法的比较——论文主要与VQ-VAE和原始FSQ比较，未与MAGVIT-v2、CS-FSQ等其他先进量化方法进行系统比较。改进方向：扩展基准测试，纳入更多量化基线。（4）REPA实验中未探索对齐目标的选择——仅使用DINOv2作为对齐目标，未比较其他视觉基础模型（如SigLIP、CLIP）的效果。

未来方向

基于本文成果，未来研究可以在以下方向展开：（1）将iFSQ扩展到视频和3D生成领域，验证分布匹配策略在时序/空间维度上的有效性。（2）探索自适应α机制，根据不同网络层的激活分布特性动态选择最优参数，而非使用固定的1.6。（3）深入研究4-bit最优平衡点的理论基础，建立量化的信息论下界分析。（4）利用iFSQ的统一tokenizer能力，开发真正的统一生成模型（单一架构同时支持离散和连续模式）。（5）将iFSQ应用于多模态生成（如文本到图像、视频生成），验证在更复杂任务上的效果。（6）作者已发现AR模型存在性能天花板的限制，未来可以探索混合范式（如AR初始化+扩散精修）来突破这一限制。（7）探索iFSQ在模型压缩（如LLM量化）中的应用，将分布匹配思想推广到非图像领域。

复现评估

复现评估：（1）开源情况：代码已在GitHub公开（https://github.com/Tencent-Hunyuan/iFSQ），这是积极的一面。（2）数据：实验基于ImageNet-1K，这是公开可用的标准数据集，复现无障碍。（3）算力需求：实验使用DiT-Large和LlamaGen-Large，训练500k iterations，这需要相当大的GPU资源（可能需要多卡A100集群），对个人研究者有一定门槛。（4）技术难度：iFSQ的核心修改极其简单（一行代码），复现难度很低。关键的实现细节（如STE的使用、基展开索引计算）在论文和伪代码中都有清晰描述。（5）验证复杂度：完整复现论文的所有实验（包括REPA扩展、多规模比较）工作量较大，但验证iFSQ的基本改进效果是相对容易的。总体而言，复现可行性较高，主要障碍在于算力需求。

论文图表

等概率与等间隔量化的实证分析
Figure 1: 等概率与等间隔量化的实证分析

该图展示了三种量化策略在高斯分布数据上的表现：(a)等间隔量化（原始FSQ），数据集中在中心bin，利用率83.3%，MSE=0.1678；(b)等概率量化，所有bin等概率但边缘bin过宽导致精度损失，MSE=0.1812；(c)在均匀分布上的等间隔量化，同时实现100%利用率和最低MSE=0.1669。下方(d)-(f)展示了对应的量化误差分布。

这张图直观地展示了FSQ面临的核心困境——效率与精度的矛盾，以及解决方案的理想状态（将高斯分布映射为均匀分布），是理解iFSQ动机的关键图示。