基于掩码位建模的自回归图像生成 Autoregressive Image Generation with Masked Bit Modeling

BAR方法包含以下关键步骤：首先，构建离散标记器，使用FSQ（有限标量量化）将图像编码为离散潜在表示。具体而言，编码器将图像 $I \in \mathbb{R}^{H \times W \times 3}$ 映射到特征图 $L$，然后通过FSQ量化得到离散潜在表示 $X$，每个标记由 $k$ 比特二进制码表示。其次，训练自回归变换器，给定前缀标记序列 $\{x_1, x_2, \ldots, x_{i-1}\}$，变换器生成潜在条件序列 $\{z_1, z_2, \ldots, z_{i-1}\}$，其中 $z_{i-1} = F(\{x_1, x_2, \ldots, x_{i-1}\})$。第三，设计掩码位建模头，该头以 $z_{i-1}$ 为条件，通过迭代解码预测下一个标记 $x_i$。训练时，随机遮盖 $x_i$ 的部分比特，优化比特级交叉熵损失 $\mathcal{L} = \frac{1}{n} \sum_{i=1}^{n} \text{CrossEntropy}_{\text{bit}}(x_i, \hat{x}_i)$。推理时，通过渐进式比特解掩码调度生成标记。最后，采用标记重排技术实现高效生成，通过调整 patch size 平衡序列长度和每标记比特数。

BAR的技术新颖性体现在三个层面：首先，在分析框架上，本文首次提出比特预算指标，统一比较离散和连续标记器，揭示了性能差距的根本原因是比特分配不足而非量化损失。其次，在预测机制上，本文将离散标记预测从分类任务转变为条件生成任务，通过掩码位建模头实现了对任意码本大小的可扩展性。第三，在系统设计上，BAR是完全自包含的框架，不依赖外部生成器或后处理模块，兼容任意自回归公式。与MaskBit相比，BAR预测比特而非码本索引；与Infinity相比，BAR无需VAR生成器或比特校正器。这种设计使得BAR在保持生成质量的同时，显著提升了采样效率。

经过独立分析，我认为BAR存在以下弱点：首先，在极端压缩场景下，BAR-B/4的生成质量明显下降（gFID 2.34 vs BAR-B的1.13），这表明在追求极致采样速度时，质量损失较为显著。改进方向可以是设计自适应压缩策略，根据生成内容复杂度动态调整下采样率。其次，掩码位建模头虽然轻量，但仍增加了每标记的计算开销。对于简单标记（如均匀区域），可能不需要完整的多步解码。可以引入早期退出机制，当预测置信度足够高时提前终止解码。第三，当前方法使用固定的比特解掩码调度（如[4,4,4,4]或[2,2,5,7]），不同内容可能需要不同的调度策略。可以探索学习自适应调度，根据当前生成状态动态调整每步解掩码的比特数。第四，BAR的自回归变换器使用因果注意力，无法利用未来信息。对于某些需要全局一致性的生成任务，可以考虑混合架构，在早期层使用双向注意力建模全局结构。

基于本文成果，未来研究可以从多个方向展开。首先，多模态扩展是重要方向：BAR的离散生成范式天然适合与语言模型结合，可以探索构建统一的视觉-语言自回归模型。其次，视频生成扩展：将BAR扩展到视频领域，利用时间维度的自回归性生成连贯视频序列。第三，更高分辨率生成：研究BAR在1024×1024、2048×2048等高分辨率下的表现，可能需要多尺度生成策略。第四，可控生成：结合文本提示、风格参考、布局控制等条件，实现更精细的生成控制。第五，效率优化：探索更高效的注意力机制（如线性注意力、稀疏注意力）进一步提升采样速度。第六，标记器改进：研究如何设计更高效的离散标记器，在相同比特预算下获得更好的重建质量。作者也提到，未来工作可以探索将BAR与扩散模型结合，取两者之长。

从复现角度来看，BAR的复现条件相对明确但要求较高。开源方面，论文提供了项目页面（https://bar-gen.github.io/），但代码和预训练模型的开源状态需要确认。数据集方面，实验使用标准的ImageNet-1K，数据获取无难度。算力需求方面，复现最终模型需要显著资源：BAR-B需要16块H200 GPU训练20小时，BAR-L需要32块H200 GPU训练32小时。对于消融研究，BAR-FSQ需要8块H200 GPU训练13小时。这种算力需求对大多数学术实验室构成挑战，但低于一些大型扩散模型。复现难度方面，BAR基于RAR架构，使用标准的FSQ量化器和ViT骨干，技术栈较为成熟。关键挑战在于超参数调优：掩码比率采样策略、比特解掩码调度、预测头大小等都需要仔细调整。论文提供了详细的超参数表格（Table 5-7），有助于复现。总体而言，BAR的复现难度中等偏高，主要瓶颈在于算力需求而非技术复杂度。