BitDance：基于二值视觉词元的可扩展自回归图像生成 BitDance: Scaling Autoregressive Generative Models with Binary Tokens

BitDance 的完整流程分为训练和推理两个阶段。训练阶段：（1）图像首先通过二值视觉分词器编码。分词器采用 CNN 架构，将 256x256 图像下采样 16 倍得到 16x16=256 个潜在向量 $\mathbf{x} \in \mathbb{R}^d$，每个向量通过符号函数 $\mathbf{x}_q = \text{sign}(\mathbf{x})$ 量化为 $\{-1, +1\}^d$ 的二值词元。分词器使用分组 LFQ 策略，将 $d$ 个通道分为 $g$ 组计算熵损失 $\mathcal{L}_{entropy} = \mathbb{E}[H(q(\mathbf{x}))] - H[\mathbb{E}(q(\mathbf{x}))]$，防止码本坍缩。（2）二值词元序列按 patch-wise 光栅扫描顺序展平为 1D 序列，每个 patch 包含 $p \times p$ 个词元。（3）序列输入 AR Transformer，使用 block-wise 因果注意力掩码：同一 patch 内的词元互相可见，跨 patch 保持因果依赖。首个 patch 前添加 $p^2 - 1$ 个可学习前缀 token 作为占位符。（4）Transformer 输出隐藏状态 $\mathbf{Z} \in \mathbb{R}^{p^2 \times h}$ 作为条件输入二值扩散头。扩散头是一个轻量 DiT 网络，使用 Rectified Flow 目标训练：对真实二值词元 $\mathbf{X} \in \mathbb{R}^{p^2 \times d}$，构造含噪版本 $\mathbf{X}_t = t\mathbf{X} + (1-t)\boldsymbol{\epsilon}$，目标速度 $\mathbf{v}_t = \mathbf{X} - \boldsymbol{\epsilon}$，损失函数为 $\mathcal{L}_{parallel} = \mathbb{E}_{t,\mathbf{X},\boldsymbol{\epsilon}} \|v_\theta(\mathbf{X}_t, t, \mathbf{Z}) - \mathbf{v}_t\|^2$。推理阶段：（1）从标准高斯 $\mathbf{X}_0 \sim \mathcal{N}(0, \mathbf{I})$ 初始化，使用 Euler 求解器以 $N$ 步均匀步长积分速度场 $\mathbf{X}_{t+\Delta t} = \mathbf{X}_t + v_\theta(\mathbf{X}_t, t, \mathbf{Z})\Delta t$。（2）最后一步后应用硬二值化 $\mathbf{X}_1 = \text{sign}(\mathbf{X}_1)$，将连续预测投影回超立方体顶点。（3）每步 AR 预测 $p^2$ 个二值词元，重复 $M$ 步完成整张图像生成。实验证明仅需 10-20 步扩散采样即可获得高质量结果。

BitDance 的技术新颖性体现在多个维度。首先，它是首个将视觉词元词表扩展到 $2^{256}$ 的工作，通过分组熵损失策略解决了 LFQ 在超大码本下的计算瓶颈，在保持计算可行性的前提下实现了与连续 VAE 相当的重建质量（PSNR 24.90 dB 超过 SD-VAE 的 23.54 dB）。其次，这是首次将扩散模型应用于离散二值数据的生成。不同于连续空间中扩散模型生成无约束数据，BitDance 的扩散头输出空间是超立方体顶点的有限集合，这种离散结构提供了天然的正则化，使得扩散模型收敛更快、采样更稳定。这一发现开辟了一个新的研究方向：用扩散模型处理离散结构化数据。第三，next-patch diffusion 通过扩散头的联合分布建模能力实现了真正的多词元并行预测。现有并行 AR 方法的训练目标（逐词元交叉熵）与推理过程（独立采样）存在根本性不匹配，而 BitDance 将训练和推理统一在同一个联合扩散框架下。此外，二值扩散头的 x-prediction 策略也很关键：网络直接预测干净的二值词元而非噪声，实验表明这在离散目标空间上比 epsilon-prediction 更稳定。

从独立分析的角度看，BitDance 存在以下几个可以改进的弱点。第一，二值分词器虽然在 16x 下采样时表现出色，但在 32x 下采样时（码本 $2^{128}$，PSNR 23.26）反而低于连续 DC-AE（PSNR 24.81），说明在高压缩率下二值量化的信息损失仍然显著，这可能限制了 BitDance 在极高分辨率生成中的应用。改进方向可以是探索混合精度量化策略，在不同层使用不同的量化精度。第二，patch-wise 光栅扫描顺序虽然是合理的设计选择，但可能不是最优的。图像中的信息分布并不均匀（如边缘和纹理区域需要更多细节），自适应的 patch 划分策略（如根据局部复杂度动态调整 patch 大小）可能带来更好的效果。第三，BitDance 的文本生图模型直接修改了预训练 LLM（Qwen3-14B），冻结了视觉分词器但微调了所有其他参数，这种策略可能导致 LLM 原有语言能力的退化。虽然论文保留了 0.01:1 的文本损失权重，但缺乏对文本理解能力退化程度的定量评估。第四，BitDance 使用固定的 10 步扩散采样（Fig. 8 表明 10-20 步足够），但未探索自适应步数策略——对于简单 patch 可能 5 步即可，复杂 patch 可能需要更多步骤。

作者提出将进一步扩大数据和模型规模，探索 BitDance 在更广泛多模态任务中的潜力。基于已有成果，可以从以下方向延伸：（1）统一多模态架构——BitDance 的 AR Transformer 已经同时处理文本和视觉词元，可以自然扩展到视频、音频等模态，构建真正的多模态基础模型，其中二值词元的紧凑表示对视频这种长序列数据尤其有利。（2）二值扩散头的理论分析——论文展示了扩散头输出分布从均匀噪声逐渐收敛到二值顶点的过程（Fig. 9），但缺乏对其收敛速度、采样质量的理论保证，后续可以建立更严格的理论框架。（3）与连续扩散模型的混合架构——可以在粗粒度尺度使用二值词元实现快速全局结构生成，在细粒度尺度使用连续表示捕捉精细细节。（4）探索更大的 patch 尺寸——当前最大测试到 $p=4$（16 词元并行），从 SFT 到蒸馏阶段可以将 $p=4$（16 词元）升级到 $p=8$（64 词元），未来可以探索更大 patch 或分层 patch 策略。（5）二值表示在其他领域的应用——如点云、3D 网格等结构化数据的离散表示，超大词表二值量化可能提供更高效的压缩方案。

BitDance 在代码开源方面表现良好，论文提供了 GitHub 仓库（https://github.com/shallowdream204/BitDance）和项目主页（https://bitdance.csuhan.com），包括代码和预训练模型权重。然而，完全复现仍面临一些挑战。类条件生成实验使用了 DataComp-1B 和 ImageNet 训练集，加上高质量人脸和文本数据集，这些数据的获取和预处理可能需要额外工作。文本生图模型基于 Qwen3-14B 预训练权重构建，需要大量计算资源进行三阶段训练（PT 使用 256M 样本、CT 使用 99.2M 样本、SFT 使用 92.8M 样本），单 GPU 训练几乎不可行。训练细节在 Table 4 中有完整记录，包括学习率、batch size、训练步数等超参数。评估使用了 OpenAI 的 TensorFlow 评估工具包计算 FID 等指标，这是标准化的做法。总体而言，代码开源降低了复现门槛，但完整的三阶段训练流程仍需要大规模 GPU 集群和多模态数据集的支持。