NativeTok：基于原生视觉标记化的改进图像生成 NativeTok: Native Visual Tokenization for Improved Image Generation

NativeTok 的方法包含以下具体步骤：(1) Meta Image Transformer (MIT) 建模：输入图像 $X$ 首先通过 Pixel Transformer 进行 patch 特征建模，然后经过一系列 Transformer 层进行双向注意力计算，捕获图像的全局上下文信息。随后通过全连接网络（FNN）作为维度切换器进行降维，得到潜在空间表示 $X_{latent} = FNN(MIT(X))$。这个潜在表示在后续生成过程中保持锁定不变。(2) MoCET 标记生成：定义与标记序列等长 $L$ 的轻量级专家 Transformer 序列 $T = \{T_0, T_1, ..., T_L\}$，第 $i$ 个专家块专门负责生成第 $i$ 个标记。在每个标记的生成步骤中，将锁定的潜在空间图像信息、所有已生成的前序标记和当前的 padding token 拼接后输入对应的专家 Transformer，从 padding token 位置提取单个向量作为当前生成的标记 $z_i$。(3) 量化与解码：有序的标记表示经过向量量化转化为离散标记，然后通过基于 Transformer 的解码器重建图像。(4) 分层原生训练：首先训练完整的 32-token NativeTok，然后复用 MIT 和前 32 个专家的权重，仅训练新增的 32 个专家来扩展到 64-token 版本，同样方法扩展到 128-token 版本。为进一步提升质量，在最后 10% 的步骤进行全参数微调。

NativeTok 的技术新颖性体现在多个层面：(1) 概念创新：首次提出原生视觉标记化的概念，认识到标记化和生成不应是两个独立优化的阶段，而应是一个统一的过程。这一观点挑战了现有方法的基本假设。(2) 架构创新：MoCET 采用混合因果专家设计，每个标记位置都有专门的专家 Transformer 块，这与传统共享参数的编码器有本质区别。虽然这增加了模型参数（NativeTok32 约 616M），但通过在低维潜在空间进行注意力计算（$O(n^2)$ 复杂度），有效控制了计算开销。(3) 训练策略创新：分层原生训练策略允许从短标记序列逐步扩展到长标记序列，仅需训练新增的专家块，将可训练参数减少到 56%，显著提高了训练效率。(4) 解耦设计：将上下文建模（MIT 使用双向注意力）与依赖建模（MoCET 使用因果生成）明确分离，避免了两者之间的冲突。

从独立分析的角度，NativeTok 存在以下可改进的弱点：(1) 专家块参数冗余：MoCET 中每个标记位置都有独立的专家 Transformer 块，这导致相邻位置的专家可能学习到相似的特征，存在参数冗余。改进方向可以探索参数共享机制，例如让相邻位置的专家共享部分底层特征提取层。(2) 潜在空间信息锁定过于刚性：MIT 生成的潜在表示 $X_{latent}$ 在整个生成过程中保持不变，这意味着后面的标记无法利用前面标记生成过程中产生的新信息。可以考虑设计一种增量更新机制，允许潜在表示在生成过程中适度调整。(3) 分层训练的扩展性存疑：当前从 32→64→128 的扩展策略假设复用权重是有效的，但当标记数量进一步增加（如 256、512）时，新增专家块可能难以从复用的权重中获得足够的初始化信号。(4) 缺少对标记顺序的显式建模：虽然论文强调因果依赖，但未充分探讨不同顺序（如光栅扫描、Z 形扫描、基于显著性的顺序）对生成质量的影响。(5) 评估指标单一：仅使用 FID 作为评估指标，未考虑其他重要指标如 IS（Inception Score）、LPIPS（感知相似度）或人类评估。

基于 NativeTok 的成果，未来研究可以在以下方向展开：(1) 多模态统一标记化：将原生视觉标记化扩展到视频、3D 场景等多模态数据，探索统一的标记化框架。(2) 动态标记数量：根据图像复杂度自适应调整标记数量，简单图像使用更少标记，复杂图像使用更多标记，类似 DQ-VAE 的思路但结合因果依赖。(3) 与大规模生成器结合：探索 NativeTok 与更大规模的自回归生成器（如 1B+ 参数）的配合，验证其在 scaling law 下的表现。(4) 高分辨率生成：将 NativeTok 扩展到 512×512 甚至 1024×1024 分辨率，探索分层标记化策略。(5) 文本到图像生成：将 NativeTok 应用于条件生成任务，如文本到图像生成，探索原生标记化对条件生成的影响。(6) 标记顺序优化：研究最优的标记生成顺序，可能通过强化学习或可微分排序来自动发现。(7) 与其他 VQ 改进结合：将 NativeTok 与 FSQ、RQ-VAE 等改进的量化方法结合，进一步提升重建和生成质量。

从复现角度来看，NativeTok 的复现具有一定挑战性：(1) 数据集：使用标准的 ImageNet-1K 数据集，这是公开可用的，但需要申请访问权限。(2) 计算资源：论文在 A800 GPU 上进行训练，32-token 模型需要 616M 参数，64-token 扩展训练在 2 块 A800 上进行（batch size 64/GPU），这需要相当的计算资源。(3) 代码开源：论文提到项目页面为 https://github.com/wangbei1/Nativetok，但未明确说明是否包含完整的训练代码和预训练模型。(4) 实现复杂度：MoCET 的独立专家块设计和分层训练策略增加了实现复杂度，需要仔细处理权重复用和冻结逻辑。(5) 依赖项：需要 PyTorch、Transformer 实现等标准深度学习库，但论文未提供完整的环境配置。(6) 评估流程：FID 计算需要使用标准的 ADM 评估流程生成 50K 样本，这需要额外的计算时间。总体而言，如果作者开源完整代码和预训练模型，复现难度为中等；否则，复现难度较高。