EOSTok：基于一维语义词表器的端到端自回归图像生成 End-to-End Autoregressive Image Generation with 1D Semantic Tokenizer
端到端联合训练1D视觉词表器与AR生成模型，ImageNet无引导FID达1.48
前置知识
VQ-VAE与离散图像词表器
VQ-VAE通过编码器把图像映射为连续隐变量，再用码本(Codebook)中最近邻向量将其量化为离散码，使图像能用整数token序列表示，配合自回归Transformer即可生成图像。
本文方法以1D ViT为骨干构建词表器，量化部分采用VQ-VAE变体IBQ，必须先理解VQ-VAE的编码-量化-解码三段流水线才能读懂后续的端到端训练逻辑。
自回归下一token预测损失($\mathcal{L}_{\text{NTP}}$)
AR Transformer以teacher-forcing方式训练，预测下一个token的对数概率，用交叉熵作为损失；它作用在离散空间，梯度需靠straight-through estimator穿透量化模块回传到编码器。
作者发现仅靠$\mathcal{L}_{\text{NTP}}$会让词表器'投机'：用极少token即可降低损失但破坏生成质量，因此提出APR损失修补该漏洞，这是全文核心创新之一。
视觉基础模型(VFM)表征对齐
DINOv2、CLIP等预训练ViT学习到的特征富含语义信息，REPA/VA-VAE等方法将其作为辅助监督信号蒸馏到扩散或VAE的中间层，可显著加速收敛并提升生成质量。
本文第三个创新即如何把VFM语义注入1D词表器，必须理解现有2D对齐范式（如REPA损失$\mathcal{L}_{\text{REPA}}=-\frac{1}{N}\sum_n \text{sim}(h_\omega(h^{(n)}), y^{(n)})$）才能体会作者提出隐式对齐的动机。
1D vs 2D视觉词表器的因果适配性
2D网格词表器保留图像patch空间布局，token间天然双向依赖，与raster-scan自回归建模错位；1D词表器（如TiTok用可学习查询token压缩图像到1D序列）天然适配单向因果生成。
论文核心论点之一就是1D词表器消除了2D空间先验、更适合AR建模；理解这一权衡有助于把握端到端训练与隐式对齐的设计动机。
研究动机
现有图像生成主要依赖扩散模型与2D空间对齐的离散词表器，但2D网格布局导致token间存在天然的双向依赖，与raster-scan自回归建模的单向因果假设错位。已有1D词表器（如TiTok）虽去除了2D先验，却沿用两阶段训练范式：先纯重建目标训练词表器并冻结，再训练AR生成器；该范式切断了生成质量对词表器表征的反馈，使词表器无法学到对生成友好的隐空间。此外作者通过实验发现一个严重现象——若仅用下一token预测损失$\mathcal{L}_{\text{NTP}}$端到端回传给词表器，AR预测准确率可从10.8%虚高到30.2%，但码本使用率从99.8%骤降至51.8%，rFID从1.09恶化到4.92，gFID从3.82飙升到8.01，因为词表器'投机'坍缩到极少数token。这种码本坍缩在3D PCA可视化中表现为码字聚集、隐特征仅匹配小片码字。
本文的目标是论文目标是在ImageNet 256×256上以无引导（no guidance）方式取得当时最优FID，并构建一套真正为自回归生成优化的1D视觉词表器。具体包括：让词表器与AR模型从零开始端到端联合训练、消除$\mathcal{L}_{\text{NTP}}$对码本空间的'投机性坍缩'、在保留1D序列结构的前提下把VFM的全局语义注入词表器、以及验证EOSTok在93M到644M四档模型上的可扩展性。最终EOSTok-H（644M参数）以无引导FID 1.48刷新state-of-the-art，仅165M的EOSTok-L词表器rFID也达到0.73。
与已有工作不同的是，作者切入角度有三处新意：第一，他们提出APR（Autoregressive Prediction Reconstruction）损失——把AR模型teacher-forcing的预测token直接解码回像素空间，用像素级MSE+LPIPS对词表器提供端到端监督，绕开了离散$\mathcal{L}_{\text{NTP}}$与最终像素质量之间的鸿沟；第二，针对1D词表器如何用VFM语义，他们摒弃把VFM特征强行对齐到1D latent的'直接对齐'（会迫使1D空间退化为光栅序列），改用'隐式对齐'——把VFM特征监督到编码器的隐藏patch embedding而非最终latent token，从而在保留1D因果性的同时吸收2D全局语义；第三，整体摒弃两阶段训练，提出单阶段端到端联合优化，使tokenizer与AR模型共享梯度流，据此验证了学习到的latent空间确实对原始序列顺序最敏感（$\text{gFID}=4.10$ vs 随机/逆序的7.81/10.27）。
核心方法
EOSTok的直觉是把AR生成器当作词表器的'下游任务'，让两者梯度在每轮迭代中相互塑造。技术上分三部分：1D ViT词表器（编码器+IBQ量化+解码器）、基于LlamaGen改造的AR Transformer、冻结DINOv2-ViT-L做辅助监督。图像$I\in\mathbb{R}^{H\times W\times 3}$先打patch与$L$个可学习query拼接送编码器得latent $z\in\mathbb{R}^{L\times d}$，IBQ量化得$z_q$。整体损失四项：$\mathcal{L}_{\text{VQ-VAE}}$（重建+GAN+正则）、$\mathcal{L}_{\text{NTP}}$、$\mathcal{L}_{\text{APR}}$、$\mathcal{L}_{\text{implicit}}$+解码器对齐。作者改造AR的embedding层接收软分布$\text{Ind}$而非one-hot查表，使$\mathcal{L}_{\text{NTP}}$能straight-through穿透量化层回传到编码器和码本。
核心创新三点：①EOSTok让$\phi\!,\!\psi\!,\!\theta$同时接受$\mathcal{L}_{\text{NTP}}$梯度，区别于两阶段训练只冻结tokenizer；②APR损失$\mathcal{L}_{\text{APR}}=\|x-D_\psi(G_\theta(z_q))\|_2^2$把teacher-forcing预测解码回像素求重建，克服仅$\mathcal{L}_{\text{NTP}}$端到端会坍缩码本（gFID=8.01、利用率51.8%），把gFID拉回3.32；③'隐式对齐'$\mathcal{L}_{\text{implicit}}=-\frac{1}{N}\sum_n \text{sim}(h_\omega(h^{n,\text{Enc}}), y^{(n)})$监督2D hidden patch embedding而非1D latent token，区别于VA-VAE直接对齐会泄漏2D空间先验（gFID仅5.98），让1D序列保留因果结构同时吸收全局语义。
方法步骤详情
训练四步：①词表器——$x_{\text{patch}}$与可学习query $q$拼接送混合attention（patch双向、query因果）的$E_\phi$，仅取query输出为$z$，IBQ量化并ℓ2归一化；②$\mathcal{L}_{\text{VQ-VAE}}$：L2+LPIPS+StyleGAN-T判别器+LeCAM+commitment+entropy；③$\mathcal{L}_{\text{NTP}}$用$\text{softmax}(z_q^\top C/\tau)$软embedding打通梯度；④$\mathcal{L}_{\text{APR}}$把$\hat{z}_q$与$z_q$沿batch拼接送解码器求像素MSE+LPIPS；$\mathcal{L}_{\text{implicit}}$用MLP把patch hidden $h^{n,\text{Enc}}$与冻结DINOv2特征$y_n$做余弦相似；decoder第$k$层hidden也对齐VFM。Adam (lr=1e-4, 8×H100, 400 epochs≈2M iter)联合训练。
技术新颖性
技术新颖性体现在三个层面的耦合。第一层面是训练范式革新：首次系统化把1D tokenzier+AR做单阶段端到端联合训练，并发现该范式下$\mathcal{L}_{\text{NTP}}$会'黑掉'码本（退化到约一半token），这是过去两阶段范式掩盖却被本文曝光的失败模式。第二层面是APR损失的引入——把teacher-forcing预测解码回像素提供'真正的'端到端生成反馈，是把离散序列建模与像素质量解耦的精巧设计，区别于REPA等只是把中间特征对齐到VFM。第三层面是隐式对齐策略：直接对齐latent会泄漏2D spatial prior给1D词表器（实验显示gFID仅5.98），隐式对齐通过patch hidden作为中介让VFM语义在1D序列内部被'蒸馏而非复制'，兼顾重建（rFID 1.02）与AR准确率（11.9%）。三重创新缺一不可，最终把EOSTok-L（312M）的gFID压到1.74、EOSTok-H（644M）到1.48。
实验结果
核心结果分四组。①主对比：ImageNet 256×256无引导gFID：EOSTok-L达1.74、EOSTok-H达1.48，超过此前最佳1D词表器VFMTok的2.11与2D连续VAE+Lightning-DiT的2.17；EOSTok-L的rFID仅0.73，远低于IBQ-L的1.37。②消融：表1显示仅$\mathcal{L}_{\text{NTP}}$端到端监督会让gFID从3.82涨到8.01（码本使用率99.8%→51.8%），加APR后回到3.32/99.7%；表2显示decoder对齐、隐式对齐、直接替换三种VFM注入分别把gFID从12.27改善到5.68/3.32/4.89。③扩展性：表5显示序列长度32→256时rFID从17.50降到1.02，gFID在长度192处最优3.04后回升；表6显示码本1024→16384下rFID降至0.96但gFID先降后升。④规模化：表3显示93M/164M/312M/644M四档模型gFID 3.50/2.38/1.74/1.48单调下降；表13把EOSTok-L扩展到512分辨率gFID 1.98。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ImageNet 256×256无引导生成 | gFID (越低越好) | EOSTok-H = 1.48（644M参数） | 此前最佳1D词表器VFMTok = 2.11（343M）；2D连续VAE+Lightning-DiT-XL = 2.17（675M） | gFID相对最优1D词表器绝对降低0.63，相对最优2D扩散绝对降低0.69 |
| ImageNet 256×256有引导生成（AutoGuidance） | gFID / IS | EOSTok-H gFID=1.38, IS=265.7 | LlamaGen-XL gFID=2.62 IS=244.1；VAR-d20 gFID=2.57 IS=302.6 | gFID再降0.10；保持Inception Score量级持平更高优基线 |
| ImageNet 256×256图像重建 | rFID (越低越好) | EOSTok-H rFID=0.71（165M词表器） | IBQ-L rFID=1.37；LlamaGen-XL rFID=0.94；MAGVIT-v2 rFID=1.17 | rFID相对同体量2D IBQ降低约0.66 |
| ImageNet 512×512无引导生成 | gFID (越低越好) | EOSTok-L = 1.98（512分辨率） | TiTok-L-64 = 3.99；DiT-XL/2 = 12.03 | 高分辨率下相对最优1D基线gFID再降2.01 |
| 采样效率（ImageNet 256×256） | 采样GFLOPs / 单H100吞吐 | EOSTok-H = 552.4 GFLOPs，约10.5图像/秒 | DiT-XL/2 = 59.9k GFLOPs（250步扩散） | 采样量级比扩散快20-100倍 |
局限与改进
作者明确披露的局限：第一，重建与生成存在权衡——表5显示序列长度超过192后rFID继续变好但gFID恶化，表6码本超过4096时EOSTok-L gFID升至1.92，虽用EOSTok-H缓解但未根除；第二，仅靠$\mathcal{L}_{\text{NTP}}$梯度联合训练会灾难性坍缩码本（gFID 8.01），必须搭配APR才能稳定；第三，CFG对大模型收益递减，EOSTok-L/H需切到AutoGuidance，使无条件模型成为新瓶颈；第四，APR损失双倍前向解码器使显存大幅上升（EOSTok-H达56.96 GB/卡）；第五，训练需8×H100约2M iter，中小实验室难复现。读者额外观察到：VFM固定为DINOv2-ViT-L、表12的SigLIP2对比未在主结果中替换；评测集仅ImageNet，未验证文本-图像对扩展；可解释性分析仅PCA与AR顺序敏感度，缺乏下游分类/检索评测。
独立分析的弱点
可改进弱点有五个。第一，APR每步需两次解码，单卡显存涨15-20%（EOSTok-H需56.96 GB），可考虑detach真值解码器+共享权重+异步梯度，或用pixel-space蒸馏替代双前向；第二，端到端训练对超参与初始化敏感，论文未充分报告崩溃重试率与$\lambda_{\text{APR}}$更细网格，可借鉴EMA teacher稳态方案；第三，VFM隐式对齐依赖DINOv2归纳偏置，可能限制1D词表器捕捉真正非2D结构，可加对比学习或多VFM ensemble；第四，模型仅在ImageNet 1K有条件生成，未在CC3M/LAION等更大数据集验证文本-图像扩展能力；第五，自回归采样需256步顺序解码，KV-cache下也只有10.5图/秒，可借鉴并行解码/投机采样加速。
未来方向
未来研究方向可分三个维度延伸。第一维度是架构：把EOSTok与LLM-based的统一多模态生成（如Show-o、Liquid）结合，让1D token既用于图像又复用为视觉-语言token，减少模态特定组件；探索嵌套dropout、GroupSL或稀疏码本扩大有效表达。第二维度是训练范式：可把APR思想泛化为'render-and-match'——任何离散token建模任务都加一个解码回原始模态的重建反馈，缓解teacher-forcing坍缩；在更大数据集（如LAION-2B）上验证端到端训练是否会更容易出现码本坍缩，需要更强的$\mathcal{L}_{\text{APR}}$或在线码本重置策略。第三维度是评估：用DINOv2线性探针或ImageNet-LT长尾分类做下游评测，验证1D latent是否真的学到可迁移的语义而非仅重建友好；把CFG替换为classifier-free guidance-free方案以彻底摆脱无条件模型瓶颈；扩展到3D、视频、音频多模态1D token共享词表器。
复现评估
复现难度较高但理论可行。代码上作者开源，附录A.1-A.3+表9列出完整架构、loss权重$\lambda_{\text{NTP}}\!\in\!\{0.1,0.01\}$、$\lambda_{\text{APR}}=1$、nested dropout $p\!\in\!\{0.5,1\}$、Adam(lr=1e-4, β=(0.9,0.999/0.95))、cosine decay到1e-6等超参。数据公开：ImageNet-1K+DINOv2-ViT-L权重可直接下载。算力门槛显著：完整EOSTok-H训练需8×H100、batch 256、400 epochs≈2M iter、数十到数百GPU日；EOSTok-L/S实验可在4-8张H100上8-15天完成主要结论。复现难点：IBQ量化与ℓ2归一化码本对初始化敏感；APR teacher-forcing预测解码的batch拼接顺序需谨慎；StyleGAN-T判别器+LeCAM需仔细调参；表14的PSNR/SSIM/LPIPS需相同重建评估流程以避免±0.1级别偏差。
论文图表
图3a为三维PCA可视化：baseline的码本和latent分布大致均衡，vanilla E2E的码本与latent聚集到极少区域，加入APR后恢复均衡。图3b为token频率分布：vanilla E2E的频率柱状分布极度偏斜到少数token，对应表1中99.8%→51.8%的码本使用率下降。
首次可视化证据证明'仅$\mathcal{L}_{\text{NTP}}$端到端会黑掉码本'的motivation论点，是APR损失存在的核心实证。