多尺度局部推测解码用于图像生成 Multi-Scale Local Speculative Decoding for Image Generation
多尺度推测解码加速自回归图像生成，实现5倍提速且质量不降
前置知识
自回归图像生成
自回归（Autoregressive, AR）图像生成是一种将图像视为token序列的方法，类似于语言模型生成文本的方式。模型从左到右、从上到下逐个预测图像token，每个token的生成都依赖于之前生成的所有token。这种方法在视觉-语言统一模型（如QwenVL、Tar等）中被广泛应用，因为它们可以同时处理文本和图像理解与生成任务。然而，这种顺序生成的特性导致推理延迟很高，特别是对于高分辨率图像，token数量随分辨率呈二次增长。
理解自回归图像生成的顺序特性是本文研究动机的基础，正是因为这种顺序性导致了高延迟，才需要提出加速方法。
推测解码（Speculative Decoding）
推测解码是一种加速自回归生成的技术，最初为语言模型设计。其核心思想是使用一个轻量级的草稿模型（draft model）快速生成多个候选token，然后用目标模型（target model）并行验证这些候选token。如果草稿token被接受，则跳过目标模型的顺序生成步骤；如果被拒绝，则从调整后的分布中重新采样。这种方法可以在保持生成质量的同时实现2-3倍的加速。
推测解码是本文的核心技术基础，本文在此基础上进行了多尺度和局部性的扩展，理解其基本原理对理解本文的创新至关重要。
多尺度生成（Multi-Scale Generation）
多尺度生成是一种从低分辨率到高分辨率逐步生成图像的方法。这种范式在视觉领域非常普遍，如UNet、VQ-VAE-2和VAR等模型都采用了这种策略。在自回归图像生成中，多尺度方法可以先生成低分辨率的粗略图像，然后逐步上采样到高分辨率。这种方法不仅提高了生成效率，还能改善生成质量，因为它允许模型在不同层次上捕捉图像的结构和细节。
本文将多尺度思想引入推测解码，使用低分辨率草稿模型生成候选token，然后上采样到高分辨率进行验证，这是本文的核心创新之一。
空间局部性（Spatial Locality）
空间局部性是指在图像中，相邻像素或token之间具有很强的依赖关系，而相距较远的区域之间依赖关系较弱。在自回归图像生成模型中，这种局部性表现为token的预测主要受其附近上下文的影响。已有工作如ZipAR和LPD利用这种特性通过并行生成来加速推理。例如，ZipAR利用空间邻接性允许在下一个行中生成token，一旦有足够的上下文可用。
本文利用空间局部性提出了局部验证策略，只对被拒绝token的邻域进行重新采样，而不是整个序列，这大大提高了验证效率。
VQ-VAE（向量量化变分自编码器）
VQ-VAE是一种将连续图像表示转换为离散token序列的模型，是许多自回归图像生成系统的核心组件。它通过编码器将图像映射到潜在空间，然后通过向量量化将连续表示转换为离散的codebook索引（即token）。在解码时，这些token被映射回codebook中的向量，然后通过解码器重建为图像。本文中的Tar模型使用AR-DTok作为生成式detokenizer，在VQ-VAE的潜在空间中操作，实现了16倍的空间下采样。
理解VQ-VAE的token化过程对于理解本文的多尺度方法至关重要，因为草稿模型和目标模型都在这个离散token空间中操作。
研究动机
自回归图像生成模型虽然取得了显著成功，但其顺序解码特性导致了严重的推理延迟问题。对于高分辨率图像（如1024p），token数量随分辨率呈二次增长，即使是中等分辨率也会产生数千个token。以Tar模型为例，生成512p图像需要约18秒，生成1024p图像需要约80秒。现有的推测解码方法如EAGLE-2直接应用于图像数据时表现不佳，往往因为token歧义导致接受率低而产生负加速。LANTERN虽然通过放宽接受标准改善了接受率，但仍然在token级别操作，忽略了图像的空间结构和多尺度特性。此外，这些方法在被拒绝token后采用光栅扫描顺序重新采样，效率低下。
本文的目标是本文旨在提出一种新的推测解码框架，能够充分利用图像的多尺度结构和空间局部性特性，显著加速自回归图像生成，同时保持语义对齐和感知质量。具体目标包括：在Tar-1.5B和Tar-7B模型上实现2-5倍的端到端加速；在GenEval、DPG-Bench等语义对齐基准上保持与基线相当的性能；在FID和HPSv2等感知质量指标上不显著下降；提供一种与现有next-token prediction框架兼容的解决方案，能够无缝集成到统一的多模态大语言模型中。
与已有工作不同的是，本文的独特切入角度在于将多尺度先验和空间局部性同时引入推测解码框架。与现有方法相比，本文抓住了三个被忽视的关键点：第一，现有推测解码方法在token级别操作，忽略了图像的多尺度层次结构，而本文利用低分辨率草稿模型和上采样机制将多尺度思想注入推测解码；第二，现有方法在验证失败后采用光栅扫描顺序重新采样，没有利用图像的空间局部性，而本文提出了局部扩展策略，只对被拒绝token的邻域进行重新采样；第三，现有方法通常需要额外的轻量级草稿模型，而本文发现使用与目标模型相同容量的低分辨率模型作为草稿模型，通过减少函数评估次数和利用分辨率间的二次序列长度差距来获得加速。
核心方法
MULO-SD的核心思想可以用一个简单的比喻来理解：想象一个画家在创作一幅高分辨率画作时，不是从第一笔开始逐像素绘制，而是先画一个低分辨率的草图，然后将这个草图放大，再逐区域检查并修正不符合要求的部分。具体来说，本文方法包含三个关键组件：（1）低分辨率草稿模型，用于快速生成粗略的图像token序列；（2）上采样模块，将低分辨率token映射到高分辨率空间；（3）局部验证机制，利用空间邻接性只对被拒绝token的邻域进行重新采样。整个流程遵循draft-and-verify范式，但与标准推测解码不同，它在多尺度上进行操作：先在低分辨率快速生成，然后在高分辨率验证和修正。
本文最核心的创新是将多尺度先验注入推测解码框架。传统推测解码使用一个轻量级草稿模型在相同分辨率下生成候选token，然后用目标模型验证。本文的洞察是：图像具有天然的多尺度层次结构，低分辨率图像包含了高分辨率图像的主要结构信息。因此，本文使用一个在低分辨率下训练的草稿模型（如256p）快速生成候选token，然后通过上采样将这些token扩展到目标分辨率（如512p或1024p），最后用目标模型在高分辨率下并行验证。这种设计有两个关键优势：第一，低分辨率草稿模型的序列长度远小于高分辨率目标模型（256p只有256个token，而1024p有4096个token，相差16倍），这使得草稿生成速度更快；第二，低分辨率图像的token分布通常比高分辨率图像更简单，更容易被草稿模型准确预测，从而提高了接受率。
方法步骤详情
MULO-SD的完整流程包含7个步骤，如论文中的Figure 2所示。首先，给定目标分辨率 $s_p$ 和草稿分辨率 $s_q$，分辨率比 $r = s_p/s_q$。步骤1：使用低分辨率草稿模型 $M_q$ 顺序采样草稿token，生成 $L/r$ 个token。步骤2：使用上采样器 $U_r$ 将草稿token上采样到目标分辨率，得到 $L$ 个候选token，序列长度扩展 $r^2$ 倍。步骤3：目标模型 $M_p$ 并行验证所有 $L$ 个候选token，计算每个位置的logits。步骤4：对于每个候选token，计算其在VQ codebook中 $k$ 个最近邻上的概率池化值，如果超过阈值 $\tau$ 则接受。步骤5：对于被拒绝的token，进行局部扩展——以被拒绝位置为中心，半径 $l$ 内的所有token都被标记为需要重新采样，形成拒绝岛。步骤6：使用目标模型 $M_p$ 按顺序重新采样所有被拒绝的token。步骤7：将已验证的token添加到接受前缀中，并通过下采样器 $D_r$ 将高分辨率token下采样为低分辨率token，作为下一轮草稿生成的前缀。这个过程循环进行，直到生成完整的高分辨率图像。
技术新颖性
MULO-SD的技术新颖性体现在三个正交的创新点上。首先，多尺度草稿是推测解码领域的首创。与传统推测解码使用相同分辨率的草稿模型不同，本文使用低分辨率草稿模型，这不仅减少了草稿生成的序列长度（利用了分辨率间的二次差距），还利用了低分辨率图像token分布更简单的特性。其次，局部验证机制是对现有验证策略的重要改进。标准推测解码在第一个被拒绝token后采用光栅扫描顺序重新采样，而LANTERN虽然放松了接受标准，但仍然在token级别操作。本文提出的局部扩展策略利用空间邻接性，只对被拒绝token的邻域进行重新采样，大大减少了需要重新采样的token数量。第三，与并行解码的集成是正交但互补的改进。本文将ZipAR的并行解码策略应用于低分辨率草稿生成和高分辨率重新采样阶段，进一步减少了顺序步骤。
实验结果
本文在Tar-1.5B和Tar-7B两个模型上进行了全面实验，覆盖512p和1024p两个分辨率。核心发现包括：在Tar-1.5B 512p设置下，MULO-SD实现了1.94倍加速，GenEval分数为76.4（相比基线的77.7仅下降1.3），DPG-Bench为82.6，FID为33.4，HPSv2为28.3。在Tar-7B 512p设置下，加速达到2.03倍，GenEval保持85.1（与基线相同），DPG-Bench为80.8，FID为38.2，HPSv2为29.5。在1024p分辨率下，加速效果更为显著：Tar-1.5B达到3.90倍加速，Tar-7B达到5.33倍加速，GenEval分数分别为76.8和85.4，与基线相当或略优。与现有方法相比，MULO-SD在相同或更好的GenEval分数下提供了更大的加速：LANTERN在Tar-1.5B 512p下加速1.08倍，GenEval为75.9；ZipAR-16加速1.88倍，GenEval为77.7。消融研究验证了各组件的有效性：上采样器设计中，使用像素空间上采样器作为默认设置；概率池化机制提高了接受率；局部验证和扩展机制显著优于光栅扫描重新采样；并行解码进一步减少了端到端延迟。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本到图像生成（512p） | GenEval | 76.4 (Tar-1.5B), 85.1 (Tar-7B) | 77.7 (Tar-1.5B baseline), 85.1 (Tar-7B baseline) | 1.94×加速 (Tar-1.5B), 2.03×加速 (Tar-7B) |
| 文本到图像生成（1024p） | GenEval | 76.8 (Tar-1.5B), 85.4 (Tar-7B) | 77.1 (Tar-1.5B baseline), 85.2 (Tar-7B baseline) | 3.90×加速 (Tar-1.5B), 5.33×加速 (Tar-7B) |
| 语义对齐 | DPG-Bench | 82.6 (Tar-1.5B@512), 82.2 (Tar-1.5B@1024) | 82.8 (Tar-1.5B@512 baseline), 82.3 (Tar-1.5B@1024 baseline) | 性能相当，加速1.94-3.90倍 |
| 感知质量 | FID | 33.4 (Tar-1.5B@512), 31.3 (Tar-1.5B@1024) | 33.0 (Tar-1.5B@512 baseline), 32.4 (Tar-1.5B@1024 baseline) | 轻微下降，但加速显著 |
局限与改进
本文的局限性主要体现在以下几个方面。首先，当前框架依赖于两个独立的检查点——低分辨率草稿模型和高分辨率验证模型。虽然多分辨率检查点在现代AR系统中越来越常见，但这种设计带来了实际约束：推理时需要加载两组权重并维护两个KV缓存，在内存受限的设备上可能成为瓶颈。其次，有效性依赖于草稿模型和验证模型之间的分布对齐：当它们独立训练或架构差异较大时，接受率会下降，多尺度草稿带来的收益也会减小。在LlamaGen上的实验部分验证了这一观察，加速效果低于Tar模型。第三，在512p设置下，草稿模型的成本成为瓶颈，限制了整体加速效果，因为无论接受率如何，草稿生成的token数量是固定的。第四，虽然消融研究探索了上采样器设计、概率池化和局部扩展半径等超参数，但最优设置可能因模型和分辨率而异，需要针对特定场景进行调优。
独立分析的弱点
基于对论文的深入分析，我认为MULO-SD存在几个可以改进的弱点。首先，当前方法需要独立的草稿模型和目标模型，这增加了内存占用和部署复杂性。改进方向是探索自推测解码（self-speculative decoding），即使用同一个模型的内部层作为草稿，这样可以消除重复权重和KV缓存的问题。其次，在512p设置下，草稿模型的成本成为瓶颈，因为其延迟是固定的。可以通过使用更轻量级的草稿模型架构（如减少层数或隐藏维度）来降低这一成本，或者探索动态草稿策略，根据图像复杂度调整草稿token数量。第三，局部扩展半径 $l$ 的选择目前是固定的（$l=3$），但最优值可能因分辨率和图像内容而异。可以开发自适应局部扩展机制，根据被拒绝token的分布动态调整扩展半径。第四，当前方法在1024p下实现了显著加速，但FID指标略有下降。可以通过改进上采样器训练策略或引入更精细的接受标准来平衡速度和质量。
未来方向
本文作者提出了几个有前景的未来研究方向。首先，将框架扩展到视频生成和其他多模态任务是一个自然的延伸，因为视频具有时间维度的多尺度结构，推测解码可以在时间维度上进行类似的多尺度草稿。其次，探索自推测解码的集成可以消除对独立草稿模型的依赖，提高部署效率。第三，将MULO-SD与现有的并行解码方法（如LPD）深度集成，可能实现更大的加速。基于本文的成果，还可以探索以下方向：（1）将多尺度推测解码思想扩展到其他生成任务，如音频生成或3D模型生成；（2）开发自适应的多尺度策略，根据图像内容动态选择最优的分辨率比例；（3）研究草稿模型和目标模型的联合训练，以最大化分布对齐和接受率；（4）探索在边缘设备上的高效部署，利用模型压缩和量化技术降低内存占用。
复现评估
本文的复现评估如下：开源方面，论文提供了项目网页（https://qualcomm-ai-research.github.io/mulo-sd-webpage/），但代码仓库的链接未在论文中明确给出。数据方面，实验使用了LAION-COCO-Aesthetic数据集训练上采样器，评估在MS-COCO 2017验证集（5k图像）上进行，这些都是公开可用的数据集。算力需求方面，实验在NVIDIA A100 GPU上进行，batch size为1，对于Tar-1.5B 1024p设置，单张图像生成需要约80秒（基线），MULO-SD可以将其加速到约20秒。复现难度方面，主要挑战包括：（1）需要获取Tar模型的检查点，这可能需要与Qualcomm AI Research联系；（2）需要训练上采样器模块，虽然论文提供了训练细节，但需要一定的GPU资源；（3）需要将现有推测解码实现（如LANTERN、ZipAR）移植到Tar的代码库中。总体而言，复现需要中等偏上的技术能力和计算资源，但论文提供了详细的算法描述（Algorithm 1）和实现细节，降低了复现难度。
论文图表
