解锁预训练自回归图像模型的任意序生成能力 Unlocking Any-Order Generation in Pretrained Autoregressive Image Models
预训练AR图像模型无需从头重训，即可低成本解锁修复、外推与编辑等任意序生成能力
前置知识
自回归（AR）图像生成
将图像经 VQ tokenizer 离散化为 token 序列，再用因果 Transformer 逐个预测下一个 token 的生成范式，代表工作有 LlamaGen 和 RAR，质量已与扩散模型相当，且因架构与语言模型同构而能复用整套 LLM 推理生态。
本文的适配对象就是这类模型，必须先理解其"逐 token 按固定顺序生成"的工作方式，才能看懂固定顺序带来的限制以及改造顺序的意义。
光栅扫描顺序（raster scan）
从左到右、从上到下逐行排列图像 token 的固定顺序 $\sigma_{\text{raster}}=(1,\dots,n)$，是标准 AR 图像模型的默认因子分解。这个顺序在训练中被硬编码进模型权重，使模型推理时只能从左上角生成到右下角。
本文的核心叙事就是打破这一固定顺序：模型的一切局限（无法修复、外推）都源于它，整个方法围绕"从 raster 过渡到任意排列"展开。
任意序生成（any-order generation）
模型可在任意 token 排列 $\sigma$ 下生成：预测任意 token 子集时以任意其他子集为条件。概率链式法则保证每个 $\sigma$ 都是对同一联合分布 $p(x_1,\dots,x_n)$ 的合法因子分解。这种能力可直接实现修复、外推、区域编辑，并允许并行解码。
这正是本文要"解锁"的目标能力；理解"不同顺序=同一分布的不同因子分解"这一数学事实，是理解作者核心论点（预训练知识可复用）的前提。
目标位置可辨识性问题
因果模型按变化的顺序 $\sigma$ 生成时，相同的观测上下文 $x_{\sigma(<t)}$ 在不同排列下对应不同的预测目标（给定同样的上下文，预测天空 token 和预测人脸 token 是两个不同的条件分布），模型无从区分，训练时产生互相冲突的梯度使目标无解。XLNet 用双流注意力解决，本文用输入级加性嵌入解决。
这是方法第一个组件（未来感知位置嵌入）存在的根本理由，也是 Figure 4 消融中损失不降反升的失败根源，不懂它就无法理解方法设计的必然性。
KV 缓存与 AR 推理生态
自回归推理时缓存已计算 token 的 key/value 向量避免重复计算；配套的投机解码、张量/流水线并行和 vLLM 服务框架共同构成 LLM 推理栈。双向注意力模型（如离散扩散）每步需重算所有未掩码位置，与逐 token 的缓存复用机制天然不兼容。
保住这套生态是本文的核心卖点之一，也是作者批评离散扩散路线"推理差距是反复出现的"这一关键论据的技术基础。
离散扩散
把生成建模为迭代"掩码-去噪"的离散 token 扩散家族，代表是 MaskGIT：用双向注意力 Transformer 反复预测被掩码 token。它天然支持任意序式生成，但需从头训练（约 3 倍于光栅扫描训练的算力），且迭代精化解码游离于 AR 推理生态之外。
它是本文最主要的对比基线，理解其工作机制才能明白作者所说的"架构上注定无法用 KV 缓存"以及 Table 6 中各类方法的成本对比。
FID（Fréchet Inception Distance）
衡量生成图像与真实图像在 Inception 网络特征空间中分布差异的指标，越低越好。ImageNet 256×256 是标准评测协议（5 万生成样本对比参考统计），常与 IS、Precision/Recall 配合报告。
论文所有质量结论都以 FID 为主指标：适配后 FID 上升 1.17–1.93 是作者明说的"质量-灵活性交换"，修复任务 FID 6.21 vs 10.44 是击败 MaskGIT 的核心证据。
RoPE（旋转位置编码）
通过在注意力的 Query/Key 上施加与位置相关的旋转变换来注入相对位置信息的位置编码方案，被 LlamaGen 采用；RAR 则使用输入层的可学习绝对位置表。
方法中"序列步 $t$ 的位置编码必须用空间索引 $\sigma(t)$ 而非序列步号"这一关键处理规则，直接建立在理解 RoPE 与绝对位置嵌入工作方式之上。
研究动机
标准自回归（AR）图像模型（如 LlamaGen、RAR）训练时固定使用光栅扫描顺序（从左到右、从上到下），相当于把图像分布的一种特定因子分解硬编码进模型权重。后果是推理时只能从左上角按序生成到右下角，无法对非连续上下文做条件化，因此天生做不了图像修复（inpainting）、外推（outpainting）和区域编辑——Figure 1 的"Pretrained (raster)"列直观展示了这种结构性无能。现有解决路线代价高昂：RandAR 等任意序方法从头训练混合排序，需要约 3 倍于标准光栅扫描训练的计算量（RandAR 需 300 epochs，对应的 LlamaGen-XL 光栅扫描只需 100 epochs）；而当前主流的离散扩散（MaskGIT 等）虽质量有竞争力，但其双向注意力加迭代精化解码的构造天然游离于 AR 推理生态之外——KV 缓存、投机解码和 vLLM 等服务框架都无法加速它。已有 AR 预训练流水线和服务基础设施的团队若想获得这些能力，必须平行投资一整套新技术栈，这是一个反复出现的推理成本差距，而非一次性训练开销。
本文的目标是本文的目标是证明：任意序生成能力不需要从头训练，可以从已有的预训练光栅扫描 AR 模型中直接"解锁"。具体而言，作者要设计一个适配配方，把公开可得的预训练 checkpoint（LlamaGen-L/XL、RAR-L/XL，覆盖两种架构、两个规模）改造为支持任意 token 子集条件化的 any-order 生成器，同时满足三个约束：其一，保持标准因果单流 Transformer 架构完全不变，从而保留 KV 缓存、并行解码和 vLLM 部署兼容性；其二，额外计算量控制在预训练预算的 13–33%（LlamaGen-XL 上为 25%），远低于从头训练约 3 倍的开销；其三，光栅扫描质量损失有限且可量化（FID 上升 1.17–1.93），以此换取修复、外推、区域编辑的全套零样本能力。用作者的话概括：修复、外推、编辑不必被"添加"到自回归模型里，它们可以从现有模型中被"解锁"。
与已有工作不同的是，本文独特的切入点是把"任意序能力"重新定义为适配（adaptation）问题而非预训练问题。概率链式法则保证联合分布 $p(x_1,\dots,x_n)$ 在任意 token 顺序下都是等价的因子分解，因此一个在光栅扫描顺序下拟合良好的模型，理应是所有其他顺序下拟合良好的候选——模型缺的不是分布知识（纹理统计、空间连贯性、语义结构已在预训练中学到），而是通过非顺序条件通路表达这些知识的机制。此前所有工作（XLNet 的双流注意力、RandAR、MaskGIT）都把 any-order 能力当作需要从头联合优化的目标，而作者假设光栅扫描预训练学到的表征本质上是顺序无关的——它们编码的是图像属性而非扫描线属性，只需轻量适配即可复用。这一视角还带来架构上的差异化选择：用输入级的加性嵌入（而非 XLNet 的双流注意力）解决目标位置可辨识性问题，代价几乎为零，且保住了 KV 缓存与整个 AR 推理生态。
核心方法
方法是一个两组件适配配方，直觉上分两步：先让模型"知道自己在预测哪个位置"，再让它"循序渐进地学会乱序"。技术上，适配训练目标是在置换分布下最大化期望对数似然 $$\mathcal{L}(\theta) = \mathbb{E}_{\sigma \sim P_{\alpha(s)}} \sum_{t=1}^{n} -\log p_\theta\big(x_{\sigma(t)} \mid x_{\sigma(<t)},\, E_{\sigma(t+1)}\big)$$ 即每个 token 的输入表征额外加上"下一个目标位置"的未来感知嵌入 $E_{\sigma(t+1)}$，置换 $\sigma$ 从由课程系数 $\alpha$ 控制的混合分布中采样。除这两个组件外，流水线与标准继续光栅扫描训练完全一致：从公开 checkpoint 初始化，沿用预训练的优化器和权重衰减，训练 $T_{ft}$ 个 epoch。位置处理上有一条关键规则：序列步 $t$ 做 RoPE 旋转（LlamaGen）或绝对位置查表（RAR）时使用空间索引 $\sigma(t)$ 而非序列步号，使注意力计算只依赖 token 的空间位置，原封不动继承预训练学到的空间关系先验，只是序列步消费这些位置的顺序变了。
核心是两个被证明联合必要的组件。其一是未来感知位置嵌入：因果式任意序生成存在可辨识性问题——同一观测上下文 $x_{\sigma(<t)}$ 在不同排列下对应不同预测目标（给定同样上下文预测天空 token 和人脸 token 是完全不同的条件分布），缺少目标位置信息时梯度互相冲突，目标在数学上无解。XLNet 用双流注意力解决，但每层注意力计算翻倍且破坏 KV 缓存；本文改用可学习嵌入表 $E \in \mathbb{R}^{n \times d}$，把 $E_{\sigma(t+1)}$ 以元素加法注入输入层（末位用空嵌入 $E_\emptyset$），仅增加 $(n+1)\cdot d$ 个参数（LlamaGen-XL 上 0.74M，占 0.095%）。其二是排序课程：从预训练参数出发，随机置换的损失远大于光栅扫描，对 $\mathrm{Uniform}(S_n)$ 求期望的梯度幅度大且方向不一致，会先把模型推出预训练盆地再发展乱序路由，造成灾难性遗忘。因此采样分布取 $P_\alpha = (1-\alpha)\cdot\delta_{\sigma_{\text{raster}}} + \alpha\cdot\mathrm{Uniform}(S_n)$，按线性日程从纯光栅扫描渐变到均匀随机——课程改变的是损失本身的构成，而非仅仅调低学习率。
方法步骤详情
完整流程五步。第一步准备：加载公开预训练 checkpoint（LlamaGen-L/XL 或 RAR-L/XL），沿用其 VQ tokenizer 和 ImageNet 预训练配置，不修改 tokenizer。第二步构造输入：样本按置换 $\sigma$ 排序后，序列步 $t$ 的输入嵌入为 $h_t = e(x_{\sigma(t)})$（RAR 还加上其在 $\sigma(t)$ 处的绝对位置嵌入），位置编码一律使用空间索引 $\sigma(t)$，再加未来感知嵌入得 $\tilde{h}_t = h_t + E_{\sigma(t+1)}$。第三步采样课程：批内每样本独立从 $P_\alpha$ 抽置换，$\alpha(s)=\min(s/S_{\text{ramp}}, 1)$ 线性从 0 升到 1 后保持。第四步训练：嵌入表 $E$ 零初始化（RAR 直接加载其已有的 target-aware 位置嵌入）并以 10 倍基础学习率训练，其余超参匹配预训练，跑 $T_{ft}$ 个 epoch（LlamaGen-XL 为 25 epochs，即预训练的 25%）。第五步推理：用户或任务指定顺序 $\sigma$——光栅扫描即恢复预训练行为；把观测 token（修复掩码、外推边界、部分编辑）放在 $\sigma$ 开头再条件采样其余 token，即零样本完成各任务；由于是标准单流因果 Transformer，KV 缓存原样可用，条件近独立的 token 还可在单次前向中联合采样实现并行解码。
技术新颖性
新颖性体现在三个层面。架构上：与 XLNet 的双流注意力、MaskGIT 的双向注意力和 MAR 的扩散头都不同，本文用最低成本——输入级加性嵌入，仅占 0.095% 参数量——解决可辨识性问题，并证明单次输入注入即足够：作者尝试过 AdaLN 式逐层注入但发现无必要，因为嵌入的角色只是消歧预测目标而非全程参与特征计算。训练范式上：首次实证证明"任意序能力可以从预训练光栅扫描模型中适配而来"，以约 $1.25\times$ 预训练预算达成从头训练需约 $3\times$ 的能力，并把课程形式化为延拓方法（continuation method）——不同于降低学习率（只缩小步长、不改变梯度方向），课程改变损失的组成，让早期梯度由与预训练解一致的方向主导。消融为每个论断提供了直接证据：去掉嵌入表后损失随课程推进不降反升（Figure 4 红线），正是可辨识性冲突的实证；去掉课程 FID 从 4.24 恶化到 5.86 且是保真度坍缩（Recall 不变）；向冻结光栅教师加 KL 正则反而把 FID 推到 9.62，说明匹配光栅扫描特定预测与学习任意序条件在目标层面相互冲突。
实验结果
四组核心实验。第一，类条件生成（Table 1）：四个基模型 FID 上升 1.17–1.93——LlamaGen-L 3.07→4.24、LlamaGen-XL 2.63→3.91、RAR-L 1.70→3.63、RAR-XL 1.50→2.68——而 IS/Precision/Recall 基本持平（XL 适配后 IS 252.94、Prec 0.81、Rec 0.53），是一次被明确定义的质量-灵活性交换。第二，修复与外推（Table 3）：ImageNet 256×256 五万验证图上，修复 FID 6.21 优于 MaskGIT（cosine 10.44、Halton 7.82）和 MAR-L（6.63）；外推 FID 5.84 优于 MaskGIT 12.17/7.91 与 MAR-L 6.86；区域补全（5000 张，区域 30–50%）三项参考指标全面第一：LPIPS 0.125、PSNR 24.65、SSIM 0.682。第三，成本（Table 6）：适配仅需预训练预算的 1.13–1.33×（XL 为 1.25×），对已有 checkpoint 的边际成本比从头训练低约 12 倍；Table 2 显示同总 epoch 数下从头训练更差（4.24 vs 5.60、3.91 vs 4.81），预训练价值真实存在。第四，效率（Table 7）：并行解码把前向次数减少 9 倍仅付出 1.12 FID（576 步 3.91 → 64 步 5.03）；单张 RTX PRO 6000 上 35.6 ms/图，快于 MAR-L 的 56.3 ms（MaskGIT 23–24 ms 但修复 FID 更差）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ImageNet 256×256 类条件生成 | FID（5 万样本） | 3.91（LlamaGen-XL 适配后，IS 252.94） | LlamaGen-XL 预训练 2.63；从头任意序训练 RandAR-XL 2.22（需 3× 算力） | FID 上升 1.28 换取全套任意序能力；IS/Precision/Recall 持平，端到端成本约为从头训练的 1/2.4 |
| ImageNet 图像修复（中心掩码） | FID | 6.21（IS 157.0） | MaskGIT cosine 10.44 / Halton 7.82；MAR-L 6.63 | 较 MaskGIT cosine 降低 40.5%，同时优于最强基线 MAR-L（作者称两者为 competitive，本文 FID 更低） |
| ImageNet 图像外推（128×128 扩展到全图） | FID | 5.84（IS 159.4） | MaskGIT cosine 12.17 / Halton 7.91；MAR-L 6.86 | 优于所有基线，且从未在该任务上训练过 |
| 区域条件补全（5000 张，区域 30–50%） | LPIPS / PSNR / SSIM | 0.125 / 24.65 / 0.682 | MaskGIT 0.234 / 19.20 / 0.484；MAR-L 0.174 / 20.15 / 0.550 | 三项参考指标全部第一，LPIPS 较 MAR-L 降低约 28% |
| 训练成本（相对光栅扫描预训练预算） | 计算量倍数 | 1.25×（各基模型 1.13–1.33×） | RandAR / 离散扩散从头训练约 3×；RAR 从头训练 4× | 端到端成本降低约 2.4×；对已有 checkpoint 者边际成本低约 12× |
| 并行解码（LlamaGen-XL） | FID（64 步） | 5.03（前向次数减少 9×） | 自身串行 576 步为 3.91；离散扩散无法复用 KV 缓存 | 以 1.12 FID 代价获得 9× 前向加速，且保留在 AR 推理生态内 |
局限与改进
作者承认的限制：实验仅限 ImageNet 256×256 类条件生成，配方能否推广到文生图 AR 模型或更高分辨率尚未验证；只适配 token 化的 AR 模型，MAR 这类用扩散头预测连续 token 的方法超出范围；编辑评估只覆盖区域补全，指令遵循与身份保持只有定性展示；随机初始化对照（Table 2）匹配了计算量但未匹配训练日程。我自己的观察：其一，FID 回退并非均匀无害——RAR-L 从 1.70 涨到 3.63（+1.93）超过一倍，对追求极致质量的场景可能是硬伤，且作者承认不声称该代价是根本性或随规模单调的；其二，所有对比均未报告多次运行的置信区间，作者自己也说明"没有 run 级不确定性"，MAR-L 与本文的"竞争"结论因此偏弱；其三，课程超参 $S_{\text{ramp}}$ 在 held-out 子集上调节，其敏感性没有系统报告；其四，评测掩码限于中心矩形与随机连续区域，真实应用中掩码形状、数量、语义复杂度差异更大，鲁棒性存疑；其五，全部实验在自然图像上进行，对文档、UI 截图等分布外的泛化完全未知。
独立分析的弱点
弱点一：质量回退在贴近 FID 下限的模型上被放大——RAR-L +1.93、RAR-XL +1.18，比 LlamaGen 更显眼，改进方向是解耦适配强度与部署需求，例如提供 LoRA 式轻量适配或按任务动态门控未来感知嵌入。弱点二：课程是全局线性的，对所有图像和 token 一视同仁，可探索按置换与光栅序的 Kendall 距离分层的自适应课程。弱点三：教师正则的失败（KL 项把 FID 从 4.24 推到 9.62）说明简单分布匹配会把模型锁死在光栅解上，可改为仅早期施加随 $\alpha$ 衰减的正则，或只约束中间表征而非预测分布。弱点四：推理顺序 $\sigma$ 完全由用户指定，任务最优顺序（如由外向内、由粗到细）缺乏系统研究，可引入顺序搜索或轻量顺序打分器。弱点五：未来感知嵌入与 RoPE 的交互只在输入层，更高分辨率、更长序列下跨分辨率共享 $E$ 的泛化未被分析；且预 token 化依赖固定 tokenizer，tokenizer 换代需重新适配。
未来方向
作者提出的方向：把配方推广到文生图 AR 模型（作者提及 unified multimodal stacks）和更高分辨率，验证"表征顺序无关"假设的边界；把编辑评估扩展到指令级编辑与身份保持的量化测量。基于其成果可延伸的研究：其一，适配文本-图像统一模型（Chameleon 类），一次适配同时获得文本与图像的任意序能力，对交错多模态生成和图文填充有直接价值；其二，任意序训练与投机解码结合——任意序模型天然知道哪些 token 条件独立，可作为起草-验证框架中更聪明的草稿策略；其三，与极短序列 tokenizer（如 TiTok-S-128，64 步生成 FID 1.97）叠加，适配成本随序列长度 $n$ 增大而摊薄，短序列加任意序可能同时压缩训练与推理成本；其四，把嵌入表 $E$ 替换为 RoPE 式函数化参数化以支持可变分辨率和跨模型迁移；其五，"从已解因子分解到目标因子分解的课程渐变"这一思路可推广到其他改变分解方式的适配场景，如视频 AR 的时间顺序与时空混合顺序自适应。
复现评估
复现条件较好。代码已开源（github.com/Ordered-AR/unlockedadaptation）；四个基模型 LlamaGen-L/XL、RAR-L/XL 均从公开预训练 checkpoint 出发，使用各自的 VQ tokenizer，数据只用 ImageNet-1k 训练集（128 万图，预 token 化），评测遵循标准 ImageNet 256×256 协议（5 万样本、TF-Inception）。适配算力适中：LlamaGen-XL 为 25 个 epoch（预训练 100 epochs 的 25%），总预算约 1.25× 预训练——对已有 checkpoint 的团队，边际算力比从头训练任意序模型低一个数量级；嵌入表仅 0.74M 参数。关键超参明确且少：线性课程的 $S_{\text{ramp}}$ 在 held-out 子集上调，嵌入表 10× 学习率被消融证明必要（基础学习率会收敛不稳定），逐模型数值在附录 B。主要门槛在于 ImageNet 预 token 化的数据工程；vLLM 部署需做自定义模型注册以提供空间位置索引和未来感知嵌入，有一定工程量。综合看：适配部分在单节点多卡上应可复现，但对齐论文 FID 需认真匹配评测协议与采样配置。
论文图表
三列对比图：中间列展示 LlamaGen-L 适配后的模型在同一权重下完成修复、编辑、外推三种任务的结果；左侧"Pretrained (raster)"列展示同一模型在光栅扫描自然生成流程下被要求做相同任务时的失败结果，作者强调这些失败反映的是固定顺序 AR 模型无法对非连续上下文条件化的结构性无能，而非任务能力弱。
这是全文的动机图：一图说明"固定顺序模型做不了这些任务、适配后的同一权重全能做"，让读者在进入技术细节前直观理解要解决的问题和达成的能力，差异仅在于推理时观测哪些 token。