一维有序令牌：让自回归图像生成的测试时搜索更高效 (1D) Ordered Tokens Enable Efficient Test-Time Search

SoTo框架的实施分四步。第一步：定义token序列 $x=(x_1, ..., x_T)$，$x_t \in \mathcal{V}$，其中 $\mathcal{V}$ 是FlexTok的64K token词表。detokenizer Dec(·) 将token前缀映射到像素空间，verifier $g(x, c) = g_{\text{img}}(\text{Dec}(x), c)$。第二步：选择搜索算法。Best-of-N从AR先验采样N个完整序列，挑verifier最高者；Beam Search在token序列上进行稀疏验证，每隔 $s$ 步（FlexTok采用exponential schedule $t \in \{2^0, 2^1, ..., 2^8\}$ 共9步）解码当前前缀并打分，保留top-k；Lookahead Search在Beam基础上对每个候选额外rollout $L$ 步再验证（适合2D grid）。第三步：选择verifier。按需在CLIPScore、ImageReward、HPSv2、PickScore、CycleReward、Likelihood、Aesthetic Score、DreamSim、GroundedSAM以及它们的rank-based ensemble之间挑选。第四步：选择AR先验强度。条件先验最强（标准text-conditioned FlexTok）；无条件先验使用空CFG token；uniform先验完全不依赖AR模型，每步从vocabulary中均匀采样10%。每条beam的候选在每步从 $p(x_t|x_{<t})$ 采样 $M=10$ 个token，加上beam width $k=5$ 形成 $k \cdot M = 50$ 个候选，再用verifier选top- $k$。NFE（Number of Function Evaluations）被用作推理算力的统一度量。

技术新颖性主要体现在四个层面。第一，理论层面：在Pearl的启发式误差框架下，证明搜索gap $\Delta$ 与tokenizer的中间重建误差 $\epsilon_t$ 通过Lipschitz常数 $L$ 直接挂钩——$\Delta \leq 2L\epsilon_{t_0} + \eta_{t_0}$。由于FlexTok的nested dropout训练 $L_{\text{nested}} = \mathbb{E}_t[\|x_{1:t} - x\|^2_2]$ 显式最小化中间重建误差，其$\epsilon_t$随$t$迅速衰减（接近PCA-like分解 $\epsilon_t = \sqrt{\sum_{s=t+1}^{P}\lambda_s^2}$），而2D grid只在 $t=T$ 才有重建约束，中间步骤无结构保证。第二，方法层面：把'coarse-to-fine latent space + verifier-guided search'组合成一个不依赖AR模型的训练-free生成范式，这是首次系统地在图像生成领域验证这一可能性（并发工作Beyer et al. 2025也观察到类似现象，但本文框架更完整）。第三，实验层面：构造了FlexTok的1D vs 2D控制实验（同数据、同架构、同训练量），并在Janus-1.3B、Semanticist、Infinity-2B等多个独立tokenizer/generation paradigm上交叉验证，发现'结构决定可搜索性'这一结论具有跨架构泛化性。第四，应用层面：展示了用image-image verifier做zero-shot multimodal control（FlexTok在DreamBench++上DINO-I从32.5跃升至50.9，+18.4），而无需任何finetuning。

独立分析可以指出三个关键弱点及改进方向。第一个弱点：detokenizer计算瓶颈严重。Wall-clock分析（图14）显示beam搜索的detokenization成本远高于AR generation本身，这意味着NFE虽然公平但实际部署时延迟很高。改进方向：(a) 训练one-step detokenizer（替代flow-based的多次去噪）；(b) 设计adaptive verification schedule——根据verifier饱和度提前停止，避免无效搜索；(c) 缓存detokenized中间表示的相似结果。第二个弱点：verifier hacking无法彻底消除。实验显示优化单一verifier会产生明显的'盲区利用'（如优化Aesthetic让GenEval Accuracy下降）。改进方向：(a) 训练更鲁棒的reward model，特别是能区分'高质量图像'与'符合prompt的图像'；(b) 在ensemble中引入正则化约束，避免单个verifier分数过度主导；(c) 使用process-based verifier对每步token序列提供细粒度反馈，而非最终scalar。第三个弱点：prior bottleneck——当AR先验完全缺失（uniform prior）时，即使有verifier也无法生成prompt中的精细语义元素（图10的'wine'案例）。改进方向：(a) 设计hybrid prior——uniform + 轻量条件化（如类别标签）；(b) 在训练free设置中引入预训练的vision-language model的粗粒度先验；(c) 设计multi-stage搜索：第一阶段用弱先验建立global layout，第二阶段切换到强prior精修。

作者在结论部分明确提出的未来方向：(1) 设计专门利用coarse-to-fine结构的搜索算法（如adaptive token position selection、learned search policies、verifier-aware branching），而非通用beam search；(2) 开发自适应算力分配策略（early stopping based on verifier saturation）；(3) 更高效的detokenizer（one-step decoding）或adaptive decoding schedule；(4) 研究tokenizer设计如何进一步提升中间重建保真度。基于实验结果，我还看到几个有前景的延伸方向：(a) 把ordered token结构扩展到视频或多模态生成——视频token天然有时间维度，可能更适合coarse-to-fine ordering；(b) 用self-play或RL在ordered token空间训练专门的search policy，进一步拉开与vanilla beam search的差距；(c) 把训练free生成范式推到text-to-3D（NeRF/Gaussian Splatting）或text-to-motion，看1D ordering是否在其他模态同样有效；(d) 在RL post-training（如Self-Tok 2025已观察到ordered tokens的RL增益更大）中结合search，研究RL与search的互补性；(e) 开发更细粒度的process-based verifier（如dense per-token reward）替代当前的global scalar feedback。

复现可行性整体较高但有挑战。代码、模型权重和交互式可视化均已在 https://soto.epfl.ch 开源。核心实验依赖FlexTok预训练模型（来自Bachmann et al. 2025）和Janus-1.3B（Wu et al. 2024a），Semanticist和Infinity也有公开checkpoint。数据方面，COCO Karpathy和GenEval都是标准benchmark，Dreambench++公开可下载。主要复现难点：(1) 算力要求——paper中提到使用Lambda academic grant、ETH Swiss AI Initiative和CSCS Alps超算，单次beam搜索在300-image COCO子集上需数小时GH200时间，lookahead search（图14显示200秒/张图像）尤其昂贵；(2) verifier依赖多——CLIP、ImageReward、HPSv2、PickScore、CycleReward、DreamSim、Aesthetic Score、GroundedSAM每个都需要单独加载，加起来约占20GB显存；(3) FlexTok本身的flow-based detokenizer需要复现其multi-step denoising；(4) 1D vs 2D controlled comparison需要从FlexTok repo获取匹配的2D grid变体checkpoint，这部分训练在FlexTok原论文已完成；(5) variance analysis（表6）显示5次随机子集标准差仅±0.50，结果较稳定。总体而言，对有GPU集群的研究组来说中等难度，核心创新点（1D ordered token的search优势）可通过小规模实验验证；但要复现全部图（如所有verifier对比）则需要较多计算资源。