ELT：面向视觉生成的弹性循环 Transformer ELT: Elastic Looped Transformers for Visual Generation

ELT 的方法分为四步。第一步，循环架构构建：定义 $N$ 个独特 Transformer 层组成复合块 $g_\Theta(x) = f_{\theta_N}(f_{\theta_{N-1}}(\cdots f_{\theta_1}(x)))$，整个模型的有效深度 $D = N \times L$。给定 $(N, L_{max})$ 配置，每次前向传播就是 $g_\Theta^{L_{max}}(x)$（$L_{max}$ 次 $g_\Theta$ 复合）。第二步，随机学生采样（S3）：在每个训练 step，从均匀分布 $\mathcal{U}(L_{min}, L_{max})$ 中采样一个 $L_{int}$，把前 $L_{int}$ 次循环输出作为学生表示。第三步，联合损失计算：对教师路径（$L_{max}$ 步）计算 $\mathcal{L}_{GT}(F^{(N,L_{max})}(x), y)$，对学生路径（$L_{int}$ 步）同时计算 $\mathcal{L}_{GT}(F^{(N,L_{int})}(x), y)$ 和蒸馏损失 $\mathcal{L}_{dist}(F^{(N,L_{int})}(x), \mathrm{sg}(F^{(N,L_{max})}(x)))$；对掩码生成模型 $\mathcal{L}_{dist}$ 用教师分布的 KL 散度，对扩散模型用 sigmoid-weighted MSE（$w(t) \| F^{(N,L_{max})}(x_t) - F^{(N,L_{int})}(x_t) \|_2^2$）。三者按 $\mathcal{L}_{ILSD} = \mathcal{L}_{GT}^{teacher} + \lambda \mathcal{L}_{GT}^{student} + (1-\lambda) \mathcal{L}_{dist}$ 加权。第四步，$\lambda$ 课程：从 $\lambda=1$ 线性衰减到 $\lambda=0$，让学生先在可靠 ground truth 上训练，再逐步转向模仿成熟的教师。推理时只需在 $[L_{min}, L_{max}]$ 内任选 $L$ 并跑 $L$ 次 $g_\Theta$，得到相应的质量-速度折中。

技术新颖性体现在三个层面。第一，循环架构的工业级扩展：把 Universal Transformer 的循环思想从 toy NLP 任务推进到 DiT、MaskGIT、MAGVIT 等工业级视觉生成模型，并证明在 539M 参数、512 步 DDPM 这种规模上仍然有效。第二，ILSD 的零开销自蒸馏：传统蒸馏需独立前向教师和学生网络（成本约 2 倍），ILSD 借助学生=教师前缀的巧妙设计，把额外计算降到接近零（仅多一个损失头和一次中间状态读出），同时实现训练时即可弹性的能力。第三，$\lambda$ 课程 + 随机学生采样：把硬蒸馏（直接模仿）和硬 GT（只学标签）通过线性课程平滑切换，既稳定了早期训练（学生不会因为教师未成熟而学坏），又确保了后期模型在中间深度仍保持高质量。Figure 8 验证了 ILSD 在 MaskGIT 和 DiT 两种框架下都能把刚性循环变成弹性循环，FID 在 $L \in [1, L_{max}]$ 范围内保持稳定，而 vanilla 循环在 $L \ne L_{max}$ 时 FID 飙升 5-10 倍。

弱点 1：单层循环容量不足。1N×32L 配置的 FID 10.30 与 8N×4L 的 FID 3.96 形成鲜明对比，表明 $N$ 必须 $\geq 4$ 才能保持合理质量。改进方向是研究自适应 $N$ 选择策略，或在损失中加入 $N$ 维度的正则（如 $L_2$ 约束跨层参数差异），让单层也能在权重共享下学到足够的多尺度表示。弱点 2：课程 $\lambda$ 衰减率缺少消融。论文提到未观察到对衰减率敏感，但未给出不同 $\lambda$ 调度（指数衰减、阶梯衰减、cosine）下的对比实验。改进方向是补充关于 $\lambda$ 调度与 $L_{max}$/数据集规模的联合消融研究。弱点 3：与 Consistency Models 等少步方法的正交性声称缺乏实验。论文末尾强调 ELT 与 few-step 方法互补，但 Table 2 仅展示 512 步 DDPM 结果，未给出与 LCM、dMDC 等 1-4 步扩散器结合的对比。改进方向是在 Consistency Model 框架下替换 DiT 块并报告 FID/GFLOPs。弱点 4：评估分辨率单一。所有实验都在 256×256，对于 DiT 类模型在 512/1024 高分辨率上的优势未验证。弱点 5：缺少与 E-DiT、ALIT 等弹性方法的直接对比。Table 1 只对比固定深度基线，Figure 4 缺少 E-DiT 等其他弹性方法的 Pareto 曲线叠加。改进方向是同一张 Pareto 图上对比 ELT 与 E-DiT、ALIT 的质量-算力曲线。

作者明确提出的方向：（1）跨去噪步的动态循环分配——ELTs can potentially unlock more efficient inference for diffusion models——在不同去噪时间步 $t$ 分配不同的循环数 $L(t)$，因为某些时间步（如接近 $T$ 的粗去噪）可能不需要精细迭代，节省的循环可分配给关键步骤；（2）单步生成器（consistency models、drifting models）下的 ELT 应用——当采样步数 $K=1$ 时，$L$ 成为唯一可调的计算旋钮，使质量-速度权衡更纯净；（3）通过 ILSD 训练得到的超训练深度外推行为（$L > L_{max}$）值得进一步研究，可能解锁无需重训就能持续扩展计算预算的部署模式。基于成果可延伸的方向：（4）将循环块设计从 Uniform 循环（每层用 $L$ 次）改为 Layerwise 循环——不同层有不同的最优 $L_i$，通过 NAS 或可学习路由决定每层循环数，进一步释放 Pareto 空间；（5）把 ILSD 的自蒸馏思想拓展到语言-视觉多模态模型（如 LLaVA、InternVL），视觉编码器部分用 ELT+ILSD 压缩 4× 参数同时保持多模态推理质量；（6）将循环 Transformer 与 Token Merging、ToMe 等 token 减少方法叠加，在双重压缩（参数 + token）下探索极小化部署；（7）研究 ILSD 在 few-step 扩散（如 4 步 DDIM）下的兼容性，因为 few-step 模型的教师（64 步）和学生（4 步）差距更大，蒸馏难度更高，可能需要重新设计 $\lambda$ 课程。

复现评估：论文的方法、损失、算法流程描述详细，给出了 Algorithm 1（训练）和 Algorithm 2（推理）的伪代码（虽然摘要文本未完整呈现，但论文正文有列出），公式 1-3 明确写出 $\mathcal{L}_{ILSD}$ 的具体形式，$\lambda$ 线性课程从 1 到 0 的设定、超参数 $\mathcal{U}(L_{min}, L_{max})$ 的采样范围、MaskGIT/MAGVIT/DiT 三种框架的具体配置（codebook size 1024、embedding dim 1024、Adam optimizer、batch size 512、500K steps）都详细列出。未开源声明：截至本摘要撰写时，论文是 arXiv 2604.09168v2（2026-04-13）的预印本，作者是 Google Research 团队（Sahil Goyal 等），但 GitHub 仓库链接在元信息中未提供。复现难度：中等偏高。优势是架构和损失可基于 PyTorch + HuggingFace Transformers 直接实现，MaskGIT 和 DiT 的开源实现众多；挑战是（a）TPU v6e 吞吐量实验需 Google Cloud TPU 访问权限（普通研究者难以获得 v6e，且 batch size 8 的对比需控制硬件一致）；（b）ImageNet 256×256 训练需 270 epochs（MaskGIT 框架）或 500K steps（DiT 框架），即使 batch size 512，单卡 A100 仍需数周，多 TPU pod 训练才能在合理时间内完成；（c）UCF-101 视频模型需 16×128×128 序列，显存压力大。改进建议：作者应开源预训练 checkpoint、训练脚本和 $\lambda$ 课程的具体实现，并提供 ImageNet 验证集 50K 样本的 FID 评估代码，以便社区在消费级 GPU 上至少能跑推理 demo。