DDiT：用于高效扩散Transformer的动态Patch调度 DDiT: Dynamic Patch Scheduling for Efficient Diffusion Transformers

DDiT的方法包含三个主要步骤：第一步，修改patch嵌入层以支持多种patch大小。对于每个新的patch大小p_new（p_new ∈ {p, 2p, 4p, ...}），引入对应的patch嵌入层和反嵌入层，使用双线性插值从原始patch大小的位置嵌入初始化新位置嵌入，并添加可学习的patch大小嵌入作为标识符。同时在patch嵌入层前后添加残差连接，并引入LoRA分支（秩为32）到每个Transformer块的前馈层中。第二步，通过蒸馏损失微调LoRA分支。损失函数为L = ||ε_θ^L(z_{p_new}^t, t) - ε_θ^T(z_p^t, t)||_2^2，其中ε_θ^L和ε_θ^T分别表示LoRA微调模型和冻结基础模型的噪声预测。第三步，在推理时使用动态patch调度器。对于每个时间步，计算潜在表示的三阶有限差分Δ³z_{t-1}，将其分割成不同大小的patch，计算每个patch内的标准差σ_{p_i}^{t-1}，取ρ百分位数（默认ρ=0.4），然后与阈值τ（默认τ=0.001）比较：如果σ_{p_i}^{(ρ),t-1} < τ，则选择满足条件的最大patch大小；否则默认使用最小patch大小p。

DDiT的技术新颖性体现在多个方面：首先，它是第一个提出动态tokenization概念用于扩散模型的工作，即在推理时根据内容复杂度动态调整patch大小，而不是使用固定的patch大小。其次，它使用潜在流形演化的三阶有限差分作为复杂度度量，这是一个新颖的视角，作者发现三阶差分比一阶和二阶差分更能捕捉生成动态。第三，方法只需最小的架构修改（添加LoRA适配器和少量嵌入层）就能使任何预训练DiT支持多种patch大小，这是即插即用的。第四，动态调度器是零训练开销的，不需要额外的学习过程。第五，方法可以与现有加速技术（如TeaCache）互补，进一步提升加速效果。

从独立分析的角度来看，DDiT存在几个值得关注的弱点。首先，动态调度器基于潜在流形演化的三阶有限差分，但这种度量可能无法准确反映所有类型的生成复杂度。例如，在生成具有重复纹理模式的图像时，潜在表示可能演化缓慢，但实际需要细粒度的patch来捕捉纹理细节。改进方向可以考虑结合多种复杂度度量，如频域分析或注意力权重分布。其次，当前方法在同一时间步内对整个潜在表示使用相同的patch大小，这在处理具有空间异质性的图像时可能导致次优结果。例如，生成一张包含简单天空和复杂建筑的图像时，天空区域可以使用大patch，而建筑区域需要小patch。改进方向是实现空间自适应的patch分配，根据局部区域的复杂度动态调整patch大小。第三，LoRA适配器需要在合成数据集上微调，这可能导致域偏移问题，特别是在处理与训练数据分布差异较大的提示时。改进方向可以考虑使用更多样化的训练数据或域自适应技术。

论文作者在结论中提出了几个有价值的未来研究方向。首先，他们建议在同一时间步内研究不同patch大小的使用，即空间自适应的patch调度，这可以进一步提升效率。其次，方法可以扩展到长视频生成，允许模型用相同的计算量生成更长的视频。此外，基于本文的成果，还可以探索以下延伸方向：第一，将DDiT与其他加速技术（如模型蒸馏、量化）结合，实现更极端的加速；第二，研究DDiT在条件生成任务（如图像编辑、风格迁移）中的应用，这些任务可能有不同的复杂度模式；第三，开发自动化的阈值选择方法，避免手动调参；第四，探索DDiT在其他类型扩散模型（如一致性模型、流匹配模型）中的适用性；第五，研究动态patch调度对注意力模式的影响，以更好地理解模型的内部工作机制。

从复现评估的角度来看，DDiT具有良好的可复现性。首先，方法的架构修改相对简单，主要包括添加LoRA适配器、patch嵌入/反嵌入层和位置嵌入，这些都可以使用标准的深度学习框架实现。其次，论文提供了详细的实现细节：LoRA秩为32，使用Prodigy优化器（学习率1.0）或AdamW优化器（学习率1×10^{-4}），patch嵌入权重使用伪逆初始化，阈值τ=0.001，百分位数ρ=0.4。第三，训练数据是合成的：T2I任务使用T2I-2M数据集（由基础模型生成），T2V任务使用Vchitect-T2V-Dataverse的提示生成的合成视频，这降低了数据获取的难度。第四，方法不需要大量计算资源进行微调，因为只训练LoRA参数。第五，基础模型（FLUX-1.Dev和Wan 2.1）都是公开可用的。然而，论文没有明确说明是否开源了代码和微调后的模型权重，这可能会影响复现的便利性。