WiT：通过轨迹冲突导航的航点扩散 Transformer WiT: Waypoint Diffusion Transformers via Trajectory Conflict Navigation

WiT 的完整流程包括训练和推理两个阶段。训练阶段（Algorithm 1）：第一阶段训练航点生成器 $W_\psi$——从数据集采样图像 $(x, y)$，采样时间步 $t \sim U[0,1]$，用 DINOv3 提取特征并 PCA 降维得到真实语义航点 $s_0 = (\phi(x) - \mu) U_d$；构建噪声像素状态 $z_t = tx + (1-t)\epsilon_{\text{img}}$ 和噪声语义状态 $z_{\text{sem},t} = ts_0 + (1-t)\epsilon_{\text{sem}}$；$W_\psi$ 从 $z_t$ 预测干净航点 $\hat{s}_0$；优化语义速度匹配损失 $\mathcal{L}_{\text{sem}}$。第二阶段冻结训练好的 $W_\psi$，训练主像素生成器 $G_\theta$——在每个训练步中用冻结的 $W_\psi$ 从 $z_t$ 推断航点 $\hat{s}_0$，$G_\theta$ 以 $\hat{s}_0$ 作为空间条件生成 $\hat{x}$，优化像素速度匹配损失 $\mathcal{L}_{\text{img}}$。推理阶段（Algorithm 2）：从纯噪声 $z_{t_0} \sim \mathcal{N}(0, I)$ 出发，在每个 ODE 步骤中：（1）用嵌入的 $W_\psi$ 从当前噪声状态动态重校准航点 $\hat{s}_0$；（2）聚合空间条件 $c_s = e(t_k, y) + \text{Proj}(\hat{s}_0)$，通过 Just-Pixel AdaLN 在每个 Transformer 块中施加空间变化的仿射调制；（3）从最终块输出预测的干净图像 $\hat{x}$，计算速度 $\hat{v} = (\hat{x} - z_t)/(1-t)$ 并执行 ODE 步进。

WiT 的技术新颖性体现在多个层面。首先，「语义航点」概念本身是全新的——不同于潜空间模型的编码器-解码器范式，航点不是压缩后的图像表示，而是从独立的预训练视觉模型中提取的、专门为解耦生成轨迹而设计的中间目标。其次，Just-Pixel AdaLN 是对 AdaLN 机制的根本性改进：标准 AdaLN 对所有 token 施加均匀的全局调制，而 Just-Pixel AdaLN 将语义航点转化为空间变化的调制信号，让每个空间位置根据其语义内容获得不同的缩放和偏移参数，这在概念上类似于 ControlNet 的空间控制但实现更为优雅。第三，解耦的两阶段训练范式将语义推理和像素生成的优化彻底分离，避免了端到端训练中两个任务的梯度干扰。最后，论文从贝叶斯风险角度给出了严格的理论分析，证明语义条件 $\mathbb{E}_{\text{oracle}} \leq \mathbb{E}_{\text{standard}}$，为方法的有效性提供了坚实的理论支撑。

论文存在几个值得深入探讨的弱点。第一，DINOv3 特征的 PCA 降维是离线且固定的，无法适应生成过程中语义粒度的动态变化——在去噪早期可能只需要粗粒度语义，而在后期需要更精细的结构信息。改进方向可以是引入可学习的自适应压缩网络，或采用多尺度语义航点策略。第二，两阶段训练范式虽然避免了梯度冲突，但也阻止了航点生成器根据主生成器的反馈进行自适应优化。一个可能的改进是引入轻量级的联合微调阶段，让两个组件协同演化。第三，论文未充分探索航点生成器的架构设计空间——当前仅使用 ViT-S/16，更大的航点生成器是否能进一步提升性能尚不清楚。第四，Just-Pixel AdaLN 虽然优于其他注入方式，但其空间调制能力受限于线性投影，更复杂的非线性空间条件机制可能带来进一步提升。

基于 WiT 的成果，有多个有前景的研究方向。首先，将框架扩展到更高分辨率和更广泛的生成任务（如文本到图像、图像编辑）是最直接的延伸，特别是在 SDXL 等大规模模型中集成语义航点机制。其次，探索更丰富的语义表示空间——除了 PCA 降维的 DINOv3 特征，可以融合语义分割、深度图等多模态结构信息作为多层次航点。第三，研究自适应航点策略，根据去噪进度动态调整航点的粒度和数量，在早期使用全局语义航点、后期使用局部结构航点。第四，将轨迹冲突的定量分析工具推广到其他生成范式（如 GAN、自回归模型），建立更通用的生成优化理论框架。第五，探索在持续学习或多域生成场景下，航点机制如何防止灾难性遗忘和模式坍缩。

论文在复现方面表现良好。作者承诺代码将在项目页面公开发布。实验基于公开的 ImageNet 2012 数据集和预训练的 DINOv3 模型，所有关键技术细节在论文中有完整描述，包括 PCA 的拟合方式（随机采样 50,000 张图像）、超参数配置（Table 1 完整列出三个规模的所有设置）、训练细节（AdamW 优化器、常数学习率 5×10⁻⁵、1024 批大小）。轻量级航点生成器仅 21M 参数，降低了算力门槛。但需要注意，主生成器的训练需要与 JiT 同等规模的 GPU 资源，600 epoch 的完整训练对个人研究者可能仍有挑战。消融实验的设计清晰，便于理解和验证各组件的贡献。