WaDi：面向单步图像生成的权重方向感知蒸馏框架 WaDi: Weight Direction-aware Distillation for One-step Image Synthesis

方法的具体步骤分为四个阶段。第一阶段是权重分析：对训练好的单步模型（DMD2、PixArt-α DMD）与其多步教师（SD 1.5、PixArt-α）的权重张量逐层计算 norm 变化 $\|W_s\|-\|W_t\|$ 和 direction 变化 $\angle(W_s, W_t)$，统计其均值与标准差，并绘制柱状图（Fig. 2(a)）。第二阶段是 SVD 分析：对残差方向矩阵 $W_s/\|W_s\|-W_t/\|W_t\|$ 做奇异值分解，绘制累积能量曲线（Fig. 2(b)），发现 30% 秩即可恢复 93% 信息量。第三阶段是 LoRaD 前向计算：对每个权重矩阵 $W\in\mathbb{R}^{d\times k}$ 的第 $i$ 列 $W_{\cdot,i}$，按奇偶行拆分 $W_{odd}=W^{(1)},W^{(3)},\ldots,W^{(d-1)}$ 和 $W_{even}=W^{(2)},W^{(4)},\ldots,W^{(d)}$，应用可学习旋转角矩阵 $\Theta\in\mathbb{R}^{d/2\times k}$（实际由 $\Theta=AB$ 低秩参数化），输出旋转后的权重 $W_{ro}=\begin{pmatrix}\cos(AB)\odot W_{odd}-\sin(AB)\odot W_{even}\\\sin(AB)\odot W_{odd}+\cos(AB)\odot W_{even}\end{pmatrix}$。整个计算仅用逐元素乘法（element-wise），无需矩阵乘法，可高效实现。第四阶段是 WaDi 训练：将 LoRaD 插入学生生成器 $G_\lambda$ 与伪模型 $\epsilon_\phi$ 的所有线性层，按 VSD 损失 $\nabla_{\lambda,\Theta_l}\mathcal{L}_{wadi}=\mathbb{E}_{t,\epsilon,c}\omega(t)[\epsilon_\psi(\mathbf{z}_t,c,t)-\epsilon_\phi^{\Theta_s}(\mathbf{z}_t,c,t)]\cdot\partial G_{\lambda}^{\Theta_l}/\partial\lambda$ 与 MSE 损失 $\min\mathbb{E}_{t,\epsilon,c}\|\epsilon_\phi^{\Theta_s}(\mathbf{z}_t,c,t)-\epsilon\|_2^2$ 交替优化 2 epoch，batch size 128（每 GPU 16），学生学习率 $1\times10^{-4}$，伪模型学习率 $1\times10^{-2}$，CFG=1.5。

技术新颖性体现在三个层面。第一，理论新颖性：首次系统量化了蒸馏过程中的方向主导性，给出了 norm vs direction 的具体数值对比（0.1% vs 2.2%），并通过替换实验验证了方向是 FID 变化的主因。这一发现为后续高效蒸馏方法的设计提供了新范式——解耦范数与方向、固定范数专攻方向。第二，架构新颖性：LoRaD 是首个专为扩散蒸馏设计的正交旋转适配器。它与现有 LoRA 系列（LoRA、DoRA、AdaLoRA）的根本区别在于参数化空间不同：LoRA/DoRA 在加性空间学习 $\Delta W$，而 LoRaD 在正交群 $\mathrm{O}(d)$ 的切空间学习旋转角。第三，计算新颖性：得益于旋转矩阵的稀疏块对角结构，LoRaD 的前向传播可全部用 element-wise 乘法实现，避免了矩阵乘法开销；同时低秩分解 $\Theta=AB$ 使可训练参数量保持在原始权重的约 10%（如 SD 1.5 学生 83.80M / 860M = 9.74%）。相比之下，全 FT 需要 100% 参数，LoRA 需要约 7.8% 但优化困难，DoRA 需要约 14% 且 FID 更高（26.56 vs LoRaD 的 20.86）。

独立分析本文存在四个值得改进的弱点。第一，rank 选择缺乏理论指导：Tab. 3 显示学生 rank=256 最佳、伪模型 rank=32 最佳，但这两个超参数似乎是通过网格搜索得到的，缺乏对不同 backbone / 数据集的自适应策略；改进方向是引入基于权重谱的动态秩分配（如根据 SVD 能量阈值截断）。第二，伪模型仍依赖 MSE 损失训练，使其在 1.4M 数据上极易过拟合；改进方向是引入 dropout、噪声注入或正则化约束。第三，方向旋转矩阵是逐列独立的（block-diagonal），没有显式建模跨列交互，可能限制对通道间相关性的建模；改进方向是引入少量跨列耦合项（如分组旋转、稀疏旋转）。第四，WaDi 的推理延迟虽大幅降低（86.26–88.89%），但单步生成仍需要一次完整 U-Net/DiT 前向传播，batch size=1 时延迟在 0.16–0.65 秒之间，尚未达到实时（如 30 FPS）水平；改进方向是结合模型量化（INT8/FP8）、token 剪枝或缓存机制进一步压缩推理时间。

作者在 Conclusion 部分未明确列出未来工作，但基于其成果可延伸出以下方向。第一，将 LoRaD 的方向旋转思想推广到视频扩散（如 Sora、Wan、HunyuanVideo）的多步蒸馏中，利用 3D attention 的低秩特性进一步压缩可训练参数。第二，研究 LoRaD 与 RLHF/DPO 的结合：在方向空间而非加性空间进行偏好优化，可能避免奖励 hack 并提升人类对齐效果。第三，方向旋转可与模型合并（model merging）结合：将多个针对不同概念微调的 LoRaD 通过旋转角插值实现概念组合。第四，扩展到 flow matching 与 rectified flow 范式（如 SD3、Flux），验证方向主导性结论的普适性。第五，理论层面需要严格的收敛性分析：为何在正交群上优化比在加性空间更稳定？可借鉴李群上随机梯度下降的 Lyapunov 分析。第六，探索 LoRaD 在 discrete diffusion（如图像 tokenizer、LLM）上的应用，可能为统一的多模态生成提供新工具。

复现评估整体良好但有一定门槛。开源情况方面，代码已在 https://github.com/gudaochangsheng/WaDi 发布，包含 SD 1.5/2.1/PixArt-α 三种 backbone 的训练与评估脚本。数据方面，训练使用 1.4M 提示词采样自 JourneyDB 数据集，需自行下载并预处理；COCO 2014/2017 评估集使用 30k/5k 随机采样图像，FID 通过 Inception V3 提取特征计算，CLIP 基于 ViT-G/14 模型计算。算力方面，论文报告 batch size=128（每 GPU 16，即 8 卡），训练 2 epoch，按 VSD 论文的经验估计，单 backbone（如 SD 1.5）需 4×A100-80G 约 3–5 天，全量复现三种 backbone 需 2–3 周。配置方面，关键超参数已在论文中明确：学生 LR=1e-4、伪模型 LR=1e-2、CFG=1.5、SD 1.5/2.1 student rank=256、PixArt-α student rank=128、伪模型统一 rank=32、AdamW 优化器。复现难度中等偏低：代码公开 + 超参数明确 + 数据集通用，主要瓶颈是 8 卡 A100 的算力成本（自购或云端约需数千美元），普通研究者可在 1–2 卡配置下通过缩放 batch size 和训练 epoch 进行部分复现。