用频谱先验降低扩散模型的曝光偏差 Spectral Prior for Reducing Exposure Bias in Diffusion Models

方法步骤完整如下。阶段一（离线，每模型一次）：(1) 从训练集采样干净图像 $x_0^{(i)}$，按前向过程 $x_\tau=\sqrt{\bar{\alpha}_\tau}x_0+\sigma_\tau\epsilon$ 加噪；(2) 用预训练模型经 Tweedie 公式算单步预测 $\hat{x}_{0|\tau}^{(i)}$；(3) 对每通道做 2D FFT 取模平方得 $\mathbf{Y}_t=|\mathcal{F}[\hat{x}_{0|t}]|^2$，再径向平均得 RAPS $y_t(f)$，跨样本平均；(4) 对若干离散时间步 $\{t_1,\dots,t_K\}$ 用最小二乘拟合参数化幂律模型 $S(t,f)=p_t\cdot f^{-q_t}+r_t\cdot f+s_t$，其中 $p_t,q_t,r_t,s_t$ 是逐时间步参数（$r_t$ 默认置零，仅在 SDXL/FLUX 显著改善拟合时启用）；(5) 对每个参数用三次样条插值到连续时间，得到任意时间步都可查询的 $S(t,f)$。作者用 1 万样本拟合，$R^2$ 多数超 0.9。阶段二（在线推理）：对每步 $t$，先算条件/无条件预测并做 CFG 得 $\epsilon^{CFG}$；用 Tweedie 得 $\hat{x}_{0|t}$；FFT 取 RAPS 得 $y_t(f)$；算引导损失 $\mathcal{L}_{spec}=\frac{1}{N}\sum_c\sum_k(\phi_a(\log_{10}y_t(f_k^c)-\log_{10}S(t,f_k^c)))^2$，其中非对称惩罚 $\phi_a(x)=x$（若 $x\geq0$）、$a\cdot x$（若 $x<0$），$a>1$ 控制惩罚强度；最后对 $x_t$ 做一步梯度下降 $x_t\leftarrow x_t-\eta\nabla_{x_t}\mathcal{L}_{spec}$（用 stop-gradient 阻断网络梯度），再执行标准去噪更新（DDIM/Euler 等）。

技术新颖性体现在几个层面。首先是发现层面：作者首次系统揭示即便最先进的 flow-matching 模型（SD3.5、FLUX）仍存在频谱失配，且失配方向因模型而异，推翻了'固定增强高频'的通用假设。其次是建模层面：用径向平均功率谱 + 幂律参数模型 $S(t,f)=p_t f^{-q_t}+r_t f+s_t$ + 时间步样条插值，把复杂的多维频谱压缩成几条平滑参数曲线，既好可视化又使回归稳定（$R^2>0.9$）。第三是引导层面：把 DPS 范式特化到频域且阻断网络梯度，使每步开销仅 3.86%（SDXL）、0.08%（FLUX），远低于 Discriminator Guidance、MPGD 等需要每步跑额外网络或反向传播穿过自编码器的方法。第四是非对称惩罚的引入，源于训练频谱对数分布正偏态这一细致经验观察。最后是通用性：同一套方法无需改动即可套用到像素空间（DDPM、ADM）、潜空间（SD2.0、SDXL）和 flow-matching（SD3.5、FLUX）模型上。

独立分析有几个弱点。第一，目标频谱是全局/无条件的，忽略了同一模型内不同内容（风景 vs 人像、不同 prompt）频率特性的差异。改进方向是引入条件化目标频谱，按类别、prompt 嵌入或图像内容自适应选择先验。第二，非对称惩罚 $\phi_a$ 与引导强度 $\eta$ 是两个新超参，虽作者称同类模型（SD2.0/SDXL）收敛到相同值，但跨架构差异大（DDPM 的 $a=1.0$ vs SDXL 的 $a=5.0$），仍需逐模型搜索。改进方向是用更自动化的方式（如基于偏态自动定 $a$）减少手调。第三，径向平均功率谱丢失了方向性/各向异性信息，对具有明显方向结构的失配（如水平条纹伪影）可能建模不足，可考虑保留二维谱或方向性子带。第四，方法依赖能拿到训练数据来拟合先验，对完全闭源模型受限。改进方向是研究仅用生成样本反推先验。第五，DDPM 上效果弱于 $\epsilon$-重缩放，提示目标频谱对单步预测质量敏感，可考虑用多步 roll-out 估计替代单步估计。

作者提出的方向包括：针对不同数据分布或条件信息使用不同的目标频谱先验；探索更精巧的引导方法替代简单 DPS；设计跨频带和时间步的损失加权调度。基于本文成果可延伸的方向更广。一是把频谱失配作为训练阶段的诊断工具：作者在结论中明确提出频谱失配可作为模型训练改进的透镜，可设计训练损失或正则项直接减小训练与推理的频谱差距。二是将 SPA 与 Discriminator Guidance、MPGD 等互补方法组合（作者指出技术上不互斥但未做实验验证）。三是把频谱对齐推广到视频生成（时间维频谱）、音频生成或 3D 生成。四是研究引导蒸馏与频谱失配的关系——FLUX 上 $w=2.5$ 有效而 $w=3.5$ 减弱的现象暗示蒸馏部分内化了 CFG 效应，可据此改进蒸馏流程。五是将非对称惩罚与加权推广到更 principled 的鲁棒损失。

复现性较好。作者已开源完整实现（https://github.com/SonyResearch/SPA），且方法本身计算开销极低（SDXL +3.86%，FLUX +0.08%），所需算力与标准采样流水线接近，普通消费级 GPU 即可跑推理实验。论文给出了较详细的超参：ADM 用 $(\eta,a)=(0.05,2.0)$，SD2.0/SDXL 用 $(0.2,5.0)$，SD3.5 用 $(0.75,3.0)$，FLUX 用 $(0.2,2.0)$（$w=2.5$）或 $(0.2,1.0)$（$w=3.5$）；采样器（DDPM/DDIM）、步数（50/100/30）、评估指标（clean-fid、HPSv3、ImageReward、CLIP ViT-G/14）和基线超参（$\epsilon$-重缩放系数、小波系数等）均明确给出。主要门槛在于离线目标频谱拟合需访问训练数据（DDPM/ADM 用各自训练集，文生图用 LAION-Aesthetics V2，1 万样本），对仅持有模型权重的用户需自行准备近似数据。此外 FLUX 的 'de-distilled' 检查点来自另一工作，完整复现其 true-CFG 结果需额外获取该检查点。