← 返回 2026-05-01

面向视觉生成的表示空间 Fréchet 距离损失 Representation Fréchet Loss for Visual Generation

Jiawei Yang, Zhengyang Geng, Xuan Ju, Yonglong Tian, Yue Wang 📅 2026-04-30 👍 32 2026-07-13 08:36
Fréchet距离 一步生成 后训练 图像生成 扩散模型 评估指标
arXiv HuggingFace PDF

将Fréchet距离直接作为生成器训练损失,只需解耦估计与梯度规模。

前置知识

Fréchet Inception Distance (FID)

FID 把真/生图经 Inception-v3 编为 2048 维特征,各建模为高斯,再算两高斯 Fréchet 距离 $FD=\|\mu_r-\mu_g\|^2+\mathrm{Tr}(\Sigma_r+\Sigma_g-2(\Sigma_r\Sigma_g)^{1/2})$,越小分布越接近。

本文正把这一只用于评测的指标反过来当训练损失,理解其分布定义与高斯矩假设,是跟上 FD 从评估迁移到训练论证的前提。

扩散/流匹配 与 NFE

扩散/流匹配通过迭代去噪映射噪声到图像,1 次网络前向即 1 NFE。常见 DiT/SiT/JiT 需 50–250 步 (250–500 NFE) 才高质量;1 NFE 一步生成器牺牲质量或靠蒸馏对抗。

FD-loss 既能后训练一步生成器,又能把多步生成器改造成一步生成器,NFE 概念是看懂论文 motivation 与实验对照的关键。

EMA / 特征队列 在线统计估计

EMA 用 $\beta$ 把过去 batch 统计平滑累积,$\theta_t=\beta\theta_{t-1}+(1-\beta)\theta_{\mathrm{batch}}$;MoCo 用定容队列缓存最近 batch 特征,样本量远超当前 batch,都能用极小开销扩统计量规模。

FD-loss 两种实现 (队列与 EMA) 正借用此机制解耦'估计用 50k 样本'与'梯度只用 1k batch',是方法细节的必备背景。

研究动机

近十年社区对 FID 做'间接梯度下降':只把它当评测器,训练改用扩散/流匹配/蒸馏损失。FID 各项都可微本可作 loss,但问题在规模——稳定估计 $2048\times 2048$ 协方差 $\Sigma_g$ 需要 5 万量级样本,而单 batch 只有 64–1024。先前在 batch 内做 FD 损失的工作(如 [34,8])会损伤基模型,本文表 1a 复现:pMF-B/16 在 queue=0k 时 FID 由 3.31 退到 3.84,$\mathrm{FDr}_6$ 由 13.70 恶化到 17.06。并行的问题是评测:SOTA 的 BAR-L/FLOWAR-H/MAR-H/DDT-XL 等 FID 已低于真实验证集的 1.68,但肉眼依然能区分真假,说明 FID 这一单表示空间已饱和,无法再反映生成质量。

本文的目标是本文的核心目标是双重的:第一,证明 Fréchet Distance 可以被高效地作为训练损失直接优化,做一次真正意义上的端到端'梯度下降';第二,构造一个对表示空间多样化的自动评测指标 $\mathrm{FDr}_K$(式 8),用 $K$ 个不同骨干网络共同度量生成质量,避免只看 FID 时的盲区。实验上希望在 ImageNet 256×256 和 512×512 上,把已有强基线(pMF、iMF、JiT、SD3.5)的 FID 与 $\mathrm{FDr}_6$ 大幅压低,同时尽量保持 1 NFE。

与已有工作不同的是，以往把 FD 当作 loss 的工作(MDGAN 类的 discriminator 距离、batch 内 FID 损失等)共同缺陷是只在 batch 维度估计 FD,缺乏对群体协方差统计量的稳定估计。本文的关键切入角度是解耦——'估计规模'和'梯度规模'可以不同:用一个长度 $N=50\mathrm{k}$–$100\mathrm{k}$ 的特征队列或一个衰减 $\beta=0.999$ 的 EMA 维护生成端的一阶和二阶矩,反向传播只穿过当前 batch,使内存和计算几乎不变。与已有'先把特征存下来再算'的方案不同,本文让队列/EMA 在训练中持续更新,是 on-policy 的统计量。在评测侧,本文用 Inception/ConvNeXt-v2/DINOv2/MAE/SigLIP2/CLIP 六个不同骨干定义 $\mathrm{FDr}_K$,让 ImageNet 生成'是否已经解决'这一长期争议被一个新的对表示鲁棒的指标重新评估。

核心方法

核心思路是解耦'估计 FD 的样本规模'与'计算梯度的样本规模'。直觉上 FID 评测用 5 万样本是为了估准协方差,现在训练中也维持一个相当于 5 万样本的特征统计量(队列或 EMA),但反向传播只让当前 batch 携带梯度,其余视作常数。生成器 $\theta$ 优化的目标变成 $L=\sum_i w_i \cdot FD_{\phi_i}(R,G)$,其中 $R$ 是离线算出的真实统计 $(\mu_r,\Sigma_r)$,$G$ 是队列/EMA 里读出的生成端统计 $(\mu_g,\Sigma_g)$。技术上分两条路:队列式把最新 batch 入队、最老 batch 出队后对全队列算协方差;EMA 式只维护一阶矩 $\mu_g^{(t)}$ 与二阶矩 $M_g^{(t)}$,每步按 $\beta$ 平滑更新,再由 $\Sigma_g=M_g-\mu_g\mu_g^\top$ 还原协方差。多表征同时优化时,加权用 $L_{\phi_i}=FD_{\phi_i}/[\mathrm{sg}(FD_{\phi_i})+c]$ 把量级归一化。

与已有工作最本质的区别有两点。其一,'估计规模'与'梯度规模'的解耦。MDGAN 系列 [8, 34, 25, 2, 6] 仍以一个 batch 估计 FD,而本文使用长度为 $N$ 的特征队列或衰减系数为 $\beta$ 的 EMA 维护等价 $N\!\sim\!\!10^5$ 的统计量,相当于把 MoCo 的特征队列搬到生成任务。其二,'训练表示'与'评测表示'可以不同甚至共用一个集合。本文用 SigLIP2 / Inception / MAE 联合作为训练表示得到的 $\mathrm{FD\text{-}SIM}$ 同时压低 FID 和 $\mathrm{FDr}_6$,并据此设计出 $\mathrm{FDr}_K$ 评测指标——即让'分布距离'既作为优化器又作为裁判。让多步生成器仅做一次前向($z$ 直接经一次网络得到 $\hat x_0$)也能被 FD-loss 训练成一步生成器,则是因为 FD 只比较高斯矩而不要求 per-sample target,本质上是一个最小化的分布匹配目标。

方法步骤详情

分四步执行。第一步离线准备:对真实图跑一次 $\phi_i$ 提取 $(\mu_r,\Sigma_r)$,训练不再读真图。第二步生成与编码:noise $z$ 经 $G_\theta$ 得 $\hat x$,$\phi_i$ 编码为 $f=\phi_i(\hat x)$。第三步统计更新:队列式把 $f$ 入队弹最老算 $\mu_g,\Sigma_g$;EMA 式 $\mu_g\leftarrow\beta\mu_g+(1-\beta)\mu_{\mathrm{batch}}$,$M_g\leftarrow\beta M_g+(1-\beta)M_{\mathrm{batch}}$,$\Sigma_g=M_g-\mu_g\mu_g^\top$。第四步 $L=\sum_i w_i\cdot FD_{\phi_i}(R,G)$ 只反传到当前 batch,optimizer.step() 清梯度。超参 $B=1024$,$N\in[5k,50k]$,$\beta=0.999$,AdamW+cosine+5 epoch warmup,$K=6$ 等权。

技术新颖性

技术新颖性体现在三个层次。算法层面,首次让可微的 FD 在'远大于 batch'的群体规模下成为可优化目标,并给出两种可互换的实现(队列与 EMA),其中 EMA 版存不下任何额外特征,便于多表征并存。多表征归一化形式 $L_{\phi_i} = FD_{\phi_i}/[\mathrm{sg}(FD_{\phi_i})+c]$ 解决了不同骨干之间 FD 数量级差几个数量级(表 F.7)而难以加权的问题。任务层面,把多步 MMDiT(SiT/JiT)和 SD3.5 Medium(2.5B 参数)在没有蒸馏/对抗/per-sample target 的前提下'压'成 1 NFE 一步生成器,是先于本文鲜有先例的;指标层面,$\mathrm{FDr}_K$ 的归一化形式让 ImageNet 'solved?' 的争议(图 3)被推到不同结论:SOTA 模型在 $\mathrm{FDr}_6$ 上仍有 3.04–10.92,而本方法把上限压到 1.89(pMF-H + SIM),给出了比单 FID 更可靠的'距离真实多远'的标尺。

实验结果

ImageNet 256px:pMF-H 从 FID 2.29/FDr_6 6.87 经 FD-SIM 训练到 0.77/1.89;iMF-XL 从 1.82/8.39 到 0.76/2.45;JiT-H 多步 200 NFE 的 1.97/7.66 改 1 NFE 后 0.75/2.65 (SIM)。表 1a 证明只用 batch (queue=0k) FID 反退到 3.84、FDr_6 17.06,验证规模解耦关键;$N=50k$ 最优 (FID 0.89),$N=500k$ 因过陈旧 FID 改善到 1.22 但 FDr_6 反恶化到 17.67。表 1c 中 FD-ConvNeXt (1.64/8.46) 与 FD-DINOv2 (4.89/8.47) 展示'好 FID ≠ 好视觉'。表 4 1 NFE 单步几乎横扫所有现有方法:1.89 是 FDr_6 最低纪录 (pMF-H+SIM),BAR-L/RAE-XL 等需 200+ NFE。人评 pMF-H\* 胜 pMF-H 75.7%,仅 37.4% 胜真实图,印证 FDr_6 比 FID 更能捕捉真实差距。

FD-loss repurposes multi-step JiT models to generate in one step.
Table 2: FD-loss repurposes multi-step JiT models to generate in one step.
FD-loss generalizes across model families, sizes, and image resolutions.
Table 3: FD-loss generalizes across model families, sizes, and image resolutions.
System-level comparison on ImageNet 256×256.
Table 4: System-level comparison on ImageNet 256×256.
FD-loss improves visual quality under different representations.
Figure 4: FD-loss improves visual quality under different representations.
Human preference study.
Figure 6: Human preference study.
Qualitative text-conditioned generation example.
Figure 7: Qualitative text-conditioned generation example.
查看结构化数据
任务指标本文基线提升
ImageNet 256×256 类别条件图像生成 (FID) FID↓ / FDr6↓ (50k samples) pMF-H + FD-SIM: FID 0.77, FDr6 1.89, 1 NFE pMF-H base: FID 2.29, FDr6 6.87, 1 NFE;RAE-XL: FID 1.16, FDr6 3.26 FID 下降 66%(2.29→0.77),FDr6 下降 72.5%(6.87→1.89),同时 NFE 仍保持 1
ImageNet 256×256 多步→一步生成器复用 FID↓ / FDr6↓ JiT-L + FD-SIM: FID 0.85, FDr6 3.29, 1 NFE JiT-L 50-step: FID 2.59, FDr6 10.73 (≈200 NFE);JiT-L 1-step Naïve: FID 291.59, FDr6 214.75 把多步 200-NFE 模型压成 1-NFE,FID 由 2.59 降至 0.85,无需蒸馏或对抗
ImageNet 512×512 高分辨率生成 FID↓ / FDr6↓ pMF-H + FD-SIM: FID 0.78, FDr6 1.81, 1 NFE pMF-H base: FID 2.43, FDr6 7.33, 1 NFE FID 降 67.9%(2.43→0.78),FDr6 降 75.3%(7.33→1.81),对分辨率不敏感
ImageNet 256×256 潜在空间生成器 FID↓ / FDr6↓ iMF-XL + FD-SIM: FID 0.76, FDr6 2.45, 1 NFE iMF-XL base: FID 1.82, FDr6 8.39, 1 NFE FID 降 58.2%(1.82→0.76),FDr6 降 70.8%(8.39→2.45),且超越所有多步 256+ NFE 的 latent 模型
消融:population size 影响 (pMF-B/16, 50 epochs) FID↓ / FDr6↓ EMA β=0.999: FID 0.81, FDr6 10.81 Queue 0k (batch only): FID 3.84, FDr6 17.06;Base: FID 3.31, FDr6 13.70 vs base:FID -75.5%,FDr6 -21.1%,证明规模解耦是收益主要来源而非 epochs

局限与改进

作者承认四点局限:第一,$\mathrm{FDr}_K$ 仍继承高斯矩假设,对复杂多模态分布可能不可靠;第二,$\mathrm{FDr}_K$ 数值取决于 $K$ 个表示空间的选择,本文取 6 个并不保证最优;第三,需要离线预计算真实数据特征统计 $(\mu_r,\Sigma_r)$,意味着后训练场景下'访问真实数据'仍受隐私/版权约束;第四,人评(图 6)即使最好的 pMF-H* 也只以 37.4% 胜率超过真实图,自动度量与人眼仍有鸿沟。从我的观察看,论文还有几个未充分讨论的点:EMA 的'有效样本量'被 $\beta$ 隐性控制,与理论 $1/(1-\beta)$ 不严格等价;$\mathrm{FDr}_6$ 对每个表示等权显然不是最优加权;文本到图像(图 7)只展示了'风格迁移'方向的例子,没有给出标准基准上的量化对比;最后所有表示编码器都是有损的,FID/FDrK 都可能对具有特定统计偏差的对抗样本给出虚假低分,鲁棒性问题未触及。

独立分析的弱点

可改进的弱点有四项。其一,'表示空间选择'目前依赖经验(Inception/SigLIP/MAE 简单等权),理论上应该存在根据每个表示对真实/生成的判别能力自适应加权 $\{w_i\}$ 的方法,特别是当下游任务偏好某种语义结构时。其二,EMA / 队列并不等价,二者'陈旧度'难直接 trade-off,应做理论分析把 $\beta$ 显式映射到等价样本数 $N_{\mathrm{eff}}(\beta)$ 并指导超参搜索。其三,正文只报告固定 $\beta=0.999$,未展示不同模型/分辨率下 $\beta$ grid search,迁移时存在手动调参风险。其四,文本到图像(图 7)只用了一个 60k BLIP3o 子集做'风格化'后训练,没有和 SD3.5、SDXL 等基线在 T2I 通用基准做量化比较。改进方向分别是:自适应表示加权、理论上更透明的样本规模度量、$\beta$-grid + cosine 联合调参、T2I benchmark 对照实验。

未来方向

作者在结论部分直接提出的方向:把 FD-loss 推到其他模态(视频/音频/3D/多模态)、推到'真实数据访问受限'的设定(如差分隐私或合成参考集)、以及跳出图像生成去拓展'分布级优化'的范式。基于结果还可以自然延伸四条线:一,探索'训练表示'与'评测表示'的解耦,让训练只用 $K_1$ 个轻量表示,而评测可以用 $K_2 > K_1$ 个更重表示以缓解评测成本;二,把 $\mathrm{FDr}_K$ 的视角用于'模型选择'和早停,例如在 $\mathrm{FDr}_6$ 上做 Pareto 选择而非单 FID;三,与一致性/对抗目标联合做成混合损失,在 FID 与'高频细节'之间找到更优平衡点;四,研究表示空间的'归纳偏置差异',例如把 ConvNeXt 与 DINOv2 的归一化距离之差作为分布失衡诊断信号,进一步把 $\mathrm{FDr}_K$ 推广到带权形式 $\sum_i \alpha_i\mathrm{FDr}_{\phi_i}$。

复现评估

复现评估整体偏正面但需相当算力。代码与检查点已开源在 https://github.com/Jiawei-Yang/FD-loss。数据只需 ImageNet-1k 公开训练集或官方 pre-computed stats,无私有数据。算法本身只依赖 PyTorch + AdamW,无冷僻算子。但队列式 + 全特征反传需多 GPU 下做 all_gather 同步(算法 1 第 6 行 `feat = all_gather(feat)`),单卡复现会因有效 batch 小而损失稳定性。训练方面:post-training 预训练权重来自官方 pMF/iMF/JiT/SD3.5,每条 $B=1024$、100 epochs 跑多卡 A100,pMF-H + FD-SIM(256px)一次完整实验估计需数百到上千 GPU·小时;50-epoch ablation 规模小一个数量级。评测依赖 6 个表示编码器权重,下载 Inception TF→PyTorch 时容易踩坑。整体复现难度:算法透明、代码开源但算力要求高,属于'中等偏难'。

论文图表

One-step samples on ImageNet 256×256, before and after FD-loss post-training.
Figure 1: One-step samples on ImageNet 256×256, before and after FD-loss post-training.

展示了 pMF-H、pMF-H+FD-loss、JiT-H、JiT-H+FD-loss 四组 1-NFE 样本的并排对比。左列是基础生成器原始输出,右列是经过 FD-loss 后训练后同一类别的样本;可见后训练图像在物体形状、纹理细节和整体真实感上明显更接近真实图。

图 1 是论文最具视觉冲击力的'门脸图',一眼证明'FD-loss = 更好的 1-NFE 样本'这一主张,没有它就只是干巴巴的指标表。

Figure 2: FD-loss overview: decoupling population scale from gradient scale.

示意图。生成器 $G_\theta$ 每次产生 batch $B$ 图像;其特征 $\phi(x)$ 既作为待梯度回传的当前 batch,也被送入一个长度为 $N$ 的总 Population;FD 在全体 Population 上估计,但只通过当前 batch 反传,形成'batch for gradient, $N$ for estimation'的解耦结构。

这是论文的方法核心示意图,直观表达了'估计规模和梯度规模解耦'这一关键创新,比文字描述更易传播。

Algorithm 1: Post-Training with FD-loss.

伪代码同时给出队列式和 EMA 式实现:先 $x=G(z)$、$f=\phi(x)$,然后二选一并行更新统计 $(m_u_g, M_g)$ 或刷新队列,最后按式 2 算 $FD(\mu_g,\Sigma_g,\mu_r,\Sigma_r)$ 做反向传播。

算法 1 是两种实现唯一的官方描述来源,详细程度足以让读者把'解耦'原则落到具体可执行步骤。

Is ImageNet generation 'solved'? FID over time vs. FDr6 over time.
Figure 3: Is ImageNet generation 'solved'? FID over time vs. FDr6 over time.

左右两个折线图共用时间横轴。左图在 FID 上多个 SOTA 模型已低于红色虚线(验证集的 1.68),似已解决;右图把指标换成 $\mathrm{FDr}_6$,所有 SOTA 方法仍然显著大于 1.0 的真实参考线,并伴随本方法 ♦ 显著下降,最低达 1.89。两个图以并列方式呈现'FID 已饱和但 $\mathrm{FDr}_6$ 仍有差距'的反差。

图 3 是动机与贡献的关键可视化:它一手说服读者'FID 不够用'、一手推销 $\mathrm{FDr}_K$ 这一新指标,是论文最常被引用的图表之一。

Table 1: Properties of FD-loss. (a, b) population size; (c) representation model.

三幅子表全在 pMF-B/16、post-train 50 epochs、50k 评测样本下测得。(a) 调 queue size $N\in\{0,5\!k,10\!k,50\!k,100\!k,500\!k\}$,最优 50k;(b) 调 EMA $\beta\in\{0.9,0.99,0.999,0.9999\}$,最优 $\beta=0.999$ (FID 0.81)。(c) 在 6 个表示空间下分别测得每个表示对应的 FID、IS、$\mathrm{FDr}_K$ 表现,揭示 CNN (Inception/ConvNeXt) 偏向降 FID、ViT (DINOv2/MAE/SigLIP) 偏向降 $\mathrm{FDr}_K$ 的趋势。

表 1 是论文唯一同时承载 population size 与 representation 选择两大消融的'核心证据表',几乎所有后续系统级数字都基于其中的最优设置。

Figure 5: Repurposing a multi-step model into a one-step generator with FD-loss.

对同一噪声 $z$,并排显示 naïve 1-step 完全乱码的输出与五种表示训练后的图像。FD-SIM/SigLIP+MAE 变体已经能生成与 50-step base 可比甚至更好的图像。

图 5 是表 2 的视觉版,把'无蒸馏的 1-NFE 复用'具象化,是说服'分布级目标足够'的关键证据。