← 返回 2026-06-19

FID 彩票：量化生成模型评估中的隐藏随机性 The FID Lottery: Quantifying Hidden Randomness in Generative-Model Evaluation

Nicolas Dufour, Alexei A. Efros, Patrick Pérez 📅 2026-06-18 👍 13 2026-07-13 08:37

FID指标可重复性扩散模型生成模型评估随机性分析

发现训练随机性比采样随机性更大，FID评估存在1-2%系数变异的噪声底

前置知识

FID (Fréchet Inception Distance)

FID是评估生成图像质量的标准指标，通过计算真实图像和生成图像在Inception-V3网络提取的特征空间中的两个高斯分布之间的Fréchet距离来度量。具体公式是FID等于均值差的平方加上协方差矩阵的迹运算，其中mu和Sigma分别是均值和协方差矩阵。FID数值越低表示生成质量越好，成为图像生成领域的权威评分标准。几乎所有图像生成论文都用FID作为主要评估指标，排行榜的排名往往由半个FID单位的差距决定。

本文核心就是研究FID评估中的随机性问题，需要理解FID的数学定义和计算方式才能 grasp 实验设计和结果含义。如果不理解FID是分布级别的度量而非单图度量，就无法理解为什么微小FID差异可能难以感知但仍然重要。

Flow Matching (流匹配)

Flow Matching是扩散模型的训练目标函数，它通过在每一步梯度更新时注入新的高斯噪声来学习从噪声到数据的变换。与传统损失函数不同，flow-matching损失中的噪声在训练过程中不断重新生成，不会随训练收敛而消失。这种持续的噪声注入是训练随机性的重要来源之一，因为它意味着相同的模型在不同训练运行中会经历完全不同的噪声轨迹，即使超参数和初始权重都相同。

论文发现flow-matching的per-step噪声是训练随机性的最大贡献者，贡献了77%的方差。理解这个机制对理解实验结果至关重要，因为它揭示了为什么扩散模型比传统GAN或VAE有更大的种子随机性。

Classifier-Free Guidance (CFG)

CFG是扩散模型的条件生成技术，通过结合无条件预测和条件预测来控制生成强度。更大的guidance scale会增强条件信息但可能引入质量下降。CFG scale通常需要手动调参，不同的训练种子和采样种子组合可能有不同的最优值。本文提出GS-FID方法为每个种子对单独调优CFG scale，使用黄金分割搜索在区间内寻找最优值。

论文发现GS-FID可以降低一半的FID变异但会打乱种子排名。这个发现对评估实践很重要，因为它说明在不同的评估协议下选择的最佳模型可能不同，因此评估和调优必须使用同一个FID协议。

Coefficient of Variation (CoV)

变异系数是标准差与均值的比值，通常以百分比形式表示。这个无量纲指标可以比较不同尺度数据集的相对变异程度。在FID评估中，CoV消除了绝对FID值的影响，使得不同模型、不同训练阶段的随机性可以相互比较。本文发现SiT模型在ImageNet上的FID CoV稳定在1-2%区间，这意味着在平均FID为34.7时，标准差约为0.44个FID单位。

CoV是本文的关键统计指标，用于量化FID评估的噪声底。所有实验结果都用CoV来表述随机性大小，因为不同模型和训练阶段的绝对FID差异很大，只有CoV可以公平比较它们的相对变异程度。

研究动机

当前图像生成领域普遍的做法是报告单个FID数值，这个数值来自单个训练模型在单个采样种子下的评估。例如，一篇论文可能报告FID等于33.59，但这个数字背后隐藏着五个随机源：参数初始化、数据加载顺序、训练时每步注入的高斯噪声、多GPU执行的硬件非确定性，以及采样时的初始噪声。现有的错误条方法只考虑采样种子，忽略了训练种子的随机性。这种做法在算力预算达到数百万GPU小时的现实中存在严重问题，因为0.5个FID单位的差异就可能改变排行榜排名，而这个差异可能完全来自随机种子而非模型改进。研究者花费大量时间调参以获得0.1-0.2个FID单位的提升，但这个提升可能完全在噪声底内。

本文的目标是本文的目标是系统性测量FID评估中的随机性，量化训练随机性和采样随机性的相对贡献，分析不同随机源的影响程度，并测试增加计算、模型大小、学习率等超参数是否能降低FID变异。具体来说，作者训练数百个SiT网络，在训练和采样种子的二维面板上测量FID方差，分解训练彩票的三个主要随机源，并研究GS-FID协议和µP学习率传递的效果。最终目标是提出更科学的FID评估协议，帮助研究者区分真实的算法改进和种子噪声带来的表面提升。

与已有工作不同的是，本文的独特切入角度是将FID视为一个随机变量，在训练和采样种子的二维面板上测量其方差。现有工作要么只研究采样种子的错误条，要么在完全不同的任务上研究种子随机性如RL代理。本文首次在扩散模型上系统性分离了五种随机源，并测量了它们对FID的具体贡献，还提出了GS-FID协议为每个种子对单独调优CFG scale。另一个创新点是量化了幸运种子带来的计算效率差异，发现最幸运的种子可以用1.25到2倍少的计算达到同样的FID目标。这警示研究者，cherry-picking种子可以制造令人印象深刻的标题但实际没有算法改进。

核心方法

本文的核心方法是构建N乘以K的FID评估面板，其中N是独立训练的模型数量，K是每个模型的采样种子数量。对于SiT-B/2模型在ImageNet 256乘256上训练400k步，使用N等于25个训练种子和K等于10个采样种子，总共250个FID评估点。训练种子控制参数初始化、数据加载顺序和flow-matching损失的per-step噪声，采样种子控制生成时的初始噪声。通过这个面板，作者计算三个嵌套统计量：sigma_within（固定模型内的采样变异，平均后代表生成彩票）、sigma_between（训练种子之间的变异，代表训练彩票）、以及CoV等于sigma除以mu（变异系数）。实验设计采用消融方法，逐一控制随机源来分解它们的贡献，分别固定两个随机源只变化一个，得到VARY-INIT、VARY-DATA、VARY-NOISE三种条件，加上VARY-ALL全随机和SAME-SEED控制组。

核心创新点是将FID评估中的随机性分解为训练彩票和生成彩票两个独立的随机过程，并直接测量它们在真实扩散模型上的相对大小。训练彩票在训练过程中只运行一次，它抽取初始权重、数据顺序、每步梯度噪声，产生一个训练好的网络。生成彩票在这个训练好的网络上运行，抽取初始噪声生成样本集并评分。现有实践只考虑生成彩票，而本文发现训练彩票的影响是生成彩票的3.2倍。另一个关键创新是GS-FID协议，使用黄金分割搜索为每个训练种子、采样种子对单独寻找最优CFG scale，这样可以降低FID变异但会打乱种子排名。

方法步骤详情

实验步骤如下：第一，训练阶段，使用flow matching在ImageNet 256乘256上训练SiT模型，包括S/2、B/2、L/2、XL/2四种宽度，每个宽度训练25个独立模型，使用不同的随机种子控制初始化、数据加载顺序和per-step高斯噪声。训练过程中每100k步保存checkpoint，直到2M步。第二，采样阶段，对每个训练好的模型，使用10个不同的采样种子生成50000张图像，计算Inception-V3 FID。第三，变异分解实验，分别固定两个随机源只变化一个，得到VARY-INIT、VARY-DATA、VARY-NOISE三种条件，加上VARY-ALL全随机和SAME-SEED控制组。第四，GS-FID实验，对每个训练种子、采样种子对，在CFG scale区间1到2上使用黄金分割搜索寻找最优值，容差0.01，每个cell需要约14次评估。第五，µP学习率扫描，在SiT-S/B/L/XL上扫描10个学习率，每个点使用10个训练种子。

技术新颖性

技术新颖性体现在多个方面：首次在扩散模型上系统性测量FID的种子随机性，发现训练变异是采样变异的3.2倍；首次分解flow-matching损失的per-step噪声贡献，发现它是最大的单一随机源，贡献77%；提出GS-FID协议，使用黄金分割搜索为每个种子对单独调优CFG，使CoV从1.26%降到0.67%；首次量化幸运种子带来的计算效率差异，发现最幸运种子可以用1.25到2倍少的计算达到同样的FID目标；发现CoV在不同模型大小和训练预算下稳定在1到2%区间，表明这不是可以通过增加计算或模型规模解决的噪声底。这些发现挑战了当前单种子FID评估的做法，提出了更科学的评估协议。

实验结果

实验的核心发现如下：第一，训练彩票占主导，在SiT-B/2 400k步的实验中，sigma_between等于0.438而CoV约等于1.3%，sigma_within等于0.137而CoV约等于0.4%，训练变异是采样变异的3.2倍。25个训练种子的平均FID范围是33.75到35.42，围绕均值34.74分布，这个2.10分的差异纯粹来自种子随机性。第二，随机源分解，VARY-NOISE贡献77%即sigma等于0.336，VARY-INIT贡献67%即sigma等于0.294，VARY-DATA贡献51%即sigma等于0.221，但三者重叠而不是简单相加，它们的平方和比实际sigma多14%。数据加载的分布呈长尾状，偏度为正0.74，不同于初始化和噪声的对称分布。第三，GS-FID降低一半变异，经过per-cell调优后，CoV从1.26%降到0.67%，sigma_between从0.438降到0.050，sigma_within从0.137降到0.027。但调优会打乱种子排名，Spearman相关系数只有0.73，25个种子中有8个排名变化超过5位。第四，CoV稳定在1到2%，在SiT-S/B/L/XL四种模型大小上，从200k到2M训练步，CoV始终在0.74%到2.06%区间，中位数1.30%。更大的模型并没有降低变异，2M步时CoV呈非单调，SiT-S为0.74%，SiT-B为1.24%，SiT-XL为1.42%，SiT-L为1.72%。第五，幸运种子效率，对于目标T即最不幸运种子在2M步达到的FID，最幸运种子提前达到的时间是，SiT-S/B为1.25倍即在1M步vs 2M步，SiT-L为1.82倍，SiT-XL为2.0倍。这意味着不幸运的种子浪费了20到50%的计算预算。第六，µP学习率窗口，GS-FID显示最优学习率是一个平坦区域而非单点，相邻3个学习率都给出相似的FID，形成1.7倍宽的窗口。而不带CFG的调优会指向不稳定的边缘学习率。

**Figure 2**: The FID lottery in SiT-B/2 at 400k steps

**Figure 3**: Variance decomposition of the training-seed lottery

**Figure 5**: Per-cell guidance tuning halves the seed-induced FID spread

**Figure 6**: The seed lottery across compute and model size

**Figure 7**: The luck of the draw: a 1.2–2.0× convergence gap

**Figure 8**: µP-coordinated LR sweep at 100k for SiT-S/B/L/XL

查看结构化数据

任务	指标	本文	基线	提升
SiT-B/2训练稳定性评估	Inception FID	训练变异sigma_between等于0.438而CoV约等于1.3%，采样变异sigma_within等于0.137而CoV约等于0.4%	现有单种子评估无报告错误条	首次量化发现训练变异是采样变异的3.2倍
GS-FID vs 单CFG评估	FID变异系数	GS-FID CoV等于0.67%，sigma_between等于0.050，sigma_within等于0.027	单CFG scale调优 CoV等于1.26%	CoV降低47%，但种子排名变化，rho等于0.73
跨模型大小随机性	FID变异系数CoV	SiT-S/B/L/XL在2M步时CoV分别为0.74%/1.24%/1.72%/1.42%	预期更大模型有更小变异	发现CoV非单调，更大模型不必然降低变异
幸运种子效率	计算效率倍数	SiT-XL上最幸运种子用2倍少的计算达到相同FID	现有研究忽略种子运气差异	量化了1.25到2倍的效率差异，警示cherry-picking问题

局限与改进

作者承认的局限性包括：实验只覆盖SiT架构加flow matching加类别条件ImageNet 256乘256加Inception-V3 FID这一种组合，约等于1.3%的CoV是这个组合的校准目标而非普适常数。其他架构、损失函数、潜在空间扩散、文生图、或其他Frechet变体可能有不同的噪声底。Appendix F在DINOv2 FID和Inception precision、recall、density、coverage上做了验证，发现fidelity指标跟踪Inception FID closely，但recall是例外。面板规模有限，即20到25训练种子，10采样种子，没有超越SiT-XL或2M步，生产规模行为是外推。我的观察是：实验只研究了class-conditional ImageNet，对于无条件生成或更复杂的数据集如FFHQ、LAION-5B随机性可能更大；研究只关注FID，没有讨论其他评估指标如人类评分的种子随机性；实验使用的是SiT这一类transformer架构，对于UNet架构或其他扩散架构的随机性没有验证；没有提供实用工具让社区使用GS-FID协议。

独立分析的弱点

论文的独立分析弱点如下：第一，实验覆盖范围有限，只研究了SiT架构和ImageNet 256乘256，对于无条件生成、文生图、高分辨率生成如1024乘1024的随机性没有验证。改进方向是扩展到Stable Diffusion、DALL-E等文生图模型，研究更复杂的生成任务。第二，随机源分解不完整，研究了初始化、数据顺序、训练噪声和硬件非确定性，但没有研究数据增强、混合精度、优化器状态等其他可能的随机源。改进方向是加入更多随机源的消融实验。第三，没有研究跨架构的随机性，只在SiT系列上测量CoV，没有比较不同架构之间的随机性差异。改进方向是在UNet、DiT、ViT等架构上重复实验。第四，没有提供实用工具，虽然提出了GS-FID协议，但没有开源代码或工具让社区轻松使用。改进方向是开源评估工具和在线错误条计算器。第五，样本量有限，25个训练种子虽然不算少，但统计功效有限。改进方向是使用更多种子验证CoV估计的稳定性。

未来方向

作者提出的未来方向包括：研究其他训练方法如score matching、DDPM、模型家族、Frechet风格指标是否具有相同的面板和1到2%地板；研究种子噪声地板是否可以从比多种子重训练更便宜的代理预测；扩展到其他架构如UNet、其他损失函数、潜在空间扩散、文生图、其他Frechet变体如FDD、CMMD、KID；研究在更大的模型如超越SiT-XL和更长的训练如超越2M步上CoV的行为；研究在人类评分或其他感知指标上种子随机性的大小。基于成果可以延伸的方向：研究不同数据集如FFHQ、LAION-5B、COCO上的种子随机性；研究在生成质量、多样性、保真度等不同维度上的随机性差异；研究种子随机性对下游任务如视觉推理、图像编辑的影响；开发自动化的多种子训练和评估工具；建立种子随机性的理论模型，预测不同架构和数据集的CoV。

复现评估

复现评估方面：论文提供了详细的方法描述，包括模型架构、训练超参数、评估协议。作者提到会在项目页面https://kyutai.org/fid-lottery发布代码和数据，但截至论文撰写时没有明确的开源声明。实验需要大量算力：25个SiT模型训练到2M步，每个模型10次采样评估，总计数百个模型训练和数千次FID评估。对于SiT-XL这样的模型，计算成本极高。复现难度较大，主要在于算力需求和实验时间，即数月。数据方面使用ImageNet-256，这是公开数据集，没有数据访问问题。关键挑战是资源需求，单个SiT-XL训练到2M步可能需要数千GPU小时，25个种子乘以这个成本是研究团队才能承担的规模。建议的复现策略是：从较小的模型即SiT-S和较少的种子即5到10个开始，逐步扩展。

论文图表

**Figure 1**: All sources of randomness behind a generative model
Figure 1可视化了生成模型背后的五个随机源，分为训练彩票和生成彩票两部分。训练彩票包括四个随机源：第一，随机初始化权重，第二，每个epoch打乱的数据顺序，第三，每一步梯度更新中flow matching损失注入的新高斯噪声，第四，多GPU执行的位级非确定性。这四个源在训练过程中运行一次，从同一训练配方可能产生的众多网络中抽取出一个训练好的网络。生成彩票包括第五，每张图片生成时抽取的初始噪声。图中用加号表示四个训练随机源的组合，循环符号表示每一步或每个样本的重复抽取。最后标注了现有实践只考虑生成彩票，本文研究全部五个。

这张图对理解论文至关重要，因为它清晰界定了什么是训练彩票、什么是生成彩票，以及它们包含的具体随机源。这为后续所有实验的设计和结果的解释提供了概念框架，帮助读者理解为什么训练随机性可能比采样随机性更大。

**Figure 4**: What does FID spectrum looks like?
Figure 4展示了FID数值的视觉意义。每一行是一个场景即金刚鹦鹉、火烈鸟、汉堡，由SiT-XL模型渲染，每行的Inception FID从左到右呈对数均匀下降，从43到3.6，总共12倍范围。质量向右改善，FID向右下降。每个FID水平下方标注了具体数值。图表说明FID是在分布级别定义的，它是ImageNet数据集的参考分布和50000张生成图像的高斯分布之间的Frechet距离，它是整个集合的属性，而不是任何单张生成图像的属性。每行底部标注了查看更完整感知印象的方法。

这张图帮助读者理解FID的感知意义，从定性角度展示了不同FID水平的视觉差异。它提醒读者FID是集合级别的度量，单张图片不能代表FID，这对理解为什么微小FID差异可能很难感知但仍然重要很重要。