AdvFD：用对抗式 Fréchet 距离损失增强视觉生成 AdvFD: Boosting Visual Generation via Adversarial Fr'echet Distance Loss

完整流程见 Algorithm 1。(1) 初始化：从公开 checkpoint 加载 JiT/pMF 生成器；冻结 SIM 编码器（SigLIP、MAE、InceptionV3，各占权重 1）；对抗表征从预训练 Inception 初始化并全量微调（若用 SigLIP/MAE 则因显存限制加 rank-16 LoRA）。(2) 每个迭代采样真实批次 $X_r\sim p$ 与噪声 $Z$，一步生成 $X_g=G_\theta(Z)$。(3) G-step：冻结所有表征，计算 $D_{\text{static}}$ 与白化后的 $D_{\text{adv}}$，按 $\theta_{t+1}=\theta_t-\eta_G\nabla_\theta[D_{\text{static}}+\lambda_{\text{adv}}D_{\text{adv}}]$ 更新生成器；全局 batch 1024、训练 125k 步，生成器 AdamW 学习率 $10^{-6}$（pMF）或 $10^{-5}$（JiT），EDM 式权重 EMA。(4) D-step：冻结生成器并对 $X_g$ 做 stop-gradient，用 detach 的 EMA（$\beta=0.99$）真实特征统计做白化（$\epsilon=10^{-3}$），计算 $g_t=\nabla_\omega D_{\text{adv}}$，按 $\omega_{t+1}=\omega_t+\eta_D\,\mathrm{clip}_\tau(g_t)$ 更新，其中 $\mathrm{clip}_\tau(g)=g\cdot\min(1,\tau/\|g\|_2)$；该更新等价于带范数约束的局部响应问题（式 5）的封闭解，用 AdamW 实现，裁剪阈值 $\tau=1.0$，学习率 $10^{-6}$ 至 $2\times10^{-6}$，每两个生成器步更新一次，从第 1000 步开始、4000 步线性 warmup 接入。附录 A 证明裁剪后的 AdamW 更新始终停留在初始化的有界邻域内。

技术新颖性体现在四个层面。(1) 问题层：首次定义并实证 Fréchet hacking，把 objective hacking（奖励过优化、代理指标被钻空子）的研究视角引入分布级训练目标，揭示了 FD-Loss 这类新范式的系统性风险。(2) 机制层：把 GAN 式 min–max 从样本打分搬到特征统计对齐——不是学判别器，而是学比较空间本身；附录 C 从最优传输角度给出严格对照：原始 GAN 消元后等价于最小化 JS 散度、WGAN 固定 ground cost 学 Kantorovich 对偶势，而 AdvFD 学习决定 $W_2^2$ 评估对象的特征几何，且每个固定表征下的高斯传输问题都有封闭解。(3) 稳定化层：real-feature whitening 配有完整的仿射不变性推导（附录 B），说明白化如何把平凡缩放方向从优化问题中剔除，并给出正则化带来的 $O(\epsilon/\lambda_{\min})$ 误差界与 EMA 滞后的偏差分析。(4) 实证层：wall-clock 对齐实验（Table 5）证明收益来自表征的可学习性而非额外参数或算力——冻结对抗分支使所有指标全面恶化，单纯延长 FD-loss 训练也无效。诊断、机制、校准、验证四个环节构成完整闭环，在同类后训练工作中较为少见。

第一，训练稳定性依赖多重手工保险丝（梯度裁剪 $\tau=1.0$、D-step 学习率 $\le2\times10^{-6}$、每两个生成器步更新一次、4000 步线性 warmup），这本身就说明对抗分支很脆弱； scaling 到更大模型或更高分辨率时，D-step 的更新尺度如何随规模缩放缺乏理论指导，改进方向是用谱归一化或信任域约束替代手工裁剪，并对更新幅度给出与模型规模关联的自动调节规则。第二，白化使用与 D-step 梯度解耦的 EMA 真实统计，表征的瞬时缩放在 EMA 追上之前不会被抵消，论文靠极小学习率掩盖了这个时间差；可以做在线白化，或直接对 $\psi$ 施加范数/谱约束使仿射不变性严格成立。第三，评测指标与训练目标同源（都是 Fréchet 家族），无法排除差异只是被赶进了更隐蔽的空间；应补充人工偏好评测或下游任务指标作为外部校验。第四，方法只在类条件 ImageNet 上验证，而文本到图像场景中真实分布高度多样，5 万样本队列加 EMA 的均值/协方差估计误差会直接污染白化矩阵，需要研究小样本下稳健的统计估计（如 Ledoit-Wolf 收缩估计、核化 Fréchet 距离）。第五，单一对抗表征分支每个时刻只能暴露一个方向上的残差差异，可以探索多表征并行对抗、或按训练进度课程式轮换对抗主干，让盲区暴露更系统化。

作者展望把 AdvFD 推广到更大规模、多模态与视频生成，并探索自适应比较空间在可靠分布级训练中的更广泛应用。基于本文成果还能延伸出若干方向：(1) 理论侧，刻画该 min–max 博弈的局部收敛性与其 Nash 均衡的性质，回答对抗表征最终会收敛到什么样的比较几何，以及均衡解与感知质量之间的关系；(2) 与奖励模型结合——RLHF 中已有对抗更新奖励模型以缓解 reward hacking 的工作，可与 AdvFD 的表征校准统一为一个通用的代理目标防作弊框架；(3) 把 FD-r3 这类 held-out 指标的泛化行为用作训练过程中的早停与模型选择信号，实现无需人工评审的质量监控；(4) 在文本到图像或视频模型上用 LoRA 承载对抗表征（论文已证明 LoRA 可行但效果次优），研究如何让低秩更新在更大特征空间中依然有效；(5) 与 DMD、ADD、iMF 等主流一步生成范式正交组合，检验对抗 Fréchet 项与蒸馏损失的互补性；(6) 把白化推广为对真实与生成统计同时标准化，从理论上封死生成几何一侧的对抗捷径，并分析双白化下 $W_2^2$ 的性质。

复现条件总体友好。生成器初始化直接使用公开的 JiT（Li & He, 2026）与 pMF（Lu et al., 2026）预训练 checkpoint，数据为公开的 ImageNet-1K，对抗表征主干（Inception/SigLIP/MAE）均为公开预训练模型。训练配置在 Table 6 中完整披露：全局 batch 1024、每 GPU 128（即 8 卡 A100 级别）、训练 125k 步；生成器 AdamW 学习率 $10^{-6}$（pMF）/$10^{-5}$（JiT），对抗分支学习率 $10^{-6}$–$2\times10^{-6}$、每两步更新一次、裁剪阈值 1.0、白化 $\epsilon=10^{-3}$；FD 特征队列 5 万样本，主目标统计 EMA $\beta=0.999$、对抗分支 $\beta=0.99$；评测协议（5 万样本、各编码器归一化常数、CFG 配置）也全部给出，消融实验用 50 epoch 的短程设置以降低成本。论文提供了项目主页 gasaiyu.github.io/AdvFD-page，但正文未明确说明代码已开源；若只能按论文复现，特征统计的队列维护、双 EMA、eigvalsh 协方差求解等工程细节需要对齐得非常仔细。主要成本是多卡数天的训练量，综合评估复现难度中等偏上，缺少官方代码会显著增加细节对齐成本。