三体散射生成建模 — HF Daily Papers

把能量距离变成常数规模三体散射，实现高维一步生成

前置知识

能量距离 (Energy Distance)

能量距离定义为 $D^2_E(P, Q) = 2\mathbb{E}_{x_p\sim P, x_r\sim Q}[\|x_p-x_r\|] - \mathbb{E}_{x_p,x_s\sim P}[\|x_p-x_s\|] - \mathbb{E}_{x_r,x_r'\sim Q}[\|x_r-x_r'\|]$。在欧氏空间（强负定型）下它非负，且当且仅当 $P=Q$ 时为零，因此是一个“真的”分布差异度量。它等价于用距离诱导核 $k_a(x,y)=\tfrac12(\|x-a\|+\|y-a\|-\|x-y\|)$ 写出的平方 MMD。

本文的全部理论都建立在 $\tfrac12 D^2_E$ 这个泛函上：它的“一阶变分”给出粒子级别的下降方向，三体散射就是对它梯度流速度的常数规模随机估计。

Wasserstein 梯度流 (Wasserstein Gradient Flow)

对概率分布空间上的泛函 $F(P)$，其 2-Wasserstein 梯度流是连续性方程 $\partial_t P_t + ?bla\cdot(P_t v_t)=0$，速度场 $v(x)=-\nabla_x \frac{\delta F}{\delta P}(x)$ 取自泛函的一阶变分。直觉上：把每个粒子沿“让 $F$ 下降最快”的方向移动，整体分布就演化向 $F$ 的极小值。对能量距离，这个速度场恰好是“被真实数据吸引、被同类生成样本排斥”的合力。

TBSM 的散射向量场 $v_\theta(x,c)$ 就是 $\tfrac12 D^2_E$ 的 Wasserstein 负梯度速度；理解梯度流才能看懂“为什么一个三体相互作用能等价于整批数据的分布匹配”。

一步生成与 NFE (One-Step Generation, NFE=1)

NFE（number of function evaluations）指生成一张图所需的生成器前向次数。扩散/流模型通常 NFE=50~1000（迭代去噪），GAN 和本文方法是 NFE=1：生成器 $g_\theta(z,c)$ 一次性把噪声 $z$ 映射成样本。一步生成的难点在于没有“路径”可走，必须在单次前向里就把分布对齐，因此需要更直接的分布匹配监督，而不是逐步去噪。

本文的核心卖点就是在 ImageNet-256 上以 NFE=1 达到 FID≈1.6~2.2，与多步扩散相当；理解 NFE 才能判断它在“采样速度”维度的价值。

表示空间散射 (Representation-Space Scattering)

在高分辨率图像上直接在像素空间算能量距离效果差，因此把生成样本、真实样本都通过若干个“冻结的”预训练编码器（如 ResNet-18、SigLIP2、MAE）映射到特征空间，在特征空间里算散射向量，再把梯度反传回生成器。每个编码器定义一个独立的特征场，各算各的损失再相加。这类似于 FD-loss / 感知损失的思想。

论文所有 ImageNet 实验都在表示空间做散射；理解这一点才能看懂“pixel/latent 输出 + 冻结编码器”的部署方式，以及为什么 Table 2 要做编码器消融。

线性时间 MMD 估计 (Linear-Time MMD Estimator)

经典 MMD 的完整经验估计需要 $O(B^2)$ 的两两距离，而 Gretton et al. 2012 提出的“随机配对”线性时间估计只用 $O(B)$ 个独立配对（如 $\|x_1-x_{r,2}\|+\|x_2-x_{r,1}\|-\|x_1-x_2\|-\|x_{r,1}-x_{r,2}\|$）。本文证明这种线性时间 MMD 的梯度恰好可分解为两个“三体”projectile 更新，因此 Alg.1 本质是它的“源分离”实现，而非新估计器。

这是把“常数规模三体”和经典统计联系起来的一环，说明该方法在样本复杂度上是有理论根基的线性时间估计，而不是临时拼凑。

研究动机

现代生成模型主要依赖三类范式，各有硬伤。对抗式（GAN）能一步采样，但需联合训练判别器，训练不稳、易模式崩溃，大规模成功参差不齐。路径式（diffusion/score/flow）质量与扩展性强，但采样必须沿“噪声到数据”轨迹反复迭代，NFE 常达几十到上千；其加速版（consistency、DMD、MeanFlow）又必须依赖教师网络、一致性约束或辅助分布估计。自回归式则需有序结构化解码，采样慢。而“直接分布动力学”方法（Drift、FD-loss、RDM）虽能一步采样且无需教师，但监督是“批级别”的：要么在 minibatch 上构造 $O(B^2)$ 两两核吸引-排斥场（Drift），要么匹配特征均值/协方差（FD-loss），要么解小批量 Sinkhorn 传输（W-Flow）。这带来两个现实问题：一是计算随批大小平方增长或需解传输问题；二是文本-图像数据“每条 caption 只配一张图”，根本凑不出同条件参考集。论文据此提出 Problem 1：能否用一个“真的”分布匹配目标，为高维一步生成导出“每个 projectile 常数规模”的随机交互，且完全不需要教师查询？

本文的目标是本文目标：把一个严谨的分布差异泛函——能量距离 $\tfrac12 D^2_E(P_\theta, Q)$——转化为“样本级、常数规模”的监督，训练一步生成器。具体地，对批里每个生成的 projectile，只采样一个真实源 $x_r$ 和一个独立生成源 $x_s$，构造三体散射向量，得到 $O(B)$ 个相互独立的监督目标，其条件期望要精确等于能量距离的 2-Wasserstein 负梯度速度。在此基础上作者希望：(1) 在 ImageNet-256 上以 NFE=1 达到与多步 diffusion 可比的 FID（进入 1~3 区间）；(2) 同时支持像素与潜空间生成器；(3) 适配文本-图像这种“一 caption 一图”的强条件场景，并用 Qwen-Image-20B 验证；(4) 给出统一设计图，把 Drift 动力学、GAN 式判别场、扩散式监督纳入同一框架解释。

与已有工作不同的是，本文独特切入点：它注意到能量距离 $\tfrac12 D^2_E$ 的一阶变分天然给出粒子级别下降向量——即这个分布级泛函本身就蕴含 sample-level 运动方向，不必额外用判别器或批统计量估计。关键洞察是“三体”：一个 projectile 加一个真实源、一个独立生成源，三者构成符号相互作用 $\hat v_{\text{scat}}=b_r-b_s$（吸引真实、排斥同类），对两源求期望后恰好恢复整条 Wasserstein 梯度流速度。这把“真正的分布匹配目标”和“常数规模样本级监督”统一起来。和 Drift（minibatch 全对场）、FD-loss（批均值/协方差）相比它是 per-sample、每条件只需一个真实参考；和 DMD 相比它不需要教师分数、噪声调度或轨迹目标。论文还指出，这个三体更新本质是经典“线性时间 MMD”随机配对估计器的源分离实现——既有统计根基，又天然适配文本-图像数据。

核心方法

直觉上，把生成样本想象成在特征空间游走的粒子：每个粒子被一个真实数据点“吸引”、又被另一个独立生成的粒子“排斥”，合力指向“让整体生成分布更像真实分布”的方向——像引力/静电类比，但相互作用带符号（吸真实、斥同类）。技术路线：先写群体目标 $F(\theta)=\mathbb{E}_c[\tfrac12 D^2_E]$，对它求一阶变分得到散射向量场，这正是 2-Wasserstein 负梯度速度；再用一个三体事件（可微 projectile $x_p$、真实源 $x_r$、detach 生成源 $x_s$）估计该场；把 projectile 沿估计向量位移得到 detach 目标 $x_{\text{target}}$，让生成器回归。为降噪再引入在线 tracker 学习该条件期望。整条链路从“群体能量”落到“样本级回归”，全程无需教师、判别器或噪声调度。

核心创新是“三体散射估计 + 冻结目标回归”及其梯度等价定理。对每个 projectile $x_p=g_\theta(z,c)$，采样真实源 $x_r$ 与独立生成源 $x_s$，定义方位差 $\hat v_{\text{scat}}=b_r-b_s$（$b_r,b_s$ 为单位方位）。定理 1 证明其条件期望等于精确散射场 $v_\theta$，且范数 $\le 2$（与维度无关）。进而做冻结目标回归 $\mathcal{L}_{\text{gen}}=\tfrac12\mathbb{E}\|g_\theta(z,c)-x_{\text{target}}\|^2$，$x_{\text{target}}=\text{sg}[x_p+\hat v_{\text{scat}}]$，在当前参数处回归局部梯度与能量距离精确梯度完全相等——把分布差异变成“每样本一个 detach 目标”的监督，区别于 Drift 的 minibatch 全对场或 FD-loss 的批统计量。第二创新是在线 tracked scattering：轻量 tracker 在线逼近条件期望，推论 1 给出精确误差分解，把 tracker 误差与源采样噪声解耦，最优混合比有闭式解 $\rho^\star=s_\theta/(s_\theta+e_\phi)$。

方法步骤详情

完整算法（Alg.2）每步同时更新生成器与 tracker，输入是 minibatch 真实 $(x_r,c)$：(1) 采样 $z,z_s$，生成 $x_p=g_\theta(z,c)$ 与 detach 的 $x_s$；(2) 算方位 $b_r,b_s$，分母加固定 $\varepsilon=10^{-6}$ 平滑防除零（附录证明仍 proper）；(3) 组装 $\hat v_\lambda=b_r-\lambda b_s$，$\lambda\in[0,1]$ 同时控源内系数与 tracker 查询范围；(4) 采样 $\alpha\sim U(0,1-\lambda)$，构造走廊查询点 $\tilde x$，查 tracker 得 $v_{\text{trk}}$；(5) 混合 $\hat v_{\text{mix}}=(1-\rho)\hat v_\lambda+\rho v_{\text{trk}}$；(6) 生成器沿 $\|x_p-\text{sg}[x_p+\hat v_{\text{mix}}]\|^2$ 用 AdamW 下降（LR $10^{-5}$），tracker 沿 $\|v_{\text{trk}}-\text{sg}[\hat v_\lambda]\|^2$ 下降（LR $10^{-3}$）。潜空间模型先把 $x_p$ 经冻结 SD-VAE 解码再过三个冻结编码器（ResNet-18、SigLIP2-B、MAE-B 各配一个 tracker），特征 EMA 白化（decay 0.999）后逐通道 $\ell_2$ 归一化，三空间损失分别形成后再相加。所有 ImageNet 实验都从预训练多步检查点热启动生成器。

技术新颖性

技术新颖性四点。第一，把能量距离的 Wasserstein 梯度流速度用“常数规模三体事件”精确估计，并证明其与经典线性时间 MMD 随机配对估计器是源分离等价实现——既保 proper 分布匹配性质，又把监督粒度从批级降到样本级。第二，冻结目标回归 + 定理 1 的局部梯度等价，使每 projectile 只需一个 detach 目标，梯度只穿 projectile 并经生成器 Jacobian 回拉。第三，tracked scattering 把降噪形式化为“在线条件期望投影”，推论 1/2 给出输出空间与参数空间两套精确误差分解，把 tracker 误差与源采样噪声彻底解耦，最优混合比有闭式解。第四，$(\rho,\lambda)$ 设计图统一解释四角点：$(0,1)$ Drift 式瞬时散射；$(1,1)$ tracked 能量距离端点（主推）；$(0,0)$ 退化为只吸引、邻接去噪/感知监督；$(1,0)$ 经位移类比显露 GAN 式势能场（式 13 线积分：最大化真实-生成势能差减去走廊平均梯度范数一半）。这套统一语言是区别于单一方法工作的重要贡献。

**Figure 2**: TBSM 总览。左：一个真实-生成-生成事件产生带噪散射向量；中：瞬时散射驱动粒子沿噪声轨迹收敛，跟踪平滑运动；右：在完全 tracked 的能量距离端点，在线 tracker 估计每个 projectile 处瞬时散射向量的条件期望并监督生成器。

**Figure 3**: 在 $(\rho,\lambda)$ 设计图上各角点的一步生成样本。$(\rho=0,\lambda=1)$ 瞬时散射（Drift 式）；$(1,1)$ tracked 散射（能量距离端点，本文主推）；$(0,0)$ inter-only（扩散相关）；$(1,0)$ fake-to-real（GAN 式）。

实验结果

核心发现在 ImageNet-256 NFE=1 基准（Table 3，5 万样本）：像素 PixelDiT-XL/16 达 FID=2.23，潜空间 DiT-XL/2 达 FID=1.63，显著优于同骨干一步加速法 iCT(34.24)、Shortcut(10.60)、MeanFlow(3.43)，也优于 pMF(2.29) 与 GAN StyleGAN-XL(2.30)，接近甚至超过多步基线 ADM(3.94)、DiT-XL/2(2.27)。JiT-B/16(131M) 长训练 FID=2.69，证明可迁移小骨干。$\lambda$ 调参现 CFG 式现象：JiT-B 上 $\lambda$ 1.0→0.9，FID 3.35→2.92、IS 205.3→228.7。ImageNet-512（Fig.4）：多步 DiT-XL/4 热启动后一步化 FID=1.92（原模型 NFE=1 下 398.20）；PixelDiT-XL 达 3.84。角点对比（Fig.3，JiT-B 同预算）：$(1,1)$ FID=4.71 最优，$(0,0)$ 38.65 最差但 IS=386.12 最高。表示场消融（Table 2）：三编码器组合 FID=8.29 最低但每步 0.2411 秒最慢。文本-图像：仅用 TBSM 微调 Qwen-Image-20B 1000 步、无 CFG，可在 1024×1024 以 NFE=1 生成。Fig.5 显示 FD-loss JiT-B 经 TBSM 继续训后 FID 0.99→1.84 但伪影减少，提示指标-伪影不一致。

**Table 1**: 主要生成建模范式的定位对比。比较是否直接单步采样、扩展性证据的广度、生成器监督粒度。

**Table 2**: ImageNet-256 上的表示场消融。ResNet-18、SigLIP2-B、MAE-B 单用与组合的 FID/FDr6/IS 和每步耗时。

**Table 3**: ImageNet 基准对比。Space 为生成器输出域，Params 为推理时生成器参数。TBSM 行标注其 (ρ,λ) 设置，† 表示更长训练。

**Table 4**: ImageNet 训练配置：共享优化器设置 + 各实验的 batch size 和步数。

**Figure 1**: TBSM 训练模型的一步生成样本。从左到右：MNIST、Fashion-MNIST、CIFAR-10（自上而下）；像素空间 ImageNet-1K 样本；以及由 Qwen-Image-20B 仅用 TBSM 微调后在 NFE=1 生成的文本-图像样本。

**Figure 4**: 把多步 ImageNet-512 模型转化为一步生成器。左：预训练多步 DiT-XL/4 的单步采样（FID=398.20）；右：TBSM 训练后（ρ=λ=0.9，FID=1.92）。

**Figure 6**: 一步文本-图像生成。由 TBSM 微调的 Qwen-Image-20B 在 1024×1024 分辨率、NFE=1 下生成的样本。

查看结构化数据

任务	指标	本文	基线	提升
ImageNet-256 类条件图像生成 (NFE=1, 潜空间)	FID ↓	1.63 (TBSM, DiT-XL/2, ρ=0.9,λ=0.9)	MeanFlow 3.43 / iCT 34.24 / Shortcut 10.60 (同为 DiT-XL/2 一步)	相对 MeanFlow 降低约 52%，相对 iCT 降低约 95%；且接近多步 DiT-XL/2 (250×2步) 的 2.27
ImageNet-256 类条件图像生成 (NFE=1, 像素空间)	FID ↓	2.23 (TBSM, PixelDiT-XL/16)	pMF-H/16 2.29 / StyleGAN-XL 2.30 / BigGAN-deep 6.95	优于 StyleGAN-XL 和 pMF，显著优于 BigGAN；与多步 PixelDiT-XL (100×2步) 的 1.61 接近
ImageNet-256 类条件生成 (NFE=1, 小骨干)	FID ↓	2.69 (TBSM†, JiT-B/16, 131M, 200k步)	Drift (DiT-L/16, 465M) 1.43 / FD-loss (JiT-H/16, 953M) 0.75	在参数量小一个量级的前提下仍有竞争力；与 Drift/FD-loss 存在参数规模差距
ImageNet-512 高分辨率一步生成	FID ↓	1.92 (DiT-XL/4, TBSM ρ=λ=0.9)	同骨干多步模型在 NFE=1 下的 398.20 (退化采样)	把无法一步采样的多步模型成功转化为高质量一步生成器
文本-图像生成 (NFE=1, 1024×1024)	定性样本质量	Qwen-Image-20B 仅用 TBSM 微调 1000 步、无 CFG	主流 T2I 需多步采样 + CFG 或对抗后训练	无需教师/判别器/CFG 即可实现一步 T2I，接口更简（初步研究，待扩展基准）

局限与改进

作者在 Section 6 列出六条限制。最关键的是：收敛理论只覆盖精确 $\lambda=1$ 场、链式法则正则、斜率不等式与相对跟踪等假设下的“群体流”，参数空间版本还需可实现性、PL、相对偏差、有界方差、递减步长，二者都不能证明一般神经网络经 SGD 训练的收敛。其次，瞬时估计在粒子重合附近方差大，固定 $\varepsilon=10^{-6}$ 平滑虽保 proper 但改变几何。第三，从随机初始化在 ImageNet 规模的可行性未验证——所有主实验都从多步检查点热启动。第四，表示空间 properness 只对投影分布成立，全图像匹配取决于编码器信息量。第五，NFE=1 质量成立但未与成熟 diffusion/自回归做算力对齐的训练效率对比（tracked 版还要额外训 tracker）。第六，强条件单样本场景下经验条件能量可能鼓励匹配唯一配对图，需靠增广或正则保多样性。我额外观察：$\lambda<1$ 的 CFG 式收益目标已不 proper（论文坦承仅经验类比）；Fig.5 指标-伪影不一致提示 FID/FDr6/IS 可能与人偏好不符。

独立分析的弱点

第一个弱点是热启动依赖：所有 ImageNet-256 主结果都从预训练多步模型初始化，冷启动未验证，TBSM 目前更像“把多步模型蒸成一步”的工具而非独立训练范式；若无高质量多步教师能否从噪声训出 FID≈2 仍是未知。改进：研究纯冷启动 curriculum 或“少量 flow 预热 + TBSM 精修”混合。第二个是 tracker 容量与查询错配：tracker 仅约 30M、4 层，且 $\lambda<1$ 时查询在走廊而 projectile 在端点，论文承认即使 oracle tracker 也未必保 $F_\lambda$ 梯度。改进：扩 tracker、对齐查询与 projectile 条件。第三个是 $\lambda<1$ 目标不 proper：经验 CFG 式收益缺理论保证。改进：设计 proper 多样性正则或把 $\lambda$ 退火回 1。第四个是单条件单样本记忆风险：T2I 每 caption 一图，能量目标可能退化为复制。改进：强增广、显式多样性惩罚。第五个是评估单一：Fig.5 已暴露指标-伪影不一致。改进：加入 ImageReward 等人偏好指标。

未来方向

作者明确点出的方向：(1) 验证 TBSM 从随机初始化在 ImageNet 规模的可行性；(2) 扩展文本-图像到更多生成器族、更长训练、更广基准并做直接基线对比（附录 C 自称仅 1000 步初步研究）；(3) 把收敛理论推广到一般神经网络训练。基于成果可延伸的方向：第一，把设计图里的“走廊查询 + 位移类比（Alg.3）”发展为独立的 GAN-free 对抗式一步生成器，研究其与 Adversarial Flow Models 的关系；第二，把 tracked scattering 的“在线条件期望降噪”迁移到其他噪声梯度场（score、Stein VGD），做成通用“场降噪器”；第三，研究多表示场融合的信息论下界——当前仅简单相加，理论上“零和差异只匹配各投影边缘、不保证联合”，可研究联合 measure-determining 的表示族；第四，用于视频/3D 等更高维一步生成，检验常数规模三体的扩展性。

复现评估

复现友好度中上。代码已开源 https://github.com/sp12138/TBSM ；数据全为公开标准集（ImageNet-1K、MNIST 等）；生成器热启动用公开检查点（JiT、PixelDiT 官方仓库，DiT 用 UCGM 多步检查点），T2I 用公开 Qwen-Image-20B。附录 B 实现详尽：AdamW、生成器 LR $10^{-5}$、tracker LR $10^{-3}$、EMA decay 0.999、BF16、$\varepsilon=10^{-6}$ 平滑；tracker 架构（4 层、hidden 736、~30M 参数）；特征 EMA 白化 + 逐通道 $\ell_2$；Table 4 给出各实验 batch（128~256）与步数（5k~200k，如 DiT-XL/2 batch 256、5 万步）。主要不确定：算力未披露（ImageNet 训练需多卡数天到数周），冷启动路径未给（必须先有多步检查点），T2I 仅 1000 步初步结果可能不易稳定复现。总体：具中等 GPU 集群的团队可复现 ImageNet 主结果，但全基准成本不低。

三体散射生成建模 Three-Body Scattering for Generative Modeling