← 返回 2026-05-26

几何感知的图像流匹配：把自然图像建模在超球面上 Geometry-Aware Image Flow Matching

Junho Lee, Kwanseok Kim, Joonseok Lee 📅 2026-05-24 👍 11 2026-07-13 08:36

图像生成条件流匹配流匹配超球面几何黎曼流形

发现自然图像语义信息集中在方向分量，提出超球面流匹配 SFM。

前置知识

流匹配 (Flow Matching)

通过训练网络拟合速度场 $v_\phi(xt, t)$，学习从先验 $p_0$ 到目标 $p_1$ 的 ODE 轨迹的生成建模方法。条件流匹配 CFM 用条件速度场构造训练目标 $\mathcal{L}=\mathbb{E}\|v_\phi-u_t\|^2$，可绕开难算的边缘速度。

流匹配是本文的底层范式，所有方法都以它为出发点做球面化的扩展。

条件流匹配与最优传输 (OT-CFM)

OT-CFM 在 I-CFM 基础上求解小批量最优传输 $\min_\pi \mathbb{E}\|x_0-x_1\|_2^2$，找到使传输代价最小的源-目标配对，得到更直的路径。本文 SOT-CFM 直接把代价函数替换为角距离。

本文提出的 SOT-CFM 直接改造了 OT-CFM 的代价函数，因此必须先理解它的目标。

黎曼流形与测地线 (Riemannian Manifold & Geodesics)

带内蕴度量的光滑空间。超球面 $S^{d-1}$ 两点最短路径是大圆弧，参数化为 SLERP，形式为 $\gamma(t)=\alpha(t)\tilde{x}_0+\beta(t)\tilde{x}_1$，对应切向速度大小恒为 $r\theta$。

SFM 直接在超球面上用测地线做流匹配路径，是论文的核心几何工具。

图像的向量分解：方向 vs. 范数

图像展平为 $x\in\mathbb{R}^d$ 后可分解为 $x=\|x\|_2\cdot\hat{x}$，$s=\|x\|_2$ 是范数，$\hat{x}=x/\|x\|_2$ 是单位方向。把范数替换为均值 $\bar{s}$ 后若图像仍可识别，则语义由方向承载。

这是本文的关键实验观察——发现方向承载语义——是提出整个方法的物理直觉来源。

研究动机

近年来，从 CNF、扩散模型到流匹配的图像生成方法几乎全部默认在 $\mathbb{R}^d$ 的欧氏空间里做几何，把图像视为扁平化的高维向量。然而自然图像的统计特性（早期工作如 Ruderman 1994、Carlsson 2008 描述过其局部行为）并没有被翻译成可利用的生成建模结构；更糟的是，欧氏距离 $\|x_0 - x_1\|_2$ 同时混入了方向差 $\theta$ 和范数差 $\|x_0\|、\|x_1\|$，而这两类信息对人类感知图像相似性的贡献是完全不对等的。已有的黎曼流匹配（RFM）虽然在分子、晶体等几何先验明确的领域取得显著收益，但因自然图像的内蕴流形未知而难以直接应用。

本文的目标是本文有三个具体目标：第一，发现并验证自然图像本身具有可利用的内在几何结构（具体地，是超球面结构），给出可操作的判据；第二，在此基础上提出两套几何感知的流匹配框架——SOT-CFM（仅替换 OT 代价为角距离）和 SFM（端到端地把源、目标分布和流路径都约束在超球面上）；第三，在 CIFAR-10 和 ImageNet-256 上系统性地证明这两套方法都超过对应的欧氏基线 I-CFM 与 OT-CFM，并提供可视化、下游分类等多维度证据。

与已有工作不同的是，本文的独特切入点是"对图像做方向-范数分解并检验语义信息落在哪一边"。通过把整张图像的 L2 范数替换为数据集平均范数 $\bar{s}$（RGB 空间中重建后的 rFID 仍低至 0.05、LPIPS 仅 0.02，视觉上几乎无法分辨）这一简洁实验，作者揭示了"方向编码语义、范数可被全局均值近似"的图像流形性质，从而第一次为自然图像找到了一种可操作的黎曼几何（超球面），把 RFM 这类需要已知几何先验的方法迁移到了图像领域。

核心方法

方法的核心直觉是：把地球仪当成地球。地球表面是弯曲的，沿着大圆弧飞（测地线）比穿过地心打洞飞过去要"自然"得多。论文认为自然图像的向量也应该被当作球面上的点，于是把所有训练图像和噪声都投影到半径为 $r$ 的超球面 $S^{d-1}$ 上，然后让流匹配在球面上沿着大圆弧走。具体做法分两路：SOT-CFM 只把欧氏 OT 距离换成角距离 $\arccos(\langle x_0, x_1\rangle / \|x_0\|\|x_1\|)$，流程其余部分不变；SFM 更激进，把源高斯分布也投影到球面、用 SLERP 作为插值路径、用切向速度场 $u_t = \dot{\gamma}(t)$ 作为回归目标，损失函数用 $\|v_\phi - u_t\|_2^2$ 但约束在切空间 $T_{x_t} S^{d-1}_r$ 内。

本文最核心的创新是把"语义由方向承载、范数可忽略"这一观察变成对生成模型的硬约束。在欧氏 CFM 中，模型必须同时学方向变化和范数变化，浪费容量；而 SFM 把所有数据点固定到同一半径的球面 $\tilde{x} = r \cdot \hat{x}$，网络只需拟合球面切向量场 $u_t \in T_{x_t} S^{d-1}_r$。这等价于把生成任务从"学习一条任意曲线"简化为"学习球面上的大圆弧"，范数建模这一负担被直接移除——而且高维高斯分布本身因 $\chi$ 分布的集中性也几乎天然落在球壳上，所以源分布几乎不需要改。在 OT 阶段，把欧氏距离换成角距离 $\arccos(\cdot)$ 进一步使配对优先匹配方向而非范数，避免了"方向相同但范数悬殊"的语义相似对被错配。

方法步骤详情

训练流程分四步。（1）数据投影：图像展平后算平均范数 $\bar{s}$，做投影 $\tilde{x}=\bar{s}\cdot x/\|x\|_2$。（2）源分布：SOT-CFM 保持源为高斯；SFM 把源也投影到球面 $\tilde{x}_0=r\cdot x_0/\|x_0\|_2$（利用高维高斯 $\chi$ 集中性）。（3）配对与插值：SOT-CFM 用角距离 $c_g=\arccos(\langle\hat{x}_0,\hat{x}_1\rangle)$ 解 mini-batch OT；SFM 固定配对后用 SLERP $\gamma_t$ 在大圆弧上采样中间点。（4）回归：闭式切向目标 $u_t=\dot{\gamma}(t)$，$\mathcal{L}=\mathbb{E}\|v_\phi-u_t\|_2^2$ 在切空间内计算。采样阶段球面 ODE 积分后做 $\bar{s}$ 反投影回原尺度。方法不修改骨干网络（U-Net/DiT-XL/2），只改变数据所在几何。

技术新颖性

新颖性体现在三个层面。第一，理论上第一次对自然图像的内在几何给出可操作的判据：作者用"投影到平均范数球面后图像仍可识别"的简单实验（Figure 1、Figure 2、表 1）就把超球面假设钉死，这在 RFM、FlowMM 等黎曼流匹配文献中是没有先例的。第二，方法论上 SFM 是 RFM 在图像域的首个端到端可用实例，把 RFM 从"需要预知流形"的范式改造成"从数据自发现流形"的范式。第三，实用上把欧氏 OT 替换为角距离 SOT 这一改动是零成本可插拔的，SOT-CFM 不需要任何架构或训练流程改动就能在 ImageNet-256 上把 OT-CFM 的 gFID 从 5.22 降到 5.15。

**Figure 3**: Comparison of different flow matching strategies

实验结果

核心结论汇总于表 2。CIFAR-10（100 NFE）上 SFM 取得 gFID 3.79，相对最优欧氏基线 OT-CFM 的 4.30 提升 0.51；ImageNet-256（250 NFE + CFG, 50K 样本）上 SFM 取得 gFID 4.62、sFID 7.51、IS 337.85、Recall 0.4890，除 Precision 外全部领先欧氏基线（I-CFM gFID 5.29，OT-CFM 5.22）。SOT-CFM 在两数据集分别取得 gFID 4.11 和 5.15。表 1 显示 RGB 投影后 rFID 仅 0.05、LPIPS 0.02，SD3-VAE 潜空间 rFID 仅 +0.19，证明方向主导语义。表 3 半径消融显示 gFID 随 $r$ 单调改善直到 $r=120$ 才饱和（4.95→4.62）。表 IV 最具说服力：SFM 生成图像让 ResNet-50 Top-1 准确率达 87.13%，超过原始 ImageNet 验证集 80.35%，I-CFM 仅 61.83%。Figure 4 印证 SFM 在锐利度上的优势。

**Table 1**: Impact of hyperspherical projection on reconstruction quality

**Table 2**: Generative performance comparison on CIFAR-10 and ImageNet-256

**Figure 4**: Qualitative comparison of generated ImageNet-256 samples

查看结构化数据

任务	指标	本文	基线	提升
CIFAR-10 无条件生成	gFID↓ (50K samples, 100 NFE Euler)	SFM 取得 3.79	I-CFM 4.29，OT-CFM 4.30	相对最优欧氏基线降低 0.51 (-11.9%)
ImageNet-256 类别条件生成	gFID↓ (50K samples, 250 NFE + CFG)	SFM 取得 4.62	I-CFM 5.29，OT-CFM 5.22	相对最优欧氏基线降低 0.60 (-11.5%)
ImageNet-256 类别条件生成	IS↑ (Inception Score)	SFM 取得 337.85	I-CFM 236.37，OT-CFM 247.71	相对最优基线提升约 36.4%
ImageNet-256 类别条件生成	sFID↓ (spatial FID)	SFM 取得 7.51	I-CFM 8.24，OT-CFM 7.85	降低 0.34~0.73
ImageNet-256 类别条件生成 (Recall↑)	Recall	SFM 取得 0.4890	I-CFM 0.4604，OT-CFM 0.4528	分布覆盖度提升
ImageNet-256 类别条件生成 (下游 Top-1 分类准确率)	ResNet-50 Top-1 Accuracy	SFM 取得 87.13%	原始验证集 80.35%，I-CFM 61.83%，I-CFM + Proj 79.53%	比原始验证集高 6.78%，比 I-CFM 高 25.30%
超球面投影后重建质量（多表征空间）	rFID / LPIPS	RGB: rFID 0.05, LPIPS 0.02；SD3-VAE: rFID 0.40, LPIPS 0.08；VMAE: rFID 0.88, LPIPS 0.06	未投影 rFID 0~0.89	极小的退化，证明方向分量完整保留语义

局限与改进

作者在附录 D.2 承认了边界情形：当样本范数处于分布极值（最大/最小 1% 之外）时投影会出现肉眼可见退化，RGB 空间最小范数样本有色偏，潜空间出现亮度漂移。附录 D.3 显示不同 ImageNet 类别的平均范数差异显著，意味着全局单一范数对类内方差大的子群体次优。附录 D.1 还表明 CelebA-HQ 在 RGB 空间用 ImageNet 均值范数重建良好，但潜空间出现明显退化，说明某些特定子域需要单独的范数估计。另一个隐性局限：表 IV 显示 SFM 分类准确率 87.13% 比真实集 80.35% 还高 6.78%，既可解读为"类别判别性极强"，也可能意味着生成样本集中在类内易分类原型附近、缺乏多样性（Recall 0.4890 仍属中游支持这一担忧）。此外论文未与文本条件图像生成（SD3 完整管线）对比，也未在 3D/视频上验证。

独立分析的弱点

第一个弱点是单一全局范数假设。附录 C 用 Norm Refinement Network（ResNet50 / MobileNetV2）做了补救尝试，在 ImageNet-256 上 gFID 仅有 0.01~0.04 边际改进，但这只能说明在 ImageNet 上近似足够好。改进方向是按类或按亮度条件自适应地估计局部范数，或用低秩残差 $\tilde{x}=(\bar{s}+\Delta s_\phi)\cdot\hat{x}$ 表示范数偏差。第二个弱点是"等距扩展"带来的训练动力学问题：球面切向目标范数为 $r\theta$，当 $r=120$（表 3 最优）时损失尺度比欧氏 $(x_1-x_0)$ 大近两个数量级，需重新调学习率和归一化；论文对此未充分展开。第三个弱点是 OT 配对阶段的内存：SOT-CFM 仍要在 128/256 大小的 mini-batch 内求解，对极大 batch 会有可扩展性问题。第四个弱点是缺乏对几何先验失效情形的系统化失败模式研究。

未来方向

作者在结论中暗示了三条延伸：把球面几何扩展到更高阶的流形（如乘积流形 $S^{d_1} \times \mathbb{R}^{d_2}$，把方向和幅值残差分开）；把 SFM 与 Stable Diffusion 3 完整管线（文本 + 多模态）结合，做文本条件图像生成；以及将 norm refinement 模块做得更深更复杂。读者可以自然延伸的方向包括：（1）把超球面投影做成可微的预处理层，与现有 LDM 训练管线无缝集成（附录 C 已证 norm refinement 的 GFLOPs 不到 0.03，与每步 1841 GFLOPs 的 FM 相比可忽略）；（2）探索流形上的 CFG（classifier-free guidance）公式——论文只在潜空间用标量 CFG（2.3），但球面切空间上的引导可能给出新的理论解释；（3）把同样的方向-范数分解思想推广到音频、3D 点云、视频等其它模态，验证"语义集中在方向"这一假设是否具有模态普适性；（4）把测地线 ODE 求解替换为高阶辛积分器，在不增加 NFE 的情况下进一步提升 SFM 的样本质量。

复现评估

复现条件比较友好。代码基于 OT-CFM（Tong et al. 2024）的 CIFAR-10 框架和 LightningDiT 的 ImageNet-256 框架，PyTorch 实现并固定种子，附完整超参。硬件：ImageNet-256 用 2 张 A100 40GB，140K iter、batch 1024、fp16 + gradient checkpointing；CIFAR-10 用 1 张 A6000，200K iter、batch 512。架构：ImageNet-256 用 DC-AE（f64d128）+ DiT-XL/2（28 block、1152 hidden、16 head、patch 2、AdaLN-Zero），CIFAR-10 用 128 通道 U-Net。OT 实现依赖 POT 库，$\epsilon=0.1$、Sinkhorn。CFG 需分别调优：I-CFM 2.1、OT-CFM/SOT-CFM 2.6、SFM 2.3。难点是 SFM 半径——表 3 显示 $r=120$ 才最优，默认 $r=45.25$ 会牺牲 0.23 gFID，复现时必须扫半径。

论文图表

**Figure 1**: Effect of hyperspherical projection on RGB and latent representations
左两列是 RGB 空间原图与投影图（注意 L2 范数从 198.51 变到 244.34、299.56 变到 244.34），右两列是潜空间（SD3-VAE）原图与投影图（范数 75.86→81.20、84.57→81.20）。投影前后所有范数都被强制为 244.34（RGB）和 81.20（潜空间），但人眼几乎无法区分。

这是全论文最关键的视觉证据：用一图直观证明"方向编码语义、范数无意义"，是所有后续方法设计的物理直觉来源。

**Figure 2**: Robustness analysis of spherical projection on ImageNet-256
(a) RGB 空间、(b) SD3-VAE 潜空间，横轴是投影半径 $r$（从很小到很大），纵轴分别是 rFID 和 LPIPS。两条曲线在很宽的半径范围内都保持低位，在数据平均范数（虚线）附近达到最低。

定量证明 Figure 1 的视觉观察不是偶然——投影半径在合理范围内变化都不会破坏图像的语义信息，且平均范数是自然的稳定选择。

Table 3: SFM across various radii on ImageNet-256

在 ImageNet-256 上固定其它超参，扫描投影半径 $r \in \{30, 45.25, 60, 80, 120, 130\}$，gFID 分别为 4.95/4.85/4.74/4.68/4.62/4.65，在 $r=120$ 处达到最优后轻微退化。

展示了 SFM 对半径选择具有很好的鲁棒性，且证实"放大切向目标范数可改善优化条件"的几何直觉，对实践选参至关重要。

Table 4: Downstream classification accuracy on ImageNet-256

用预训练 ResNet-50 评估重建图像和生成图像的 Top-1/Top-5 分类准确率。原始验证集 80.35%，DC-AE 重建 77.30%，投影后重建 76.29%；I-CFM 生成 61.83%，I-CFM+Proj 立刻回升到 79.53%，SFM 达到 87.13%——甚至超过真实集。

提供了独立于 FID 的语义质量证据：球面流匹配生成的图像类别判别性极强，这是几何感知路径"沿测地线走"的额外红利。