ArcFlow：通过高精度非线性流蒸馏释放两步文本到图像生成 ArcFlow: Unleashing 2-Step Text-to-Image Generation via High-Precision Non-Linear Flow Distillation
用动量混合参数化非线性轨迹，2步即可逼近50步教师模型的生成质量
前置知识
Flow Matching（流匹配）
Flow Matching 是一种生成建模框架，它定义了从噪声分布 $p(x_1) \sim \mathcal{N}(0, I)$ 到数据分布 $p(x_0)$ 的连续概率轨迹。模型学习一个速度场 $v_\theta(x_t, t)$，在推理时通过数值求解概率流常微分方程（PF-ODE）$\frac{dx_t}{dt} = v_\theta(x_t, t)$ 来从噪声生成图像。与扩散模型类似，推理通常需要 40-100 步迭代去噪，每一步就是一个函数评估（NFE）。
ArcFlow 的核心贡献就是加速 Flow Matching 模型的推理过程，将 40-100 步压缩到 2 步，因此理解 Flow Matching 的基本框架是理解本文的基础。
知识蒸馏（Knowledge Distillation）
在生成模型加速的语境下，知识蒸馏指的是用一个预训练好的大模型（教师模型）来训练一个小模型（学生模型），使学生模型在极少的推理步骤内就能生成与教师模型质量接近的图像。常见的蒸馏方法包括渐进式蒸馏（Progressive Distillation）、一致性模型（Consistency Models）和分布匹配（Distribution Matching）等。
ArcFlow 本质上是一种蒸馏方法，它提出了一种新的蒸馏策略来更好地逼近教师模型的生成轨迹，因此理解蒸馏的基本范式对理解本文的定位和贡献至关重要。
轨迹几何错配（Geometric Mismatch）
现有的少步蒸馏方法（如 TwinFlow、pi-Flow）用线性短路径（linear shortcut）来近似教师模型的多步生成轨迹。然而教师模型的去噪轨迹本质上是非线性的——其切线方向（速度方向）会随着时间步的变化而不断变化。用直线来拟合这种曲线，会导致学生模型的轨迹与教师轨迹之间存在几何上的错配，从而造成生成质量下降。
几何错配是本文要解决的核心问题。ArcFlow 的出发点就是：既然教师轨迹是非线性的，学生模型也应该用非线性轨迹去逼近，而不是强制用线性短路径。
LoRA（Low-Rank Adaptation，低秩适配）
LoRA 是一种参数高效的微调方法。它冻结预训练模型的大部分参数，只在特定层（通常是注意力或 MLP 的投影层）插入低秩矩阵 $A \in \mathbb{R}^{d \times r}$ 和 $B \in \mathbb{R}^{r \times d}$，其中 $r \ll d$ 是秩参数。实际训练时只更新 $A$ 和 $B$ 的参数，而原始权重保持不变，从而大大减少可训练参数量。
ArcFlow 的一个重要卖点就是参数效率——它只训练 LoRA 适配器和输出投影头，可训练参数不到原模型的 5%。相比之下，TwinFlow 等方法需要全参数微调。这使得 ArcFlow 不仅训练更快，而且更容易部署。
研究动机
扩散和流匹配模型虽然在图像生成质量上取得了显著成就，但推理速度极慢——通常需要 40 到 100 次顺序去噪步骤（NFE），这使得它们在实时应用中完全不可行。为解决这一问题，近年来出现了多种蒸馏方法，但它们的共同本质问题在于：试图用线性短路径（2-4 步的直线）来近似教师模型 40-100 步的复杂曲线轨迹。具体来说，教师模型的去噪轨迹上，速度场的方向在不同时间步上是不断变化的——就像一辆车在弯道上行驶时，方向盘要持续调整。而线性蒸馏方法相当于让学生模型直接从弯道起点画一条直线到终点，完全忽略了弯道的曲率。这种几何错配导致学生模型无法精确逼近教师的生成分布，表现为生成质量下降、模式坍缩（mode collapse）和视觉细节丢失。例如，TwinFlow 在某些场景下会出现美学质量退化，而 Qwen-Image-Lightning 则会出现纹理模糊和结构伪影（如弯曲或重复的剑）。
本文的目标是ArcFlow 的具体目标是：在仅使用 2 次函数评估（2 NFE）的条件下，实现与 50 步教师模型（Qwen-Image-20B 和 FLUX.1-dev）几乎无损的生成质量，同时将推理速度提升约 40 倍。此外，还要在可训练参数量上做到极致高效——只微调不到原模型 5% 的参数（通过 LoRA 适配器）。与现有的线性蒸馏方法相比，ArcFlow 追求的不仅是更高的生成质量指标（如 FID、pFID），更是对教师生成分布的高保真对齐（high-fidelity alignment），确保生成的多样性和细节质量不因蒸馏而损失。
与已有工作不同的是，ArcFlow 独特的切入角度在于：它直接承认教师轨迹的非线性本质，并用物理中的动量（momentum）概念来显式建模这种非线性。之前的 pi-Flow 虽然也尝试用高斯混合来近似速度演化，但其概率近似在低 NFE（2 步）时精度不足。ArcFlow 的关键洞察是：相邻时间步的速度之间存在强相关性，可以用动量传递定律来描述——给定初始速度和动量因子 $\gamma$，就能解析地推算出任意时间步的速度。更进一步，ArcFlow 将速度场参数化为 $K$ 个动量模式的混合（mixture of momentum modes），每个模式有自己的基本速度、动量因子和门控概率，从而能够捕捉图像生成中不同频率分量以不同速率演化的特点。最重要的是，这种参数化允许对轨迹进行解析积分（closed-form integration），完全避免了数值离散化误差。
核心方法
ArcFlow 的核心思想可以用一个物理学类比来理解：想象你在驾驶一辆车从 A 点到 B 点，中间有一条复杂的弯道。传统的线性蒸馏方法相当于直接从 A 到 B 画一条直线——当然会偏离实际路径。而 ArcFlow 的做法更像是：在 A 点测量当前的速度和动量（即速度的变化趋势），然后用运动方程精确预测整个弯道上的行驶轨迹。具体来说，ArcFlow 将教师模型的速度场参数化为 $K$ 个连续动量过程的混合。每个动量过程由三个参数定义：基本速度 $v_k$、动量因子 $\gamma_k$ 和门控概率 $\pi_k$。给定这些参数，任意时间步的速度可以通过公式 $v(x_t, t) = \sum_{k=1}^K \pi_k \cdot v_k \cdot \gamma_k^{1-t}$ 解析地计算出来。由于这种参数化本质上是指数函数的线性组合，它可以进行解析积分，从而一步到位地计算出从起始时间步到目标时间步的潜变量变化，完全不需要中间的数值离散化步骤。训练时，ArcFlow 使用混合轨迹蒸馏策略：先让教师模型引导早期的潜变量生成，然后逐渐让学生模型接管，最终通过速度匹配损失来对齐学生和教师的速度场。
ArcFlow 与已有方法最本质的区别在于：它首次在蒸馏框架中显式地构建非线性流轨迹来逼近教师轨迹。这与之前的线性蒸馏方法（如 TwinFlow、pi-Flow）形成了根本性的对比——后者假设在 2-4 步内可以用直线来近似教师的曲线轨迹，而 ArcFlow 则直接建模轨迹的曲率。核心创新是将物理中的动量概念引入速度场参数化：速度不再是一个独立的点估计，而是遵循动量传递定律，$v(x_t, t) = v(x_{t_s}, t_s) \cdot \gamma^{t_s-t}$，其中 $\gamma$ 是动量因子。这意味着只需一次前向传播获取初始速度，就能解析地推算出所有后续时间步的速度。更重要的是，这种参数化允许闭式解析积分——动量积分系数 $\mathcal{C}(\gamma, t_s, t_e) = \frac{\gamma^{1-t_e} - \gamma^{1-t_s}}{\ln \gamma}$ 可以精确计算从任意 $t_s$ 到 $t_e$ 的潜变量变化，而不需要数值近似。论文还通过 Theorem 1 证明了：只要有 $K \geq N$ 个动量模式，就可以在 $N$ 个任意时间步上完美拟合教师的速度场。这从理论上保证了 ArcFlow 的表达能力。
方法步骤详情
ArcFlow 的完整方法可以分为三个步骤。第一步是动量参数化（Momentum Parameterization）：给定输入潜变量 $x_t$、时间步 $t$ 和文本条件 $c$，DiT 骨干网络通过三个投影头分别预测 $K$ 个模式的基本速度 $v_k$、动量因子 $\gamma_k$（通过对数参数化确保正值）和门控概率 $\pi_k$（通过 softmax 确保和为 1）。最终速度场由公式 $v_\theta(x_t, t) = \sum_{k=1}^K \pi_k(x_t) \cdot v_k(x_t) \cdot \gamma_k(x_t)^{1-t}$ 给出。第二步是解析轨迹求解（Analytic ODE Solver）：对于从时间步 $t_s$ 到 $t_e$ 的采样步骤，定义解析转移算子 $\Phi$，它可以直接计算潜变量的位移 $\Delta x_{t_s \to t_e} = \sum_{k=1}^K \pi_k v_k \mathcal{C}(\gamma_k, t_s, t_e)$，其中动量积分系数 $\mathcal{C}$ 有闭式表达式。当 $\gamma = 1$ 时，系数平滑退化为 $t_s - t_e$（即线性形式），确保数值稳定性。第三步是流蒸馏训练（Flow Distillation）：采用混合轨迹集成策略——在每个子区间 $[t_i, t_{i+1}]$ 中，教师先从 $t_i$ 积分到混合时间步 $t_{\text{mix}}$，然后学生从 $t_{\text{mix}}$ 积分到 $t_{i+1}$，其中 $t_{\text{mix}}$ 随训练逐渐从教师端向学生端移动。训练损失为速度匹配损失 $\mathcal{L}_{\text{distill}} = \mathbb{E}_{t_i, x_{t_i}} \|v(x_{t_i}, t_i; \Theta) - u(x_{t_i}, t_i)\|^2$。
技术新颖性
ArcFlow 的技术新颖性体现在多个层面。首先，它是第一个显式构建非线性流轨迹的蒸馏框架——之前的 pi-Flow 和 TwinFlow 都依赖线性短路径近似。其次，将物理学中的动量概念引入速度场参数化是全新的视角：它利用了相邻时间步速度之间的强相关性，用动量因子 $\gamma$ 来刻画速度的演化规律，这比直接回归每个时间步的速度要高效得多。第三，闭式解析积分是关键的技术突破——它避免了数值离散化误差（如 Euler 方法的截断误差），使得 2 步推理就能精确逼近教师轨迹。第四，Theorem 1 从理论上证明了动量参数化的充分表达能力：$K$ 个模式可以在 $K$ 个任意时间步上完美拟合教师速度场。最后，ArcFlow 的参数效率也是新颖的——由于非线性轨迹天然与教师轨迹对齐，蒸馏难度大幅降低，只需训练 LoRA 适配器（<5% 参数）即可收敛，而线性方法（如 TwinFlow）由于几何错配必须进行全参数微调。
实验结果
ArcFlow 在多个基准测试和两个大规模教师模型上展示了全面的优势。在 Qwen-Image-20B 教师上，ArcFlow 以 2 NFE 在 Geneval 上达到 0.85（教师 0.87），在 DPG-Bench 上达到 88.46（教师 88.32，甚至略超教师），在 OneIG-Bench 的多个维度上也保持了竞争力。值得注意的是，在 OneIG-Bench 的 Diversity 指标上，ArcFlow（0.182）比 Qwen-Image-Lightning（0.098）提升了 85.7%，证明它有效避免了对抗训练方法常见的模式坍缩问题。在 FLUX.1-dev 教师上，ArcFlow 同样以 2 NFE 在 Geneval 上达到 0.65（教师 0.66），在 DPG-Bench 上达到 84.29（教师 84.16），几乎完全匹配教师。在 Align5000 数据集上的分布对齐评估中，ArcFlow-Qwen 的 FID 为 12.40，pFID 为 3.78，均显著优于 pi-Flow（FID 20.07，pFID 12.42）和 TwinFlow（FID 16.77，pFID 4.34）。在收敛速度方面，ArcFlow 在仅 1000 步训练后就超越了 Qwen-Image-Lightning 的 FID，整体收敛速度比 TwinFlow 快约 4 倍。消融实验表明：可学习动量因子优于固定动量（FID 14.56 vs 14.77）和无动量（FID 17.06）设置；解耦速度和动量混合（$K, K$）优于受限配置（$K, 1$ 或 $1, K$）；将模式数 $K$ 从 8 增加到 16 可改善 FID（12.54 → 12.40），但进一步增加到 32 提升边际递减（12.39）。推理时间方面，ArcFlow-Qwen 约 1.411 秒，与全参数微调的 TwinFlow（1.372 秒）相当，远低于使用多个 LoRA 的 Qwen-Image-Lightning（1.718 秒）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Geneval（复杂物体组合生成） | Geneval Score↑ | ArcFlow-Qwen: 0.85 | Qwen-Image-20B (教师): 0.87, pi-Flow: 0.83, TwinFlow: 0.82, Qwen-Image-Lightning: 0.85 | 超越 pi-Flow +2.4%，超越 TwinFlow +3.7%，与 Qwen-Image-Lightning 持平 |
| DPG-Bench（密集长文本提示） | DPG-Bench Score↑ | ArcFlow-Qwen: 88.46 | Qwen-Image-20B (教师): 88.32, pi-Flow: 86.45, TwinFlow: 87.01, Qwen-Image-Lightning: 88.42 | 略超教师 0.16%，超越 pi-Flow +2.3%，超越 TwinFlow +1.7% |
| OneIG-Bench Diversity（生成多样性） | Diversity Score↑ | ArcFlow-Qwen: 0.182 | Qwen-Image-20B (教师): 0.194, Qwen-Image-Lightning: 0.098, TwinFlow: 0.130 | 超越 Qwen-Image-Lightning +85.7%，超越 TwinFlow +40.0% |
| Align5000（教师分布对齐） | FID↓ | ArcFlow-Qwen: 12.40 | pi-Flow: 20.07, TwinFlow: 16.77, Qwen-Image-Lightning: 16.86 | 优于 pi-Flow 38.2%，优于 TwinFlow 26.1%，优于 Qwen-Image-Lightning 26.5% |
| Align5000（教师分布对齐） | pFID↓ | ArcFlow-Qwen: 3.78 | pi-Flow: 12.42, TwinFlow: 4.34, Qwen-Image-Lightning: 11.32 | 优于 pi-Flow 69.6%，优于 TwinFlow 12.9%，优于 Qwen-Image-Lightning 66.6% |
| Align5000 FLUX（教师分布对齐） | FID↓ | ArcFlow-FLUX: 16.83 | SenseFlow: 27.55, pi-Flow: 32.62 | 优于 SenseFlow 38.9%，优于 pi-Flow 48.4% |
局限与改进
ArcFlow 存在几个明显的局限性。首先，在极端的单步推理（1 NFE）设置下，ArcFlow 会严重退化，生成质量大幅下降，无法产生有意义的结果。作者将此归因于在 1 NFE 环境下，动量因子 $\gamma$ 变得极其敏感且难以准确预测。其次，ArcFlow 的训练需要大量计算资源——实验在 96 张 H100 GPU 上进行，训练 Qwen-Image-20B 版本需要 7500 步（batch size 384），FLUX.1-dev 版本需要 8000 步，这对大多数研究团队来说是不可承受的。第三，虽然 ArcFlow 在 Qwen-Image-20B 和 FLUX.1-dev 两个骨干网络上都展示了有效性，但尚未在更多样化的模型架构和参数规模上进行验证。此外，当前的实验仅限于 1024×1024 分辨率，对于更高分辨率的生成场景，动量参数化的表现尚不确定。最后，虽然 ArcFlow 在定量指标上表现优异，但在某些复杂场景下（如需要精确空间关系的图表生成），其质量仍有提升空间。
独立分析的弱点
从独立分析的角度，ArcFlow 存在以下几个值得关注的弱点。第一，动量因子的初始化策略（几何级数 $[0.5, 4.0]$）虽然合理但较为粗糙——不同的生成任务可能需要不同的动量范围，当前的固定初始化可能不是最优的。改进方向是设计自适应的初始化策略，根据输入提示的复杂度动态调整动量因子的初始分布。第二，ArcFlow 在 1 NFE 下完全失效，这限制了其在极端低延迟场景下的应用。虽然作者提到可以设计更深的网络层来建模 $\gamma$，但更根本的解决方案可能是将 ArcFlow 与其他单步生成技术（如一致性模型）结合。第三，混合轨迹集成策略中的教师-学生切换比例 $\lambda$ 的调度策略（从 0 线性增加到 1）可能不是最优的——不同的样本和时间步可能需要不同的切换节奏。第四，当前的评估主要集中在文本到图像生成，尚未验证在视频生成、3D 生成或其他模态上的泛化能力。第五，虽然 ArcFlow 声称参数效率高（<5%），但 LoRA 的秩（256）实际上相当高，这在一定程度上削弱了参数效率的优势。
未来方向
作者提出和基于成果可延伸的未来研究方向包括：第一，设计更深或更具表达力的网络层专门用于建模动量因子 $\gamma$，以解决 1 NFE 推理的退化问题——这可能是 ArcFlow 走向实际部署的关键突破。第二，在更多样化的模型架构和参数规模上验证 ArcFlow 的有效性，包括更小的模型（如 Stable Diffusion 系列）和更大的模型。第三，将 ArcFlow 的非线性轨迹思想扩展到视频生成领域——视频的时间维度与 Flow Matching 的时间维度有天然的对应关系，动量参数化可能能更好地建模帧间的时间一致性。第四，探索 ArcFlow 与硬件优化（如量化、剪枝）的结合，进一步压缩推理延迟。第五，研究动量因子 $\gamma$ 的可解释性——不同模式的动量因子可能对应于图像生成中不同频率或语义层次的信息演化，理解这一点可能为生成控制提供新的手段。第六，将 ArcFlow 应用于可控生成（如图像编辑、风格迁移），利用非线性轨迹的精确性来实现更精细的编辑控制。
复现评估
ArcFlow 的复现评估如下：代码已开源于 https://github.com/pnotp/ArcFlow，这大大降低了复现门槛。训练数据使用了 pi-Flow 引入的 230 万样本大规模提示数据集，但该数据集的公开获取情况尚不确定。算力需求是最大的复现障碍——官方实验在 96 张 H100 GPU 上进行，对于 Qwen-Image-20B 版本训练 7500 步、FLUX.1-dev 版本训练 8000 步，batch size 为 384。这意味着即使是 8 张 A100 的配置也需要数天时间，对于大多数学术团队来说是可行但有压力的。方法本身的技术复杂度中等——核心的动量参数化和解析积分在数学上是清晰的，论文也提供了详细的推导（附录 E）。LoRA 的秩（256）、动量模式数（$K=16$）、$\gamma$ 初始化范围（$[0.5, 4.0]$）等超参数都有明确记录。评估基准（Geneval、DPG-Bench、OneIG-Bench、Align5000）都是公开可用的。总体而言，如果具备足够的算力资源，ArcFlow 的复现难度为中等。
论文图表
