内在分布匹配：少步文生图蒸馏中生成器自身特征的矩约束 Intrinsic Distribution Matching

训练每步流程如下。步骤一（采样）：从 $p_z$ 取噪声 $z$、从条件分布取 $c$，生成当前样本 $x_\theta=G_\theta(z,c)$。步骤二（DMD 修正构造）：在中间时刻 $t\in(0,1]$ 取回归输入 $x_t$，计算端点预测 $\hat x_0=x_t-tF_\theta(x_t,t,c)$；对 $\hat x_0$ 做 stop-gradient 得 $\hat x^{sg}_0$，再独立采样 $t'\in(0,1)$ 与 $\epsilon$ 把它重加噪为 $\hat x^{sg}_{0,t'}=(1-t')\hat x^{sg}_0+t'\epsilon$；在该点评估分支差 $\hat d_{t'}(\cdot|c)=\hat v_{\theta,t'}-\hat v_{r,t'}$ 并 detach。步骤三（双回归目标）：$v^{DMD}_t:=\mathrm{sg}[F_\theta(x_t,t,c)]-\hat d^{DMD}_{t'}$，$x^{DMD}_0:=\mathrm{sg}[x_t-t\,v^{DMD}_t]$（即把修正 $t\hat d^{DMD}$ 加到 detached 端点预测上），损失 $\mathcal{L}_{score}=\mathbb{E}\big[\|F_\theta-v^{DMD}_t\|^2+\|\hat x_0-x^{DMD}_0\|^2\big]$，注意两项满足 $\ell_x(t)=t^2\ell_v(t)$。步骤四（特征矩损失）：生成与参考样本都在高噪声水平下过 EMA 网络，最后一层隐状态 mean-pool 成特征；$Q_\theta,Q_r$ 两个队列各存至多 $K=16384$ 条 detached 特征，当前批 $B$ 条带计算图的特征与队列合并估计 $\hat\mu,\hat\nu$，$\mathcal{L}_{pop}=\|\mu^\theta_\phi-\mu^r_\phi\|^2+\sum_j(\nu^{\theta,j}_\phi-\nu^{r,j}_\phi)^2$，这正是对角高斯之间的平方 2-Wasserstein 距离。步骤五（联合更新）：$\mathcal{L}_{IDM}=\mathcal{L}_{base}(\text{RCGM})+\lambda_{score}\mathcal{L}_{score}+\lambda_{pop}\mathcal{L}_{pop}$，另有辅助流匹配损失 $\mathcal{L}_{fake}$ 在 detached 生成样本上训练内部模型速度分支；EMA 按 $\bar\theta\leftarrow0.99\bar\theta+0.01\theta$ 更新，队列跨迭代刷新。推理时一步前向即得 $x_\theta$，同一 checkpoint 也支持少步采样。

技术新颖性体现在四个层面。理论层面：据作者所知，这是该蒸馏路线上首次用高斯加残差的得分分解（式 $s_p=s_{q_p}+\eta_p$）为'矩损失与 DMD 互补'提供分布梯度层面的解释，把'为什么加矩损失'从经验技巧升级为可论证的 decomposition 论证（Figure 3 的可视化：矩对齐消除高斯分量但残差仍在）。结构层面：训练系统极简——无独立 fake-score 网络、无判别器、无外部特征编码器、无教师特征管道，所有信号来自生成器与其 EMA 副本，这对 20B 骨干的显存与工程成本是实质利好。实现层面：DMD 修正同时监督速度与端点两种回归（因 $\ell_x=t^2\ell_v$ 等价于对速度回归施加时间加权 $1+t^2$），并系统消融了 v-only/x-only/加权组合，这是对 APEX 的直接扩展。实证层面：EMA 自特征与外部 DINOv2 的严格对照（同设定下 GenEval 77.81 vs 77.75，LongText-CN 94.25 vs 94.13）说明'内在特征'不牺牲质量，挑战了'外部语义编码器必不可少'的默认认知。需要指出，$\mathcal{L}_{pop}$ 是特征空间的矩目标，并非样本空间高斯分量的直接估计，作者的表述在这一点上相当克制。

弱点一：pooled 矩的粒度问题。$\mathcal{L}_{pop}$ 把所有条件下的特征统计混在一起，只约束边缘分布的均值/标准差；一个 prompt 把'蓝色'全画成'红色'但整体色相统计不变时，矩损失毫无反应（GenEval 颜色分项仅 +0.75）。改进方向：按条件聚类或用 text embedding 分桶做条件化矩匹配，代价是估计方差上升。弱点二：队列与 EMA 的双重时滞。矩目标由 $K=16384$ 条历史 detached 特征估计，EMA 又以 0.99 的系数缓慢跟随，梯度信号反映的是'过去的生成分布'；在分布快速漂移的训练早期可能误导。改进方向：混合当前批与大队列的动量加权估计，或对队列做重要性加权。弱点三：增益幅度小且可能被数据效应放大。公开对比中 IDM 的长文本领先同时伴随约 28 倍的文本渲染数据扩展，用户若直接拿系统级数字对比会被误导；论文虽做了同设定消融，但未提供'IDM 损失 + APEX 20 万条数据'这一关键交叉格。改进方向：补一组数据量爬坡 × 损失组合的因子化实验。弱点四：理论-实践的落差不闭合。分解说明矩可以被约束、残差需要 DMD，但 $\mathcal{L}_{pop}$ 作用在固定的 EMA 特征雅可比之后，并不直接对应样本空间的高斯分量或残差，作者也承认这只是'受分解启发的特征空间目标'；理论上尚无法预测矩损失的最优权重（0.5 是拍定的）。改进方向：在轻量合成设置中验证特征矩与样本分布统计的对应关系，或自适应调节 $\lambda_{pop}$。

作者方向：论文明确将内部 DMD 与显式矩约束的组合定位为少步文生图的通用配方，可自然延伸到视频生成、多模态统一模型与更大骨干（20B 全参微调尚未尝试）；五个报告指标上 EMA 特征与 DINOv2 表现相当，作者暗示可进一步研究自监督表示在蒸馏中的角色。基于成果可延伸的方向：其一，把 pooled 矩升级为条件矩或二阶以上统计量（如特征协方差谱、最优传输切片矩），理论部分已说明残差收集'高斯之外的全部结构'，更细的显式约束有望继续压缩残差；其二，回归消融显示 $\ell_x=t^2\ell_v$ 的时间加权是敏感旋钮，可探索随训练进度调度 v/x 权重；其三，矩损失框架与强化学习式偏好优化（如 Diffusion-DPO）正交，可以在保持一步生成的同时叠加人类偏好信号；其四，长文本渲染仍有明显头部误差（LongText-CN 94.25% 意味着约 6% 失败），可结合字符级检测器做在线难例挖掘，定向扩充文本渲染数据；其五，EMA 特征矩匹配思想可移植到语音、蛋白质等其它一步式流匹配蒸馏场景，检验'内在表示'是否跨域成立。

复现条件总体透明但门槛不低。代码：论文称 Code is available here（仓库链接随论文发布），超参数披露完整：$\lambda_{score}=1$、$\lambda_{pop}=0.5$、全局 batch 64、EMA 系数 0.99/0.01、队列 $K=16384$、LoRA 秩 32/64、BF16 + FlashAttention4 + FSDP2。数据：参考集由公开数据集 ShareGPT-4o、BLIP3o 加自合成样本构成（Qwen-Image-2512 与 Z-Image-Turbo 生成的 600K FLUX-Reason-6M 提示样本 + 5M 文本渲染样本），合成管线可复制但数据指纹不完全确定。算力：Z-Image-Turbo 6B 全参训练 15K 步用 32×H100 80GB，Qwen-Image 20B LoRA 10K 步用 8×A100 80GB——全参路线需要小型集群，LoRA 路线（0.2-0.4B 可训参数、8 卡 A100）对资源有限的团队可行。理论证明（得分-速度恒等式、场分解、矩损失梯度 Prop. 4 等）放在附录且有完整推导。风险点：未报告随机种子方差，小幅度优势（0.3 上下）的复现可能落在噪声内；两处外部比较行来自其他论文的引用数字，环境不完全一致。综合评估：难度中偏高，建议先用 LoRA r=32 在 Z-Image-Turbo 上复现 Table 5 的消融控制组，再决定是否投入全参规模。