流图语言模型：通过连续去噪实现一步式语言建模 One-step Language Modeling via Continuous Denoising

FLM 训练（Algorithm 5）：(1) 对每个训练样本 y，取其 one-hot 编码 x_1 = f(y)，并采样高斯噪声 x_0 ∼ N(0, I)；(2) 采样时间 t 通过重参数化 τ（详见下文），计算插值 I_t = (1-t)x_0 + t x_1；(3) 用带 tokenwise softmax 的 Transformer (DiT, 12 层, 179M 参数) 预测 denoiser D̂_t(I_t)；(4) 以交叉熵 L_CE = E[-Σ_l log D̂_t(I_t)^l · x_1^l] 为损失更新网络，训练 1M 步。FLM 采样（Algorithm 6）：(1) 初始化 x_0 ∼ N(0, I)；(2) 在 N=1024 步的网格上循环：denoise x̂_1 = D̂_{t_n}(x_n)，恢复速度 b̂_n = (x̂_1 - x_n)/(1-t_n)，做一步 Euler 更新 x_{n+1} = x_n + (t_{n+1}-t_n) b̂_n；(3) 用 argmax 解码为 token。FMLM 训练（Algorithm 7，蒸馏）：(1) 冻结预训练 FLM 的 denoiser D̂ 作为 teacher；(2) 采样三元组 (s,u,t)：先采样步长 h ∼ U[0,1] 和起点 τ(s) ∼ U[0,1-h]，再设 τ(t) = τ(s)+h，τ(u) = (τ(s)+τ(t))/2；(3) Diagonal 损失 L_diag = -Σ_l D̂(I_s)^l · log δ̂_{s,s}(I_s)^l，让 δ 在对角线上对齐 teacher；(4) Off-diagonal 损失：先用 teacher 计算中间点 X̂_{s,u}(I_s) = (1-u)^{-1}[(1-s)I_s + (u-s) δ̂_{s,u}(I_s)]，再构造 semigroup teacher δ̄_{s,t} = γ δ̂_{s,u}(I_s) + (1-γ) δ̂_{u,t}(X̂_{s,u}(I_s))，其中 γ = (1-u)(t-s)/((1-t)(u-s))，最后 L_off = -Σ_l δ̄^l · log δ̂_{s,t}(I_s)^l；(5) 总损失 L_diag + L_off 反向传播更新 δ̂ 网络，训练 100k 步。FMLM 采样（Algorithm 8）：给定 N 步网格，从 x_0 出发，直接计算 x_{n+1} = (1-t_{n+1})^{-1}[(1-t_n)x_n + (t_{n+1}-t_n) δ̂_{t_n, t_{n+1}}(x_n)]，N=1 时一步出结果。时间重参数化：τ(t) = (P_e(0) - P_e(t)) / (P_e(0) - P_e(1)) = (|V|-1 - (|V|-1) P_e(t))/(|V|-1)，让均匀 τ 步对应等量解码错误下降。边界概率 p=1/32 强制采样 (s,t)=(0,1)，保证 1-step 训练信号充足。

技术新颖性体现在五点。第一，**首次证明二时 denoiser δ_{s,t} 在 simplex 上的闭式表示**（Proposition 3.3-ii），这一性质之前在 flow matching 文献中未见。第二，**首次把 flow map 蒸馏的 MSE 损失换成 KL/交叉熵**，通过 δ 的 simplex 性质让训练目标离散友好，Table 18 验证这一改变对 FLM 和 FMLM 都带来 20% 以上的 PPL 改善。第三，**首次系统推导 FLM 的时间重参数化 τ(t)**，依据解码错误率 P_e(t) 的曲线让训练采样均匀分布在「token 真正被决定」的窄区间内，解决了先前连续扩散语言模型训练不稳定的问题；Table 18 显示这一改变把 PPL 从 149.18 降到 106.98。第四，**理论分离**（Proposition 3.5）：证明离散扩散方法不可能定义样本级确定性 transport map，这意味着 flow map 蒸馏在离散框架下原则上不可行，从理论上解释了为什么 Duo+DCD 等方法在 1 步仍然灾难性失败。第五，**首次把 FMRG 应用于语言模型**（虽然概念来自图像领域），利用 flow map 提供从任意中间状态到终点的可微 look-ahead，使得奖励模型只需要在 clean 数据上训练，避免了离散扩散需要在全噪声轨迹上训练分类器的昂贵代价。

独立分析论文可识别出以下几个值得改进的弱点。第一，**one-hot 矩阵的冗余计算**：FLM/FMLM 每步都把整个 |V|×d 矩阵送入网络，但 99% 的概率质量集中在 one-hot 位置，稀疏梯度或分块稀疏 attention 可能把内存开销显著降低，类似文献（如 MOSHI、SparseMDLM）已经在做类似优化。第二，**时间重参数化的依赖性**：τ(t) 的具体形式依赖解码错误率 P_e(t)，而 P_e(t) 又依赖当前网络预测，这构成循环依赖——实际实现是否稳定仍待验证，且 τ 的具体推导细节（Appendix C.6）需要读者额外工作。第三，**生成质量与 AR 模型仍有差距**：以 OWT 1024 步为例，FLM 的 Gen. PPL 为 62.23，而同参数规模 GPT-2 的 PPL 通常在 30 以下，说明 FMLM 离实用语言模型尚有距离，且 one-hot 表示浪费了词嵌入中的语义信息。第四，**蒸馏后少步质量仍有损失**：FMLM 在 LM1B 上 1 步 119.34 vs 4 步 98.76，损失 21%；OWT 上 1 步 168.30 vs 4 步 111.31，损失 51%，远未达到 1 步即「完美」的目标。第五，**理论分析侧重抽象结构**，缺少对有限样本 / 有限网络容量下泛化误差的刻画，比如 δ_{s,t} 在两时间相距很远时估计是否可信未给出定量界。第六，**评估协议不完整**：Table 14 的定性样本没有展示续写一致性或长文本连贯性；Appendix G 的 OWT 样本也未给出与 GPT-2 的直接对比。第七，**FMRG 的奖励模型依赖外部数据**：需要为每个目标属性额外训练一个 GPT-2-base 分类器，且实际推理时每步都需一次前向，增加了实际部署的工程复杂度。改进方向包括：(a) 引入 sparse embedding 或 factorized one-hot 矩阵以降低显存；(b) 在更大模型（>1B）上验证 FLM 是否仍能匹配 AR；(c) 进一步蒸馏减少 1-step 质量损失（如 MeanFlow 等 differential 目标需额外正则）；(d) 增加下游任务 benchmark（QA、summarization、code）。

作者在结论部分明确指出了几个未来方向。第一，**differential 蒸馏目标的改进**：当前 Lagrangian 和 Eulerian 变体效果差，需要额外正则化保持 δ 在 simplex 上，这是开放问题；可以借鉴 MeanFlow 的成功经验结合本文的 δ 几何性质重新设计目标。第二，**连续生成模型工具箱的迁移**：作者希望把图像领域成熟的 guidance、editing、inversion 等技术（如 classifier-free guidance、image editing、prompt-to-prompt）迁移到语言，这可能催生新一代受控文本生成方法。第三，**强化学习微调**：FMLM 的 flow map 提供从中间状态到终点的可微 look-ahead，这意味着 RL rollout 可以直接用 FMLM 一步完成而不需要多个采样步，显著降低 RLHF 的内存和计算成本，这是论文特别强调的应用前景。基于成果可延伸的方向还包括：(a) 把 FLM 扩展到更大模型（>1B 参数）和更大数据集（The Pile、C4），验证 scaling law；(b) 探索连续表示空间与非 one-hot 嵌入的混合方案，在保留语义的同时减少计算；(c) 多模态连续流：把同样的 trick 应用到代码、DNA、化学结构等离散但有强组合约束的模态；(d) FMLM 与检索增强生成 (RAG) 结合，因为一步生成的低成本使得迭代 refinement 更可行；(e) Sudoku 实验已经证明 FMLM 能捕捉组合约束，未来可推广到图着色、约束满足问题 (CSP)、路径规划等组合优化任务上的离散-连续混合求解；(f) 评估 FMLM 在 neural machine translation、summarization 等典型 NLP 任务上的实用价值。

复现评估整体较为友好。**开源情况**：作者在论文和 GitHub 公开了代码（https://github.com/david3684/flm），包含 FLM 训练、FMLM 蒸馏、推理、evaluation 全部流程。**模型架构**：使用标准的 DiT (Diffusion Transformer) 179M 参数，12 个 transformer block，配 RoPE 和 AdaLN for time conditioning，不依赖特殊算子。**数据集**：LM1B 和 OWT 均为公开数据集，作者提供了预处理脚本（packed sequences, L=128 / L=1024, bert-base-uncased / gpt-2 tokenizer）。**训练配置**：FLM 用 Adam 优化器学习率 3e-4 训练 1M 步 batch size 512；FMLM 蒸馏额外 100k 步相同超参。**算力需求**：179M 模型 1M 步在 8 张 A100 上训练大约需要数天时间，对中等实验室是可达的；FMLM 蒸馏 100k 步时间更短。**难度**：中等偏难，主要挑战在于：(a) 实现二时 denoiser 的蒸馏损失（off-diagonal semigroup 损失涉及三次前向 + stop-gradient），(b) 实现 P_e-based 时间重参数化（需要预训练一个 reference 模型估计 P_e(t)），(c) 复现 Figure 4 的 δ 在 simplex 上的可视化验证。**潜在风险**：Appendix C.6 中 P_e(t) 的具体估计细节可能影响最终结果；τ(t) 公式 (25) 在 |V| 极大时（如 50k）的稳定性需要谨慎处理，否则会出现 flat region 的退化（已在 boundary sampling 修复但仍需调参）。**评估协议**：使用 GPT-2 Large 计算 Gen. PPL，1024 个样本即可得到稳定指标；熵阈值 4 的判据需要在自定义代码中实现。综合而言，**对有 flow matching / 扩散模型经验的团队**，预期 1-2 个月可以完整复现主要结果。**对入门团队**，建议先跑通 MDLM baseline 再迁移到 FLM/FMLM，因为 FLM 的依赖较少且 training 更稳定。