分层连续扩散语言模型 Hierarchical Continuous Diffusion Language Models
连续潜轨迹持续去噪，每步从中读出token并回喂作支架，让并行解码不再边际独立。
前置知识
离散扩散语言模型
将文本 token 序列视为离散状态，定义一条逐步腐蚀的前向马尔可夫链（如把 token 替换为特殊 [MASK] 符号或词表上的均匀随机 token），再训练双向 Transformer 学习反向去噪分布 $p_\theta(k_0|k_t)$。生成时从全噪声状态出发、每步并行解码多个位置，代表工作包括 D3PM、MDLM、SEDD、LLaDA。
本文的出发点正是离散扩散并行解码时各位置从边际独立采样、联合分布退化为边际乘积这一瓶颈；同时 HC-DLM 的离散通道直接复用其分类前向核（式 1），不掌握这套框架就无法理解模型的离散一侧。
连续扩散与流匹配（Flow Matching）
DDPM 对连续数据逐步加高斯噪声并训练网络拟合反向后验；流匹配（Lipman et al. 2023）更直接：用线性插值 $x_t=(1-t)x_0+t\epsilon$ 训练速度场网络 $v_\phi$，损失为 $\mathbb{E}\|v_\phi(x_t,t)-(\epsilon-x_0)\|^2$，采样时从 $t=1$ 积分 $\dot{x}=v_\phi$ 回到 $t=0$，通常比 DDPM 需要更少的函数评估次数（NFE）。
HC-DLM 的连续潜变量轨迹 $\{x_t\}$ 就是一条流匹配去噪轨迹，其连续去噪损失 $J_{cont}$ 以 x0-prediction 形式实现（式 30）：直接回归干净潜变量 $d_\phi(x_t,k_t,t/T)\approx x_0$，与速度回归经仿射重参数化等价。
ELBO（证据下界 / 变分下界）
对含隐变量数据的对数似然 $\log p(k_0)$，引入变分分布 $q$ 后用 Jensen 不等式得到可计算下界 $\mathcal{L}(k_0)=\mathbb{E}_q\log[p(k_0,z)/q(z|k_0)]$，通常分解为重构项、先验匹配 KL、熵正则和逐时间步去噪项；VAE 即用它联合训练编码器与生成模型。
命题 1 是本文的理论支柱：它证明「从潜变量读出 token 再回喂」不是启发式技巧，而是一个正经的生成模型，其训练目标恰好是对这条两层耦合轨迹的单一 ELBO（式 4），各损失项都有明确出处。
吸收态与均匀态前向核
离散扩散两种常见腐蚀方式：absorbing 核以概率 $1-\alpha_t$ 把 token 换成 [MASK]（masked diffusion 采用），序列中出现明确的「待定」位置；uniform 核把 token 换成词表均匀随机 token，序列始终是「完整但带噪」的假设，没有专门的掩码集合。
Table 5 显示均匀核对 HC-DLM 的分层采样器显著更优（94.21/72.41 vs 吸收核最好的 75.59/48.25），附录 B.11 给出两条结构性解释。理解两种核的差异及其与层级耦合的相互作用，是读懂消融实验和设计动机的关键。
分类器自由引导（CFG）
条件生成中常用的推理技术：训练时以一定概率丢弃条件输入，使同一网络学会有/无条件两种预测；采样时对两者做线性外推 $\hat{x}=\hat{x}_u+w(\hat{x}_c-\hat{x}_u)$，$w>1$ 放大条件的影响强度。
LM1B 实验虽然是无条件生成，却对内部 token 支架通道使用 CFG（训练时 20% 概率把支架替换为随机 token，采样时 $w=2.75$，式 34-36），这是理解其 Gen PPL 75.5 的最终成绩以及 Fig 5 引导强度扫描曲线的必备背景。
研究动机
自回归模型从左到右生成，在需要全局约束满足或双向推理的任务上会过早承诺难以修改的选择（Ye et al. 2025 在逻辑谜题和规划任务上已证明）。离散扩散语言模型虽支持双向并行解码，但存在结构性瓶颈：同一去噪步内被同时解码的各位置从各自的边际分布独立采样，$p_\theta(k_0|k_t)=\prod_i p_\theta(k_0^i|k_t)$，联合分布被建模为边际乘积，在 token 被语法、逻辑或物理约束强耦合处恰好失效——例如数独中一行必须 1-9 各出现一次，独立采样无法保证这种一致性。连续扩散语言模型让并行解码的 token 共享同一连续状态从而回避独立性假设，但其去噪器只接收连续状态作为输入，训练目标中没有任何一项涉及 token，直到最后一步解码才与合法 token 配置挂钩；rounding 和 self-conditioning 虽然把模型自己的 token 估计回喂为输入，但该估计既非模型的变量、也非其目标的项，同样缺乏原则性保证。
本文的目标是设计一个生成框架，同时补上两种模型的短板：让并行解码的 token 有共享的依赖载体（由连续隐状态提供），并让正在被去噪的隐状态始终锚定于一个离散 token 配置（由 token 支架提供）。具体目标是将离散 token 生成与连续潜轨迹耦合进单一、有原则的去噪过程，其训练目标从 token 似然的变分下界严格导出；连续潜变量作为唯一跨步持久的生成状态，每一步都从中读出 token 并回喂作为下一步潜状态更新的条件。最终在结构化推理（Sudoku）、数学规划（Countdown）和语言建模（LM1B）上以同等参数量超越离散与连续扩散基线。
与已有工作不同的是，已有混合离散-连续方法都以不同方式把连续通道附加在一条自包含的离散链上：VMD 画一次全局隐变量并固定不动，CADD 给每个 token 附加连续提示，CCDD 与 token 并行去噪一条嵌入链——它们的 token 都保留自己的转移链，与连续通道处于同级并列。HC-DLM 的独特切入是把结构从「兄弟链」改为「层级」：在生成模型（式 3）中 $k_t$ 仅通过 $x_t$ 依赖过去，token 没有自己的转移核，每一步都从当前潜状态重新读出、保持可修改性；连续潜变量则是唯一跨步持久的状态。这个「层级耦合」同时决定了训练方式（对两层轨迹的统一 ELBO）与采样方式（潜去噪与 token 读出/再加噪交替），是与所有既有混合方法的本质区别。
核心方法
直觉上，HC-DLM 让「连续空间里的规划」与「离散空间里的承诺」互相成就：并行解码的 token 需要共享状态承载跨 token 依赖，由连续潜变量提供；正在去噪的潜变量需要离散配置锚定语义，由 token 支架提供。技术上引入可学习高斯编码器 $q_\psi(x_0|k_0)$ 把干净 token 序列 $k_0\in V^L$ 映射为连续潜序列 $x_0\in\mathbb{R}^{M\times d}$；前向过程独立腐蚀两条链——连续链用标准高斯扩散（终端趋于 $\mathcal{N}(0,I)$），离散链用分类前向核（吸收或均匀态），独立性保证两条前向边际均可解析处理。反向过程刻意打破对称：连续去噪器 $p_\phi(x_{t-1}|x_t,k_t)$ 以当前 token 状态为条件推进潜状态，token 预测器 $p_\theta(k_t|x_t)$ 从潜状态读出 token 分布，两者交替直至到达 $(x_0,k_0)$。推理（算法 2）从 $x_T\sim\mathcal{N}(0,I)$、$k_T\sim\pi$ 出发，每步依次执行：$\hat{x}_0=d_\phi(x_t,k_t,t/T)$、Euler 更新 $x_{t-1}=x_t-\frac{1}{t}(x_t-\hat{x}_0)$（线性调度）、$\hat{k}_0=\arg\max p_\theta(k_0|\hat{x}_0)$、再把 $\hat{k}_0$ 经前向核加噪到 $t-1$ 级别得到 $k_{t-1}$；结构化任务用 50 步 Euler，LM1B 用 128 步。
核心创新是「层级耦合」：token 状态是生成模型的正式变量，有自己的前向核 $q(k_t|k_{t-1})$，但在生成模型中 $k_t$ 仅通过 $x_t$ 依赖过去、没有自己的转移链，因此所有跨步信息都经由连续轨迹流动，token 每步重新读出、始终可修改。这与三类已有方法本质不同：(a) 纯离散扩散把同时解码的联合分解为边际乘积；(b) 纯连续/潜扩散（Latent DM）只在最后解码一次 token，目标函数不含任何 token 项；(c) 混合方法 CADD/CCDD/VMD 中 token 保留自己的转移链，一旦 unmask 即冻结（Table 10）。直觉上，置信的 token 估计约束潜状态的移动方向，不确定的位置让连续状态继续探索备选补全——token 支架的作用是「解决连续空间的歧义」，而非像吸收核的自适应 unmasking 那样「记录不可撤销的承诺」。
方法步骤详情
训练（算法 1）每个样本只采一个时间步 $t\sim\mathrm{Uniform}(1,T)$：(1) 编码器输出 $x_0\sim q_\psi(x_0|k_0)$（逐位置对角高斯，重参数化采样）；(2) 连续加噪 $x_t\sim q(x_t|x_0)$，线性插值 $x_t=(1-s)x_0+s\epsilon$，$s=t/T$；(3) 离散加噪 $k_t\sim q(k_t|k_0)$；(4) 计算式 (6) 总损失 $J=\lambda_{recon}J_{recon}+\lambda_{ent}J_{ent}+\lambda_{cont}J_{cont}$ 并更新 $\theta,\phi,\psi$。其中 $J_{recon}=\mathbb{E}[-\log p_\theta(k_0|x_0)]$ 在干净潜变量上评估、梯度不进入去噪器；$J_{ent}=\mathbb{E}[\log q_\psi(x_0|k_0)]$ 是编码器熵正则（$\lambda_{ent}=8\times10^{-3}$，防止高斯编码器塌缩为确定性映射）；$J_{cont}=\sum_t\mathbb{E}[\omega_t\|d_\phi(x_t,k_t,t/T)-d_t(x_t,x_0)\|^2]$，实现为 x0-prediction 流匹配（$\lambda_{recon}=1.0$，$\lambda_{cont}=0.5$），另加权重 0.2 的 BERT 式重构辅助损失（15% 随机掩码）。中间步的噪声 token KL 经数据处理不等式被干净 token 交叉熵上界取代（式 27，吸收核下化为带调度权重的标准掩码扩散损失）；噪声 token 分布由 $p_\theta(k_t|x_t)=\sum_{\tilde{k}_0}q(k_t|\tilde{k}_0)p_\theta(\tilde{k}_0|\hat{x}_0(x_t))$ 闭式给出（式 25），单一时间不变的干净 token 头覆盖所有 $t$。采样时吸收核可选基于置信度的自适应重掩码，均匀核则每步对所有位置并行再加噪。
技术新颖性
新颖性体现在四个层面。(1) 结构上：首次把连续潜变量设为唯一持久生成状态、token 退化为每步读出——Table 10 对比显示 MDM/VMD/CADD/CCDD 的 token 都有转移链且解码后不可更改，HC-DLM 的 token 每步可全部重写。(2) 理论上：对该层级链导出统一 ELBO（命题 1），利用连续/离散前向核独立性与 KL 散度链式法则把每步联合 KL 拆成离散 token 预测与连续去噪两个互补子项（式 5），从变分原理上证明「读出+回喂」是 token 序列的正经生成模型，而非 self-conditioning 式的输入技巧。(3) 参数化上：用 x0-prediction 把原本需要逐时间步的噪声 token 头化为单一干净 token 头与已知前向核的复合，既避免多头冗余又不一致的问题，又用数据处理不等式保证干净交叉熵是该 KL 的上界，兼顾一致性、锐利梯度与简洁实现。(4) 实证上：发现均匀核在层级结构中显著优于吸收核（94.21/72.41 对 75.59/48.25），并给出两条结构性解释——均匀腐蚀的完整带噪假设是更有信息量的条件支架，且每步重读保持所有位置可修改。
实验结果
三个互补任务上验证。数独（Table 1，6M 采样参数）：Easy 拿到 94.21%，超过最强掩码扩散变体 MDM top-prob margin 的 89.49% 与 42M 参数自回归模型（带变量排序 87.18%），与同规模混合基线 CCDD 的 94.65% 基本持平；Hard 划分上 72.41% 领先 CCDD 的 70.73%，说明其优势恰在训练分布之外的解法结构上。Countdown（Table 2）：CD4 84.41%、CD5 37.52%，全面超过匹配的 6M CCDD（81.18/25.35），CD5 上优势扩大到 12.17 个百分点；虽不及 85M 参数的 RDM（87.0/45.8），但参数量仅其约 1/14，且远超 GPT-2 Scratch（CD5 仅 5.1%）与 LLaMA-13B（7.4%）。LM1B 无条件生成（Table 3）：Gen PPL 75.5，优于全部同规模扩散基线——MDM 103.9、SEDD 115.9、Duo 97.6、Plaid 77.3、LangFlow 92.2（自回归 Transformer 66.7 仍最优，真值 40.4），且训练仅约 48 小时，对比 LangFlow 及其复现基线的约 292 小时和 Plaid 的约 375 小时。消融（Table 4）证明两级缺一不可：去掉 token 条件退化为 Latent DM 后 Hard 掉至 24.74%，纯离散 MDM 只有 49.88%，完整模型 72.41%。机制分析：Fig 3a 显示耦合模型的轨迹解码准确率更早上升且平台更高；Fig 3b 与 Fig 6 显示其减步时更稳健，且同 100 步实现上比 MDM 更快（约 2.3s 对 3.3s/batch）。效率与容量：Table 7 显示 NFE 从 128 降到 32 时 Gen PPL 仅从 75.5 升至 93.0，熵稳定在 4.21；Table 9 显示潜长度 $M=4$ 时数独最佳（93.75/71.11），$M=8$ 反而退化到 71.82/45.52，容量-性能关系非单调。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数独 Hard 划分（分布外解法） | 整盘精确解准确率 (%) | 72.41 | CCDD 70.73；MDM top-prob margin 49.88；ARM+ordering(42M) 32.57 | 较同规模 CCDD +1.68，较最强离散扩散 +22.53 |
| 数独 Easy 划分 | 整盘精确解准确率 (%) | 94.21 | CCDD 94.65；MDM top-prob margin 89.49；MDM vanilla 6.88 | 较 CCDD -0.44（基本持平），较最强离散扩散 +4.72 |
| Countdown CD5（5 数规划） | 答案正确率 (%) | 37.52 | CCDD 25.35；MDM top-prob 21.4；RDM(85M) 45.8；LLaMA-13B 7.4 | 较同规模 CCDD +12.17 |
| Countdown CD4（4 数规划） | 答案正确率 (%) | 84.41 | CCDD 81.18；RDM(85M) 87.0；MDM top-prob 47.4 | 较同规模 CCDD +3.23 |
| LM1B 无条件文本生成 | Gen PPL（GPT-2-Large 打分，越低越好） | 75.5 | Plaid 77.3；LangFlow 92.2；Duo 97.6；MDM 103.9；Transformer(AR) 66.7 | 较最佳连续扩散 Plaid -1.8，较 LangFlow -16.7；仍落后 AR 基线 8.8 |
局限与改进
作者承认的（附录 D）：联合训练编码器、去噪器与 token 预测器使每个训练步的开销高于纯掩码扩散基线（虽然编码器在采样时被丢弃，实测推理反而更快）；对 $k_t$ 的拼接式条件化简单有效，但更结构化的融合机制可能进一步提升样本效率；实验限于中等规模、可精确验证正确性的学术基准，扩展到大规模预训练骨干主要是超出学术算力的计算问题。我的补充观察：(1) LM1B 上 Gen PPL 75.5 仍显著劣于自回归 Transformer 的 66.7 与真值 40.4，Table 8 的生成样例可见明显的语法与实体编造错误，说明连续扩散语言建模的生成质量瓶颈并未真正解决，论文的胜利更多在「扩散阵营内部」；(2) 主实验在结构化任务用 $M=1$ 单潜 token，而 Table 9 显示 $M$ 的影响非单调且敏感（$M=8$ 掉约 20 个点，且是在统一 560 epoch 检查点下测的），潜通道容量的选择缺乏理论指导；(3) LM1B 采用两阶段训练（先训编码器与预测器 80K 步再冻结训去噪器至 660K 步），流程比单阶段基线复杂，可能掩盖联合训练不稳定的问题；(4) Sudoku/Countdown 的 50 步 Euler 采样以及未与自回归模型对比推理速度，实际部署成本讨论不完整。
独立分析的弱点
(1) 与自回归的质量差距未弥合：LM1B Gen PPL 75.5 对 Transformer 的 66.7，说明层级耦合虽在结构化任务上有效，通用语言建模的质量瓶颈（如 x0-prediction 在高噪声端预测模糊、CFG 只能部分补偿）仍在。改进方向：探索更适合离散数据的插值调度或离散-连续混合插值路径，对 token 预测器引入噪声水平感知的校准。(2) 支架条件化机制朴素：直接把 token 嵌入与潜变量沿序列维拼接进自注意力，$k_t$ 与 $x_t$ 的交互完全交给注意力自学；且训练时 20% 概率把支架整行替换为随机 token，高噪声时支架近乎随机，可能注入噪声梯度。改进：设计按预测置信度加权的门控融合，或让支架以软概率分布而非硬采样 token 进入去噪器。(3) 潜长度 $M$ 敏感且任务相关：Sudoku/Countdown 用 $M=1$ 而 LM1B 用 $M=128$，Table 9 中 $M=8$ 反而明显退化，说明潜通道容量与任务结构强耦合、缺乏自适应机制。改进：可学习或自适应的 $M$、层级化多分辨率潜变量。(4) 评估规模小：6M/118M 的结论未必外推到数十亿参数量级，作者自己也承认扩展主要是算力问题；此外基线数字部分取自他文、部分为自家复现（CCDD/MDM 用自家骨干重跑），跨论文数字的严格可比性有限。
未来方向
作者明确提出的：把 HC-DLM 扩展到更大规模预训练骨干——所有模块都是标准 DiT 块、潜通道只加 $M$ 个 token，设计上没有尺度特定组件，瓶颈纯粹是学术算力；探索比拼接更结构化的 $k_t$ 融合机制以提高样本效率。基于其成果可以延伸的方向：(1) 把 token 通道 CFG（式 34-36）发展成推理时可控的「推理强度旋钮」，研究引导权重 $w$ 与任务难度的自适应调节；(2) 「每步读出+回喂」可作为即插即用模块嫁接到现有掩码扩散 LLM（如 LLaDA）的并行解码头上，针对性缓解边际独立假设，而不必重训整个连续通道；(3) 每步重读的可修改性天然契合测试时扩展，可在 Hard Sudoku 类任务上系统研究采样步数、读出次数与准确率的 scaling 关系；(4) 连续潜轨迹支持插值与梯度引导，可探索把外部约束投影到潜空间的受控生成（约束满足、代码修复、填字）；(5) 与 block diffusion 结合做长序列的分块层级化，兼顾并行度与上下文长度。
复现评估
总体复现难度中等偏易，透明度高。项目页 hc-dlm.github.io；论文附录给出罕见详尽的实现细节：结构化任务三模块（编码器约 8M/8 DiT 块、去噪器约 4.9M/8 块、预测器约 1.7M/2 块，hidden size 256）、完整超参（Adam lr $1\times10^{-4}$、每卡 batch 256、$\lambda_{recon}=1.0$、$\lambda_{ent}=8\times10^{-3}$、$\lambda_{cont}=0.5$、EMA 0.999、dropout 0.1、50 Euler 步）；数据全部公开：Sudoku 用 Radcliffe (2020) Kaggle 数据集按 Kim et al. (2025) 划分（标准 1.8M 训练/0.1M 测试，Hard 1.1M 取 0.1M 评估），Countdown 按 Ye et al. (2025) 协议生成 500k 题、17 符号词表。算力门槛温和：结构化任务 7 张 L40S，LM1B 单张 RTX PRO 6000 约 48 小时（bf16）。风险点：论文未明确声明训练代码已开源；LM1B 两阶段训练（80K 步训编码器+预测器后冻结再训去噪器）与 token 通道 CFG 细节（20% 支架随机替换、$w=2.75$）以及多项损失权重（含 0.2 的 BERT 式辅助损失）之间的交互可能影响稳定性；基线数字一半引自 Kim et al. 2025 / Ye et al. 2025 / LangFlow 复现，严格同协议对比仅限 CCDD 与 MDM。
论文图表
token 通道 CFG 引导强度 $w$ 从 1 扫到 5 时生成困惑度与熵的变化曲线：恰当的引导（主实验用 $w=2.75$）在降低 Gen PPL 的同时保持熵基本不变，说明提升样本质量没有牺牲多样性。
展示论文独有的「对内部离散支架做 CFG」这一技巧的效果与调参依据，同时证明质量提升并非以多样性坍缩为代价，是复现 LM1B 结果必须理解的消融。