离散扩散模型的统一框架：从分词到生成

以分词为核心视角的离散扩散模型全景综述

前置知识

自回归模型 (Autoregressive Model, AR)

通过链式分解 $p_\theta(x)=\prod_i p_\theta(x_i\mid x_{<i})$ 把联合分布拆成左到右条件乘积,每个条件由因果 Transformer 输出。训练用 teacher forcing 最大化似然,推理逐 token 采样需 $L$ 次串行前向。

本文把离散扩散定位为对 AR 三大瓶颈(串行解码、左到右不可撤销、连续扩散无法直接迁移)的回应,理解 AR 才能看清扩散的动机与对照基线。

离散扩散 / D3PM (Discrete Denoising Diffusion)

在分类状态空间 $\mathcal{V}=\{1,\dots,K\}$ 上原生定义的扩散:前向用转移矩阵 $Q_t$ 逐步腐蚀(均匀替换/吸收 mask/结构化),累积 $\bar{Q}_t$ 给闭式边际;反向网络预测洁净 token 分布,闭式后验使 predict-$x_0$ 成主流。

这是全文核心对象。读懂转移矩阵如何编码腐蚀拓扑、为何吸收 mask 占主导、predict-$x_0$ 为何可行,是进入训练目标与推理算法的前提。

分词与向量量化 (Tokenization & VQ-VAE)

把原始数据映射到有限词表的过程。文本用 BPE/byte 切子词;媒体用 VQ-VAE/VQ-GAN 编码为码本索引。本文分三类 token:语义(无度量,用 mask)、量化(有码本几何)、自然字母表(有外部相似性如 BLOSUM),码本困惑度衡量坍缩。

本文核心命题就是『分词是一类首要设计轴』,它决定腐蚀拓扑、去噪难度、可控性与算力成本。不懂分词就无法理解为何不同域要选不同腐蚀策略。

马尔可夫链与连续时间 (Markov Chains & CTMC)

离散时间前向是逐步马尔可夫链;连续时间 CTMC 由速率矩阵 $R_t$ 控制,转移概率满足 Kolmogorov 方程 $\frac{d}{dt}P_t=P_t R_t$,齐次时退化为矩阵指数 $\exp(tR)$。SEDD 在此框架下推导目标,离散时间可作为分段常数速率的特例恢复。

连续时间视角让 ELBO 可写成积分、训练与推理步数解耦、并与离散流匹配和最优传输对接,是理解 SEDD、MD4 积分目标与推理步数自适应的基础。

ELBO 与去噪交叉熵 (Variational Bound & Denoising CE)

似然训练的变分下界 $\log p_\theta(x_0)\ge\mathcal{L}_{rec}-\sum_t L_t-\mathcal{L}_{prior}$,$L_t$ 是逐步 KL。对吸收态扩散,MD4 给连续时间闭式塌缩为重加权 MLM 损失,对 schedule 形状(除端点)不变。

训练目标族(ELBO、简化去噪、score-entropy、flow-matching)是四组件之一,直接决定似然严谨度与优化稳定性,也是评测章节讨论 perplexity 可比性的依据。

研究动机

自回归(AR)模型通过链式分解 $p_\theta(x)=\prod_i p_\theta(x_i\mid x_{<i})$ 逐 token 生成,带来三大瓶颈。第一是 $O(L)$ 串行解码:第 $i$ 个 token 必须等第 $i-1$ 个提交后才能采样,KV 缓存与投机解码只摊薄单步成本却无法消除串行依赖,序列长度进入数万乃至数十万时延迟急剧上升。第二是左到右不可撤销:token 一旦生成就进入后续条件,模型无法据下游证据修正早期错误,难以满足填空(infilling)、约束编辑、可控生成与长程规划等需要双向上下文与全局修订的任务。第三,连续扩散无法直接迁移:把 token 嵌入连续空间做高斯扩散再取最近邻会引入几何失配,造成舍入误差、表征坍缩与样本质量下降。同时,既有综述很少把离散状态空间与分词当作一类设计变量,公式、训练、推理、系统、评测常被割裂讨论,跨文本/代码、量化多模态、蛋白质/基因组/分子图等域的共性模式被掩盖。

本文的目标是本文目标是构建一个以『离散状态空间构造(即分词)』为统一切入视角的离散扩散全景框架,并做成可操作的设计参考。具体有五:(1) 把分词从预处理细节提升为一类首要设计轴,分析词表设计、码本拓扑、自然字母表如何塑造腐蚀过程、去噪难度与下游可控性,并提出面向扩散的分词诊断;(2) 把每个离散扩散模型分解为四个组件——腐蚀算子、去噪器参数化、训练目标、采样器——并展示 D3PM、多项式扩散、MDLM/MD4、SEDD、离散流匹配等主要公式族如何实例化这一共享结构;(3) 把框架映射到文本/代码、量化多模态、蛋白质、基因组、分子/图、规划/智能体、表格等十余个领域;(4) 把 scaling、系统优化与评测协议纳入同一设计空间而非事后补充;(5) 明确指出可操作的开问题(scaling laws、ICL 差距、KV-cache 类比、流式生成、统一 token 空间、理论基础),并表述为可验证的研究问题。

与已有工作不同的是，本文的独特切入角度有三。其一,与既有综述把分词当局部建模选择或未来挑战不同,本文把它作为首要组织原则,贯穿腐蚀设计、反向参数化、可控性与有效性,反映核心命题:离散扩散中最关键的决策往往发生在去噪器架构之前与之外。其二,跨领域统一:语言 token、代码符号、量化多模态 token、生物字母表、分子组分、图原语通常在各自应用区被讨论,本文把它们放进同一设计空间,揭示共性模式(如有效性约束)与领域特异性。其三,把公式、训练、推理、系统与评测标准纳入同一框架而非散落在不同综述;同时蒸馏出可复用的跨领域 checklist(选词表、腐蚀算子、目标、参数化、采样器、约束、评测协议),把综述变成可操作设计参考,并配套发布仓库 https://github.com/AAAAA-Academia-Attractions/Discrete-Diffusion。

核心方法

整体思路是『先直觉、再技术路线』。直觉上,离散扩散把生成看成『从全腐蚀状态出发,对所有位置做多步迭代精修』,每步都能看到整段当前序列从而获得双向上下文与全局修订能力,步数 $T\ll L$ 是质量-速度的自由参数。技术路线上,§3 建立符号:token 序列 $x\in\mathcal{V}^L$,前向腐蚀由转移矩阵 $Q_t$ 定义,累积 $\bar{Q}_t=Q_1\cdots Q_t$ 给出 $q(x_t\mid x_0)=\mathrm{Cat}(x_t;e_{x_0}^\top\bar{Q}_t)$,反向去噪器预测洁净 token 分布 $\pi_\theta(x_t,t)$。§4 把分词分成三类——语义 token(无度量,用吸收 mask)、量化 token(VQ-VAE/VQ-GAN/RVQ,有码本几何)、自然字母表(氨基酸/核苷酸,有外部相似性)。§5-§7 用四组件分解(腐蚀算子/参数化/目标/采样器)统一公式、训练与推理;§8-§10 处理 scaling、应用与评测;§11-§13 给讨论、展望与结论。

核心创新点是『组织方式即贡献』:把离散状态空间构造(分词)提升为首要组织轴,并用四组件分解(corruption 算子、denoiser 参数化、训练目标、采样器)统一所有公式族。这带来三点本质区别。第一,它揭示分词在四维度上塑造整个管线:(i) 定义腐蚀拓扑——转移矩阵 $Q_t$ 就是腐蚀的『度量』,均匀替换把所有错误等权,吸收 mask 把问题降为填空,结构化替换则利用码本几何或 BLOSUM 先验;(ii) 决定去噪难度曲线;(iii) 治理下游可控性与有效性;(iv) 设定有效序列长度与算力成本。第二,四组件分解暴露所谓不同『流派』往往只在一两个组件上有差异——MDLM 与 SEDD 同用吸收腐蚀却分别用 predict-$x_0$ 与 predict-ratios,objective 与 sampler 可互换,故应系统探索『off-diagonal 未被尝试的组合』。第三,跨领域映射暴露『有效性由采样器而非去噪器容量约束』等共性模式。

方法步骤详情

方法步骤沿论文 13 节展开。§3 把 AR 链式分解与连续扩散高斯前向 $q(z_t\mid z_{t-1})=\mathcal{N}(\sqrt{1-\beta_t}z_{t-1},\beta_t I)$ 对照,指出连续 score 不尊重词表离散结构,再定义离散 $Q_t$ 与反向 $\pi_\theta$。§4 把每类 token 映射到腐蚀:文本用 BPE/byte+mask;媒体用 VQ-VAE/VQ-GAN/MAGVIT 编码为码本索引;科学域用氨基酸/核苷酸表可嵌 BLOSUM 先验;并提三类诊断。§5 推导三大腐蚀族——均匀替换、吸收 mask、结构化——及连续时间 CTMC $\frac{d}{dt}P_t=P_t R_t$ 与 score/ratio 视角,给出 Table 5 四组件统一表。§6-§7 系统化训练目标(ELBO、重加权交叉熵、score-entropy、flow-matching)与推理(ancestral、confidence remasking、block、guidance、加速)。§8-§10 处理 scaling/系统、应用与评测。

技术新颖性

技术新颖性有三。其一,tokenization-centric lens 与面向扩散的分词诊断——码本困惑度 $\mathrm{Perp}=\exp(-\sum_k p(k)\log p(k))$、邻域一致性、$\mathcal{L}(t)$ 曲线——被列为 checklist,其中几何与扩散诊断是本文综合零散实践首次系统提出(作者标注未做新实验验证)。其二,Table 5 把 D3PM、multinomial、MDLM/MD4、SEDD、discrete flow matching、categorical FM、discrete interpolants 七大族放进同一四组件框架,揭示 corruption 与 parameterization 正交、objective 与 sampler 可互换,建议系统探索『未被尝试的组合』。其三,把 planning/agents、tabular、3D、layout、推荐统一在『状态空间来源』维度(Table 8),并对 self-reported 数字处处标注证据强度。

**Figure 2**: Discrete forward corruption and learned reverse denoising.

**Figure 3**: Token families in discrete diffusion.

**Figure 4**: Inference as a policy layer over a fixed denoiser.

实验结果

作为叙事综述,本文不跑新实验,而是综合文献给出核心发现。第一,吸收态 mask 腐蚀在大规模语言建模占主导:单一参数 $\beta_t$、闭式存活概率 $\alpha_t=\prod_{s\le t}(1-\beta_s)$、与 BERT 式双向 Transformer 兼容,MDLM/MD4 证明其连续时间 ELBO 可塌缩为重加权 MLM 损失且对 schedule 形状(除端点)不变。第二,scaling 上 LLaDA 自称 8B 规模在匹配算力下与强 AR 竞争力相当(作者标注未独立审计);Plaid 分析提示 compute-optimal dLLM 应『更小模型、训更久』。第三,推理速度上 Mercury 自报编码模型吞吐超 1000 tokens/s;ASS 调度器在其假设下把步数从 $O(L)$ 降到 $O(\log L)$。第四,理论侧 cosine schedule 被证明 Fisher-Rao 最优。第五,分子图域 DiGress 把 V.U.N.+FCD 作标准评测;图像域 DPC 变体在固定 NFE 下显著改善 ImageNet FID。

**Table 1**: Summary of related survey papers and their relevance to this paper.

**Table 5**: Mapping of major discrete diffusion formulation families to the four-component structure.

**Table 8**: Application domains for discrete diffusion, organized by how the discrete state space arises.

查看结构化数据

任务	指标	本文	基线	提升
文本语言建模(8B 规模)	下游任务竞争力/匹配算力	LLaDA 8B(自报,未独立审计)	强 AR 8B(如 LLaMA 级)	作者自报在匹配算力下竞争力相当,但硬件/数据/评测未统一横评
代码生成吞吐	tokens/s	Mercury(自报 >1000)	优化后 AR 编码模型	自报在自有服务栈与硬件上超越,数字不可直接横比
dLLM 推理步数	解码轮数复杂度	ASS 调度器 $O(\log L)$	线性 $O(L)$	在其解码设计与假设下降到对数级,非最坏保证
分子图生成	V.U.N. + FCD	DiGress(节点-边联合 mask)	连续扩散基线	稀疏中间态保持度/聚类/轨道特征定义良好,MMD 更低
类条件图像生成	ImageNet FID(固定 NFE)	Discrete Predictor-Corrector 变体	基础掩码扩散采样器	在固定模型规模与 NFE 预算下显著改善 FID
likelihood 评测	ELBO/perplexity 上界	Plaid(全程优化 VLB + 学习 schedule)	简化去噪损失	似然更干净但更贵;Haxholli et al. 的 $J_2$ 给更紧更便宜的上界

局限与改进

局限性分两类。作者自述:(1) 叙事综述而非系统 meta-analysis,文献沿 D3PM/MDLM/MD4/SEDD/离散流匹配引用图谱加 2026 年初前预印本,不声称覆盖每篇应用论文,Table 1『under-emphasized』是相对本文视角的定性判断;(2) 大量 headline 数字(LLaDA 8B 竞争力、Mercury 1000+ tokens/s、ASS 的 $O(\log L)$)是 originating work 自报而非独立复现,硬件/批大小/基线各异不可直接横比;(3) §4.5 的几何与扩散诊断(邻域一致性、$\mathcal{L}(t)$ 曲线)是综合建议而非已验证预测工具,未做新实验。我的观察:(4) 对中文等非拉丁语系 tokenization 与扩散交互几乎未触及;(5) 把 self-correction/全局修订当潜在优势但无 scale-matched 对照证据,且双向并行解码本身会引入『单 token 各自合理但组合不一致』的新失败;(6) dLLM 安全面(越狱、水印、成员推断)处理偏初步。

独立分析的弱点

独立分析的弱点及改进方向。弱点一:缺定量横评。全文反复强调『不可直接比较』并拒编标准化表,削弱了选型实用性。改进:建类似 HELM 的统一协议,固定 tokenizer/硬件/prompt/batch,发布可复现 quality-latency frontier 脚本。弱点二:面向扩散的分词诊断未验证。改进:对同一数据/架构扫不同 VQ 码本,量化 reconstruction-generation gap 与 $\mathcal{L}(t)$ 对最终 FID/perplexity 的预测力,做成 model-free proxy。弱点三:KV-cache 类比与流式只指出开问题未给候选架构。改进:探索 block-wise 因果掩码+增量 KV 复用,或 §8.1 的 SSM/Mamba 主干绕开双向注意力的全画布更新。弱点四:中文/多语言与代码 AST 约束处理浅。改进:把 Any-order masking 与语法约束解码(§7.4 DINGO)结合做受控实验。

未来方向

分作者明列与可延伸两类。作者 §12 明列:(1) scaling laws 与 benchmark 标准化——需对模型大小/步数/schedule/分词独立消融,并定最小报告集(步数、wall-clock、硬件、解码算法、batch/prompt、分词);(2) 缩小与 AR 的 ICL 差距——少样本 ICL 在当前 dLLM 弱于 AR,可能源于去噪目标与 next-token 失配、prompt 与精修响应在双向注意下互相干扰,可探索多遍 prompting、检索增强去噪、AR-prompt+diffusion 混合;(3) 缓存与流式——双向注意使 append-only KV cache 失效,需找『不牺牲修订灵活性的等价物』;(4) 统一 token 空间与跨模态/科学整合;(5) 理论:表达力、收敛、可辨识性。可延伸:把 §11.1『反向链=离散优化器』视角形式化对接离线 RL;把 tokenization 诊断做成 model-free proxy;把 any-order 安全攻防(§11.2 A2D)系统化为评测基准。

复现评估

复现评估。本文是综述无实验需复现,但提供配套仓库 https://github.com/AAAAA-Academia-Attractions/Discrete-Diffusion 含分类法与精选资源。可复现性整体良好:(1) 被引公式(D3PM 后验闭式、MD4 积分目标 $\mathcal{L}_\infty$、SEDD score-entropy、CTMC 方程 $\frac{d}{dt}P_t=P_t R_t$)都给完整数学表达与符号表(Table 2),可据此重写实现;(2) §9.10 给新 case study 报告 checklist(分词/腐蚀/目标/架构/采样/约束/评测/失败模式),降低跨领域复现沟通成本;(3) 作者对 self-reported 数字标注证据强度(LLaDA、Mercury、ASS 均标『自报/未独立审计』)。不足:综述本身不提供统一代码/数据/算力基准;被引工作开源情况需读者自核;分词诊断是建议而非现成工具。整体难度:理论需概率/Markov 链基础,应用跨领域门槛较高。

离散扩散模型的统一框架：从分词到生成 Discrete Diffusion Models: A Unified Framework from Tokenization to Generation