dLLM：简洁的扩散语言建模框架 dLLM: Simple Diffusion Language Modeling

dLLM的方法可分为以下几个完整步骤：（1）**训练阶段**：用户选择MDLMTrainer或BD3LMTrainer，传入模型、tokenizer、数据集和训练参数。对于MDLM，训练器在每个batch中采样时间 $t \sim U(0,1)$，按概率 $t$ 对token进行掩码，计算损失 $\mathcal{L}_{\text{MDLM}} = \frac{1}{t}\sum_{i \in \mathcal{M}_t} -\log p_\theta(x_i^0|x_t)$；对于BD3LM，序列被划分为块，块间自回归、块内扩散。训练支持SFT微调（如用NoAttentionMaskWrapper保持padding EOS可见、设置label_pad_token_id=eos_token_id）和AR-to-DLM转换（如right_shift_logits复用下一token预测、PrependBOSWrapper添加BOS标记）。（2）**推理阶段**：用户选择采样器（标准或Fast-dLLM），调用sampler.sample(inputs)进行生成。Fast-dLLM采样器使用块内近似KV缓存和基于置信度的并行token更新加速解码。（3）**评估阶段**：框架通过扩展lm-evaluation-harness，为每个模型-任务对配置正确的预处理（如chat template应用）、解码参数（如max new tokens、temperature、CFG）和后处理，执行标准化评估并输出结果。（4）**可视化阶段**：TerminalVisualizer展示解码过程中token从掩码状态逐步确定的演变过程，包括解码顺序和中间状态。

dLLM的技术新颖性主要体现在工程整合和设计理念层面，而非理论创新。具体而言：（1）**统一训练抽象**：此前的DLM研究各自使用不同的训练代码，dLLM首次将MDLM和BD3LM两种主流训练目标统一到同一Trainer接口下，并通过模块化包装器（如NoAttentionMaskWrapper、PrependBOSWrapper）支持预训练、SFT和模型转换等不同场景，这种「微调式」的定制方式避免了代码重复。（2）**推理-模型解耦**：此前Fast-dLLM等高效推理工具与特定模型紧密耦合，dLLM通过Sampler抽象实现了推理算法的即插即用，这在DLM领域是首次系统性地实现。（3）**忠实评估复现**：论文首次系统性地揭示了DLM评估对推理超参数的高度敏感性（Figure 5），并为每个模型-任务对提供了精确匹配官方配置的评估流程，填补了公平比较的空白。（4）**实用配方**：提供了从BERT和AR模型转换为DLM的端到端配方，包括ModernBERT-Chat和Qwen3-A2D系列模型的训练细节和检查点，这为社区提供了可直接使用的基线。

论文存在以下值得改进的弱点：（1）**AR-to-DLM转换的知识保留问题**：Table 3中Qwen3-0.6B-mdlm在MMLU、MMLU-Pro等知识密集型任务上大幅退化（MMLU从52.8到40.0），论文提到未使用logits右移技巧因为它「导致性能退化」，但未深入分析退化原因。改进方向：可探索知识蒸馏或渐进式转换策略，在转换过程中保留原始AR模型的知识。（2）**Base模型SFT的不稳定性**：Table 1显示LLaDA-Base SFT后在Countdown（10.16→8.98）和Sudoku（0.34→0.00）上退化，Dream-Base在Countdown上也退化（10.55→8.59）。改进方向：可探索课程学习或多任务训练，避免SFT过拟合特定数据分布。（3）**推理加速的质量-速度权衡分析不足**：Figure 4展示了不同加速倍数下的准确率变化，但缺乏对生成文本质量（如流畅性、一致性）的分析。改进方向：加入人工评估或自动质量指标（如困惑度、重复率）。（4）**小模型配方的实际价值有限**：ModernBERT-chat和Qwen3-0.6B-DLM的绝对性能较低，实际应用场景有限。改进方向：在更大规模模型上验证配方的有效性。（5）**缺乏与商业DLM的对比**：论文提到Mercury等商业DLM，但未进行对比实验。改进方向：在可控条件下与商业系统进行推理速度和质量对比。

论文和实验结果指向多个有价值的未来研究方向：（1）**RL算法集成**：论文明确提到计划集成RL算法用于DLM训练。随着DRL（扩散强化学习）方法的成熟，将GRPO、DPO等对齐算法适配到DLM的离散扩散框架中是一个重要方向，特别是利用DLM的并行解码特性可能带来与AR模型不同的RL训练效率优势。（2）**更大规模的模型转换**：当前实验在0.6B规模，将AR-to-DLM转换配方扩展到7B-70B规模、验证知识保留和推理加速效果是关键下一步。论文提到LLaDA2.0已扩展到100B，统一框架可加速此类规模化探索。（3）**混合AR-DLM架构**：BD3LM已展示了块间AR+块内扩散的混合思路，未来可探索更灵活的混合策略，如在不同层或不同任务上动态选择AR或扩散解码。（4）**DLM专用的高效推理硬件**：当前Fast-dLLM在通用GPU上实现加速，但DLM的并行解码特性可能更适合定制化硬件架构。（5）**多模态DLM**：将统一框架扩展到图像、音频等多模态扩散生成，构建通用的离散扩散框架。

论文在可复现性方面做出了显著努力：（1）**代码开源**：框架代码已在GitHub开源（https://github.com/ZHZisZZ/dllm），包含完整的训练、推理和评估代码。（2）**模型权重开源**：所有训练的检查点（ModernBERT-base/large-chat、Qwen3-0.6B-mdlm/bd3lm）已在HuggingFace开源（dllm-hub），可直接下载使用。（3）**训练配方透明**：论文详细列出了每个实验的训练超参数（学习率、batch size、epoch数、LoRA配置等）和硬件配置（8×A100或64×A100），复现门槛明确。（4）**评估配置匹配**：框架为每个模型-任务对精心匹配官方评估配置，这大大降低了结果复现的难度。（5）**潜在复现挑战**：完整的大规模模型转换实验需要64×A100 GPU（约80GB显存），这对多数研究者仍有门槛；小规模复现（如ModernBERT-chat在8×A100上）更为可行。此外，评估流程依赖lm-evaluation-harness，需要熟悉该框架的配置方式。总体而言，论文的复现性在开源AI研究中属于上乘水平。