超越硬掩码：面向扩散语言模型的渐进式 Token 演化 Beyond Hard Masks: Progressive Token Evolution for Diffusion Language Models

EvoToken-DLM 的方法分为推理和训练两个阶段。推理阶段（Progressive Inference）：给定 prompt P 和目标生成长度 N，首先将序列分为 M = N/B 个块，每个块大小为 B。所有目标位置初始化为 [MASK] 状态。对于每个块，执行多步精炼：（1）输入当前嵌入序列 E 到模型，获得每个位置的概率分布 $\{p_c^i\}_{c=1}^{|\mathcal{V}|}$；（2）保留 Top-K 概率并归一化，计算软嵌入 $\mathbf{e}_{dist}^i = \sum_{c=1}^K \hat{p}_c^i \cdot \mathbf{e}_{\hat{v}_c^i}$；（3）根据 token 状态更新嵌入：掩码位置使用 $\alpha \mathbf{e}_{mask}^i + (1-\alpha) \mathbf{e}_{dist}^i$，纯软位置使用 $\mathbf{e}_{dist}^i$，已解码位置使用硬嵌入 $\mathbf{e}_{v_i}$；（4）选择部分掩码/掩码感知软 token 转移到纯软状态；（5）当块内所有 token 达到纯软状态时，统一转为 [Decode] 状态。训练阶段（Continuous Trajectory Supervision）：（1）从训练数据采样序列，选择目标块 B；（2）将块分为软初始化集 $S_{soft}$（用 ground-truth 嵌入）和掩码初始化集 $S_{mask}$；（3）模拟 $\Delta\tau$ 个连续精炼步骤，每步计算交叉熵损失并反向传播更新参数。这种训练策略确保模型学会多步精炼能力。

EvoToken-DLM 的技术新颖性体现在以下几个方面：首先，四状态演化机制是一种全新的 token 状态建模方式，突破了传统 MDLM 的二元限制，$[MASK] \to Soft([MASK] \cup \mathcal{V}) \to Soft(\mathcal{V}) \to [Decode]$ 的设计既保持了语义连贯性，又实现了平滑过渡；其次，混合嵌入策略通过参数 $\alpha$ 控制掩码嵌入与软嵌入的融合比例，在 Soft([MASK] ∪ V) 状态下保持对掩码位置的感知能力，这是对纯软嵌入的重要改进；第三，连续轨迹监督是一种全新的训练范式，通过在训练时模拟推理时的多步精炼过程（$\Delta\tau$ 步），解决了训练与推理不一致的问题，这是现有单步去噪目标无法实现的；第四，方法的通用性极强，可以无缝扩展到块级扩散（Blockwise Diffusion）架构，并与 KV 缓存机制完全兼容，仅引入 3.55% 的额外推理延迟。

EvoToken-DLM 存在以下几个值得关注的弱点：第一，混合比例 $\alpha$ 的敏感性问题——虽然论文显示 $\alpha \in [0.5, 0.9]$ 范围内性能稳定，但在不同任务和模型上的最优值可能不同，缺乏自适应调整机制。改进方向是引入可学习的 $\alpha$ 参数或基于置信度的动态调整策略。第二，Top-K 过滤的信息损失——当 K 值较小时（如 K=1 或 K=2），软嵌入退化为接近硬 token 的表示，削弱了渐进式演化的优势；当 K 值较大时，计算开销增加。改进方向是根据精炼阶段动态调整 K 值，早期使用较大 K 保持探索性，后期使用较小 K 加速收敛。第三，块级解码的粒度限制——当前方法在块边界处需要等待整个块完成才能进入下一块，可能导致不必要的延迟。改进方向是引入更细粒度的异步解码机制，允许部分 token 提前进入下一块。第四，训练效率问题——连续轨迹监督需要模拟 $\Delta\tau=4$ 个精炼步骤，每个步骤都需要前向和反向传播，训练计算量是标准单步训练的 4 倍。改进方向是探索更高效的轨迹采样策略或课程学习方案。

论文和基于本文成果可延伸的未来研究方向包括：第一，将 EvoToken-DLM 扩展到更广泛的生成任务，包括开放式文本生成、对话系统、代码生成和多模态生成，验证渐进式演化机制在不同场景下的有效性。第二，探索与强化学习（RL）的结合——渐进式演化天然适合在线策略优化，因为中间状态提供了更丰富的反馈信号，可以设计基于演化轨迹的奖励函数。第三，研究自适应演化策略——根据输入的复杂度和模型的置信度动态调整精炼步数、块大小和 Top-K 值，实现计算资源的最优分配。第四，将连续轨迹监督应用于其他扩散模型架构，如流匹配（Flow Matching）或一致性模型，探索更广泛的适用性。第五，研究渐进式演化与推理时计算扩展（Test-time Compute Scaling）的协同效应，利用中间状态的丰富信息进行更有效的思维链推理。

论文的复现评估如下：开源情况方面，作者提供了项目主页 https://aim-uofa.github.io/EvoTokenDLM，论文中详细描述了算法伪代码（Algorithm S1 和 S2），但未明确说明是否开源代码和模型权重。数据方面，训练使用公开的 S1K 数据集（1000 个高质量推理问题），评估使用标准基准（Countdown、GSM8K、MATH500、SVAMP），数据可获取性良好。算力方面，基于 LLaDA-Instruct-8B（8B 参数）微调 10k 步，使用 LoRA（rank=128）进行高效微调，最大序列长度 1024，batch size 8，计算需求相对适中，单张高端 GPU 即可完成。复现难度中等——核心算法逻辑清晰，但需要理解 MDLM 的训练范式和连续轨迹监督的实现细节，特别是 token 状态管理和嵌入更新的正确实现。