残差上下文扩散语言模型 Residual Context Diffusion Language Models

RCD 的完整流程包括训练和推理两个阶段。训练阶段：（1）初始化参考模型 $M_{\text{ref}}$，从预训练的轻量级 dLLM 出发，在下游数据集上用标准掩码目标进行微调，然后冻结参数；（2）对于每个训练样本 $x^{(0)}$，采样时间步 $t \sim U(0,1)$，构造含噪输入 $x^{(t)}$；（3）冻结的 $M_{\text{ref}}$ 前向计算得到概率分布 $p^{(t)}$ 和对应的熵权重 $\alpha_i^{(t)} = \hat{H}(\hat{x}_i^{(t)})$；（4）通过嵌入码本计算残差向量 $\Delta_i^{(t)} = \sum_{j=1}^{V} p_{i,j}^{(t)} E_{j,:}$；（5）通过 Highway 连接构造增强输入 $\tilde{e}_i^{(t)} = (1 - \alpha_i^{(t)}) E(x_i^{(t)}) + \alpha_i^{(t)} \Delta_i^{(t)}$（仅对掩码位置）；（6）目标模型 $M_{\text{target}}$ 在增强输入上进行标准交叉熵损失优化。推理阶段：（1）初始化：第一个去噪步骤没有历史残差，可选择冷启动（零向量）或热启动（参考模型预测）；（2）递归解码：从第二步开始，目标模型消费上一步残差增强后的输入嵌入，生成当前步的 logits；（3）残差更新：用温度缩放的 $T_{\text{res}}$ 校准概率分布，计算新的熵权重和残差向量，传递给下一步。

RCD 的技术新颖性体现在多个层面。首先，在信息提取层面，与 Loopholing 直接复用隐藏状态不同，RCD 基于模型自身的嵌入码本构建残差上下文，这在理论上更优，因为对于使用分离参数的输入嵌入层和 LM head 的 8B+ 模型，隐藏状态和输入嵌入处于不同的语义空间，直接注入会造成数值不稳定。实验也验证了这一点：在 SDAR-4B-b64 上仅训练 1 个 epoch 后，Loopholing 无法生成可评估的数学序列，而 RCD 达到了 86.35% 的 GSM8K 准确率。其次，在信息聚合层面，归一化熵加权是一种全新的自适应机制，与传统残差学习中的固定加权不同，它根据每个 token 的不确定性动态调节残差贡献。第三，在训练策略层面，两阶段解耦训练将递归依赖转化为标准的监督学习问题，避免了类似 RNN 的长计算图反向传播。最后，RCD 引入了一个新的 Pareto 调节旋钮——通过调整残差传输的程度，可以在准确率和延迟之间取得更优的权衡。

从独立分析的角度，RCD 存在以下几个值得改进的弱点。第一，残差信息的粒度问题：当前 RCD 将整个概率分布转化为单一的软 token 向量，这意味着所有被丢弃的 token 共享相同的残差表示方式。但在实际推理中，不同位置的低置信度 token 可能具有截然不同的语义角色（如功能词 vs 实体词），统一的残差注入可能丢失这种位置特异性信息。改进方向：可以探索位置感知的残差编码，或为不同类型的 token 设计差异化的残差注入策略。第二，温度校准的脆弱性：$T_{\text{res}}$ 是一个全局标量，无法适应不同层、不同位置、不同去噪阶段的分布差异。在去噪早期，模型的输出分布通常非常平坦，而后期则逐渐尖锐，统一的温度缩放可能无法精确校准。改进方向：可以学习一个自适应的温度调度器，根据去噪进度动态调整 $T_{\text{res}}$。第三，参考模型的依赖问题：虽然 Dirichlet 初始化实验表明不需要高质量参考模型，但训练阶段仍然需要冻结的 $M_{\text{ref}}$ 来生成代理信号。这限制了 RCD 在资源受限场景下的适用性。改进方向：可以探索完全自监督的残差学习方法，让目标模型从自身的去噪历史中学习残差信号。第四，推理时的额外内存开销：每一步去噪都需要存储和传递残差向量 $\Delta_i$ 和熵权重 $\alpha_i$，对于长序列场景（如 16K tokens），这会带来可观的额外内存占用。

基于本文的成果，未来研究可以从以下几个方向展开。首先，作者提到可以探索更丰富的初始化方案——当前实验表明 Dirichlet 分布（非信息性先验）优于小模型参考信号，这暗示可能存在更优的初始化策略，如基于任务自适应的先验分布。其次，RCD 的残差上下文机制可以推广到其他类型的扩散模型，如代码生成（DiffuCoder）和视觉推理（MoNet、VisMem）领域，验证其跨模态的通用性。第三，结合强化学习优化残差策略——目前 RCD 的残差权重由固定的熵公式决定，但可以将其建模为一个可学习的策略，通过 RL 信号优化残差注入的时机和强度。第四，将 RCD 与推理时计算扩展（test-time compute scaling）结合，探索在更少的去噪步骤中通过更强的残差传输实现等效甚至更好的推理质量。第五，探索 RCD 在更大规模模型（如 70B+）上的表现，验证其在工业级部署场景下的可扩展性和实际加速效果。最后，可以研究残差上下文与 KV cache 复用（如 D2F 框架）的协同效应，进一步优化端到端推理效率。

从复现评估的角度，RCD 的可复现性较好。代码和模型权重方面，论文提供了项目页面链接（Code | Models | Project Page），表明作者计划开源实现。数据方面，训练使用的是公开数据集 OpenR1-Math-220k（过滤 ≤8K 样本，约 300M token）和 OpenMathInstruct-2（1M 子集），均可公开获取。算力需求方面，训练在 8×H100 GPU 上进行，SDAR 参考模型（1.7B）训练 10 epoch，目标模型（4B/8B）训练 5 epoch；LLaDA 训练使用 FSDP 分布式策略。对于有类似硬件配置的研究者来说，复现门槛中等。但需注意：（1）SDAR 模型本身并非完全开源，需要额外的预训练权重；（2）论文中的吞吐量测试依赖于 Fastdllm 和 D2F 两个特定推理框架，需要同步配置；（3）AIME 评估使用了 T=0.6 的 16-sample Pass@1，需要较多的采样计算。总体而言，复现难度为中等偏上，主要受限于基础模型的获取和硬件配置要求。