ALoDLM：自适应循环扩散语言模型 ALoDLM: Adaptively Looped Diffusion Language Models

推理按 Algorithm 1 进行。(1) 外循环开始：找出当前序列全部掩码位置 $U$，Prelude 计算初始循环状态 $h^{(0)}=\text{Prelude}(x_t)$，累积停机量 $a$ 置零、已提交集合 $C$ 置空。(2) 内循环第 $s$ 轮：Core 更新 $\tilde{h}^{(s)}=\text{Core}(h^{(s-1)})$，Coda 读出 $r^{(s)}$；LMHead 给出各未解决位置的分布 $p_i^{(s)}$，ExitGate 给出 $\lambda_i^{(s)}$。(3) 提交：把预测熵 $\le\tau$ 的位置收进 $B^{(s)}$，逐位置采样 $\tilde{y}_i\sim p_i^{(s)}$，从 $U$ 移除并加入 $C^{(s)}$；这些位置的隐状态替换为 token 嵌入 $\text{Emb}(\tilde{y}_i)$，其余位置保持 $\tilde{h}_i^{(s)}$。(4) 停机判定：累积 $a_i^{(s)}=a_i^{(s-1)}+(1-a_i^{(s-1)})\lambda_i^{(s)}$；若 $U$ 为空或未解决位置的平均 $a$ 达到阈值 $q$ 则结束内循环，否则继续到最大深度 $K=4$。(5) 若本轮无任何提交，则强制提交熵最低的一个位置以保证进展；随后把所有提交 token 写入序列，进入下一个去噪步，直至无 [MASK]。训练上：以 WeDLM 的流式块扩散框架做直接 SFT（5B token，每 32-token 块独立采样掩码率 $t\in[0,1]$）；以截断几何分布为先验 $\pi_{0,c}(d)\propto e^{-cd}$（$K=4$、$c=0.4$，先验平均深度约 2.02）；对单条采样轨迹计算轨迹损失 $\mathcal{L}_{\text{traj}}$，用式 (7) 的单轨迹 score-function 估计器（去噪器项 + 策略项 $(\mathcal{L}_{\text{traj}}+\log\frac{\pi(z)}{q_\phi(z)})\nabla_\phi\log q_\phi$）回传；再用首轮读出损失 $\ell_i^{(1)}$ 作控制变量、用权重 $\omega_i^{(s)}$ 对提交前每轮读出做中间监督来降低梯度方差（去除后方差升至 1.76×），配合松弛深度正则 $(\alpha,\beta)=(0.1,1)$ 与等权辅助 AR 损失，得到完整代理损失 $\hat{\mathcal{L}}_{\text{impl}}=\hat{\mathcal{L}}_{\text{den}}+\hat{\mathcal{L}}_{\text{gate}}+\hat{\mathcal{L}}_{\text{AR}}$。

技术新颖性体现在四个层面。架构上：此前 looped DLM 的循环深度是步内全局统一的，FReDA 一类方法反馈的是显式 token 草稿；ALoDLM 首次在 DLM 去噪步内实现 token 级潜深度——各 token 退出时刻可以不同，且「早退出的离散嵌入反馈」与「未退出的潜状态保留」双通道并行，计算不再因推迟而作废。训练理论上：因为早期提交改变后续上下文，所有联合退出方案的精确边缘化（PonderNet/Ouro 路线）不可行，作者改用变分框架——以 ExitGate 为近似后验 $q_\phi$、截断几何分布为先验 $\pi$，推导出单条损坏样本上的条件 NELBO（Proposition 2），并证明单轨迹 score-function 估计器的无偏性（Proposition 1），把「算多少」变成了与「预测什么」联合优化的对象。优化技巧上：中间监督用 $\omega_i^{(s)}$ 权重复用提交前每轮读出，不需要任何额外前向就把去噪器梯度方差降低约 30%-43%（测量点上 1.76×/1.49×/1.42× 降至 1×）；配合首轮控制变量与 $(\alpha,\beta)$ 分离的「个体多样性/聚合先验」正则，让 token 可以偏爱不同深度。系统工程上：为权重共享但深度各异的前向设计了深度感知 KV 缓存（匹配深度优先、最深可用兜底），8B 模型的执行路径为 $10+4\times(16+10)=114$ 层而非全栈 $4\times36=144$ 层，并直接以 vLLM 服务；8B 规模也使其成为目前最大的 looped DLM。

弱点一：TTFT 惩罚。短回答、实时对话场景中 prefill 需为 4 个深度构建 KV（84 对缓冲），首 token 延迟上升，可能吞掉并行解码收益。改进方向：按需深度的 prefill（先只为深度 1 构建缓存，遇到深循环再增量补算），或蒸馏一个浅深度近似器供 prefill 使用。弱点二：领域偏移下的吞吐崩塌。在欠表示领域停机策略可能倾向多循环、少并行，速度优势反转。改进方向：利用 $q$、$\tau$ 这两个现成旋钮做领域级校准，或训练一个输入条件化的停机阈值预测器在线调节。弱点三：高并行模式下质量滑坡（$\tau=0.9$ 时 GSM8K 89.9%）。改进方向：对提交质量做置信度校准（温度缩放、conformal 预测），或在序列级奖励上微调提交策略，让「敢于并行」与「提交正确」解耦。弱点四：训练管线复杂。REINFORCE + 首轮控制变量 + 中间监督 + 松弛正则的组合工程量大、超参多（$c$、$\alpha$、$\beta$、$q$、$\tau$、辅助 AR 权重），复现门槛高。改进方向：探索 Gumbel-Softmax 类连续松弛或 straight-through 估计来简化目标；或冻结去噪器、单独对停机策略做 RL 后训练。弱点五：缓存近似与显存。深度感知 KV 缓存的兜底策略在理论上不等于逐深度重算，长上下文的精度损失未量化；84 对缓冲在高并发服务下是显著负担。改进方向：量化或驱逐低价值深度缓冲，给出近似误差上界，并报告不同上下文长度下的精度—显存曲线。弱点六：评测口径分裂。质量表用每步单 token 的保守模式，效率图用并行模式，两者最优配置不同，部署者需要自行摸索。改进方向：提供按延迟/吞吐 SLA 自动搜索 $(q,\tau)$ 的调度器，并在论文中报告中间工作点的质量数字。

作者方向上：论文把 $q$ 明确定位为测试时扩展轴（$q$ 从 0.1 调到 0.9，平均分从 77.9% 升到 79.1%），后续可研究「推理预算可控」的分配策略，例如按题目难度自动设定 $q$，把 loops/token 变成显式的推理深度旋钮；代码生成上的全面领先（引用 SMELT 的结论）也暗示可在更长 $K$、更深循环上探索推理任务的上限。基于成果可延伸的方向：(1) 与 AR 验证结合——用 ALoDLM 做起草器、AR 模型做验证器，吸收 Uno/TiDAR 的拒绝采样思想，构造无损加速管线；(2) 把 token 级自适应潜深度移植回纯 AR 模型（与 Mixture-of-Recurrences 交汇），检验「计算—难度匹配」原则是否与扩散框架解耦；(3) 理论侧：为自适应循环深度建立推理 scaling law（Parcae 一脉），给出 loops/token 与精度的解析关系；(4) 训练侧：用重要性采样、多轨迹平均或 offline RL 替代单轨迹 REINFORCE，进一步压低停机策略的梯度方差；(5) 系统侧：为深度感知 KV 缓存设计专用 attention kernel、驱逐策略与量化方案，压低 TTFT 和显存；(6) 架构侧：与 MoE 结合（SMELT 方向）或扩展到多模态扩散模型，检验自适应深度在稀疏与多模态设定中的收益。

开源情况良好：代码在 github.com/amazon-science/ALoDLM，模型权重在 HuggingFace（amazon/ALoDLM-8B），另有项目主页。训练配置披露充分：基于 Qwen3-1.7B/8B 主干，用 WeDLM 的流式块扩散框架做直接 SFT（无 CPT），5B token 语料；AdamW、峰值学习率 $10^{-5}$、权重衰减 0.01、cosine 调度、3% warmup、梯度裁剪 1.0；全局 batch 为 256 条 4,096-token 打包序列、块大小 32、bf16、DeepSpeed ZeRO-2；8B 训练 8 个 epoch（34,512 步）并对每第二次循环层调用做激活检查点。关键超参（$K=4$、$c=0.4$、$(\alpha,\beta)=(0.1,1)$、质量模式 $q=0.5$、并行模式的 $\tau$ 扫描与窗口 16、位置系数 $\gamma=0.02$）均已给出。难点在于：(1) 5B 语料的确切构成未在正文详述，完全对齐训练分布有不确定性；(2) 8B×8 epoch 的训练需要多卡集群（推测至少 8×A100/H100 级别），论文未报告卡时与总成本；(3) 深度感知 KV 缓存的 vLLM 集成是相当大的系统工程量，复现效率数字需要同代硬件（B200 单流）；(4) 策略梯度部分对 stop-gradient 约定、损失归一化等实现细节敏感——附录 C/D 写得较细（含完整证明与 Eq. 34 的完整代理损失），属于「可复现但需精读附录」的中高难度。