打破扩散：基于草稿精化的并行推理 Breaking Diffusion: Parallel Reasoning with Draft Refinement
单个去噪器同时提议并评估完整草稿的并行修订，空腔能量筛选候选，6M 小模型超越扩散与自回归基线
前置知识
离散扩散语言模型（masked 与 uniform 两种噪声）
把文本生成建模为逐步去噪：训练时按前向通道 $q(z_t|x)=\mathrm{Cat}(z_t;\alpha_t x+(1-\alpha_t)\pi)$ 破坏 clean 序列，训练去噪器预测原始 token；采样时从先验 $\pi$ 出发沿调度 $1=t_T>\cdots>t_0=0$ 逐步反向。masked 扩散（MDLM/MGDM）用 $\pi=m$ 把 token 换成掩码，uniform 扩散（UDLM）用 $\pi=u=1/N$ 把 token 均匀替换为词表随机 token，后者得到的中间状态是"完整草稿"——每个位置都是普通 token 且错误不被标记。
本文借用的正是 uniform 通道来构造训练草稿，但刻意抛弃了它的反向采样过程；理解两种噪声通道的差异（完整草稿 vs 空位揭示）是理解全文立论的前提。
ancestral sampling 与反向转移对修订的约束
扩散的标准采样方式：每步从学习到的反向转移 $p_\theta(z_s|c,z_t)$ 采样。在 masked 扩散中，某个位置何时被揭示由调度表决定，已揭示的 token 在后续步骤被原样复制，即使周围上下文已经变化；在 uniform 扩散的 plug-in 反向核下，改变一个位置的概率存在调度相关的上限 $C_{\tau,t}<1$（内部步骤严格小于 1，附录 C 的 Proposition 4）。也就是说，clean-token 预测必须经过扩散转移这个"中介"，而非直接指定下一个序列。
这正是论文标题"Breaking Diffusion"要打破的东西：作者用 Figure 3(a) 实证扩散轨迹的中间态被调度表而非模型本身控制，DRLM 的第一个设计决定就是绕开反向转移。
伪似然（pseudo-likelihood, Besag 1975）
联合分布难以直接求值时，用各位置 leave-one-out 条件分布的乘积近似：$PL(s|c)=\prod_i p(x_i=s_i\mid c,s_{-i})$。它把"这个序列整体好不好"分解为"每个位置在看过其余所有位置后被支持的程度"，是空间统计学与能量模型里的经典序列打分方法。
DRLM 的空腔能量在读级别 $\alpha_s\to 1$ 时恰好收敛到负对数伪似然（Proposition 6）。理解伪似然才能明白这个能量分数衡量的是"上下文一致性"，以及它为何不是正确性的保证。
空腔条件（cavity conditional，来自自旋玻璃理论）
在统计物理的均值场近似中，cavity 指去掉变量 $i$ 自身的耦合后、给定其余所有变量的条件分布 $\Pr(x_i=v\mid c,s_{-i},\alpha)$（Mezard et al. 1987）。本文的关键恒等式（Proposition 1）是：全后验 $\Pr(x_i=v|c,s,\alpha)$ 等于通道似然 $k_\alpha(s_i,v)$ 乘以空腔条件再归一化。由于训练通道已知，除以 $k_\alpha(s_i,\cdot)$ 再重归一化即可从全后验中精确恢复空腔条件。
这是全文的技术核心：去噪器天然输出的预测混入了"观察到这个 token 更可能说明它是对的"的自证据，不做空腔校正的打分会奖励草稿里已有的错误 token（论文用 $2+3=6$ 的例子说明）。
非自回归迭代精化（NAT / SUNDAE 一系）
与自回归逐 token 生成相对：先一次性产出完整草稿，再迭代地对所有位置并行修订。代表工作包括非自回归翻译的迭代去噪（Lee et al. 2018）、SUNDAE 的均匀破坏-去噪交替训练等。共同点是每次修订都被无条件接受，模型靠训练分布本身保证修订质量。
DRLM 属于这一系但做了一个关键改造：把每次修订当作"提案"而非"接受"，用同一个模型的空腔能量决定去留。理解这一点才能看出它与 SUNDAE 的本质差别在保留机制而非训练方式。
研究动机
现有的序列生成范式在需要全局一致性的复杂推理任务上都存在结构性缺陷。自回归模型（GPT-2、LLaMA 等）按顺序提交 token，早期决策在完整答案可见之前就已定死，后文出现矛盾时无法回头修改，这正是它们在组合性任务上系统性失败的原因之一（Yao et al. 2023；Dziri et al. 2023）——例如 GPT-2 303M 从头训练在 Countdown-5 上只有 4.3% 的解题率。离散扩散模型支持并行预测，但标准 ancestral sampling 把更新约束在依赖调度表的反向转移里：masked 扩散（MGDM）中已揭示的 token 即使在周围上下文变化后也不能再改，uniform 扩散（UDLM）虽有修订上限 $C_{\tau,t}<1$，预测仍然只是通过扩散转移间接影响下一个状态。非自回归迭代精化（SUNDAE 等）允许直接修订完整草稿，但每次修订都被无条件接受——单独看每个位置的更新似乎合理，合在一起却未必构成更好的答案。评估修订还另有陷阱：全后验预测把位置自身观察到的 token 当作证据，例如草稿 $2+3=6$ 中，通道似然告诉我们"观察到 6 远比观察到其他任何特定 token 更可能意味着它是对的"，于是即使从其余上下文 $2+3=\square$ 应推断出 5，模型仍可能偏爱已存在的 6。也就是说，挑战不只是"如何提出修订"，更是"如何在单次前向中可靠地评估修订"。
本文的目标是本文的目标是让一个模型、一次前向，同时完成修订的提议与评估，从而在固定推理预算内以纯并行方式求解复杂推理任务。具体拆成四个可验证的子目标：第一，训练一个去噪器从均匀破坏的完整草稿重建 clean 序列，使其 clean-token 预测可以直接指定修订后的草稿，不经过任何扩散反向转移；第二，推导一种修正方法，把预测中混入的自 token 证据（自似然）除掉，得到每个 token 被提示与其余草稿支持程度的单次前向估计——空腔能量——而不需要额外的打分模型、架构改动或逐位置删除的重打分；第三，设计 propose–read–retain 生成循环：每轮部分重噪声当前保留的草稿、并行构建完整候选、用一次新的前向读取候选的能量，只有能量严格更低才替换，预算耗尽后返回能量最低的草稿；第四，在 Countdown（算术推理）、Sudoku-Extreme（约束满足）、Maze-Hard（路径规划）三个并行推理基准上，用 6M 参数的模型超越参数匹配的扩散基线和微调后的 7B/13B 大模型。
与已有工作不同的是，本文的独特切入角度有三个层次。概念层：把"噪声过程"与"生成过程"解耦——均匀替换通道只用来构造训练用的完整草稿（错误不被标记，迫使模型同时学会保留与修复），生成阶段完全不复现这条轨迹，这与所有标准离散扩散（masked、uniform、remasking、corrector 类）形成根本区别。理论层：利用训练通道已知这一点，通过 Bayes 规则的 cavity 分解（Proposition 1）证明，对贝叶斯最优去噪器而言，逐位置除以自 token 似然 $k_\alpha(s_i,v)$ 并重归一化即可精确恢复 leave-one-out 的空腔条件分布；由于 $k_\alpha$ 在 $\alpha<1$ 时严格为正，这个逆操作对训练出的近似模型同样可执行——于是整份草稿的上下文支持度打分只需一次完整读取的前向传播，相比 Salazar et al. (2020) 需要 $L$ 次逐位置删除的前向、或 hollow network 的架构改造，是数量级上的简化。系统层：把每次修订重新定义为需要审批的"提案"，维护带缓存能量的 best-so-far 草稿，保证保留草稿的能量随轮次单调不增（Proposition 7），这与 SUNDAE 系无条件接受每次修订的做法形成鲜明对照。
核心方法
直觉上，这个方法模仿人类修改文章的过程：先快速写出一版完整但粗糙的草稿，然后通读全文、在整体语境中发现矛盾、并行修改所有可疑之处，只有当修改后的版本读起来整体更通顺时才保留修改。技术路线分三块。训练：对 clean 答案 $x$ 采样保留率 $\alpha\sim U(0,1)$，用均匀替换通道 $q_\alpha(s|x)=\prod_{i=1}^L k_\alpha(s_i,x_i)$、$k_\alpha(u,v)=\alpha\,\mathbb{1}[u=v]+\frac{1-\alpha}{N}$ 构造完整草稿 $s$（错误 token 不带任何标记，且可能碰巧等于原 token），用全位置交叉熵 $\mathcal{L}(\theta)=\mathbb{E}\left[-\frac{1}{L}\sum_{i=1}^L\log p_\theta(x_i\mid c,s,\alpha)\right]$ 训练一个双向 Transformer 去噪器，所有位置都参与监督，包括观察 token 已正确的位置，因此模型同时学会保留（preservation）与修复（repair）。提议：预测图 $[F_\alpha(s)]_i=\arg\max_{v}p_\theta(x_i=v\mid c,s,\alpha)$ 让一次前向在同一输入语境下同步重审所有位置，预测的众数直接构成下一份完整草稿。评估：在固定读级别 $\alpha_s=7/8$ 下对完成的候选做一次不更新 token 的读取，计算空腔能量 $E_\theta(s)=-\sum_{i=1}^L\log\frac{d_i}{d_i+\kappa_{\alpha_s}(1-d_i)}$，其中 $d_i=p_\theta(x_i=s_i\mid c,s,\alpha_s)$ 是模型赋予候选自身 token 的概率，$\kappa_{\alpha_s}=1+\frac{N\alpha_s}{1-\alpha_s}$ 是通道自似然比。每轮循环为：以保留率 $\rho_e$ 重噪声当前保留草稿 → 沿内调度做 $J-1$ 次提议 pass 构建候选 → 一次读取算能量 → 能量严格更低才替换。
核心创新点之一是空腔分解与单次前向的草稿评估。全后验预测混入两种证据：条件与草稿其余部分提供的上下文支持，以及观察 token 自身的通道似然（似然比 $\kappa_\alpha=\frac{N\alpha}{1-\alpha}+1$，例如 $\alpha=0.9$、$N=18$ 时约 181:1，足以压过 1:5 的上下文比数）。Proposition 1 证明 $\Pr(x_i=v\mid c,s,\alpha)=\frac{k_\alpha(s_i,v)\,\dot{e}^{*}_i(v\mid c,s_{-i},\alpha)}{\sum_u k_\alpha(s_i,u)\,\dot{e}^{*}_i(u)}$，除以已知似然再归一化（式 8）即可恢复空腔条件；对最优预测器，$\alpha_s\to1$ 时能量收敛到负对数伪似然。这与已有方法的本质区别在于：伪似然打分（Salazar et al. 2020）需要对每个位置单独删除再前向共 $L$ 次，hollow network 需要架构改造输出 leave-one-out 条件，而这里利用通道可逆性一次前向得到全部位置的估计。核心创新点之二是能量控制的精化循环：修订是提案不是接受；评估用一次全新的前向在修订后的语境中读取候选，而非复用产生它的那些预测（它们条件于修订前的草稿）；只有能量严格降低才替换，从而保证保留草稿的能量单调不增且始终是已见候选的最优者。与扩散方法的区别是信任调度换成了模型与能量共同决定；与 SUNDAE 的区别是无条件接受换成了能量门控。
方法步骤详情
完整流程如下。第一步（训练）：输入是条件 $c$、被均匀破坏的完整草稿 $s$ 和以 $\{\sin(\pi k(1-\alpha)),\cos(\pi k(1-\alpha))\}_{k=1}^{5}$ 编码并经两层 MLP 注入画布嵌入的噪声级；输出是每个位置在画布字母表上的 clean-token 分布；损失覆盖包括 padding 在内的全部 $L$ 个位置；架构为宽 192、14 层、4 头的双向 pre-LN Transformer，共 6.27–6.59M 参数，AdamW 学习率 $10^{-3}$，训练 300M 序列（Maze-Hard 50M），硬件 4× RTX A6000。第二步（初始化）：第一轮 $\rho=0$，重噪声画布是均匀随机序列，与占位符无关。第三步（提议）：后续每轮以 $\rho_e$（Maze 0.7，Countdown/Sudoku 0.1）重噪声保留草稿，注意实际改变的位置比例是 $(1-\rho_e)(1-1/N)$；沿线性内调度 $\beta_j=\rho+\frac{j-1}{J-1}(\alpha_s-\rho)$ 依次应用 $F_{\beta_1},\dots,F_{\beta_{J-1}}$，每个 pass 是一次批量前向、所有位置同步更新。第四步（读取）：第 $J$ 个 pass 不更新任何 token，只以 $\alpha_s$ 为输入级别对完成的候选做一次 fresh forward，在 logit 空间用数值稳定形式 $E=\sum_i\mathrm{softplus}\big(\log\kappa_{\alpha_s}+\mathrm{logsumexp}_{v\neq s_i}h_{i,v}-h_{i,s_i}\big)$ 计算能量；候选含画布字母表之外的 token 记能量 $+\infty$。第五步（保留）：$E'<E$ 时替换 $(s,E)\leftarrow(s',E')$，否则原样保留并缓存能量继续精化。第六步（返回）：$R$ 轮后返回能量最低的保留草稿，每轮结束都有完整可用输出；默认预算 $R\times J=128$ 次模型评估（Countdown/Sudoku 32 轮×4 pass，Maze 16 轮×8 pass）。
技术新颖性
技术新颖性可从四个方面评估。第一，概念上的解耦：以往所有离散扩散工作（包括 remasking、corrector、Loopholing LDDM 等）都在某种程度上尊重或修补扩散转移，本文则证明均匀通道可以只当"数据增强器"用——训练目标从 NELBO 换成全位置 CE 后，模型学到的直接是全后验（而非 plug-in 反向参数化隐含的 leave-one-out 后验），生成完全不经过转移。第二，理论工具的迁移：把自旋玻璃的 cavity 概念变成工程打分器，并证明了精确恢复条件（Corollary 1）、比数形式（Corollary 2）与伪似然极限（Proposition 6），使"单次前向评估整份草稿"从启发式变成有贝叶斯保证的操作。第三，系统保证：propose–read–retain 给出确定性的 best-so-far 不变量（Proposition 7），保留草稿能量单调不增、每轮都是完整输出、能量可缓存免重算，这在迭代精化文献里少见。第四，诊断与归因的严谨性：Figure 3(a) 用"与自身最终输出的一致率"区分调度受限生成（MGDM/UDLM 的曲线紧跟 $\alpha_s$ 调度）与模型受限生成（DRLM 一轮后 98.4% 一致）；Table 3 的目标×解码器交叉消融用配对 bootstrap 区间把两个组件的贡献分开（解码器 +21.9/+29.7 点，目标 +7.8/+15.6 点），并对预测目标的差异做了可逆转换校正，这种归因实验在设计上超出同类论文的平均水准。
实验结果
核心发现可以按实验逐一分析。Countdown（Table 1，Pass@1）：DRLM（6M）在 CD-3/4/5 上分别达到 99.5%、87.6%、44.4%。CD-3 近乎完美，超 UDLM（98.7%）0.8 点；CD-4 上超最强扩散基线 UDLM（73.3%）14.3 点、超 LLaMA-13B SFT（51.1%）36.5 点、超 LDDM（56.3%）31.3 点；CD-5 差距进一步拉大：44.4% 是最强扩散基线 LDDM（10.3%）的 4.3 倍（+34.1 点）、LLaMA-13B（7.4%）的 6.0 倍（+37.0 点），而 GPT-2 303M 从头训练只有 4.5%。Sudoku-Extreme（Table 2）：用全量 3.8M 题训练，DRLM 全对率 93.9%，超 UDLM（65.5%）28.4 点、超 LDDM（24.1%）69.8 点；LLaMA-13B LoRA 仅 1.6%；作为参照，小样本（1K）设置下的 TRM（7M）报告 74.7%、HRM（27M）55.0%。Maze-Hard（Table 2）：30×30 迷宫最短路径，DRLM 最优路径率 73.0%，超 LDDM（39.3%）33.7 点；UDLM 惨到 0.0%，作者归因于 NELBO 的权重把训练信号集中在近乎干净的画布上，对从纯噪声一次采样 1800 个 token 几乎不提供监督。机制层面：Figure 3(a) 显示 DRLM 第一轮后与最终输出一致率达 98.4%，而 MGDM/UDLM 的中间态一致率紧跟调度曲线；Figure 3(b) 显示 CD-4 一次模型调用后即 69.8%、两次后 81.1%（已超 UDLM 最终的 73.3%），CD-5 首次调用 14.0% 就超过 UDLM/MGDM 的最终成绩，32 轮持续升至 44.4%。消融层面：Table 3 在 CD-5、128 次评估的交叉显示精化解码器给 UDLM 模型带来 +29.7、给 DRLM 模型带来 +21.9，全位置 CE 目标在两种解码器下带来 +7.8/+15.6，四个效应的配对 bootstrap 区间都不含零；Table 4 显示无条件接受每个候选会把成绩拉回首轮水平（CD-5 44.4→24.0，Sudoku 93.9→68.6），每轮从纯噪声重启也只能恢复部分收益（Sudoku 77.0、Maze 66.2）；Table 8 显示空腔校正相对原始自 token 能量在 $\alpha_s=7/8$ 时带来 +5.2 点，且优势随 $\kappa_{\alpha_s}$ 增大而扩大到 +5.8；Table 11 显示 Pass@1 与 coverage（预算内出现过正确候选的比例 88.6/44.8/73.9）差距不足 1 点，最后一轮接受率仅 0.10–1.93%，说明能量筛选几乎不丢正确候选，瓶颈在提议而非评估。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Countdown-3（算术推理，3 个输入数） | Pass@1 (%) | 99.5 | UDLM (6M) 98.7 | +0.8 pt |
| Countdown-4 | Pass@1 (%) | 87.6 | UDLM (6M) 73.3；LLaMA-13B SFT 51.1 | +14.3 pt（对最强扩散基线）；+36.5 pt（对 13B 自回归） |
| Countdown-5 | Pass@1 (%) | 44.4 | LDDM (6M) 10.3；LLaMA-13B SFT 7.4 | +34.1 pt（4.3×）；+37.0 pt（6.0×） |
| Sudoku-Extreme（全量 3.8M 训练） | 全对解率 (%) | 93.9 | UDLM (6M) 65.5；LDDM (6M) 24.1；LLaMA-13B LoRA 1.6 | +28.4 pt（对最强扩散基线） |
| Maze-Hard（30×30 最短路径） | 最优路径率 (%) | 73.0 | LDDM (6M) 39.3；MGDM (6M) 10.4；UDLM (6M) 0.0 | +33.7 pt |
| Sudoku-Extreme（空腔校正消融，$\alpha_s$=7/8） | Pass@1 (%) | 93.9（cavity 能量） | 88.7（raw 自 token 能量） | +5.2 pt |
| Countdown-5（目标×解码器交叉消融） | Pass@1 (%) @128 评估 | 44.4（CE 目标+精化解码器） | 6.9（NELBO 目标+ancestral 采样器） | +37.5 pt，两组件各自贡献显著 |
局限与改进
作者承认的局限：空腔能量被明确定位为"学习到的、噪声平滑的伪似然分数"而非正确性证书——它衡量模型估计的上下文支持度，不等于算术或约束有效性；排序错误罕见但确实存在，Table 13 第三例中有效草稿（能量 2.40）被无效候选（能量 2.00）替换，Figure 6 中迷宫的有效最短路径被一条多出一格的更低能量候选替换。此外 Proposition 7 只保证 best-so-far 能量不增，不构成停止条件，也不保证全局最优。我自己的观察：第一，任务域很窄——三个基准都是固定长度、小词表（画布字母表 $N=5\sim18$）的符号网格或表达式任务，最大画布 900 token，方法在自由文本生成、大词表、变长输出上的表现完全未验证。第二，与 HRM/TRM 的对比不完全对等：Sudoku 上 TRM/HRM 的数字来自 1K 小样本训练设置（表中以 † 标注），Maze 上 TRM 的指标要求与单一参考路径精确匹配而本文用 BFS 验证接受任意最短路，因此 73.0 vs 85.3 不能直接读成"本文更差"，反之亦然。第三，超参敏感性与任务特异性：Maze 用 $\rho_e=0.7$ 而其他任务用 0.1，Table 9 显示 CD-5 在 $\rho_e=0.3$ 时从 44.4 掉到 35.5、$J=2$ 时掉到 26.3；读级别固定在内部值 $\alpha_s=7/8$，因为 $\alpha_s\to1$ 时 $\log\kappa_{\alpha_s}$ 发散会放大 $1-d_i$ 的预测误差，$\alpha_s=0$ 则退化为只看条件的边缘分布。第四，训练成本不透明处在于每任务独立从头训练 300M 序列，没有展示迁移、适配预训练模型或跨任务共享的可能性。
独立分析的弱点
弱点一：能量排序错误的系统性风险。失败案例表明学习到的能量可能偏爱"局部流畅但全局无效"的候选：Countdown 中 $47-42=5,\ 14+5=9,\ 9*9=81$（$14+5=9$ 算术错误）能量 2.00，低于正确的 $14-5=9$ 版本的 2.40，导致有效解被替换。改进方向：引入轻量外部验证器（算式检查、约束违反计数）与能量做加权混合，或给模型加一个显式预测约束违反数的辅助头，让能量与可验证信号互为备份。弱点二：重噪声是全局且与错误位置无关的。$\rho_e=0.1$ 意味着 Sudoku 每轮约 80% 的位置被重写，大量算力花在已经正确的区域（附录 I：一次成功修复的中位数改动高达 28/81 格；Maze 用 $\rho_e=0.7$ 才把中位改动压到 2.5/900 格）。改进方向：利用空腔逐位置支持度做选择性重噪声——支持度低（能量项高）的位置多噪声、高的少噪声，形成"按需重写"的自适应机制。弱点三：提议图 $F_\alpha$ 取 argmax 是确定性的，单轮内缺乏多样性，多样性只能来自重噪声的随机性；对需要探索的任务（CD-5 的 coverage 仅 44.8%）这是硬瓶颈。改进方向：提议时改为采样或温度化 argmax，利用已实现的批量形式（Algorithm 2）并行维护多条候选链取能量最低。弱点四：$\alpha=0$ 端点外推：训练从不采样 $\alpha=0$，而第一轮恰好要在均匀随机画布上应用 $F_0$，依赖连续性外推，Pass@1 在不同解码种子间波动 69.4–70.2%。改进方向：训练分布纳入端点，或为第一轮设计专门的条件输入。弱点五：完全从头训练、无预训练。6M 参数模型只在小型符号任务上验证，未回答该方法能否嫁接到预训练双向模型或扩散语言模型上，这限制了其现实影响力的评估。
未来方向
作者明确提出或暗示的方向：把精化解码器当作即插即用组件套在现有扩散模型上——Table 3 显示仅给 UDLM 模型换上精化解码器就从 6.9% 升到 36.6%（+29.7 点），说明这个解码器本身是可以独立输出的技术；与 HRM/TRM 的递归思路结合——DRLM 的"递归状态"是完整离散草稿，每轮候选直接可读可解释，可与潜变量递归（TRM/PTRM）互补形成混合架构。基于本文成果可以延伸的方向：第一，自然语言与大词表检验：$\kappa_{\alpha_s}=1+\frac{N\alpha_s}{1-\alpha_s}$ 随词表大小线性增长，大词表下自证据校正更强也更依赖 $1-d_i$ 的精度，值得在翻译、代码生成上系统评估空腔能量的稳健性；第二，与随机搜索结合：当前接受准则是贪心的严格下降，可放宽为 Metropolis 准则以逃离能量局部极小，或把空腔能量用作束搜索/最佳优先搜索的启发式；第三，理论补全：精化循环的收敛速度、能量景观与任务难度的关系、以及伪似然近似误差如何随 $\alpha_s$ 与模型容量变化，都尚未回答；第四，结构化预测应用：分子生成、蛋白质序列设计、表格填充、约束求解等天然具有"固定画布 + 全局约束"性质的任务与该方法高度匹配；第五，预算自适应：Table 11 显示 Pass@1 与 coverage 差距不足 1 点且最后轮接受率低于 2%，说明可以设计能量平台检测或置信度驱动的提前停止规则，把节省的算力转投给更多并行候选链。
复现评估
复现条件评估为中等偏易，论文在实现细节的完整度上明显高于平均水平。有利因素：模型极小（6.27–6.59M 参数），训练硬件仅 4× RTX A6000，训练预算 300M 序列（约 1.17M 步，Maze 50M），消费级工作站数小时至一天量级可完成；全部数据公开且规模不大（Countdown 用 MGDM 发布的 500k split、Sudoku-Extreme 用 HRM 发布的 3.83M/422,786 split、Maze 1000×8 对称增强）；基线中 UDLM/SUNDAE 用作者自己的骨干复现、MGDM/LDDM 用官方代码，对比设置交代清楚；解码配置完整给出（Table 5：$R\times J$、$\alpha_s=7/8$、$\rho_e$、精确接受准则、3 个解码种子 1001–1003）；附录 E.5 给出了数值稳定的 logit 空间实现伪代码（bf16 前向 + fp32 log-softmax，与 float64 参考的最大偏差 7×10⁻⁵），附录 D/F 给出了 tie-breaking、padding 位置的损失覆盖、$\alpha=0$ 端点等易错细节；所有消融报告 3 种子标准差，Sudoku 的超参选择在 2000 题子样本上完成并在其余 420,786 题上验证（93.9±0.0），不存在测试集调参问题。不利因素：论文未明确给出代码开源链接（正文与附录均未见），因此能量计算、调度与批处理的实现需要按文字复刻；从零复刻的风险点集中在 logit 空间能量实现的数值细节、提议 pass 与读取 pass 的隔离（读取不得复用提议时的预测）、以及非画布 token 记 $+\infty$ 能量等约定上，作者提供的信息足以支持谨慎的独立复现。
论文图表
第 2 轮保留了有效的最短路径（能量 1.04），第 3 轮提议了同一路径但多出一个格的候选，因其能量更低（0.16）而被保留，最终输出无效。
最直接的失败案例：证明空腔能量只是学习到的上下文支持度而非正确性证书，为第 5-6 节关于局限性的讨论提供了具体证据。