局部自信、整体卡死：扩散语言模型中的质量-探索两难困境 Locally Confident, Globally Stuck: The Quality-Exploration Dilemma in Diffusion Language Models
提出IMH采样器，用全局前瞻校正解决dLLM解码中Pass@1与Pass@k的张力。
前置知识
扩散语言模型 (Diffusion Language Model, dLLM)
通过迭代去噪并行生成完整 token 序列的模型。从全 mask 序列 $x_T$ 出发，每步由 $p_\theta(\cdot \mid x_t)$ 同时预测所有 masked 位置，再选出部分位置 unmask，直到得到 $x_0$。训练目标是 ELBO 化简后的加权去噪交叉熵。
整篇论文研究的就是 dLLM 的解码策略。不理解 dLLM 与自回归 LLM 的根本差异——dLLM 可在任意位置并行去噪，理论上更适配复杂推理的非线性结构——就无法体会"质量-探索两难"为何是 dLLM 独有的问题。
置信门控 (Confidence Gating)
解码策略中的一类不确定度启发式：仅在位置 $i$ 的 marginal 满足 $\max_v p(v\mid s_t) \ge 1-\delta$ 时才 commit 该 token。常见变体 confidence/entropy/margin 在适当 $\delta$ 下都等价于此框架。
论文核心矛盾点就是置信门控：它能提升 Pass@1，但 mode-seeking 特性对序列熵加了 $H(X) \le L h_V(\delta)$ 上界，从原理上限制 Pass@k。这是理解 Proposition 1 和 2 的前提。
Pass@k 指标
$k$ 次独立采样中至少有一次正确的概率。用无偏估计 $\text{Pass@k} = \mathbb{E}[1 - \binom{n-c}{k}/\binom{n}{k}]$，$c$ 是 $n$ 次中正确数。Pass@1 度量单样本质量，Pass@k 度量多样性探索能力。
Pass@k 是论文统一评估 quality 与 exploration 的标尺。低 Pass@k 意味着即使模型支持多条正确路径，解码器也无法同时探索——这正是 confidence gating 的失败模式与 IMH 的解决对象。
独立 Metropolis-Hastings (Independent MH) 采样器
MCMC 特例：提议分布 $q(y\mid x)$ 与当前状态 $x$ 无关。对目标 $\pi$，接受率 $A(x\to y) = \min\{1, \pi(y)q(x)/[\pi(x)q(y)]\}$。提议接近目标时具有几何快速收敛保证 (Mengersen & Tweedie, 1996)。
IMH 是本文解码算法核心。利用"局部温度化提议"与"全局前瞻目标"仅相差一个 suffix-dependent 因子，使接受率化简为只依赖 suffix 修正项的指数，避免词表归一化，见公式 (10)。
均值场近似 (Mean-Field Approximation)
高维联合分布难计算时的常见做法：假设各维度条件独立 $q(x_{R(s')}\mid s') \approx \prod_{j} q(x_j\mid s')$。在 dLLM 中与 mask-prediction 目标的位置独立性天然契合。
没有这一近似，前瞻修正 $\Delta_{i,v}(s)$ 需对指数级 suffix 空间求和，完全不可行。均值场把它沿序列长度分解，$\hat\Delta_{i,v}(s)$ 只需一次网络前向——是 IMH 可部署的关键工程基础。
研究动机
扩散语言模型 (dLLM) 理论上支持任意顺序的 token 解码，更适合复杂推理的非线性结构。然而 confidence remasking 虽然显著提升 Pass@1，却在 Pass@k 上迅速饱和；random remasking 探索更广但单样本质量更差。论文 Figure 1 用 LLaDA-8B 在 MATH500 上展示这一典型 Pareto：Confidence Pass@1 约 70.0%、Pass@16 饱和于约 46.5%；Random Pass@1 仅约 34.9% 但 Pass@16 约 36.0%。在 AIME 2024 难度分层时 Confidence 系列基线在 Hard 段几乎坍塌为同一思路（trajectory similarity 73-83%），说明 myopic 的 confidence 选择让模型过早进入单一思路，根本无法触达 Hard 问题的可行解空间。
本文的目标是本文目标是为 dLLM 设计一种解码策略，在不牺牲 Pass@1 的前提下显著提升 Pass@k，从而突破 confidence remasking 带来的探索瓶颈。具体分为四个子目标：(1) 在理论层面给出 confidence gating 失败原因的统一定理——证明它只能优化一个 myopic 代理，且对序列熵施加 $\exp(h_V(\delta))$ 的硬上界；(2) 在分布层面形式化质量-探索 trade-off，刻画唯一一个能显式平衡两者的最优化目标 $p_\alpha^*(x) \propto q(x)^\alpha$；(3) 在算法层面给出一种 tractable 的 MCMC 采样器，可在 dLLM 解码过程中近似从该最优分布采样；(4) 在实验层面证明该方法在 LLaDA-8B 与 WeDLM-8B 两个 8B 规模 dLLM 上，横跨数学推理与代码生成四类基准，均能 Pareto 支配 confidence 系列基线。
与已有工作不同的是，现有工作要么是提出新的 uncertainty 启发式（Confidence / Entropy / Margin / Top-k），本质都属于 confidence gating 家族，仍受限于 mode-seeking 行为；要么是把 MCMC 用于自回归 LLM（Karan & Du, 2025），无法直接迁移到 dLLM，因为 dLLM 的 joint likelihood $q(x)$ 本身就是 intractable 的，使标准 sequence-level MCMC 完全失效。本文从"局部边际 + 后缀前瞻"两个角度同时出发，推导 power distribution 在 dLLM 中对应的 corrected conditional（公式 (7)），用均值场近似把 intractable 的 suffix summation 化为可单次网络前向的 $\hat\Delta_{i,v}(s)$，最后通过 IMH 把局部温度化提议与全局前瞻以零序列化开销对齐。这种"global tempering + batched IMH"既避免求 $q(x)$ 的困难，又绕开熵崩溃。
核心方法
方法核心直觉：confidence gating 只看当前 marginal 熵，等价于"先把最有把握的字写下来"，但完全忽视写字之后还能写出什么样的句子。技术上把"质量"与"探索"形式化为对完整序列分布 $p$ 的熵正则优化 $\max \alpha \mathbb{E}_p[\log q] + H(p)$，唯一解是 power distribution $p_\alpha^* \propto q^\alpha$。边际化得校正条件分布，分母含 suffix lookahead $\Delta_{i,v}(s)$（衡量 commit $v$ 后剩余 tempered mass），天然偏好"后缀空间保留更多 promising continuation"的词。通过均值场近似 $\prod_j q(x_j\mid s')$，$\hat\Delta_{i,v}(s)$ 仅靠一次网络前向可计算。采样用 locally tempered logits 作 IMH 提议，提议与目标共享 $\alpha\ell$ 使接受率化简为两候选 suffix 修正差，避免词表归一化运算。
本文核心创新是把 dLLM 的"质量-探索"问题转化为对全局最优分布 $p_\alpha^* \propto q^\alpha$ 的采样问题，并利用独立 Metropolis-Hastings 把提议与目标共享 $\alpha\ell$ 项的结构特性，使接受概率只需比较 suffix 修正项。三个本质区别：(1) 与 confidence/entropy/margin 家族相比，IMH 的决策依据从"当前 marginal 不确定性"扩展到"当前 marginal + 后缀展开空间的全局潜力"，理论上不受 $H(X) \le L h_V(\delta)$ 的熵上界约束；(2) 与 random remasking 相比，IMH 通过 $\alpha$ 控制 trade-off，既保留高质量先验又保持多样性；(3) 与 AR LLM 上的 sequence-level MCMC 相比，IMH 通过边际化+均值场把全局信息压缩到 1D 词汇级 categorical 分布上的 IMH 采样，规避 dLLM 联合似然不可计算的困难，batching 实现零序列化开销。
方法步骤详情
方法分四阶段。第一阶段推导最优目标：求 $\max \alpha \mathbb{E}_p[\log q] + H(p)$ 的 Lagrangian，得 $p_\alpha^*(x) \propto q(x)^\alpha$。第二阶段计算校正条件：边际化得公式 (7) $p_\alpha^*(x_i=v\mid s) \propto \exp(\alpha \ell_{i,v}(s) + \Delta_{i,v}(s))$，分母含 suffix lookahead。第三阶段均值场近似：用位置独立替代 joint 得 tractable 的 $\hat\Delta_{i,v}(s)$，只需一次额外前向。第四阶段 batched IMH：从 $r_i = \text{softmax}(\alpha \ell_i(s))$ 采 $T$ 候选，batched 前向算各候选 $\hat\Delta$，以 $\min\{1, \exp(\hat\Delta_{i,y}(s) - \hat\Delta_{i,x}(s))\}$ 接受率决定替换。WeDLM suffix 窗口限 16 tokens。
技术新颖性
技术新颖性体现在三个层面。第一，理论层面：首次把 confidence gating 失败原因统一为"只能优化 GenPPL 不能优化探索"，以 Proposition 1（GenPPL 上界 $\exp(h_V(\delta))$）和 Proposition 2（序列熵上界 $L \cdot h_V(\delta)$）形式给出严格刻画，把零散经验观察提炼为带 $\delta$ 与 $|V|$ 显式依赖的定理。第二，优化层面：首次在 dLLM 上写出 power distribution 作为最优目标的具体形式，并通过边际化推导其在 dLLM 解码中的"校正条件分布"精确表达式——这是论文最关键的数学贡献，把序列级不可计算的优化问题降维到词表级可处理问题。第三，算法层面：均值场近似 + 独立 MH 的组合是 dLLM-specific 的，利用"提议与目标共享 $\alpha\ell$"使接受率无需归一化词表，batched forward pass 实现零额外串行开销。相比 Karan & Du (2025) 必须访问完整序列似然，本方案首次让 MCMC 在 dLLM 场景下实用化。
实验结果
实验在 LLaDA-8B-Instruct 与 WeDLM-8B 上跨七基准展开。第一层 (Table 2)：LLaDA-8B MATH500 IMH Pass@1 0.360 / Pass@k 0.700（vs Confidence 0.349/0.465，Pass@k +23.5pp）；HumanEval 0.385/0.695（+12.2pp）；MBPP 0.469/0.778（+13.3pp）。WeDLM-8B AIME'24 0.095/0.344（vs Entropy 0.093/0.310，+3.4pp）；AIME'25 0.074/0.344（+5.3pp）；MBPP+ 0.664/0.836（+9.7pp）。第二层 (Figure 2)：所有 k 上 IMH 曲线一致高于基线。第三层 (Figure 3)：AIME'24 Hard 段 IMH 提升最显著；trajectory similarity 显示 confidence 系列两两 73-83%，IMH 仅 68-72%。Table 3：T=7 已饱和，接受率 ≥ 97.2% 验证几何收敛。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH500 (LLaDA-8B) | Pass@1 / Pass@k | IMH Pass@1 0.360 / Pass@k 0.700 | Confidence Pass@1 0.349 / Pass@k 0.465; Entropy Pass@1 0.294 / Pass@k 0.606; Margin Pass@1 0.286 / Pass@k 0.594; Random Pass@1 0.251 / Pass@k 0.630 | Pass@1 比最强 confidence 基线高 +1.1pp，Pass@k 比 confidence 高 +23.5pp 且全面优于其他基线 |
| HumanEval (LLaDA-8B) | Pass@1 / Pass@k | IMH Pass@1 0.385 / Pass@k 0.695 | Confidence Pass@1 0.410 / Pass@k 0.573; Entropy Pass@1 0.387 / Pass@k 0.670; Margin Pass@1 0.350 / Pass@k 0.610 | Pass@1 仅略低于 confidence 2.5pp，但 Pass@k 提升 +12.2pp，实现 quality 几乎持平但 exploration 大幅提升 |
| MBPP (LLaDA-8B) | Pass@1 / Pass@k | IMH Pass@1 0.469 / Pass@k 0.778 | Confidence Pass@1 0.484 / Pass@k 0.645; Entropy Pass@1 0.444 / Pass@k 0.751; Margin Pass@1 0.451 / Pass@k 0.716 | Pass@k 全面领先，比 confidence 高 +13.3pp，Pass@1 仅落后 1.5pp |
| MATH500 (WeDLM-8B) | Pass@1 / Pass@k | IMH Pass@1 0.540 / Pass@k 0.875 | Entropy Pass@1 0.528 / Pass@k 0.875; Confidence Pass@1 0.528 / Pass@k 0.851; Margin Pass@1 0.393 / Pass@k 0.838 | Pass@1 比最强 baseline 高 +1.2pp；Pass@k 与 Entropy 持平但优于 Confidence 与 Margin |
| AIME 2024 (WeDLM-8B) | Pass@1 / Pass@k | IMH Pass@1 0.095 / Pass@k 0.344 | Entropy Pass@1 0.093 / Pass@k 0.310; Confidence Pass@1 0.079 / Pass@k 0.323; Margin Pass@1 0.058 / Pass@k 0.296 | Pass@1 +0.2pp / Pass@k +3.4pp，IMH 在最具挑战性的 AIME 基准上同时领先 |
| AIME 2025 (WeDLM-8B) | Pass@1 / Pass@k | IMH Pass@1 0.074 / Pass@k 0.344 | Entropy Pass@1 0.071 / Pass@k 0.291; Confidence Pass@1 0.074 / Pass@k 0.292; Margin Pass@1 0.031 / Pass@k 0.269 | Pass@k 显著领先 +5.3pp，Pass@1 与 Confidence 持平，体现新基准上同样的探索优势 |
| HumanEval (WeDLM-8B) | Pass@1 / Pass@k | IMH Pass@1 0.745 / Pass@k 0.962 | Entropy Pass@1 0.732 / Pass@k 0.950; Confidence Pass@1 0.725 / Pass@k 0.905; Margin Pass@1 0.584 / Pass@k 0.903 | Pass@1 +1.3pp 与 Pass@k +1.2pp 同时领先所有基线 |
| MBPP+ (WeDLM-8B) | Pass@1 / Pass@k | IMH Pass@1 0.664 / Pass@k 0.836 | Entropy Pass@1 0.677 / Pass@k 0.739; Confidence Pass@1 0.598 / Pass@k 0.717; Margin Pass@1 0.490 / Pass@k 0.643 | Pass@k 比 Entropy 高 +9.7pp，Pass@1 仅低 1.3pp |
| IMH 链长收敛性 (WeDLM-8B on AIME 2024) | Pass@1 / Pass@8 / Acceptance Rate | T=7: Pass@1 11.4 / Pass@8 24.0 / Acc 98.3%; T=31: Pass@1 11.0 / Pass@8 24.5 / Acc 97.2% | T=1: Pass@1 9.5 / Pass@8 23.1 / Acc 99.3%; Baseline (无 IMH): Pass@1 9.4 / Pass@8 21.4 | T=7 即饱和，T=7 vs T=1 Pass@1 +1.9pp，Pass@8 +0.9pp；Acc 始终 >97% 验证几何收敛 |
局限与改进
作者未专门设 Limitations 小节，但可观察到以下限制。第一，suffix lookahead 计算成本：WeDLM suffix window 限制为 16 tokens 已是妥协，长序列全局信息可能被截断。第二，均值场近似精度边界：精确 $\Delta_{i,v}(s)$ 包含位置相关性，$\hat\Delta_{i,v}(s)$ 强制独立，论文承认近似但未给误差上界；强依赖推理链下可能失真。第三，实验广度有限：仅在两个 8B dLLM 上验证，未在更大规模或连续时间 dLLM（MDLM/SDDM）测试；baseline 只覆盖 confidence gating 与 random，未与 RL-tuned、ToT 等推理增强方法对比。第四，$\alpha$ 与 temperature 耦合：固定 local temperature 0.5 后扫 $\alpha$ 做 Pareto，但两者耦合关系未深入分析。第五，trajectory similarity 仅在 AIME 2024 一次抽样由 LLM judge 打分，68-72 vs 73-83 差距需更多抽样验证。
独立分析的弱点
独立审视可识别四个具体弱点。第一，IMH 候选数 T 是核心超参但缺乏自适应策略：T=7 已接近饱和，但 LLaDA 上未做相同消融；改进方向是让 T 根据当前 step 预测熵自适应（高熵时增加候选），既保性能又省算力。第二，suffix lookahead 在长序列（>512 tokens）上计算/内存开销显著上升，未报告长上下文 scaling 行为；改进方向是引入分层 lookahead（短窗口精确 + 长窗口粗糙）或与 KV-cache 复用结合。第三，均值场近似在强依赖任务上可能严重失真且无检测机制；改进方向是当 $\hat\Delta$ 位置间方差异常高时回退到 confidence gating，或训练辅助"依赖强度"估计器自动切换。第四，Figure 3 相似度矩阵仅基于 AIME 2024 的 30 道题且只用 LLM judge 一次抽样，统计意义弱；改进方向是对每个方法在同一问题上采样 16 条轨迹并用 sentence embedding 计算余弦相似度。
未来方向
作者在 Section 5 暗示扩展方向，可延伸四条路径。(1)把 $\alpha$ 改造为位置或上下文相关：本文 $\alpha$ 是全局超参，可探索 attention-conditioned $\alpha(s)$ 让温度自适应。(2)与 RL post-training 协同：dLLM 通常配合 RL（如 GRPO）做 reasoning 训练，IMH 的 lookahead 已在做隐式 self-evaluation，可把 $\hat\Delta_{i,v}(s)$ 用作 RL reward 的 dense signal。(3)拓展到连续时间 dLLM：Score-based / flow-matching 类的连续时间 dLLM 同样存在 mode-collapse，可把 $\hat\Delta$ 类比推广到 score function 上的校正。(4)更大规模验证：需验证 IMH 在 70B 或经 RLHF 后是否仍维持 Pareto 优势，与 prefix-cache、speculative decoding 等推理加速技术的兼容性。
复现评估
复现评估分四方面。开源情况：论文未声明代码与 checkpoint 开源，只提到 IMH 不需额外训练，理论上有利复现，但 batching 策略与 WeDLM 16-token suffix window 实现细节需从 Section B-E 复刻。数据：MATH500、AIME'24/25、HumanEval、MBPP 均为公开基准，LLaDA-8B-Instruct 与 WeDLM-8B 权重在 HuggingFace 公开。算力：每个 benchmark 需采样 32（LLaDA）或 128（WeDLM）条轨迹，8B dLLM 在 8 张 A100/H100 上做 Pass@16 已不小；IMH 每位置 T 次额外候选前向（T=7-31）相比 baseline 推理时间增加 T 倍。复现难度：方法涉及 MCMC、均值场近似、batched forward pass 三块独立技术，需修改 dLLM decoding loop。中小团队可在 MATH500 与 HumanEval 复现 Pass@1 趋势。
论文图表
在 MATH500 上对比 Confidence remasking、Random remasking 与作者方法在 Pass@1 到 Pass@16 上的曲线。Confidence 在 Pass@1 约 70% 但 Pass@16 迅速饱和于约 46.5%；Random 在 Pass@1 仅约 34.9% 但 Pass@16 约 36.0%；Ours 在 Pass@1 约 63.0%、Pass@16 维持最高，曲线严格 Pareto 支配另外两条。
这是论文标题中"Quality-Exploration Dilemma"的视觉证据，直接展示 confidence gating 的具体失败模式与作者方法的优势，是 motivation 与 results 章节都必须引用的一张核心图。