灵活性陷阱：任意顺序生成如何限制扩散语言模型的推理潜力

扩散语言模型的任意顺序生成反而限制推理，用标准GRPO效果更佳

前置知识

扩散语言模型 (dLLM)

扩散语言模型是一类将离散文本生成建模为去噪过程的新型语言模型。与传统自回归模型从左到右逐个生成token不同，dLLM从完全掩码的状态 $x_1$（所有位置都是[MASK]）出发，通过迭代地预测并恢复被掩码的token来生成序列。训练时，模型学习在不同掩码比例 $t \in [0,1]$ 下预测原始token，损失函数为掩码位置的加权交叉熵：$\mathcal{L}_{MDM}(\theta) = -\mathbb{E}_{t, x_t} \left[ \frac{1}{t} \sum_{k} \mathbb{1}[x_{t,k} = \text{[MASK]}] \log p_\theta(x_{0,k} | x_t) \right]$。代表模型包括LLaDA、Dream等。

本文的核心研究对象就是dLLM，理解其基本原理是理解论文发现的前提

任意顺序生成 (Arbitrary Order Generation)

dLLM的一个关键特性，允许模型在生成时不必遵循严格的从左到右顺序，而是可以根据置信度自适应地选择下一个要恢复的token位置。这种灵活性理论上意味着解空间是自回归模型的超集。实践中通常采用半自回归协议：将序列分成大小为 $B$ 的块，块内自适应选择token。块大小 $B$ 控制顺序自由度，$B=1$ 退化为纯自回归，$B=32$ 是常用设置。

论文的核心发现就是这个特性在推理任务中实际上是有害的，这是反直觉的核心

Group Relative Policy Optimization (GRPO)

GRPO是一种强化学习算法，通过组内相对奖励归一化来避免值函数估计。对于每个查询 $q$，从旧策略 $\pi_{\theta_{old}}$ 采样一组 $G$ 个输出，计算优势估计 $\hat{A}_{i,k} = (r(o_i) - \mu_G) / \sigma_G$，然后最大化裁剪代理目标：$J(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i} \frac{1}{|o_i|} \sum_{k} \min(\rho_{i,k} \hat{A}_{i,k}, \text{clip}(\rho_{i,k}, 1-\epsilon, 1+\epsilon) \hat{A}_{i,k}) - \beta D_{KL} \right]$，其中 $\rho_{i,k}$ 是token级别的importance ratio。

JustGRPO的核心就是直接应用标准GRPO，不需要任何针对扩散模型的特殊修改

Pass@k 指标

Pass@k衡量在 $k$ 次独立采样中至少产生一个正确解的概率，是评估模型推理潜力的标准指标。其无偏估计器为：$\text{Pass@k} = \mathbb{E} \left[ 1 - \frac{\binom{n-c}{k}}{\binom{n}{k}} \right]$，其中 $n$ 是总采样数，$c$ 是正确解数。Pass@k被视为RL优化可达的解空间上界：高Pass@k表明正确推理轨迹在模型采样分布内，可通过RL学习。

论文用Pass@k来证明任意顺序生成的推理潜力低于自回归顺序，这是核心实验证据

熵退化 (Entropy Degradation)

论文提出的关键现象。在任意顺序生成中，模型倾向于优先生成低不确定性的token，绕过逻辑连接词等高熵的'分叉token'。当模型最终回来填补这些被跳过的连接词时，已建立的未来上下文显著降低了其不确定性。结果是：原本在分叉点处的高熵被抑制，模型不再是在导航一个分支点，而是在将连接词与预设结论对齐。

这是论文发现任意顺序限制推理潜力的核心机制解释

研究动机

扩散语言模型（dLLM）因其任意顺序生成能力而备受关注，理论上其解空间严格包含自回归模型的固定轨迹。社区普遍假设保留这种灵活性对于推理至关重要，因此现有强化学习方法投入大量复杂性来处理组合爆炸的去噪轨迹和难以处理的边际似然。例如，d1方法需要处理 $|T| = O(N!)$ 的轨迹空间，SPG和ESPO依赖ELBO代理目标而非原始目标，导致采样策略与优化目标不匹配。然而，论文发现对于数学推理和代码生成等通用推理任务，任意顺序生成反而限制了推理潜力。具体来说，在Pass@k指标下，任意顺序生成的scaling曲线明显比自回归顺序更平坦：在HumanEval上，当 $k=128$ 时，AR模式的Pass@k比任意顺序高出约16个百分点。更关键的是，在 $k=1024$ 时，21.3%的问题只能被AR模式解决，而仅有0.6%的问题只能被任意顺序解决。

本文的目标是本文的目标是重新审视任意顺序生成在通用推理任务中的价值，并提出一种更简单有效的强化学习方法来激发dLLM的推理能力。具体而言，作者希望：（1）通过Pass@k实证分析，量化对比任意顺序与自回归顺序的推理潜力边界；（2）揭示任意顺序限制推理的内在机制，特别是'熵退化'现象；（3）证明通过放弃任意顺序、直接应用标准GRPO，可以获得更强的推理性能，同时保留dLLM的并行解码能力。

与已有工作不同的是，本文的独特切入角度是质疑'任意顺序生成必然有益'这一广泛假设。与现有工作（如d1、ESPO、SPG、GDPO等）致力于在保留任意顺序的前提下设计复杂RL适配不同，本文反其道而行之，提出'灵活性陷阱'概念：灵活性本身可能是有害的。这一观察的关键洞见来自对'分叉token'（逻辑连接词如'Therefore'、'Since'）的分析——这些token是推理路径的分支点，任意顺序生成允许模型绕过这些关键决策点，导致推理空间坍缩。这种方法论上的转向——从'如何更好地利用灵活性'到'灵活性是否真的需要'——开辟了一个全新的研究视角。

核心方法

JustGRPO的核心思路极其简洁：在RL训练阶段，将dLLM当作自回归策略来处理，从而可以直接应用标准GRPO算法。直觉上，既然任意顺序生成限制了推理潜力（第3节的发现），那么与其花费大量工程复杂性来适配RL到任意顺序，不如直接放弃这种灵活性。技术路线分为三步：首先，通过实验发现任意顺序生成的Pass@k scaling曲线比AR更平坦，证明其推理潜力更低；其次，分析机制——任意顺序让模型绕过逻辑分叉token，导致'熵退化'；最后，提出JustGRPO：在训练时强制使用AR顺序采样，这样dLLM就变成了一个明确定义的自回归策略，可以直接计算精确似然并应用标准GRPO。关键的是，AR约束仅在训练阶段使用，模型架构（双向注意力、离散扩散公式）完全不变，因此在推理时仍可使用并行解码。

JustGRPO的核心创新在于'训练-解耦'思想：将推理能力的激发（受益于顺序探索）与推理执行（受益于并行解码）解耦。与现有方法的本质区别体现在三个方面：第一，现有方法假设保留任意顺序灵活性是必要的，因此必须处理组合爆炸的去噪轨迹空间 $|T| = O(N!)$ 和难以处理的边际似然 $\pi_\theta(o|q) = \sum_{\tau \in T} \pi_\theta(o, \tau | q)$；JustGRPO则直接放弃任意顺序，将问题简化为标准的token级别优化。第二，现有方法的采样策略（基于置信度的生成）与优化目标（模型分布的似然）存在不匹配；JustGRPO的采样和优化完全一致。第三，JustGRPO不需要任何扩散模型特定的RL适配——不需要辅助模块（如LLaDOU）、不需要ELBO近似（如SPG）、不需要树搜索（如d-TreeRPO）。

方法步骤详情

JustGRPO的方法步骤如下：（1）构建自回归策略 $\pi_{\theta}^{AR}$：对于给定历史 $o_{<k}$，构造输入 $\tilde{x}_k = [o_1, \ldots, o_{k-1}, \text{[MASK]}, \ldots, \text{[MASK]}]$，其中前 $k-1$ 个token是已知的，后续位置被掩码。从dLLM在位置 $k$ 的输出logits $f_{\theta,k}(\tilde{x}_k, q)$ 定义自回归策略：$\pi_{\theta}^{AR}(\cdot | o_{<k}, q) = \text{Softmax}(f_{\theta,k}(\tilde{x}_k, q))$。（2）计算序列似然：由于每步只关注下一个token，可以精确分解为 $\pi_{\theta}^{AR}(o|q) = \prod_{k=1}^{|o|} \pi_{\theta}^{AR}(o_k | o_{<k}, q)$，避免了对所有排列的边际化。（3）应用标准GRPO：对每个查询 $q$，从旧策略采样 $G$ 个输出，计算组标准化优势，最大化裁剪代理目标。训练时采样温度1.0，125步训练，全局batch size 64，组大小 $G=16$。（4）推理时：模型架构不变，仍可使用任意顺序或并行解码，训练中获得的推理能力完整保留。

技术新颖性

JustGRPO的技术新颖性体现在'以退为进'的哲学上。表面上看，'用标准GRPO'似乎没有技术创新，但这恰恰是论文最深刻的贡献——证明了现有方法的复杂性是不必要的。具体新颖性包括：（1）首次通过Pass@k系统性地量化证明任意顺序生成在通用推理任务中的劣势，推翻了'灵活性等于更强推理'的直觉假设；（2）提出'熵退化'机制解释，通过分析逻辑分叉token的熵变化揭示了任意顺序限制推理的内在原因；（3）证明AR训练仅为'脚手架'，不改变模型架构——训练后的模型在并行解码下性能反而更好，例如MBPP上从保守设置（1 token/step）的+10.6%提升到激进设置（~5 tokens/step）的+25.5%；（4）提出JustGRPO-Fast变体，仅在top-25%高熵位置计算importance ratio，在不损失性能的情况下显著加速训练。

实验结果

论文的核心发现可以归纳为四个方面。第一，任意顺序生成限制推理潜力：在LLaDA-Instruct上，AR模式在HumanEval的Pass@128达到83.0%，而任意顺序仅为67.1%；在MATH-500上，AR模式Pass@128为75.6%，任意顺序为71.4%。更关键的是，解空间覆盖分析显示在HumanEval上，21.3%的问题只能被AR模式解决（k=1024），而仅0.6%只能被任意顺序解决。第二，块大小与推理潜力负相关：在HumanEval上，当块大小 $B$ 从1（纯AR）增加到32时，Pass@k在所有 $k \in \{8, 32, 128\}$ 上都单调下降。第三，熵退化是核心机制：在MATH-500上，虽然全局平均token熵相近，但逻辑连接词（如'Therefore'、'Thus'、'Since'）在任意顺序下的熵显著低于AR模式。第四，JustGRPO性能强劲：在GSM8K上达到89.1%（seq len 256），超过所有基线方法；在MATH-500上达到45.1%；在HumanEval上达到49.4%；在MBPP上达到52.4%。更重要的是，JustGRPO完全保留了并行解码能力，在高并行度下性能增益更大。

查看结构化数据

任务	指标	本文	基线	提升
GSM8K（数学推理）	Accuracy (%)	89.1%（seq len 256）	ESPO 82.3%, SPG 86.1%, GDPO 82.8%, d1 81.1%	+3.0% over SPG, +6.8% over ESPO
MATH-500（数学推理）	Accuracy (%)	45.1%（seq len 256）	ESPO 39.0%, SPG 40.0%, GDPO 39.6%, d1 38.6%	+5.1% over SPG, +6.1% over ESPO
HumanEval（代码生成）	Pass@1 (%)	49.4%（seq len 256）	ESPO 42.1%, GDPO 39.6%, LLaDA-1.5 39.6%	+7.3% over ESPO, +9.8% over GDPO
MBPP（代码生成）	Pass@1 (%)	52.4%（seq len 256）	ESPO 44.6%, GDPO 50.6%, LLaDA-1.5 39.9%	+7.8% over ESPO, +1.8% over GDPO

局限与改进

论文存在几个重要局限性。首先，实验主要在LLaDA-Instruct（8B参数）上进行，虽然也测试了Dream-Instruct和LLaDA-1.5的Pass@k，但系统级比较仅在单一基座模型上完成，结论对更大规模模型（如70B+）的泛化性有待验证。其次，训练数据集相对较小（数学任务用官方训练集，代码任务用21K样本），对于更复杂推理任务的效果未知。第三，JustGRPO在单步生成（k=1）时的性能优势不如在高k值时明显，这意味着在实际部署场景（通常只生成一个答案）中，优势可能没有Pass@k分析显示的那么大。第四，论文承认AR训练引入了额外的每步计算开销（需要独立计算每个位置的概率比），虽然JustGRPO-Fast通过仅计算top-25%高熵位置缓解了这个问题，但仍比某些近似方法（如ESPO）的每步开销大。第五，论文未充分探讨'熵退化'现象是否可以通过其他方式（如温度调整、特殊采样策略）缓解，而非完全放弃任意顺序。

独立分析的弱点

论文存在几个值得深入分析的弱点。第一，Pass@k作为推理潜力代理指标的假设——论文假设'RL主要起到锐化基座模型分布的作用'，因此Pass@k是RL可达性能的上界。但这个假设并非普遍成立，RL可能发现训练分布外的新解，特别是在探索策略设计恰当时。改进方向：结合实际RL训练后的性能对比，而非仅依赖Pass@k。第二，任意顺序生成的温度敏感性——论文在附录B.1中发现任意顺序在更高温度（T>1.0）下表现更好，但未深入探讨是否存在某种温度-采样策略组合能让任意顺序匹配AR性能。改进方向：系统性搜索温度-采样算法空间。第三，'分叉token'的定义不够形式化——论文依赖人工观察'逻辑连接词'，缺乏自动化检测机制。改进方向：开发基于梯度或注意力的自动分叉token识别方法。第四，未对比随机顺序——虽然论文在附录D中补充了随机顺序实验，但这个重要的对比基线应纳入主实验。

未来方向

论文和作者提出了几个有前景的未来研究方向。第一，双向精炼能力的探索——作者在附录E中提到，JustGRPO仅将AR因子化作为训练脚手架，模型的双向行为应该保留。结合CDLM等纠正方法和ParallelBench的双向上下文设置，探索dLLM能否迭代精炼和修正已生成的输出，这是一个有前景的方向。第二，混合训练策略——当前的'纯AR训练'是极端选择，可以探索在训练早期使用AR顺序（获得强推理能力），后期逐步引入任意顺序（适配并行解码）的课程学习策略。第三，扩展到更多任务类型——当前实验集中在数学和代码，对于创意写作、开放域问答等任务，任意顺序可能仍有价值，需要任务特定的分析。第四，理论分析——从信息论角度形式化'熵退化'现象，建立任意顺序与推理能力之间的理论联系。第五，结合模型规模——研究随着模型规模增大，灵活性陷阱效应是否加剧或缓解。

复现评估

论文的复现性总体良好。代码和检查点：作者提供了项目页面 https://nzl-thu.github.io/the-flexibility-trap，但未明确说明是否开源完整训练代码。数据集：使用公开可用的数据集（GSM8K、MATH-500、HumanEval、MBPP的官方训练集，以及AceCoder-87K），数据准备流程描述清晰。算力需求：实验在16×NVIDIA H100 GPU上进行，训练125步，对于学术实验室来说算力门槛较高但并非不可及。关键超参数完全公开（学习率 $5 \times 10^{-6}$，batch size 64，组大小16等）。复现难度：方法本身极其简单（标准GRPO），主要挑战在于获取基座模型（LLaDA-Instruct 8B）和足够的算力。论文还提供了详细的附录，包括训练超参数表（Table 3）和奖励函数设计，进一步降低了复现门槛。

灵活性陷阱：任意顺序生成如何限制扩散语言模型的推理潜力 The Flexibility Trap: Why Arbitrary Order Limits Reasoning Potential in Diffusion Language Models