FourierSampler：通过频域引导生成释放扩散语言模型的非自回归潜力 FourierSampler: Unlocking Non-Autoregressive Potential in Diffusion Language Models via Frequency-Guided Generation
基于频域滑动窗口引导dLLM实现结构到细节的解码策略
前置知识
扩散语言模型 (dLLM)
扩散语言模型是一类非自回归的语言生成模型，与传统自回归模型从左到右逐token生成不同，dLLM采用任意顺序的生成策略。典型代表包括LLaDA和SDAR等模型。在生成过程中，模型从完全遮蔽的序列开始，通过迭代去掩码（unmasking）逐步生成文本。这种设计允许模型在每一步都能利用全局双向上下文信息，而非仅依赖左侧历史。dLLM在文本填充、可控生成等任务中展现出独特优势。
本文的核心研究对象就是dLLM，理解其基本工作原理是理解FourierSampler方法设计动机的前提。
傅里叶变换与频域分析
傅里叶变换是将时域（或空间域）信号转换为频域表示的数学工具。在本文中，作者对隐藏状态序列维度应用实值傅里叶变换（Real-valued Fourier Transform），将token序列表示分解为不同频率的分量。低频分量反映序列中的全局趋势和长距离依赖关系，高频分量则编码局部细节和短距离变化。通过频域滤波和逆变换，可以提取特定频率范围的信息。
这是本文方法的理论基础——FourierSampler的核心创新就是利用频域分析来指导解码顺序，因此理解傅里叶变换在序列分析中的应用是理解本文方法的关键。
位置偏差 (Positional Bias)
位置偏差指dLLM在解码过程中对特定位置（通常是左侧或置信度最高的位置）表现出系统性偏好。研究表明，即使约束模型按左到右顺序生成，在某些数学任务上的表现甚至优于标准的基于置信度的解码策略。这种偏差限制了dLLM充分利用全局双向上下文的能力，阻碍了非自回归生成潜力的完全释放。
位置偏差是本文要解决的核心问题，理解这一现象才能理解FourierSampler的设计目标。
置信度解码 (Confidence-based Decoding)
这是dLLM中最基础的解码策略，模型在每一步选择置信度最高（即预测概率最大）的遮蔽位置进行去掩码。具体而言，对于每个遮蔽位置 t ∈ M_s，计算最大概率 q_{s,t} = max_v p_{s,t}(v)，然后选择 q_{s,t} 最大的位置进行生成。这种方法简单有效，但存在位置偏差问题，且无法充分利用dLLM的非自回归特性。
置信度解码是本文方法的基线对比对象，FourierSampler在此基础上加入了频域引导信号。
研究动机
扩散语言模型（dLLM）虽然具有非自回归的生成潜力，允许任意顺序的token生成并利用全局双向上下文，但现有解码策略存在严重的位置偏差问题。具体而言，现有研究发现约束dLLM按左到右顺序生成在多个数学任务上甚至优于标准的基于置信度的解码策略，这说明模型未能真正发挥非自回归生成的灵活性。已有的改进方法如PC-Sampler采用基于规则的位置偏差校准，RWS使用奖励模型来增强连贯性，训练方法如DOT、DDPD、DCoLT则通过后训练或强化学习优化生成轨迹。然而，这些方法要么依赖复杂的外部信号，要么需要昂贵的训练成本，更重要的是它们忽略了从dLLM内部表示中挖掘解码指导信号的潜力。在数学和代码任务上，这些外部干预方法的改进幅度有限，例如PC-Sampler在LLaDA1.5-8B上仅提升0.5%平均分，RWS仅提升0.4%。
本文的目标是本文的具体目标是提出一种基于模型内部频域特性的解码策略FourierSampler，通过频域滑动窗口机制动态引导dLLM实现结构到细节的生成过程。具体而言，作者希望利用隐藏状态中低频分量编码全局结构信息、高频分量编码局部细节的特性，在解码初期优先生成结构性内容（如if、elif、return等控制流关键词），在后期补充细节内容（如变量名、数值等），从而释放dLLM的非自回归潜力，使生成结果在数学和代码任务上超越同类自回归模型。
与已有工作不同的是，本文的独特切入角度在于首次将频域分析引入dLLM解码过程的研究。与以往依赖外部先验信号（如规则偏差、奖励模型、强化学习训练）不同，作者深入探索模型内部表示的频谱特性，发现了一个关键的语义对应关系：低频分量在时域维度上对应文本中的结构性信息，高频分量对应细节信息。这一发现提供了一种内生的解码指导机制，无需外部干预即可优化生成顺序。具体而言，作者通过实验证明在代码任务中，保留关键词（if、elif、return）在低频带中能量显著集中，而具体函数名和数值则表现出明显的高频特征；在数学任务中，引导推导逻辑的自然语言由低频信号主导，而具体数学公式占据大部分高频能量。这种从信号处理视角理解dLLM内部机制的方法，为解码增强提供了全新的理论框架。
核心方法
FourierSampler的核心直觉来自对dLLM隐藏状态频谱特性的观察：低频分量编码全局结构和长距离依赖，高频分量编码局部细节。类比图像生成中的从粗到细过程，作者提出让dLLM先解码低频主导的结构信息，再补充高频主导的细节信息。技术路线分为三个关键组件：首先通过频域分析验证这一语义对应关系的客观存在；然后设计平移傅里叶分数（Translated Fourier Score）来量化每个token在当前频率带中的能量强度，作为解码优先级的指导信号；最后引入自适应傅里叶校准器（Adaptive Fourier Calibrator）动态平衡频域引导与原始置信度之间的关系。整个方法在频域空间操作，通过滑动窗口在解码过程中从低频逐渐过渡到高频，实现结构到细节的渐进式生成。
FourierSampler的核心创新点在于利用频域滑动窗口机制实现结构到细节的解码引导，这与已有方法有本质区别。已有的解码增强方法如PC-Sampler依赖外部规则、RWS依赖奖励模型、DOT/DDPD依赖训练，都是从外部引入先验信号来校准采样分布。而FourierSampler挖掘的是模型自身的频谱特性——低频结构、高频细节的语义对应关系是通过前向传播自然涌现的，不需要任何外部监督信号。另一个关键创新是自适应校准机制：当模型自身的置信度方差较大（说明模型对不同位置的生成优先级判断较明确）时，频域引导自动减弱；反之当置信度差异较小时（模型犹豫不决），频域先验加强引导。这种设计避免了强制频域信号覆盖模型自身判断，实现了智能的引导强度调节。
方法步骤详情
FourierSampler的解码过程包含以下关键步骤。第一步是频域分析验证（Section 3.1）：对dLLM前向传播后的最终层隐藏状态 H ∈ R^{L×D} 应用实值傅里叶变换，通过二值频率掩码 M 保留最低频的一半频谱，得到低频分量 H'_{low} = F_r^{-1}(F_r(H) ⊙ M)，并计算低频比率 r_{low} = ||H'_{low}||_2^2 / ||H||_2^2 来量化每个token的低频能量占比。第二步是平移傅里叶分数计算（Section 3.2）：在每个解码步骤 s，设定频率窗口宽度 w = max(1, ⌊ρW⌋)，窗口起始位置 o_s = s/(S-1) × (W-w) 随步骤线性平移，对当前块的隐藏状态 H^{(s)} 应用对应的频率掩码 g^{(s)} 进行滤波，然后计算每个token位置的归一化能量作为平移傅里叶分数 ℓ_{s,t}。第三步是自适应权重计算（Section 3.3）：记录过去20步的置信度方差历史，计算当前方差的百分位数，通过正态分布累积分布函数映射得到自适应权重 β_s。最后将频域分数与原始置信度融合：c̃_{s,t} = c_{s,t} + β_s × ℓ_{s,t}，用于最终的token选择。
技术新颖性
FourierSampler的技术新颖性体现在多个层面。首先，这是首次在dLLM中进行频域分析，揭示了隐藏状态中低频对应结构、高频对应的语义分层现象，这为理解dLLM的内部机制提供了全新的信号处理视角。其次，平移傅里叶分数的设计巧妙地将频域滤波与解码调度统一：通过随解码步骤平移的频率窗口，自然地实现了从低频到高频的渐进式生成，无需显式定义结构词和细节词的分类。第三，自适应校准器的方差百分位数映射设计，通过将当前置信度方差与历史分布进行比较，实现了对频域引导强度的平滑自适应调节，避免了固定权重带来的任务敏感性问题。第四，与依赖外部信号的方法相比，FourierSampler完全基于模型内部表示工作，不增加额外的计算开销（如奖励模型推理），也不需要复杂的训练过程，具有更好的实用性和通用性。
实验结果
FourierSampler在多种dLLM架构和多个基准任务上展现出一致且显著的性能提升。在全双向注意力的LLaDA系列上，LLaDA1.5-8B的平均分从46.91提升至50.93（+8.6%），在MBPP代码任务上取得50.58分，相对基线提升20.4%，在Countdown任务上提升14.1%。LLaDA-8B-Instruct的平均分从45.34提升至48.48（+7.1%），在MBPP上提升16.0%。值得注意的是，FourierSampler使LLaDA1.5-8B的平均性能超越了同规模自回归模型Llama3.1-8B-Instruct（48.44）和Qwen2.5-7B-Instruct（50.90），而其他解码策略未能实现这一点。在块级因果注意力的SDAR系列上，SDAR-4B-Chat的平均分从49.60提升至52.82（+6.5%），在Countdown上提升26.5%；SDAR-1.7B-Chat的平均分从40.27提升至43.27（+7.4%），在Countdown上取得45.1%的惊人提升，在HumanEval上提升14.5%。消融实验证明自适应权重机制优于固定权重策略，不同模型的最佳窗口比率ρ不同（LLaDA1.5-8B为0.2，LLaDA-8B-Instruct为0.4）。随块大小增加，FourierSampler的优势更加明显，在B=128时MBPP提升18.6%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GSM8K (数学推理, 4-shot) | 准确率 (%) | 81.80 (LLaDA1.5-8B), 79.61 (LLaDA-8B-Instruct) | 79.83 (LLaDA1.5-8B), 78.24 (LLaDA-8B-Instruct) | +2.5% (LLaDA1.5-8B), +1.8% (LLaDA-8B-Instruct) |
| MATH (数学推理, 4-shot) | 准确率 (%) | 44.20 (LLaDA1.5-8B), 45.20 (LLaDA-8B-Instruct) | 41.40 (LLaDA1.5-8B), 42.20 (LLaDA-8B-Instruct) | +6.8% (两者) |
| MBPP (代码生成, 3-shot) | 准确率 (%) | 50.58 (LLaDA1.5-8B), 47.86 (LLaDA-8B-Instruct), 47.47 (SDAR-4B-Chat), 36.58 (SDAR-1.7B-Chat) | 42.02 (LLaDA1.5-8B), 41.25 (LLaDA-8B-Instruct), 42.02 (SDAR-4B-Chat), 35.41 (SDAR-1.7B-Chat) | +20.4% (LLaDA1.5-8B), +16.0% (LLaDA-8B-Instruct), +13.0% (SDAR-4B-Chat), +3.3% (SDAR-1.7B-Chat) |
| HumanEval (代码生成, 0-shot) | 准确率 (%) | 43.29 (LLaDA1.5-8B), 40.85 (LLaDA-8B-Instruct), 62.20 (SDAR-4B-Chat), 43.29 (SDAR-1.7B-Chat) | 40.85 (LLaDA1.5-8B), 39.63 (LLaDA-8B-Instruct), 57.93 (SDAR-4B-Chat), 37.80 (SDAR-1.7B-Chat) | +6.0% (LLaDA1.5-8B), +3.1% (LLaDA-8B-Instruct), +7.4% (SDAR-4B-Chat), +14.5% (SDAR-1.7B-Chat) |
| Countdown (倒计数, 0-shot) | 准确率 (%) | 34.77 (LLaDA1.5-8B), 28.90 (LLaDA-8B-Instruct), 16.80 (SDAR-4B-Chat), 22.66 (SDAR-1.7B-Chat) | 30.47 (LLaDA1.5-8B), 25.39 (LLaDA-8B-Instruct), 13.28 (SDAR-4B-Chat), 15.62 (SDAR-1.7B-Chat) | +14.1% (LLaDA1.5-8B), +13.8% (LLaDA-8B-Instruct), +26.5% (SDAR-4B-Chat), +45.1% (SDAR-1.7B-Chat) |
局限与改进
尽管FourierSampler取得了显著成效，但仍存在若干局限性。首先，方法的验证范围主要集中在数学和代码生成任务上，尚未在更广泛的NLP任务（如开放域文本生成、翻译、摘要等）上进行系统评估，频域引导在这些任务上的有效性尚不明确。其次，最佳窗口比率ρ需要针对不同模型进行手动调整（LLaDA1.5-8B用0.2，LLaDA-8B-Instruct用0.4），缺乏自动化的超参数选择机制，这限制了方法的即插即用性。第三，自适应校准器依赖过去20步的方差历史，这个滑动窗口大小是一个未充分消融的超参数。第四，作者仅分析了最终层隐藏状态的频谱特性，但不同层的频域分布可能存在差异，多层频域信息的融合可能进一步提升性能。此外，在某些任务上FourierSampler对基线的提升相对有限，如GSM8K上仅提升1.8-2.5%，说明频域引导的收益存在任务依赖性。
独立分析的弱点
FourierSampler存在几个值得深入分析的弱点。第一，频率窗口的设计假设频谱能量分布是均匀的，但实际上不同任务和不同模型的频谱分布可能差异很大，固定窗口宽度ρW可能无法最优地适应所有情况。改进方向是研究自适应窗口宽度调整机制，根据当前频谱的能量分布动态调整窗口大小。第二，平移策略采用线性从低频到高频的单调过渡，但实际生成中可能需要更复杂的频率选择策略——某些阶段可能需要同时关注中频信息。改进方向是探索非线性或多频带同时关注的策略。第三，自适应权重的计算基于置信度方差的百分位数映射，这种统计方法假设方差分布是稳定的，但在解码早期阶段历史样本不足时，权重估计可能不可靠。改进方向是引入更鲁棒的统计方法或使用模型元学习来预测最优引导强度。第四，方法在小块大小（B=16, 32）时优势不明显，说明对短序列的频域分析可能不够可靠，需要研究如何在有限序列长度下提高频域分析的精度。
未来方向
基于本文的成果，未来研究可以在多个方向展开。作者提出的方向包括将FourierSampler扩展到更多类型的dLLM架构（如Mercury、Gemini Diffusion等），以及在更广泛的下游任务上验证有效性。基于本文发现可延伸的方向包括：第一，将频域分析应用于dLLM的训练过程——既然低频对应结构、高频对应细节，可以在训练时设计频率感知的损失函数，鼓励模型学习更好的频域分层表示。第二，将频域思想与多模态dLLM结合——图像生成中已有成熟的频率分层生成策略，可以探索在多模态dLLM中统一处理文本和图像的频率分层生成。第三，研究不同层隐藏状态的频谱演化规律，探索在中间层就开始进行频率引导的可能性。第四，将FourierSampler与现有外部引导方法（如RWS的奖励信号）结合，探索内生频域信号与外生奖励信号的互补关系。第五，研究频域引导在长文本生成和复杂推理任务中的效果，这些任务可能更需要结构优先的生成策略。
复现评估
本文的复现条件较为理想。作者提供了GitHub开源仓库（https://github.com/ShirleYoung/FourierSampler），代码结构清晰，核心算法通过频域滤波和分数计算实现，不涉及复杂的模型训练过程。方法的关键超参数（ε=10^{-5}，ρ在0.2-0.4之间，β_min=0.4，β_max=0.6）在论文中有明确列出。实验使用NVIDIA H200 GPU，评估框架采用OpenCompass，这些都是广泛使用的工具。主要的复现挑战在于需要加载不同规模的预训练dLLM模型（LLaDA-8B、SDAR-4B等），这些模型的下载和配置可能需要一定的存储空间和时间。总体而言，对于有dLLM使用经验的研究者，复现本文结果的难度为中等偏易。
论文图表