面向掩码扩散机器翻译的长度自适应解码 Length-Adaptive Decoding for Masked Diffusion Machine Translation
免训练的熵谷选择器：解码前用全掩码平均熵为掩码扩散翻译自适应挑选目标画布长度
前置知识
掩码扩散语言模型（Masked Diffusion LM, dLLM）
一类离散扩散语言模型（如 LLaDA-8B、Dream-7B），训练时按调度随机把目标序列中的 token 替换为 [MASK] 吸收态，模型学习在给定部分可见上下文的条件下恢复被掩码 token；推理时从全掩码画布出发，迭代去噪 T 步，每步按调度揭示部分位置。与自回归模型逐 token 从左到右生成不同，dLLM 在一个长度固定的画布上双向并行填充。
本文要解决的核心问题正源于 dLLM 的固定画布解码：目标长度必须在去噪开始前给定，而模型会倾向于填满分配给它的任何长度。
最小熵解码（Minimum-Entropy Decoding, MED）
一种置信度驱动的并行去噪调度：每一步计算当前所有掩码位置上预测分布的熵，优先揭示熵最低（模型最有把握）的 K_t 个位置，思想类似 MaskGIT 的置信度并行解掩码。论文所有实验统一采用 MED、T=32 步，并在解码输出的第一个 EOS 处截断。
EV 的打分信号与解码调度都基于熵，且论文所有长度对比都是在 MED 固定的前提下进行的，理解 MED 才能看懂其受控实验设计。
非自回归翻译中的长度预测（NAT length prediction）
非自回归（NAT）模型一次性并行输出全部 token，必须先预测目标长度：经典 NAT 用 fertility 预测器，CMLM 训练专门的长度头并做小规模长度束搜索，Levenshtein Transformer 则通过插入删除操作动态调整长度。这些机制都需要额外的训练目标或架构改动。
EV 的定位就是与这条技术路线对照：在不训练任何长度组件、不改架构的前提下，让冻结骨干在测试时自选画布。
LoRA-SFT
低秩适配（LoRA）监督微调：冻结预训练权重，只训练注入各 Transformer 模块的低秩矩阵。本文设置 rank=64、α=128、dropout 0.05，覆盖 q/k/v/o 注意力投影与三个 FFN 投影，可训练参数约 157M（占骨干 1.95%）。论文用它把 LLaDA-8B-Base 在每方向 20 万句对的 WMT19 数据上微调成翻译系统，并训练同数据的 LLaMA-3-8B 作对照。
所有结论都建立在 LoRA-SFT 之后的冻结骨干上，EV 所说的『免训练』是相对这个微调完成的系统而言，只新增推理时的长度选择逻辑。
COMET-22 与 gap closure
COMET-22 是基于多语言预训练编码器的神经翻译评价指标，输出 0 到 1 的质量分，比 BLEU 更贴近人工判断，是 WMT 指标共享任务的主流指标。论文定义 gap closure 为 (EV−Ratio)/(Oracle−Ratio)，即 EV 收回了『参考长度上界』与『固定比率基线』之间差距的比例，另用配对 bootstrap 与 Wilcoxon 检验报告显著性。
主结果、核心指标口径与人类评估相关性分析全部围绕 COMET-22 与 gap closure 展开，不理解这个定义就无法正确解读论文的数字。
研究动机
自回归解码器靠生成 EOS 自然停止，而掩码扩散语言模型（如 LLaDA-8B、Dream-7B）采用固定画布解码：去噪开始前必须先给定目标长度 L。由于训练时 EOS 总是被放在画布末尾，推理时模型倾向于填满给定的任何长度——译文画布太短会丢失内容，太长则会重复、幻觉或稀释句子。现有掩码扩散解码研究几乎全部集中在『先揭示哪些 token』的顺序问题上，长度决策被严重忽视。实际部署通常退化为一个语料级源到目标长度比率（如 En→Zh 取 0.8），这对含占位符、数字、短指令和习惯性压缩的句子一刀切。论文的例子很直观：源句 “Tap Reset Now.” 按比率分配 5 个槽位会丢失动作动词，COMET 只有 0.47，而 6 个槽位能恢复动词、达到 0.91；“Under #PRS_ORG#, tap Sign out.” 比率选 10 槽丢失占位符（0.43），12 槽则完整保留（0.87）。这些覆盖损失在讨论揭示顺序之前就已经发生。
本文的目标是本文目标是构建一个测试时长度选择器，在不改动骨干、不加训练目标、不用参考长度、不做开发集调参、不引入外部长度预测器的约束下，让冻结的掩码扩散翻译系统为每个源句自动选择合适的目标画布长度。量化目标：尽可能恢复『参考长度 oracle』与『固定比率基线』之间的 COMET-22 差距。配套目标包括：证明增益确实来自长度选择而非揭示顺序或额外算力；用三位双语专家的人工评估验证 En↔Zh 上的自动增益与人类充分性判断一致；在 Dream-Base、DiffuLLaMA 等其他骨干以及 De→Fr 这类不含英语的方向上检验方法的适用范围与边界。
与已有工作不同的是，已有工作分两条线：非自回归翻译训练专门的长度头或长度束搜索（CMLM），或改用插入删除架构（Levenshtein Transformer），这些都需要为长度机制专门设计训练；掩码扩散侧的 DAEDAL、ρ-EOS、CAL、SmartCrop 等则要修改解码过程或付出多次解码的代价。本文的独特切入是：不训练任何新组件，直接询问冻结骨干本身——在每个候选长度上做一次全掩码前向传播，用平均预测熵衡量『骨干对这块画布的准备度』，选择熵最低的熵谷画布。另一个被忽视的事实来自其诊断实验：把揭示顺序固定为 MED 时，三种长度选择造成 0.0265 COMET 的差异；而把长度固定为参考长度时，六种源引导揭示顺序总共只差 0.0081——长度是比顺序更大的瓶颈，而此前文献恰恰集中研究顺序。
核心方法
直觉上，EV 像试衣：同一个源句『身体』，试穿几个不同长度的全掩码画布，看哪一件模型穿起来最合身——即模型在每个槽位上的预测最确定。技术路线分四步：(1) 用固定比率集 R 和源句 tokenizer 长度构造至多 5 个候选画布长度；(2) 对每个候选长度 $L$，把 $[\text{prompt}(x)]$ 与 $L$ 个 $[\text{MASK}]$ 拼接后做一次前向，记录除 EOS 槽外所有槽位的预测熵并取平均 $\bar{H}(L) = \frac{1}{L-1}\sum_{i=1}^{L-1} H\big(p_\theta(y_i \mid x, [\text{MASK}]_L)\big)$；(3) 选择熵最低的『熵谷』长度 $L^\star = \arg\min_{L \in C(x)} \bar{H}(L)$；(4) 只在选中的画布上用与基线完全相同的最小熵解码（MED）跑 T=32 步。整个过程零新增参数，最多多花 5 次探针前向——在 T=32 时前向次数只增加约 15.6%，T=128 时仅 3.9%。
核心创新是把『该译多长』转化为模型自检问题。全掩码画布上每个槽位都有一个预测分布：画布太短时，源内容被强行压进过少的槽位，模型被迫压缩、个别槽位分布尖锐但整体覆盖不住；画布太长时，出现模型无法自信填充的多余位置，熵随之升高。平均预测熵因此在任何 token 生成之前就暴露了长度与源句的不匹配，而且信号来自翻译模型自身，既不需要参考长度，也不需要单独训练的长度预测器。与已有方法的本质区别在于：EV 不是参考长度回归器，而是『去噪友好画布』的选择器——选中长度不必等于参考长度（Figure 5 显示 EV 的长度 MAE 为 2.51 个 token，oracle 为 0，却仍恢复了约 65% 的 COMET 差距）。CMLM 需要训练长度头，CAL 需要第一步去噪后的校准置信度，DAEDAL/ρ-EOS 要在去噪过程中增删 token，而 EV 只用零步全掩码前向的熵，一次性完成选择。
方法步骤详情
第一步：构造候选集 $C(x) = \{\max\{1, \lfloor r|x| \rfloor\} + 1 : r \in R\}$，其中 $|x|$ 是骨干 tokenizer 下的源句长度，加 1 是为 EOS 保留的槽位。比率网格按方向固定（以 WMT19 训练语料中位数为尺度）：En→Zh 中位数 0.80，$R=\{0.70, 0.75, 0.80, 0.85, 0.90\}$；Zh→En 中位数 1.24，$R=\{1.00, ..., 1.40\}$；En→De 中位数 1.48，$R=\{1.50, ..., 1.90\}$，去重后至多 5 个候选。第二步：对每个 $L \in C(x)$，输入 $[\text{prompt}(x)] \|[\text{MASK}]_L$ 做一次前向得到 $q_1,...,q_L$；因末槽是为 EOS 保留的、熵接近零，只对前 $L-1$ 个槽求平均熵。第三步：取 $L^\star=\arg\min \bar{H}(L)$。第四步：在 $[\text{prompt}(x)]\|[\text{MASK}]_{L^\star}$ 上按 MED 调度解码 T=32 步（每步揭示当前熵最低的 $K_t$ 个位置），在第一个 EOS 处截断得到译文。候选可以顺序评估（无额外峰值显存）或批处理。
技术新颖性
与 CMLM 的训练长度头加长度束相比，EV 完全免训练且不加任何参数；与 Wang et al. (2021) 的 oracle 长度束分析相比，EV 给出了可部署的测试时实现。与可变长扩散 LLM 工作相比——DAEDAL 调整初始长度并支持去噪中插入掩码、ρ-EOS 用 EOS 密度伸缩序列、CAL 用第一步去噪的校准置信度搜索长度、SmartCrop 从提示估计长度后裁剪画布、FlexMDM 改训练以支持掩码插入——EV 不修改解码循环、不做多次完整解码，只用全掩码状态下的一次前向。与揭示顺序方法（MaskGIT、OeMDM/LoMDM、LogicDiff）正交：EV 可直接与标准 MED 组合，论文还证明在匹配预算下长度选择的方差（0.0265）大于被测顺序调度的方差（0.0081）。LR-DLLM 在候选长度之间校正置信度偏差，EV 则直接用平均熵做单遍选择，思想同源但机制和用途不同。
实验结果
在 LLaDA-8B+LoRA-SFT、WMT22（每方向 N=2037）、T=32 MED 的统一协议下：EV 相比固定比率基线，En→Zh COMET-22 从 0.8345 升至 0.8517（+0.0172，sacreBLEU +1.85），Zh→En 从 0.8266 升至 0.8431（+0.0165，BLEU +1.63），En→De 从 0.7170 升至 0.7240（+0.0070，BLEU +0.82），分别关闭长度 oracle 差距的 64.9±7.4%、65.3±0.8% 和 33.0±8.4%；配对检验在 En↔Zh 上 bootstrap 与 Wilcoxon 均显著（p<10⁻⁴），En→De 只过 Wilcoxon（bootstrap p=0.09）。控制实验逐一排除替代解释：给 Ratio 同等前向预算（T=37/40）最多只回收 0.001 COMET；EV 在三个方向都超过事后最优固定比率（Zh→En 子集 0.8453 vs 最优固定 1.4 的 0.8390）；『解码 5 个邻近画布再按对数概率重选』花费约 3.5 倍成本反而只有 0.8404。与扩散可变长方法直接对比，EV 在两个方向都超过 DAEDAL（+0.0166/+0.0221，p<2×10⁻⁴），En→Zh 上超 CAL（+0.0068），Zh→En 与 CAL 统计打平（CI 含零），且延迟更低（0.724s vs 0.773s/句）和更少的前向调用（36.1 vs 39.3）。跨骨干验证：EV 在 Dream-Base 关闭 54.4%–68.7%，在 DiffuLLaMA 关闭 11.8%–66.1%，18 个配对比较全部 p<10⁻³。与同数据 LLaMA-3-8B AR 基线相比，EV-LLaDA 在 En→Zh 打平（85.17 vs 85.07）、Zh→En 领先（84.31 vs 83.68），En→De 落后约 8.8 点（AR 81.19，连 LLaDA oracle 也落后 7.4 点，说明该差距不属于画布选择问题）。覆盖分析：En→Zh 占位符保留率从 66.9% 升至 89.1%（+22.1pp），数字从 77.6% 升至 81.3%（+3.7pp）；最大 COMET 增益出现在 r≥0.8 桶（+0.0346）。人类评估（3 名职业译员×每方向 100 句）：Zh→En 充分性 +0.50、偏好 45/25/30（Fleiss' κ=0.522，ρ(ΔCOMET,Δ充分性)=0.689）；En→Zh 充分性 +0.18、偏好 28/19/53（多数平局，ρ=0.637）。De→Fr 迁移在 4 个设置中全部正向（+0.0082 至 +0.0100）。失败分析显示 EV 落后 Ratio 的 596/2037 句中 56.9% 是网格内选错、21.6% 越界 overshoot、21.1% 欠压缩。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WMT22 En→Zh 翻译（LLaDA-8B+LoRA，32步MED） | COMET-22 | 0.8517 | 固定比率 0.8345（长度 oracle 上限 0.8610） | +0.0172，关闭 oracle 差距的 64.9±7.4% |
| WMT22 Zh→En 翻译 | COMET-22 | 0.8431 | 固定比率 0.8266（oracle 0.8519） | +0.0165，关闭 65.3±0.8% |
| WMT22 En→De 翻译 | COMET-22 | 0.7240 | 固定比率 0.7170（oracle 0.7382） | +0.0070，关闭 33.0±8.4%（边界情形） |
| WMT22 En→Zh 翻译 | sacreBLEU | 38.57 | 固定比率 36.72（oracle 40.81） | +1.85（Zh→En +1.63，En→De +0.82） |
| WMT22 En→Zh vs 扩散可变长基线 | COMET-22 | 0.8447（EV） | DAEDAL 0.8280 / CAL 0.8379 | +0.0166 / +0.0068（p<2×10⁻⁴），且延迟更低 |
| WMT22 En→Zh vs 匹配数据 AR | COMET-22（×100） | 85.17（EV-LLaDA） | LLaMA-3-8B+LoRA-SFT 85.07 | 打平；Zh→En 领先（84.31 vs 83.68）；En→De 落后 8.8 点 |
局限与改进
作者承认的局限：最深入的评估只在 LLaDA-8B-Base 上，Dream 与 DiffuLLaMA 只验证了方向性模式，绝对分数与闭合率随骨干和 tokenizer 大幅波动；En→De 是清晰边界——句子级证据较弱，且步数扫描显示 T≥64 时固定比率反超 EV（gap 在 T=64 为 −10%、T=128 为 −14%），增益集中在低步数高效率区间；人类评估只覆盖 En↔Zh；固定候选网格既保住免训练性也限制选择范围，当所需压缩比低于网格下界（如 En→Zh 的 r<0.70，见 “Please give me a moment.” 案例，EV 0.77 vs Ratio 0.93）时必然失败。我的补充观察：报告的主网格虽以 WMT19 语料中位数为尺度，但论文明确说是参考 WMT22 诊断子集比较后确定的，存在轻度测试集感知调参的风险；EV 探针的质量依赖骨干 tokenizer 对语言对的覆盖，DiffuLLaMA 用 32k Llama-2 词表时中文方向闭合率骤降至 11.8%/22.3% 即为例证；平均熵把所有槽位等权处理，对超短源句（去重后候选只剩 2–3 个）统计量不稳；5 次探针虽便宜，在超低延迟大批量场景仍不可忽略。
独立分析的弱点
第一，网格边界失败占失败总体的 42.7%（overshoot 21.6% + 欠压缩 21.1%，Table 14）：当真实所需压缩比落在固定窗口之外时，熵分数再准也选不到缺失的画布，改进方向是压缩感知的候选生成器——当熵曲线在网格边缘仍单调下降时自动外推窗口。第二，网格内选错占 56.9%，说明平均熵并非充分判据：全槽位等权的均值可能被少数高熵槽位稀释或掩盖局部不确定性，可尝试截断均值、熵分布的分位数特征，或对 top-2 候选做一步部分去噪验证再定夺。第三，En→De 上增益小且高步数下反转（T≥64 被 Ratio 反超），暗示德语的形态复杂度使全掩码熵与最终译文质量的相关性变弱，值得研究按语言对自适应的网格宽度与步数策略。第四，EV 全程与 MED 绑定评估，长度选择与揭示顺序的联合搜索空间未被探索，而论文自己已证明两者是可分离的两个瓶颈。第五，超短源句候选去重后选择余地极小，可引入字符级与词级混合候选以丰富短句选项。
未来方向
作者明确提出：设计压缩感知的候选生成器，当熵曲线提示固定窗口不足时扩展或平移 R；在更多模型家族与语言对上验证泛化，目前 De→Fr 只是第一步。基于论文成果可延伸的方向包括：(1) 理论层面刻画全掩码平均熵与去噪后翻译质量的关系，解释为何『去噪友好长度』可以系统偏离参考长度却更优，这可能反过来指导训练目标设计；(2) 将 EV 与揭示顺序联合建模，在匹配预算下搜索（长度, 顺序）组合，进一步逼近 oracle；(3) 把 EV 信号反馈到训练阶段，例如用熵谷长度做长度感知的数据课程或正则项，减少对推理时搜索的依赖；(4) 把这套零训练范式迁移到其他『画布长度需预先给定』的固定画布生成任务，如受控摘要、代码填充和模板生成；(5) 探索半自回归分块解码下的块级长度选择，兼顾 AR 的局部灵活性与扩散的并行效率。
复现评估
复现条件较好。代码、实验配置、解码与评估脚本已开源（github.com/Entropy-Valley/Entropy-Valley），处理后的实验数据集与各方向 LoRA 适配器在 HuggingFace 集合（YanZhanPKU/entropy-valley）发布，还包含人类评估模板与表格。训练配置完整给出：LLaDA-8B-Base + LoRA（r=64, α=128, dropout 0.05，约 157M 可训练参数），每方向 20 万 WMT19 句对、3 个 epoch、全局 batch 128，硬件为 8×H20-96GB；整个实验网格约 420 H20 GPU 小时。推理 T=32，单 H20 batch 16 下每句约 1.5s（Ratio）到 1.7s（EV）。评估用标准 COMET-22 与 sacreBLEU，WMT22 每方向 2037 句。复现难度中低：数据与模型全部公开、指标标准化，主要成本在于 3 方向 × 3 次独立训练共 9 个 checkpoint；若只验证单方向单种子，一组多卡环境数天内可完成，消费级环境跑推理验证则更快。需要注意对齐 Ratio 网格与 WMT19 采样细节才能对上论文数字。
论文图表
三个对比案例：① “Tap Reset Now.” 比率选 5 槽丢失动作动词（COMET 0.47），EV 选 6 槽恢复动词（0.91）；② “Under #PRS_ORG#, tap Sign out.” 比率选 10 槽丢失占位符（0.43），EV 选 12 槽完整保留（0.87）；③ “Please give me a moment.” 所需压缩比约 0.6 低于 EV 网格下界 0.70，EV 选 7 槽反而冗长（0.77 vs 比率的 0.93）。
用真实译文失败直观说明长度选择如何在顺序问题之前决定覆盖与冗余，同时诚实展示了 EV 候选网格的边界失败，是全文问题陈述的核心配图。