LFPO：面向掩码扩散模型的无似然策略优化 LFPO: Likelihood-Free Policy Optimization for Masked Diffusion Models

LFPO 的完整训练流程（对应论文 Algorithm 1）包含四个阶段。**阶段 1（生成与奖励估计）**：对当前 batch 内每个 prompt $q$，用参考策略 $\pi_{\text{old}}$ 采样 $N$ 条轨迹 $\{y_q\}$；然后用任务相关的可验证奖励函数（数学用答案正确率、代码用执行通过率）计算标量奖励 $r_y$，组成 batch 数据集 $D_{\text{batch}}=\{(y, r_y)\}$。**阶段 2（分层轨迹采样）**：对每条轨迹长度为 $L$ 的去噪过程，把有效时间步区间均匀切成 $K$ 段，每段内独立采样一个时间步 $t_k$，得到 $K$ 个代表点。这避免了单一时间步采样带来的高方差。**阶段 3（分块整流优化）**：把 $D_{\text{batch}}$ 的 $B\times N\times K$ 个样本切成 $M$ 个 block；每个 block 内并行计算所有轨迹-时间步对的 $\nabla L_{\text{LFPO}}$（充分用 GPU 并行），block 之间串行累积梯度并立即更新参数 $\theta\leftarrow\theta-\eta\nabla_\theta L_B$，然后立即删除计算图释放显存，从而把等效 batch size 放大一个数量级。**阶段 4（参考模型更新）**：每个外层迭代结束后用 EMA 更新参考模型 $\theta_{\text{old}}\leftarrow\alpha\theta_{\text{old}}+(1-\alpha)\theta$，保证训练稳定。整个 pipeline 实现了「外层串行、内层并行」的混合执行模式。

LFPO 的技术新颖性体现在三方面：第一，**理论层面**，首次严格证明 dLLM 的 CE 训练在概率单纯形上等价于连续 FM 的速度场回归，把「dLLM 是否可以用 FM 类方法训练」从直觉升格为定理，并附带完整推导（见论文 Appendix A）。第二，**算法层面**，首次把对齐目标完全搬到 logit 空间，引入 $\pi^+$ / $\pi^-$ 隐式策略对比 + 奖励加权 CE 的统一形式，绕开了所有现有方法必须做的似然近似。第三，**工程层面**，分层采样 + 分块累积的双层并行方案直接解决 RLVR 微调 dLLM 时 $B\times N\times K$ 张量爆炸的工程瓶颈，使 LFPO 能跑出比 AGRPO 等强基线快 4-8 倍的收敛速度，这是单纯改进损失函数无法达到的。

**独立分析的弱点**：（1）**「速度整流」对长链任务的潜在失效**：论文核心假设是 dLLM 的最优生成轨迹近似一条从 $m$ 到 $x_1$ 的「直线路径」，但 BigCodeBench-Hard 这种长链复杂任务里，最优轨迹可能是曲折的，速度场整流可能错失次优但正确的非直线路径。**改进方向**：可以引入轨迹曲率正则化，或在 loss 中加入对偏离直线的容忍项。（2）**对比式优化的双向敏感性**：$L_{\text{LFPO}}$ 中 $\pi^+$ 和 $\pi^-$ 的强度都由 $\beta$ 控制，如果 reward 信号噪声大（如代码执行环境的 flaky test），$\pi^-$ 一侧的梯度可能让模型偏离好的解。**改进方向**：可以用 EMA 的 reward baseline 做归一化，或者只对 reward 极端高/低的样本用对比项。（3）**EMA 参考模型的滞后问题**：$\theta_{\text{old}}\leftarrow\alpha\theta_{\text{old}}+(1-\alpha)\theta$ 在训练后期可能让参考策略显著落后于当前策略，导致隐式策略 $\pi^\pm$ 定义的对比方向失去意义。**改进方向**：可以自适应调节 $\alpha$ 或周期性 hard-reset 参考模型。（4）**缺乏对多模态/长上下文场景的验证**：论文只在纯文本短上下文（512/2048 步）下实验，而 dLLM 的真正优势之一是长上下文并行生成。**改进方向**：在 8K+ 上下文上验证 LFPO 是否仍能保持优势。

**作者明确提出的方向**：包括分层采样和分块优化的进一步工程化、以及扩展到其他 dLLM 架构。**基于论文成果的可延伸方向**：（1）把 logit 空间的对比式回归思想迁移到多模态 dLLM（如 UniGRPO 处理的图文任务），可能避开当前多模态对齐中的似然瓶颈；（2）把 LFPO 的速度场整流与 Process Reward Model 结合，实现更细粒度的逐步对齐；（3）研究 LFPO 加速的「直线路径」是否可被进一步形式化为可证明的最优解码策略（例如受限最短路径），把经验性加速变成理论保证；（4）探索 LFPO 是否能反过来帮助 dLLM 预训练——既然 CE 等价于 FM 回归，那 RLVR 阶段的策略梯度信号能否蒸馏回预训练目标，是一个有意义的开放问题。

**代码与数据**：论文为 pre-print 阶段，未在正文明确说明开源链接，但作者主要来自 ByteDance 和多所高校，参考的基线模型 DiffuCoder 与 LLaDA 8B 本身已开源，训练数据 AceCode-87K 也是公开的。**算力需求**：从 Figure 3 看，AGRPO 在 HumanEval 上达到峰值需要约 1000 GPU 小时，LFPO 仅需约 125 GPU 小时即可达到同等水平，整体训练量估计需要数百 GPU 小时，对普通研究者门槛较高。**复现难度**：中等偏难。**容易复现的部分**：算法 1 描述完整，$\beta$、$\alpha$ 等超参都有明确提示，Block-wise Accumulation 是标准工程技巧。**较难复现的部分**：（1）Stratified Sampling 的具体分段数 $K$、每段采样策略需要调参；（2）需要支持并行 logit 计算的高效 dLLM 推理引擎，现成实现较少；（3）需要可验证奖励的代码执行沙箱（HumanEval/MBPP）或数学答案解析器，对工程实现要求较高。建议有 ByteDance 内部 dLLM 训练栈的团队优先尝试。