通过块扩散与自推测解码,把字节级语言模型的推理内存带宽最高砍掉九成。
Julie Kallini, Artidoro Pagnoni, Tomasz Limisiewicz, Gargi Ghosh, Luke...
2026-05-11
字节级语言模型
扩散语言模型
推测解码
推理加速
无分词器
利用扩散模型的masked位置预测实现高效多表示检索,超越传统单向量方法
Shuai Wang, Yin Yu, Shengyao Zhuang, Bevan Koopman, Guido Zuccon
2026-05-11
信息检索
多表示检索
密集检索
扩散语言模型
稀疏检索
通过分层潜在变量分解将文本生成为连续语义先验传输再条件解码。
Hongcan Guo, Qinyu Zhao, Yian Zhao, Shen Nie, Rui Zhu, Qiushan Guo, Feng...
2026-05-08
分层生成
扩散语言模型
流匹配
潜在变量
非自回归
首个跨架构扩散LLM蒸馏框架,统一解决时序/上下文/词表三重鸿沟。
Gongbo Zhang, Wen Wang, Ye Tian, Li Yuan
2026-04-30
块扩散解码
扩散语言模型
模型压缩
知识蒸馏
跨架构学习
基于离散扩散LLM的统一多模态模型,语义VQ+MoE主干+扩散解码器三件套打通图文
Inclusion AI, Tiwei Bie, Haoxing Chen, Tieyuan Chen, Zhenglin Cheng, Long...
2026-04-23
图像生成
图像编辑
多模态统一模型
扩散语言模型
视觉问答
首次通过内省一致性训练使DLM达到AR模型质量,在15个基准测试中实现3×吞吐量提升
Yifan Yu, Yuqing Jian, Junxiong Wang, Zhongzhu Zhou, Donglin Zhuang, Xinyu...
2026-04-14
并行生成
扩散语言模型
推理优化
自回归模型
让小模型接管扩散轨迹首尾步骤,中间保留大模型,省 17% 算力几乎不掉质量
Ivan Sedykh, Nikita Sorokin, Valentin Malykh
2026-04-14
扩散语言模型
推理加速
掩码扩散语言模型
模型调度
步骤重要性
通过直接条件蒸馏(DCD)把多步块扩散蒸馏为单步解码,同时用响应非对称扩散(RAD)削减72.3%训练FLOPs,在胸部X光报告生成上实现8倍理论加速和5.1倍实测加速。
Lifeng Chen, Tianqi You, Hao Liu, Zhimin Bao, Jile Jiao, Xiao Han, Zhicai...
2026-04-13
一步式推理
医学影像
扩散语言模型
知识蒸馏
胸部X光报告生成
用on-policy训练+软嵌入解码让dLLM并行度翻倍且不丢精度。
Zigeng Chen, Gongfan Fang, Xinyin Ma, Ruonan Yu, Xinchao Wang
2026-04-10
On-Policy训练
并行解码
扩散语言模型
推理加速
自修正
用轻量微调让 AR 模型一次生成多 token,无需架构改动即可调节速度与质量。
Ziqi Jin, Lei Wang, Ziwei Luo, Aixin Sun
2026-04-09
KV 缓存
多 token 生成
扩散语言模型
推理加速
模型微调
统一扩散大语言模型后训练与评估的开源框架,支持多种模型家族和RL算法
Jingyi Yang, Yuxian Jiang, Xuhao Hu, Shuang Cheng, Biqing Qi, Jing Shao
2026-04-08
强化学习
扩散语言模型
模型对齐
系统优化
统一框架
EC路由+时间步容量调度让DLM MoE训练提速2倍、推理提速1.5倍
Shuibai Zhang, Caspian Zhuang, Chihan Cui, Zhihan Yang, Fred Zhangzhi Peng,...
2026-04-08
专家选择路由
扩散语言模型
混合专家
自适应计算
调度策略
提出IMH采样器,用全局前瞻校正解决dLLM解码中Pass@1与Pass@k的张力。
Liancheng Fang, Aiwei Liu, Henry Peng Zou, Yankai Chen, Enze Ma, Leyi Pan,...
2026-04-07
MCMC
Metropolis-Hastings
Pass@k
扩散语言模型
推理探索
307M参数的土耳其语掩码扩散语言模型,媲美数倍大的自回归模型
Şuayp Talha Kocabay, Talha Rüzgar Akkuş
2026-03-30
参数高效微调
土耳其语NLP
扩散语言模型
指令微调
非自回归生成
用同一模型的自回归模式作验证器,无需训练即加速扩散LLM解码
Ligong Han, Hao Wang, Han Gao, Kai Xu, Akash Srivastava
2026-03-27
免训练优化
扩散语言模型
推测解码
推理加速
自回归
扩散解码替代自回归,实现文档OCR并行生成与语义鲁棒
Hejun Dong, Junbo Niu, Bin Wang, Weijun Zeng, Wentao Zhang, Conghui He
2026-03-25
并行解码
扩散语言模型
文档OCR
视觉语言模型
课程学习
通过双层优化引入参数记忆机制,解决扩散语言模型训练与推理不匹配和长上下文注意力稀释问题
Zehua Pei, Hui-Ling Zhen, Weizhe Lin, Sinno Jialin Pan, Yunhe Wang, Mingxuan...
2026-03-24
参数记忆
双层优化
快速权重
扩散语言模型
长上下文
首次系统对比 AR 与扩散 LLM 的层间表征结构,发现扩散目标函数带来可被利用的早层冗余。
Raghavv Goel, Risheek Garrepalli, Sudhanshu Agrawal, Chris Lott, Mingu Lee,...
2026-03-10
Layer Skipping
扩散语言模型
推理加速
模型压缩
表征分析
ODD:免训练、顺序正交投影,提升扩散语言模型Pass@k。
Sean Lamont, Christian Walder, Paul Montague, Amir Dezfouli, Michael Norrish
2026-03-10
Pass@k
代码生成
扩散语言模型
推理时多样性
数学推理
提出StableDRL,通过无条件裁剪和自归一化解决dLLM强化学习中的奖励崩溃问题
Jianyuan Zhong, Kaibo Wang, Ding Ding, Zijin Feng, Haoli Bai, Yang Xiang,...
2026-03-09
GRPO
后训练优化
强化学习
扩散语言模型
训练稳定性