冻结AR权重、外挂LoRA扩散权重并行起草,AR验证实现全批量无损提速
Subham Sekhar Sahoo, Lingjie Chen, Khiem Pham, Jonathan Geuter, Chaitanya...
2026-09-08
LoRA
RL后训练加速
一致性蒸馏
扩散语言模型
投机解码
把可解释性作为训练约束内建于模型,Steerling-8B 证明解释能力随规模提升而不牺牲性能
Guide Labs Team, Andreas Madsen, Aya Abdelsalam Ismail, Giang Nguyen, Isaac...
2026-08-11
内在可解释性
扩散语言模型
概念引导
概念瓶颈模型
缩放定律
用高容量、可解码的连续文本潜变量桥接扩散生成与离散解码
Jiajun Liang, Yucheng Liao, Yukang Cao, Jiazhe Wei, Ken Li, Wende Tan,...
2026-08-05
扩散语言模型
文本生成
流匹配
潜在扩散
自编码器
系统刻画MoE扩散语言模型的缩放规律,据此训出30B-A3B模型逼近Qwen3
Fengqi Zhu, Shaoxuan Xu, Jingyang Ou, Zebin You, Yipeng Xing, Huabin Liu,...
2026-08-05
LLaDA
扩散语言模型
混合专家MoE
缩放定律
预训练
扩散语言模型内部潜藏去噪进度信号,可被探针读取与因果引导
Maximo Eduardo Rulli, Thomas Vaitses Fontanari, Simone Petruzzi, Federico...
2026-07-22
扩散语言模型
机制可解释性
潜在引导
激活探针
表示几何
为每个 token 分配独立的去噪进度时间,连续扩散在高加速比下超越离散方法。
Parikshit Bansal, Sujay Sanghavi
2026-07-17
Diffusion LM
去噪策略
扩散语言模型
流匹配
蒸馏
通过学习自适应选择块大小来优化基于扩散的投机解码效率
Hao Zhang, Yiming Hu, Yong Wang, Mingqiao Mo, Xin Xiao, Xiangxiang Chu
2026-07-01
大语言模型推理加速
扩散语言模型
推测解码
自适应策略学习
通过MultiTF后训练和Block Buffer机制实现块间并行解码,提升扩散语言模型推理效率
Yijie Jin, Jiajun Xu, Yuxuan Liu, Chenkai Xu, Yi Tu, Jiajun Li, Dandan Tu,...
2026-07-01
KV缓存
并行解码
扩散语言模型
训练推理对齐
iLLaDA通过12T预训练和多项改进显著提升扩散语言模型性能
Shen Nie, Qiyang Min, Shaoxuan Xu, Zihao Huang, Yuxuan Song, Yong Shan,...
2026-06-25
从头训练
双向注意力
大规模预训练
扩散语言模型
利用扩散语言模型的并行解码特性,实现单次前向传播同时描述多个图像区域
Yueyi Sun, Yuhao Wang, Jason Li, Ye Tian, Tao Zhang, Jacky Mai, Yihan Wang,...
2026-06-22
区域感知
多模态大语言模型
并行生成
扩散语言模型
细粒度视觉理解
提出TIE框架:通过置信度动态追踪可靠解码轨迹,在生成过程中实现MDLM的中间阶段集成
Heecheol Yun, Joonhyung Park, Joowon Kim, Eunho Yang
2026-06-16
扩散语言模型
模型集成
知识融合
置信度估计
解码策略
Lean 4 高效开源证明器家族:4B 模型以 167× 参数优势反超 671B 基线
Joshua Ong Jun Leang, Zheng Zhao, Mihaela Cătălina Stoian, Qiyuan Xu, Haonan...
2026-06-15
GRPO 强化学习
Lean 4
LoRA 微调
形式化数学
扩散语言模型
提出OPDLM方法,将ARLM转换为DLM,训练token减少15-7000倍
Xingyu Su, Jacob Helwig, Shubham Parashar, Atharv Chagi, Lakshmi Jotsna,...
2026-06-08
在线策略学习
扩散语言模型
模型转换
知识蒸馏
训练效率
将dLLMs的RL转化为去噪器自蒸馏,避免ELBO似然度替代的TIM偏差
Xiaohang Tang, Keyue Jiang, Che Liu, Qifang Zhao, Xiaoxiao Xu, Sangwoong...
2026-06-01
大语言模型
强化学习
扩散语言模型
自蒸馏
提出三重块布局方法,在不修改RWKV架构的前提下实现1.6倍解码吞吐量提升
Ke Lin, Yiyang Luo, Zhaolong Su, Yunya Song, Anyi Rao
2026-05-28
RWKV
伪双向上下文
并行解码
扩散语言模型
线性时间模型
用多步去噪轨迹的"犹豫"信号动态路由双层安全探针,实现SOTA安全监控。
Aoxi Liu, Yupeng Chen, James Oldfield, Guanzhe Hong, Junchi Yu, Baoyuan Wu,...
2026-05-27
LLM安全
动态路由
安全监控
扩散语言模型
线性探针
利用专家激活时间稳定性,通过间隔式刷新策略优化MoE-dLLM推理效率
Zhiben Chen, Youpeng Zhao, Yang Sui, Jun Wang, Yuzhang Shang
2026-05-21
I/O优化
MoE推理
扩散语言模型
无损加速
边缘计算
冻结 AR 主干+可训练扩散头共享 KV 缓存,无损并行解码加速达 7.8×
Chien Van Nguyen, Chaitra Hegde, Van Cuong Pham, Ryan A. Rossi, Franck...
2026-05-14
KV 缓存复用
LLM 推理加速
并行解码
扩散语言模型
投机解码
连续扩散语言模型,在嵌入空间全程去噪、仅末步离散化
Keya Hu, Linlu Qiu, Yiyang Lu, Hanhong Zhao, Tianhong Li, Yoon Kim, Jacob...
2026-05-12
Flow Matching
分类器自由引导
扩散语言模型
生成式语言建模
连续嵌入空间
把视觉DiT配方原封搬到语言建模,REPA塑造潜空间后比肩GPT-2
Jiaxiu Jiang, Jingjing Ren, Wenbo Li, Bo Wang, Haoze Sun, Yijun Yang,...
2026-05-11
Diffusion Transformer
Flow Matching
REPA表示对齐
扩散语言模型
潜空间扩散