EC路由+时间步容量调度让DLM MoE训练提速2倍、推理提速1.5倍
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
提出IMH采样器,用全局前瞻校正解决dLLM解码中Pass@1与Pass@k的张力。
307M参数的土耳其语掩码扩散语言模型,媲美数倍大的自回归模型
用同一模型的自回归模式作验证器,无需训练即加速扩散LLM解码
扩散解码替代自回归,实现文档OCR并行生成与语义鲁棒
通过双层优化引入参数记忆机制,解决扩散语言模型训练与推理不匹配和长上下文注意力稀释问题
首次系统对比 AR 与扩散 LLM 的层间表征结构,发现扩散目标函数带来可被利用的早层冗余。
ODD:免训练、顺序正交投影,提升扩散语言模型Pass@k。
稳定扩散语言模型的强化学习训练
👍 3提出StableDRL,通过无条件裁剪和自归一化解决dLLM强化学习中的奖励崩溃问题
绕过扩散LLM不可计算的似然,用速度场整流实现精准对齐
dLLM:简洁的扩散语言建模框架
👍 153统一扩散语言模型训练、推理与评估的开源框架,并提供从BERT/AR模型转换为DLM的实用配方
提出Ψ-采样器和高效课程学习,显著提升离散扩散模型的生成质量和训练效率
扩散语言模型的注意力汇聚感知剪枝
👍 3针对扩散语言模型中注意力汇聚不稳定的特点,提出感知汇聚的剪枝方法
提出统一后训练框架,通过SFT与多任务RL结合,大幅提升多模态扩散语言模型的推理能力
用MCTS优化掩码扩散语言模型的槽填充顺序,在推理任务上平均提升3.2%
利用dLLM重掩码机制实现免训练高效投票推理
轨迹自蒸馏+DDO目标函数,让扩散语言模型用更少步骤生成高质量文本
通过两阶段后训练和并行推理范式,让扩散大语言模型成为高效的搜索智能体
引入T2T编辑机制突破扩散语言模型速度-质量权衡瓶颈
DFlash:基于块扩散模型的快速推测解码框架
👍 100用轻量块扩散模型做并行草稿,实现6倍以上无损加速