通过学习自适应选择块大小来优化基于扩散的投机解码效率
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
视觉语言模型
世界模型
GRPO
多模态大模型
多智能体系统
多模态学习
智能体
知识蒸馏
图像生成
代码生成
LLM智能体
注意力机制
LLM Agent
具身智能
流匹配
多模态大语言模型
视频理解
数学推理
检索增强生成
可解释性
图像编辑
多模态
机器人学习
机器人操作
自监督学习
工具使用
Transformer
基准评测
对比学习
长上下文
RLVR
多模态推理
计算机视觉
数据合成
LLM评估
信息检索
推理加速
3D重建
扩散语言模型
自回归模型
视觉推理
RAG
参数高效微调
LoRA
视觉-语言-动作模型
Flow Matching
模型压缩
自回归生成
视觉-语言模型
后训练
工具调用
持续学习
高效推理
RLHF
策略优化
多块扩散语言模型
👍 40通过MultiTF后训练和Block Buffer机制实现块间并行解码,提升扩散语言模型推理效率
改进的大型语言扩散模型
👍 43iLLaDA通过12T预训练和多项改进显著提升扩散语言模型性能
基于多模态扩散语言模型的并行区域感知框架
👍 64利用扩散语言模型的并行解码特性,实现单次前向传播同时描述多个图像区域
提出TIE框架:通过置信度动态追踪可靠解码轨迹,在生成过程中实现MDLM的中间阶段集成
Lean 4 高效开源证明器家族:4B 模型以 167× 参数优势反超 671B 基线
提出OPDLM方法,将ARLM转换为DLM,训练token减少15-7000倍
将dLLMs的RL转化为去噪器自蒸馏,避免ELBO似然度替代的TIM偏差
提出三重块布局方法,在不修改RWKV架构的前提下实现1.6倍解码吞吐量提升
用多步去噪轨迹的"犹豫"信号动态路由双层安全探针,实现SOTA安全监控。
利用专家激活时间稳定性,通过间隔式刷新策略优化MoE-dLLM推理效率
冻结 AR 主干+可训练扩散头共享 KV 缓存,无损并行解码加速达 7.8×
ELF:嵌入式语言流
👍 15连续扩散语言模型,在嵌入空间全程去噪、仅末步离散化
TextLDM:基于连续潜扩散的语言建模
👍 26把视觉DiT配方原封搬到语言建模,REPA塑造潜空间后比肩GPT-2
快速字节潜在Transformer
👍 12通过块扩散与自推测解码,把字节级语言模型的推理内存带宽最高砍掉九成。
利用扩散模型的masked位置预测实现高效多表示检索,超越传统单向量方法
Cola DLM:连续潜在扩散语言模型
👍 85通过分层潜在变量分解将文本生成为连续语义先验传输再条件解码。
首个跨架构扩散LLM蒸馏框架,统一解决时序/上下文/词表三重鸿沟。
基于离散扩散LLM的统一多模态模型,语义VQ+MoE主干+扩散解码器三件套打通图文
内省扩散语言模型
👍 25首次通过内省一致性训练使DLM达到AR模型质量,在15个基准测试中实现3×吞吐量提升