D3D：面向异步投机解码的解耦扩散起草
👍 19独立扩散起草器结合接受度引导剪枝与异步打包起草，最高7.48倍无损解码加速
标签：
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
仅用单 GPU 数小时的高秩 LoRA 微调，即可把主流自回归大模型转换为可用的扩散语言模型
0.62M小模型学习DLM提交顺序构建草稿树，共享噪声验证实现最高3.4倍无损加速
以跨范式在线蒸馏与渐进自精化扩散，让统一扩散LLM同时看懂并生成图像，达到SOTA
扩散草稿步数与接受宽松度必须联合调节才能铺满速度-质量帕累托前沿
扩散语言模型的解码速度随任务与语言而变化
👍 20扩散语言模型解码成本随任务、语言与答案对错大幅变化，可免费用作置信信号。
把文本生成拆为连续语义压缩与离散解码，用梯度路由实现表示-生成协同适应，扩展未饱和。
量化敏感度随任务与去噪步而变，T2Quant按时序分配激活精度，同预算最高提升6.7个百分点。
受控研究揭示去掩码策略设计规律，提出轨迹收缩监督，856K小策略显著加速dLLM解码
扩散LM智能体可用隐向量传递任务内容，传递时机比交换轮数更关键
深度研究智能体换扩散骨干后端到端提速约6倍，报告质量不降
循环均匀扩散语言模型
👍 5循环复用中间层，均匀扩散语言模型训练FLOPs最多省3.3倍
大型流语言模型
👍 15Lafa用块级异步连续流适配预训练AR模型，自投机解码带来2.54倍吞吐
用损失与吞吐双因子分解指导扩散草稿训练和推理配置，加速至4.14倍
首个在完全离散空间用多码本视觉token统一图像/视频/3D理解与图像生成编辑的扩散语言模型
将视觉定位重构为并行视觉证据抽取，4B扩散模型提速4.51倍并刷新30项基准
用并行批量打分恢复扩散草稿块内依赖，前缀优先选路，投机解码吞吐最高提升6.6倍
用K-RPBH随机旋转把激活变为可预测分布，无需校准数据即实现dLLM的4bit量化与加速
ALoDLM：自适应循环扩散语言模型
👍 68在去噪步内用token级自适应潜空间循环，让易预测词早提交、难预测词多迭代，质量速度兼得
在冻结DLM的特征空间里做MMD后训练，让扩散语言模型少步生成质量与并行解码效率兼得