利用相邻步骤置信度相关性预测解码位置,实现无训练的29倍长上下文推理加速
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
残差上下文扩散语言模型
👍 36通过回收被丢弃的中间计算信号,显著提升扩散语言模型的推理准确率
用模型预测熵自适应混合软/硬token嵌入,解决离散扩散LLM奖励引导的梯度-可靠性矛盾
基于频域滑动窗口引导dLLM实现结构到细节的解码策略
扩散大语言模型用于音频理解,四阶段训练超越自回归基线
扩散语言模型的任意顺序生成反而限制推理,用标准GRPO效果更佳
通过块扩散持续预训练,使扩散语言模型在代码任务上超越自回归基线
用软 token 分布替代硬二元掩码,实现扩散语言模型的渐进式可修正解码