Lean 4 高效开源证明器家族:4B 模型以 167× 参数优势反超 671B 基线
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
提出OPDLM方法,将ARLM转换为DLM,训练token减少15-7000倍
将dLLMs的RL转化为去噪器自蒸馏,避免ELBO似然度替代的TIM偏差
提出三重块布局方法,在不修改RWKV架构的前提下实现1.6倍解码吞吐量提升
用多步去噪轨迹的"犹豫"信号动态路由双层安全探针,实现SOTA安全监控。
利用专家激活时间稳定性,通过间隔式刷新策略优化MoE-dLLM推理效率
冻结 AR 主干+可训练扩散头共享 KV 缓存,无损并行解码加速达 7.8×
ELF:嵌入式语言流
👍 14连续扩散语言模型,在嵌入空间全程去噪、仅末步离散化
TextLDM:基于连续潜扩散的语言建模
👍 24把视觉DiT配方原封搬到语言建模,REPA塑造潜空间后比肩GPT-2
快速字节潜在Transformer
👍 10通过块扩散与自推测解码,把字节级语言模型的推理内存带宽最高砍掉九成。
利用扩散模型的masked位置预测实现高效多表示检索,超越传统单向量方法
Cola DLM:连续潜在扩散语言模型
👍 86通过分层潜在变量分解将文本生成为连续语义先验传输再条件解码。
首个跨架构扩散LLM蒸馏框架,统一解决时序/上下文/词表三重鸿沟。
基于离散扩散LLM的统一多模态模型,语义VQ+MoE主干+扩散解码器三件套打通图文
内省扩散语言模型
👍 25首次通过内省一致性训练使DLM达到AR模型质量,在15个基准测试中实现3×吞吐量提升
让小模型接管扩散轨迹首尾步骤,中间保留大模型,省 17% 算力几乎不掉质量
通过直接条件蒸馏(DCD)把多步块扩散蒸馏为单步解码,同时用响应非对称扩散(RAD)削减72.3%训练FLOPs,在胸部X光报告生成上实现8倍理论加速和5.1倍实测加速。
DMax:面向扩散语言模型的激进并行解码
👍 52用on-policy训练+软嵌入解码让dLLM并行度翻倍且不丢精度。
用轻量微调让 AR 模型一次生成多 token,无需架构改动即可调节速度与质量。
DARE:扩散大语言模型对齐与强化执行器
👍 19统一扩散大语言模型后训练与评估的开源框架,支持多种模型家族和RL算法