仅用2.3B token将Transformer蒸馏为高效混合模型
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
视觉语言模型
世界模型
GRPO
多模态大模型
知识蒸馏
LLM智能体
多智能体系统
智能体
多模态学习
流匹配
具身智能
图像生成
基准评测
代码生成
LLM Agent
检索增强生成
注意力机制
机器人操作
多模态大语言模型
视频理解
可解释性
数学推理
图像编辑
多模态
机器人学习
RLVR
自监督学习
长上下文
后训练
Transformer
工具使用
对比学习
数据合成
视觉-语言-动作模型
推理加速
工具调用
LoRA
多模态推理
RAG
计算机视觉
LLM评估
信息检索
视觉推理
评测基准
高效推理
参数高效微调
扩散语言模型
自蒸馏
综述
Flow Matching
3D重建
模型压缩
自回归生成
持续学习
自回归模型
通过知识蒸馏将VLA模型从18层压缩到6层,实现2倍推理加速且精度损失<1%
自蒸馏实现持续学习:从演示中进行策略学习
👍 41通过自蒸馏将演示转化为策略学习信号,实现持续学习而非遗忘
将文本思维链渲染成图像,用视觉编码器压缩推理过程
隐式神经表示促进统一通用视觉编码
👍 7INR超网络统一识别与重建并给出强力压缩表示
提出 RSR 指标衡量推理轨迹与学生模型的适配度,在蒸馏中同时捕获信息量与对齐性
通过知识蒸馏对齐教师模型的视觉注意力轨迹,让小模型获得大模型的视觉推理能力
面向卓越长链式思维推理的分布对齐序列蒸馏
👍 64三项蒸馏改进技术将4B小模型推理能力提升至超越32B大模型水平
首个在手机端实现 DiT 高质量图像生成的系统,0.4B 模型 1.8 秒生成 1K 图像
通过低成本微调将预训练视频扩散模型转化为金字塔模型,实现4.5倍FLOPs降低且无质量损失
通过教师-学生架构将训练时可用的特权信息(遮罩、深度等)蒸馏到学生模型,推理零开销提升检测精度。