统一文本概率空间的多模态蒸馏框架,含视觉切换与动态双向 logits 差异损失。
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
通过表示层级揭示剪枝何时有效
👍 16剪枝在非生成任务有效但生成任务失效,softmax非线性放大是关键
将对话历史音频压缩为固定latent tokens,降低成本同时保留ASR增益
0.39B参数统一扩散模型,在手机端实现<1秒图文生成与编辑
用强化学习学习可迁移的逐层位宽分配策略,实现比统一4位量化更优的精度-效率权衡
面向混合 xLSTM 架构的高效蒸馏
👍 33用 mLSTM-SWA 混合架构蒸馏 Transformer,通过专家合并实现近乎无损的性能迁移
通过知识蒸馏将2B VLM压缩到69M文本编码器,实现高效视觉文档检索
首个在手机端实现实时渲染的3D高斯泼溅方法,融合无排序渲染、SH蒸馏、神经矢量量化与贡献剪枝。
首次系统对比 AR 与扩散 LLM 的层间表征结构,发现扩散目标函数带来可被利用的早层冗余。
通过锚点式集群丢弃和球谐系数截断解决稀疏视角3DGS过拟合问题
首个VLA模型训练后量化框架,通过选择性量化和轻量校准实现70%内存节省且超越全精度性能
首个可在手机上实时运行的统一多模态理解与生成模型,仅1.6B参数
扩散语言模型的注意力汇聚感知剪枝
👍 3针对扩散语言模型中注意力汇聚不稳定的特点,提出感知汇聚的剪枝方法
利用正交字典学习和闭式Procrustes更新实现训练后Transformer压缩
通过比特平面构造可变量化网格,突破固定网格在2-bit极限压缩下的精度瓶颈
免训练的 LLM 压缩框架,通过单步稀疏字典分解和全局背包优化实现 SOTA 压缩效果
用低秩二值分解将LLM压缩至1比特以下,单卡H100仅需13小时压缩70B模型
利用微调中的权重更新信号优化大推理模型的3-bit量化
通过算法强制执行残差层级结构,解决2-bit量化中的路径共适应问题
将多教师LLM的知识通过五种净化方法整合为单一推理链,缓解冲突并提升蒸馏效果