用Shapley值和梯度范数理论指导数据集蒸馏,在ImageNet-1K上提升6.1%
Shaobo Wang, Yantai Yang, Guo Chen, Peiru Li, Kaixin Li, Yufa Zhou, Zhaorun...
2026-02-06
博弈论
可解释AI
数据集蒸馏
模型压缩
知识蒸馏
将FFN解耦为无上下文的token级神经检索记忆,提升可解释性并支持预计算卸载
Ajay Jaiswal, Lauren Hannah, Han-Byul Kim, Duc Hoang, Arnav Kundu, Mehrdad...
2026-02-04
Transformer架构
可解释性
模型压缩
模型效率
神经记忆网络
提出学生熵引导的多轴选择性知识蒸馏方法SE-KD3X,在保持性能的同时大幅降低计算开销
Almog Tavor, Itay Ebenspanger, Neil Cnaan, Mor Geva
2026-02-03
大语言模型
效率优化
模型压缩
知识蒸馏
选择性学习
知识蒸馏可将训练数据记忆减少50%以上,同时提升模型泛化能力
Jaydeep Borkar, Karan Chadha, Niloofar Mireshghallah, Yuchen Zhang,...
2026-02-02
大语言模型
数据记忆
模型压缩
知识蒸馏
隐私保护
提出RTL框架,为不同数据子集发现专门的稀疏子网络,替代传统单一全局剪枝
Grzegorz Stefanski, Alberto Presta, Michal Byra
2026-02-02
彩票假说
模型剪枝
模型压缩
稀疏网络
自适应计算
提出 TAPPA 框架,从时序连续性角度统一解释 LLM 中多样化的注意力模式。
Qingyue Yang, Jie Wang, Xing Li, Yinqi Bai, Xialiang Tong, Huiling Zhen,...
2026-02-02
RoPE
大语言模型
模型压缩
注意力机制
仅用2.3B token将Transformer蒸馏为高效混合模型
Yingfa Chen, Zhen Leng Thai, Zihan Zhou, Zhu Zhang, Xingyu Shen, Shuo Wang,...
2026-01-30
模型压缩
混合架构
知识蒸馏
线性注意力
长上下文建模
Softmax1替换标准注意力,token减少70%、准确率提升27%
Haozheng Luo, Zhuolin Jiang, Md Zahid Hasan, Yan Chen, Soumalya Sarkar
2026-01-30
大语言模型
模型压缩
注意力机制
链式思维
高效推理
通过知识蒸馏将VLA模型从18层压缩到6层,实现2倍推理加速且精度损失<1%
Boseong Jeon, Yunho Choi, Taehan Kim
2026-01-29
VLA
扩散模型
机器人操作
模型压缩
知识蒸馏
SALAD在视频扩散变换器中引入并行线性注意力分支,实现90%稀疏度和1.52-2.03倍推理加速,同时保持生成质量。
Tongcheng Fang, Hanling Zhang, Ruiqi Xie, Zhuo Han, Xin Tao, Tianchen Zhao,...
2026-01-26
扩散模型
模型压缩
注意力机制
稀疏注意力
线性注意力
Mistral 3B/8B/14B 模型,级联蒸馏实现高效训练
Alexander H. Liu, Kartik Khandelwal, Sandeep Subramanian, Victor Jouault,...
2026-01-14
多模态
开源模型
模型压缩
模型蒸馏
语言模型
首个在手机端实现 DiT 高质量图像生成的系统,0.4B 模型 1.8 秒生成 1K 图像
Dongting Hu, Aarush Gupta, Magzhan Gabidolla, Arpit Sahni, Huseyin Coskun,...
2026-01-14
扩散模型
模型压缩
注意力机制
知识蒸馏
边缘部署