模态感知的免训练MoE专家剪枝,让58GB多模态模型塞进单张40GB GPU
Donggeun Kim
2026-11-10
MoE
专家剪枝
免训练方法
多模态大语言模型
模型压缩
把时延/吞吐/显存约束直接写进可微架构搜索,自动剪出达标模型
Sheldon Liang, Ali Taghibakhshi, Saurav Muralidharan, Sharath Turuvekere...
2026-11-09
MoE
可微架构搜索
推理成本模型
模型压缩
知识蒸馏
固定剪枝掩码首次受控比较替换算子:门控尺度须随路由器训练约定,低秩倾斜替补稳定增益
Ezza Ali, Sehrish Bibi, Momina Moetesum, Faisal Shafait
2026-11-04
MoE专家剪枝
实证研究
替换算子
模型压缩
训练无关压缩
LEMS 误差模型驱动 ILP 秩分配,KFAC-SVD 修复 Fisher 秩坍缩
Moritz Thoma, Maximilian Groezinger, Maximilian Forstenhäusler, Emad...
2026-11-03
SVD
低秩分解
大语言模型
模型压缩
秩分配
OPTIC 跨层共享量化码,将 PLE 压缩约百倍仍保留 97.8% 性能
Jiacheng Liu, Yaxin Luo, Xiaohan Zhao, Peng Sun, Xinyi Shang, Jiacheng Cui,...
2026-10-27
Gemma
LLM推理优化
向量量化
嵌入压缩
模型压缩
把每个权重写成树上共享离散决策的乘积,统一模型压缩、加法器电路与离散优化三种视角
Ammar Ali, Stamatis Lefkimmiatis
2026-10-26
后训练量化
权重表示
模型压缩
硬件电路
离散优化
降低舍入频率并按通道对齐分组,免训练实现四比特线性注意力状态量化
Patrick Haller, Filipe Laitenberger, Alan Akbik
2026-10-22
推理加速
模型压缩
状态量化
线性注意力
门控增量规则
用共享高斯trellis解码器加逐行范数恢复,把条件记忆查找表压到2比特且性能几乎不掉
Donghoon Han, Minseop Jung, Dong Woo Kwak, SeungJae Lee, Junhoo Lee
2026-10-20
Trellis量化
条件记忆
查找表量化
模型压缩
高效推理
用 16 MB 冻结二值码表替换可学习词嵌入,三值模型整机 46 MB,CPU 提速 5 倍以上
Sai Kiran Bathula
2026-10-19
BitNet
嵌入量化
模型压缩
端侧推理
高效语言模型
用一阶球谐、显式二阶运动与深度序证书,在手机GPU上实时渲染静态与4D动态场景。
Xiaobiao Du, Beixi Hao, Zhen Fang, Tianqing Zhu, Richard Hartley, Xin Yu
2026-10-08
3D Gaussian Splatting
4D 动态场景
WebGL
新视角合成
模型压缩
把每层要删除的子空间参数化为可学习正交投影,端到端对齐网络输出,高压缩率下大幅超越现有低秩压缩方法
Massimo Bini, Anders Christensen, Stephan Alaniz, Judah Goldfeder, Ole...
2026-10-07
KV缓存优化
低秩分解
大语言模型
模型压缩
知识蒸馏
免训练框架:Blossom 全局最优层配对+广义 Sylvester 闭式共享字典+HTP 稀疏化
Baher Mohammad, Ammar Ali, Stamatios Lefkimmiatis
2026-09-24
Transformer
低秩分解
后训练压缩
字典学习
模型压缩
按ΔWER排序剪掉Whisper编码器6层,免标注蒸馏恢复性能,端到端提速1.75倍
Rasmus Aagaard, Nicki Skafte Detlefsen
2026-09-24
Whisper
层剪枝
模型压缩
知识蒸馏
语音识别
提出预登记保持协议评估量化方案,混合W4/W8达6.76×压缩且176场零灾难失败
Sebastián A. Cruz Romero
2026-09-21
可复现性
模型压缩
细胞图像分割
统计评估方法
训练后量化
层更新可分解为平行与垂直分量:平行冗余可删甚至利于训练,垂直关键而脆弱
Shwai He, Haichao Zhang, Shen Yan
2026-09-16
可解释性
模型压缩
注意力机制
表征几何
预训练
只蒸馏智能体的感知模块而非整个智能体,2B 模型单次前向拿下长视频问答 ≤2B 组第一
Logesh Kumar Umapathi
2026-09-14
多模态大模型
智能体
模型压缩
知识蒸馏
视频问答
渐进剪枝+跨尺度蒸馏,把语音大模型音频编码器从18层压到14层而精度几乎无损
Haojun Zhang, Yi Zou, Min Chen, Qize Yu, Lianrui Fan, Xini Ding, Hao Li,...
2026-09-11
LoRA微调
模型压缩
知识蒸馏
结构化剪枝
语音识别
用尖峰-滑块先验加高斯混合的变分学习同时剪枝与量化,压缩率更高且精度损失更小。
Ziyi Wang, Nan Jiang, Guang Lin, Qifan Song
2026-09-09
剪枝
变分推断
模型压缩
贝叶斯深度学习
量化
从原始未压缩模型蒸馏修复压缩+4bit量化LLM,比QAT快7倍且无需早停
Bakbergen Ryskulov, Iker García-Ferrero, David Montero, David Jansen, Ali...
2026-08-25
LLM高效推理
模型压缩
知识蒸馏
量化
用校准流量驱动的专家合并把推荐MoE压缩为更小的标准MoE,近无损且提速至2.21倍
Lei Xin, Bin Gu, Peize Li, Zitong Wang, Jianbo Zhao, Changjiang Jiang,...
2026-08-12
专家合并
推理加速
推荐系统
模型压缩
混合专家MoE