把时延/吞吐/显存约束直接写进可微架构搜索,自动剪出达标模型
Sheldon Liang, Ali Taghibakhshi, Saurav Muralidharan, Sharath Turuvekere...
2026-11-09
MoE
可微架构搜索
推理成本模型
模型压缩
知识蒸馏
检测教师漂移起点并验证可恢复性,只在可教前缀上蒸馏,提升低资源语言推理。
Jaewon Cho, Minseo Yoon, Jinyoung Park, Jinwoo Seo, Jaewon Chu, Alice Oh,...
2026-11-09
后训练
多语言推理
大语言模型
数学推理
知识蒸馏
蒸馏视频扩散模型的预测表征,让机器人无需生成未来视频即可11Hz实时控制
Jaehyeong Jo, Sangwon Jang, Sihyun Yu, Seonghyeon Ye, Yekyung Nah, Hojung...
2026-11-06
世界动作模型
机器人操作
知识蒸馏
表征学习
视频扩散模型
把工具观测压缩成128个连续隐向量直接喂给智能体:token省70-89%,EM/F1反升。
Yuetong Liu, Zhehao Zhou, Yitong Zhang, Haorui Chen, Jia Li
2026-11-06
LLM智能体
上下文压缩
工具调用
知识蒸馏
隐空间表示
4B 混合 CUA 经五阶段课程与进化脚手架,OSWorld-Verified 达 66.0%。
Xiaoyi Zhang, Haoqing Wang, Xinjie Zhang, Xiang Ming, Xing Wang, Senqiao...
2026-11-04
GUI与终端混合执行
强化学习
数据合成
知识蒸馏
端侧智能
首个token级自适应OPSD:多教师池配合投票与KL选择,逐token匹配最优监督
Yifu Luo, Chuang Ma, Zeyu Chen, Enkelejda Kasneci, Qi Chen, Gjergji Kasneci
2026-11-04
后训练
大语言模型
数学推理
知识蒸馏
蒸馏只需模仿教师top-K token的排序,无需拟合其概率值,全面超越传统在策略蒸馏
Guangzeng Han, Yu Wu, Xiaolei Huang
2026-11-03
在策略蒸馏
大模型推理
排序学习
知识蒸馏
训练目标设计
条目空间在策略蒸馏把生成式教师的排序能力压进单token决策模型,超越27B教师且快24.5倍
Yanran Wu, Dian Yu, Chongyang Bai, Jieyi Zhang, Rui Liu, Tianyi Chen, Shike...
2026-11-03
信息检索
决策模型
在策略学习
推理效率
文档重排
先用统计门控进化冻结教师的harness,再蒸馏进0.8B–4B学生,以约五分之一算力逼近教师
Kehong Gong, Xiaoxu Zheng, Guanli Hou, Seunghun Lee, Mengqi Guo, Runjia Tan,...
2026-11-03
具身智能
智能体脚手架
机器人操作
知识蒸馏
统计假设检验
在 Gemma 4 26B 骨干上加装语音接口,统一语音推理、对话与工具调用,性能逼近专有系统。
Aman Tiwari, Akshay Kalkunte, Akintunde Oladipo, Jash Shah, Tara Bogavelli,...
2026-11-02
多模态
工具调用
智能体
知识蒸馏
语音推理
用想象令牌替代随机噪声初始化,把世界动作模型的动作生成压缩到一步扩散
Guowen Zhang, Liyi Chen, Xu Hu, Pengfei Wang, Jingfan Chen, Chenhang He, Lei Zhang
2026-11-02
一步生成
世界动作模型
具身操控
扩散模型加速
知识蒸馏
744M参数开源多模态嵌入模型,统一文本、图像、视频与音频表示空间
Henrique Schechter Vera, Sahil Dua, Jovan Andonov, Sara Smoot, Sebastian...
2026-10-28
多模态嵌入
对比学习
知识蒸馏
端侧部署
表示学习
低分辨率传播筛选需细查的查询与记忆,仅对选中对做高分辨率匹配,4K提速7.4倍且省13倍显存
Shuyun Wang, Shangchen Zhou, Peiqing Yang, Yuekun Dai, Xin Yu, Chen Change Loy
2026-10-28
知识蒸馏
稀疏计算
视频抠图
记忆传播
高效推理
0.8B 小模型经四阶段训练统一文档解析、通用OCR、KIE等五大任务,多项基准登顶
Yu Xia, Yinglun Li, Yuhui Chen, Jinlong Huang, Yuyang Wanyan, Shengze Shi,...
2026-10-28
OCR
多任务学习
强化学习
文档解析
知识蒸馏
发现提示内容几乎不重要,定位首个错误步骤的位置才是自蒸馏收益来源
Johnny Yu, Cyril Gorlla
2026-10-28
LLM
后训练
知识蒸馏
自蒸馏
金融推理
逐项评分仅在重排序器初始化下胜过联合读取,68M紧凑编码器即可超越435M零样本NLI分类器
Tardelli Ronan Coelho Stekel
2026-10-27
多选决策
校准与延迟
知识蒸馏
紧凑编码器
零样本分类
开放数据级联蒸馏加专家RL与多教师在线蒸馏,4B模型以更少数据超越8B对手
Juekai Lin, Honglin Lin, Yuqian Yuan, Xiaolong Wu, Jie Cao, Liang Liang,...
2026-10-26
后训练
多模态推理
强化学习
数据构造
知识蒸馏
编码器离线压缩物品为单向量、排序器在线个性化打分,共享前缀推理使吞吐达全文教师60倍。
Jiang Wu, Yutong Song, Hongbo Wang, Guanghe Cao, Jeff Lei Liang
2026-10-26
大语言模型
推理加速
推荐系统
知识蒸馏
系统优化
用强化学习策略在预算下联合选择扩散特征的时间步、层与通道子集并蒸馏紧凑学生网络
Ivan Listopadov, Maksim Nakhodnov, Aibek Alanov
2026-10-23
密集预测
扩散模型
特征选择
知识蒸馏
策略梯度
保留教师答案,自行生成学生家族风格的推理链,蒸馏效果反超教师原生思维链
Yan Wang
2026-10-22
代码生成
对抗训练
推理链合成
知识蒸馏