通过奖励外推实现超越教师的在线策略蒸馏框架
Wenkai Yang, Weijie Liu, Ruobing Xie, Kai Yang, Saiyong Yang, Yankai Lin
2026-02-13
后训练
大语言模型
对齐
强化学习
知识蒸馏
通过自我蒸馏的元经验增强LLM强化学习的元学习框架
Shiting Huang, Zecheng Li, Yu Zeng, Qingnan Ren, Zhen Fang, Qisheng Su, Kou...
2026-02-12
元学习
大型语言模型
强化学习
推理能力
知识蒸馏
复用训练中弱模型作为纠正信号,通过混合logit训练持续增强强模型
Zehao Chen, Gongxun Li, Tianxiang Ai, Yifei Li, Zixuan Huang, Wang Zhou,...
2026-02-10
后训练
大语言模型
数学推理
监督微调
知识蒸馏
将多教师LLM的知识通过五种净化方法整合为单一推理链,缓解冲突并提升蒸馏效果
Ruihan Jin, Pengpeng Shao, Zhengqi Wen, Jinyang Wu, Mingkuan Feng, Shuo...
2026-02-09
LLM路由
多教师学习
大语言模型
模型压缩
知识蒸馏
用长上下文教师指导长上下文学生,解决视频生成遗忘-漂移困境
Shuo Chen, Cong Wei, Sun Sun, Ping Nie, Kai Zhou, Ge Zhang, Ming-Hsuan Yang,...
2026-02-06
上下文管理
知识蒸馏
自回归模型
视频生成
长视频
将注意力分布视为策略,用RL优化注意力分配以提升多模态LLM视觉推理能力
Bangzheng Li, Jianmo Ni, Chen Qu, Ian Miao, Liu Yang, Xingyu Fu, Muhao Chen,...
2026-02-06
后训练
多模态大模型
强化学习
注意力机制
知识蒸馏
利用训练时特权信息蒸馏前沿模型,无需Chain-of-Thought
Emiliano Penaloza, Dheeraj Vattikonda, Nicolas Gontier, Alexandre Lacoste,...
2026-02-06
强化学习
智能体
特权信息
知识蒸馏
语言模型
用Shapley值和梯度范数理论指导数据集蒸馏,在ImageNet-1K上提升6.1%
Shaobo Wang, Yantai Yang, Guo Chen, Peiru Li, Kaixin Li, Yufa Zhou, Zhaorun...
2026-02-06
博弈论
可解释AI
数据集蒸馏
模型压缩
知识蒸馏
利用小型预训练模型的晚期表示来引导大型模型的早期训练,实现1.6倍加速并提升5%性能
Ji Zhao, Yufei Gu, Shitong Shao, Xun Zhou, Liang Xiang, Zeke Xie
2026-02-06
大语言模型
知识蒸馏
表示学习
训练效率
预训练加速
将多智能体辩论的推理能力蒸馏到单个LLM,提升推理效率
Yinyi Luo, Yiqiao Jin, Weichen Yu, Mengqi Zhang, Srijan Kumar, Xiaoxiao Li,...
2026-02-05
多智能体系统
大语言模型
强化学习
推理增强
知识蒸馏
提出学生熵引导的多轴选择性知识蒸馏方法SE-KD3X,在保持性能的同时大幅降低计算开销
Almog Tavor, Itay Ebenspanger, Neil Cnaan, Mor Geva
2026-02-03
大语言模型
效率优化
模型压缩
知识蒸馏
选择性学习
用离散语言分数替代token级概率匹配,实现内存高效的推理能力蒸馏
Jing Xiong, Hui Shen, Shansan Gong, Yuxin Cheng, Jianghan Shen, Chaofan Tao,...
2026-02-03
Web问答
强化学习
推理
数学推理
知识蒸馏
知识蒸馏可将训练数据记忆减少50%以上,同时提升模型泛化能力
Jaydeep Borkar, Karan Chadha, Niloofar Mireshghallah, Yuchen Zhang,...
2026-02-02
大语言模型
数据记忆
模型压缩
知识蒸馏
隐私保护
用轻量级神经网络探索环境,再蒸馏到LLM并用RL激活,大幅提升非语言任务性能
Haoyu Wang, Guozheng Ma, Shugang Cui, Yilun Kong, Haotian Luo, Li Shen,...
2026-01-30
LLM推理
多轮对话
强化学习
智能体
知识蒸馏
仅用2.3B token将Transformer蒸馏为高效混合模型
Yingfa Chen, Zhen Leng Thai, Zihan Zhou, Zhu Zhang, Xingyu Shen, Shuo Wang,...
2026-01-30
模型压缩
混合架构
知识蒸馏
线性注意力
长上下文建模
通过知识蒸馏将VLA模型从18层压缩到6层,实现2倍推理加速且精度损失<1%
Boseong Jeon, Yunho Choi, Taehan Kim
2026-01-29
VLA
扩散模型
机器人操作
模型压缩
知识蒸馏
通过自蒸馏将演示转化为策略学习信号,实现持续学习而非遗忘
Idan Shenfeld, Mehul Damani, Jonas Hübotter, Pulkit Agrawal
2026-01-28
大语言模型
持续学习
灾难性遗忘
知识蒸馏
策略学习
将文本思维链渲染成图像,用视觉编码器压缩推理过程
Yifan Wang, Shiyu Li, Peiming Li, Xiaochen Yang, Yang Tang, Zheng Wei
2026-01-22
多模态学习
思维链压缩
潜在空间推理
知识蒸馏
视觉推理
INR超网络统一识别与重建并给出强力压缩表示
Matthew Gwilliam, Xiao Wang, Xuefeng Hu, Zhenheng Yang
2026-01-22
图像分类
图像生成
知识蒸馏
视觉表征学习
语义分割
提出 RSR 指标衡量推理轨迹与学生模型的适配度,在蒸馏中同时捕获信息量与对齐性
Yuming Yang, Mingyoung Lai, Wanxu Zhao, Xiaoran Fan, Zhiheng Xi, Mingqi Wu,...
2026-01-21
LLM训练
推理能力
数据选择
知识蒸馏
链式思维