用语义化评分标准替代教师 logits 的黑箱在线蒸馏框架。
Junfeng Fang, Zhepei Hong, Mao Zheng, Mingyang Song, Gengsheng Li, Houcheng...
2026-05-11
GRPO
LLM对齐
强化学习
知识蒸馏
评分标准奖励
用能量罗盘重塑离散流匹配的训练轨迹,让8步学生超越1024步教师
Amin Karimi Monsefi, Dominic Culver, Nikhil Bhendawade, Manuel R. Ciosici,...
2026-05-11
少步生成
知识蒸馏
离散扩散
离散流匹配
能量模型
把奖励信号拆解到 rollout 与像素级,对 DMD 蒸馏做时空局部化加权。
Bin Wu, Mengqi Huang, Shaojin Wu, Weinan Jia, Yuxin Wang, Zhendong Mao,...
2026-05-07
奖励建模
扩散模型
流式生成
知识蒸馏
视频生成
把多个大模型的相互偏离视为动态负约束,构建无需真实标签的自主偏好对齐框架
Xiaoyu Yang, En Yu, Wei Duan, Jie Lu
2026-05-07
偏好优化
医学影像推理
多模态大模型对齐
概念漂移
知识蒸馏
构建医疗 RL 训练场并提出 TT-OPD 自蒸馏框架解决多轮崩塌问题
Minbyul Jeong
2026-05-06
GRPO
LLM智能体
医疗AI
多轮推理
强化学习
双向统一决策树与扩散模型于 GTSM 框架,提出两个表格算法。
Sai Niranjan Ramachandran, Suvrit Sra
2026-05-04
GTSM
PF-ODE
决策树
层次结构
扩散模型
首个跨架构扩散LLM蒸馏框架,统一解决时序/上下文/词表三重鸿沟。
Gongbo Zhang, Wen Wang, Ye Tian, Li Yuan
2026-04-30
块扩散解码
扩散语言模型
模型压缩
知识蒸馏
跨架构学习
将前向KL与反向KL按token级信号混合,结合off-policy数据与轻量on-policy采样的统一蒸馏框架
Wenhong Zhu, Ruobing Xie, Rui Wang, Pengfei Liu
2026-04-24
代码生成
大语言模型
强化学习
推理
知识蒸馏
统一文本概率空间的多模态蒸馏框架,含视觉切换与动态双向 logits 差异损失。
Haoyi Sun, Xiaoxiao Wang, Ning Mao, Qian Wang, Lifu Mu, Wen Zheng, Tao Wei, Wei Chen
2026-04-17
多模态学习
模型压缩
知识蒸馏
视觉-语言模型
BLD方法:基于字节级接口的跨分词器蒸馏简化基线
Avyav Kumar Singh, Yen-Chen Wu, Alexandru Cioba, Alberto Bernacchia, Davide Buffelli
2026-04-17
大语言模型
字节级建模
知识蒸馏
跨分词器
用熵与分歧两轴解释 OPD 中 token 重要性,并提出无参数 Soft-OR 选择规则。
Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He, Zhipeng Wang, Alborz Geramifard
2026-04-16
LLM 训练
Token 选择
推理模型
知识蒸馏
课程学习
通过预先计算教师logprob,把OPD从需要实时教师服务变成单阶段训练,效率提升4倍。
Yecheng Wu, Song Han, Hai Cai
2026-04-15
MoE架构
Teacher Consistency
在策略蒸馏
大模型后训练
强化学习
基于轨迹正确性和困惑度进行双路自适应加权的在线策略蒸馏框架,提升LLM推理对齐效果
Binbin Zheng, Xing Ma, Yiheng Liang, Jingqing Ruan, Xiaoliang Fu, Kepeng...
2026-04-14
大语言模型
奖励建模
强化学习
推理对齐
知识蒸馏
POLYGLOT SCORE评估10个LM多语种教学能力,规模非关键因素。
Lester James V. Miranda, Ivan Vulić, Anna Korhonen
2026-04-14
合成数据
多语言学习
数据质量评估
监督微调
知识蒸馏
通过直接条件蒸馏(DCD)把多步块扩散蒸馏为单步解码,同时用响应非对称扩散(RAD)削减72.3%训练FLOPs,在胸部X光报告生成上实现8倍理论加速和5.1倍实测加速。
Lifeng Chen, Tianqi You, Hao Liu, Zhimin Bao, Jile Jiao, Xiao Han, Zhicai...
2026-04-13
一步式推理
医学影像
扩散语言模型
知识蒸馏
胸部X光报告生成
腾讯混元具身基础模型家族,MoT+自进化训练+蒸馏,2B 小模型 SOTA 22 基准。
Tencent Robotics X, HY Vision Team, Xumin Yu, Zuyan Liu, Ziyi Wang, He...
2026-04-10
Mixture-of-Transformers
具身智能
强化学习
机器人基础模型
知识蒸馏
用单个前沿教师模型结构化合成轨迹,将9B小模型在WebArena上提升至41.5%
Xing Han Lù, Siva Reddy
2026-04-10
LLM后训练
合成数据
智能体
知识蒸馏
网页导航
三阶段半监督蒸馏框架,将视觉基础模型压缩为11倍小的实例分割专家。
Pardis Taghavi, Tian Liu, Renjie Li, Reza Langari, Zhengzhong Tu
2026-04-10
半监督学习
基础模型
实例分割
对比学习
知识蒸馏
提出分层采样策略,通过保留教师分数分布多样性提升蒸馏检索泛化能力
Youngjoon Jang, Seongtae Hong, Hyeonseok Moon, Heuiseok Lim
2026-04-09
信息检索
分布多样性
密集检索
知识蒸馏
难负例采样
Google 4B 医疗多模态模型,新增 3D 影像与时序分析能力
Andrew Sellergren, Chufan Gao, Fereshteh Mahvar, Timo Kohlberger, Fayaz...
2026-04-08
3D 影像
医疗 AI
多模态大模型
文档理解
病理 WSI