用冻结教师VLM把已执行行为的语义目标蒸馏进VLA动作解码器,大幅提升操作成功率与泛化
Sangoh Lee, Sangwoo Mo, Wook-Shin Han
2026-08-31
具身智能
意图蒸馏
机器人操作
知识蒸馏
行为克隆
剖析DiT层间记忆偏好,让有界内存的自回归视频模型按状态检索远期历史并只注入敏感层
Yixuan Ding, Jiahao Kong, Wei Huang, Ruijie Quan, Yi Yang
2026-08-31
扩散Transformer
注意力分析
知识蒸馏
视频生成
记忆机制
把训练中现成的逐域反向KL信号变成动态数据配比,零开销让多教师蒸馏更快更强
Zechen Sun, Zhiwei Zhang, Fei Zhao, Juntao Li, Mu Chuan, Huayu Deng, Guojian...
2026-08-27
多教师蒸馏
大模型后训练
数据调度
知识蒸馏
两阶段训练的多模态嵌入家族:2B 超越 8B 基线,9B 以 80.6 分居 MMEB-v2 榜首
Junjie Zhou, Ke Mei, Lei Li, Tianyi Wang, Fengyun Rao, Jing Lyu
2026-08-26
Matryoshka表示学习
多模态嵌入
对比学习
知识蒸馏
跨模态检索
用一个 ReLU 门控把在策略蒸馏改造成合法的 RLVR 方法,零新增超参数
Wenze Lin, Jiale Zhao, Xitai Jiang, Songde Rao, Yining Li, Shenzhi Wang,...
2026-08-26
RLVR
大模型后训练
强化学习
数学推理
知识蒸馏
从原始未压缩模型蒸馏修复压缩+4bit量化LLM,比QAT快7倍且无需早停
Bakbergen Ryskulov, Iker García-Ferrero, David Montero, David Jansen, Ali...
2026-08-25
LLM高效推理
模型压缩
知识蒸馏
量化
把查询解析为六槽位的必需/禁止/可忽略证据,用确定性评分加列表式校验重排图像
Enjun Du, Siyi Liu, Zirong Chen, Xinyu Zuo, Jinwen Luo, Ruiwen Tao, Lisheng...
2026-08-24
MLLM
图像重排
多模态检索
知识蒸馏
约束满足
自蒸馏QAT与S3D8格式将11B VLM压至3.7GB,Arm CPU手机端高效推理
Luka Ribar, Jeevan Bhoot, Douglas Orr
2026-08-24
向量量化
模型量化
知识蒸馏
端侧推理
视觉语言模型
细粒度MoE+核优化+防遗忘视频微调,稀疏CLIP视觉编码器追平1.7倍大的SOTA稠密模型
Bonan Zhang, Shiyu Dong, Quan Hung Tran, Katharina Gschwind, Shuqi Yang,...
2026-08-19
CLIP
模型缩放
混合专家(MoE)
知识蒸馏
视觉编码器
用查询条件、长度自适应的潜在概念作中间监督,桥接局部视觉证据与语义相关性
Peng Chunyi, Xu Zhipeng, Yan Yukun, Liu Zhenghao, Yu Shi, Mei Sen, Sun Yubo,...
2026-08-18
多模态嵌入
检索增强生成
潜在概念学习
知识蒸馏
表示学习
反转师生不对称方向:教师看原图、学生看增强退化视图,用视图落差当免费蒸馏信号
Yijiang Li, Yijun Liang, Yunjie Tian, Bingyang Wang, Ke Zhang, Zhenfei Yin,...
2026-08-17
后训练
数据增强
知识蒸馏
自监督学习
视觉语言模型
共享文本空间对齐加稳定化技巧,实现跨分词器的长上下文推理在线蒸馏
Haonan He, Haodi Lei, Yun Luo, Haoran Zhang, Shunkai Zhang, Yizhuo Li,...
2026-08-17
LLM后训练
在线蒸馏
数学证明
知识蒸馏
跨分词器
把自蒸馏教师的特权上下文从手工设计改为可学习的潜在token,端到端内化经验。
Guibin Zhang, Jiayang Lyu, Ran Sun, Xinlei Yu, Haoyu Zhao, Qibing Ren, Shuicheng Yan
2026-08-17
LLM后训练
在策略自蒸馏
潜在计算
知识蒸馏
自进化智能体
SE(3) 几何感知的动作条件视频世界模型,登顶 WorldArena 2.0 预测赛道
DreamX Team, Rui Chen, Xiangxiang Chu, Geng Li, Jifan Li, Qingfeng Shi,...
2026-08-14
SE(3)几何
世界模型
动作条件控制
扩散模型
机器人操作
让全模态对话模型不仅开口说话,还能以参考形象生成口型同步的视频回应
Haoyu Zhang, Zhipeng Li, Xiaoying Tang, Tianshu Yu, Yiwen Guo
2026-08-12
全模态对话
扩散模型
流式生成
知识蒸馏
语音合成
用单个8B教师同时蒸馏查询端与文档端,得到524M端到端单向量视觉文档检索器
Zhuchenyang Liu, Ziyi Wang, Yao Zhang, Yu Xiao
2026-08-12
单向量检索
多模态嵌入
检索增强生成
模型压缩
知识蒸馏
用质量校准排序与跨层自蒸馏修复 query 竞争错配,仅改训练、推理零开销,三类分割一致涨点
Fang Li, Yu He, Haoyang Tong, Lichen Ma, Jingling Fu, Wenxiao Fan, Tongxuan...
2026-08-12
Mask Transformer
即插即用训练框架
图像分割
知识蒸馏
质量感知排序
把大教师智能体的成功经验分层蒸馏为工作流/子任务/函数三级记忆,免训练注入 4B-8B 小智能体
Taeil Kim, Kangsan Kim, Sung Ju Hwang
2026-08-11
免训练迁移
分层记忆
小语言模型
工具调用
智能体记忆
用稀疏位置探测与验证器校准的蒸馏目标,提升小模型数学推理覆盖
Zikun Qu, Min Zhang, Mingze Kong, Zhiwei Shang, Yikun Ban, Shuang Qiu, Zhongxiang Dai
2026-08-11
在线策略蒸馏
大语言模型推理
强化学习
数学推理
知识蒸馏
离线缓存教师Top-K对数几率并融合分块KL损失,让蒸馏显存随序列长度线性增长。
Bakbergen Ryskulov, Iker García-Ferrero, David Montero, David Jansen, Ali...
2026-08-10
KL散度
分布式训练
大语言模型
显存优化
模型压缩