首个任务和策略无关的主动视觉基础模型,用Canvas注意力实现高效序列推理
Yohaï-Eliel Berreby, Sabrina Du, Audrey Durand, B. Suresh Krishna
2026-03-25
Vision Transformer
主动视觉
基础模型
知识蒸馏
计算机视觉
30B MoE模型通过级联RL+在线蒸馏,在IMO/IOI/ICPC三大竞赛获金牌
Zhuolin Yang, Zihan Liu, Yang Chen, Wenliang Dai, Boxin Wang, Sheng-Chieh...
2026-03-20
MoE
后训练
强化学习
推理
数学证明
8个规模的多语言嵌入模型,覆盖200+语言,14B版SOTA
Ziyin Zhang, Zihan Liao, Hang Yu, Peng Di, Rui Wang
2026-03-20
Matryoshka表示学习
多语言
文本嵌入
检索增强生成
知识蒸馏
用 mLSTM-SWA 混合架构蒸馏 Transformer,通过专家合并实现近乎无损的性能迁移
Lukas Hauzenberger, Niklas Schmidinger, Thomas Schmied, Anamaria-Roberta...
2026-03-17
xLSTM
模型压缩
知识蒸馏
线性注意力
高效推理
通过混合扩散和对抗训练实现少步轨迹可控视频生成,质量与精度双提升
Quanhao Li, Zhen Xing, Rui Wang, Haidong Cao, Qi Dai, Daoguo Dong, Zuxuan Wu
2026-03-17
对抗训练
扩散模型
知识蒸馏
视频生成
轨迹控制
通过知识蒸馏将2B VLM压缩到69M文本编码器,实现高效视觉文档检索
Zhuchenyang Liu, Yao Zhang, Yu Xiao
2026-03-16
多模态检索
模型压缩
知识蒸馏
视觉文档检索
跨模态对齐
用学生通过率作为权重,按 w(p)=p(1−p) 把蒸馏梯度集中到恰能学会的题目上
Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He, Zhipeng Wang
2026-03-13
Beta核
梯度信噪比
知识蒸馏
自蒸馏
课程学习
通过跨模态对齐将DINOv2转变为能统一处理RGB、深度、分割等多模态输入的视觉编码器
Rishabh Kabra, Maks Ovsjanikov, Drew A. Hudson, Ye Xia, Skanda Koppula,...
2026-03-13
对比学习
知识蒸馏
自监督学习
视觉编码器
跨模态学习
利用用户交互的下一状态信号在线优化个人和通用智能体的RL框架
Yinjie Wang, Xuyang Chen, Xiaolong Jin, Mengdi Wang, Ling Yang
2026-03-12
人机交互
在线学习
强化学习
智能体
知识蒸馏
4B参数医疗智能体通过行为蒸馏实现离线部署,性能媲美前沿大模型
Yixiong Chen, Xinyi Bai, Yue Pan, Zongwei Zhou, Alan Yuille
2026-03-12
医疗AI
多模态
工具调用
智能体
知识蒸馏
GKD框架通过多阶段蒸馏解耦表征与任务学习,将视觉基础模型的域外泛化能力迁移到轻量学生网络。
Chonghua Lv, Dong Zhao, Shuang Wang, Dou Quan, Ning Huyan, Nicu Sebe, Zhun Zhong
2026-03-10
域泛化
知识蒸馏
自注意力
表征学习
视觉基础模型
用自身简洁行为蒸馏模型,无需标注即压缩推理token并提升准确率
Hejian Sang, Yuanda Xu, Zhengze Zhou, Ran He, Zhipeng Wang, Jiachen Sun
2026-03-06
大语言模型
强化学习替代方案
推理优化
推理压缩
知识蒸馏
通过最小化编辑的数据修正和奖励二分类损失实现高效推理注入且避免灾难性遗忘
Wenye Lin, Kai Han
2026-03-04
后训练
大语言模型
推理优化
灾难性遗忘
知识蒸馏
用解耦扩散Transformer将短视频保真度与长时序一致性分离,实现分钟级快速视频生成
Shengqu Cai, Weili Nie, Chao Liu, Julius Berner, Lvmin Zhang, Nanye Ma,...
2026-03-02
Flow Matching
扩散模型
知识蒸馏
视频生成
长视频
提出直接优化接受率的LK损失函数,在6个目标模型上提升8-10%的平均接受长度
Alexander Samarin, Sergei Krutikov, Anton Shevtsov, Sergei Skvortsov, Filipp...
2026-03-02
大语言模型推理加速
序列生成
投机解码
损失函数设计
知识蒸馏
提出RLAD框架,通过信任区域比率蒸馏将教师指导嵌入GRPO更新,实现选择性模仿
Zhaoyang Zhang, Shuli Jiang, Yantao Shen, Yuting Zhang, Dhananjay Ram, Shuo...
2026-03-02
GRPO
大语言模型
强化学习
推理增强
知识蒸馏
混合Top-k/Top-p掩码+速度蒸馏,实现95%稀疏率且不损质量
Jintao Zhang, Kai Jiang, Chendong Xiang, Weiqi Feng, Yuezhou Hu, Haocheng...
2026-02-20
注意力加速
知识蒸馏
稀疏注意力
视频扩散模型
高效推理
通过结合模型蒸馏和任务特定对比损失训练紧凑高性能嵌入模型
Mohammad Kalim Akram, Saba Sturua, Nastia Havriushenko, Quentin Herreros,...
2026-02-18
信息检索
多语言
对比学习
嵌入模型
知识蒸馏
利用VLM视觉接口实现异构多智能体间无文本潜空间通信
Xiaoze Liu, Ruowang Zhang, Weichen Yu, Siheng Xiong, Liu He, Feijie Wu, Hoin...
2026-02-18
多智能体系统
异构模型
潜空间通信
知识蒸馏
视觉语言模型
通过训练时区域蒸馏取代推理时工具缩放,实现单次前向传播的细粒度视觉感知。
Lai Wei, Liangbo He, Jun Lan, Lingzhong Dong, Yutong Cai, Siyuan Li, Huijia...
2026-02-16
合成数据
多模态大语言模型
强化学习
知识蒸馏
细粒度感知