Direct-OPD:用小模型RL的策略位移当隐式奖励,低成本提升更强的学生模型
Shiyuan Feng, Huan-ang Gao, Haohan Chi, Hanlin Wu, Zhilong Zhang, Zheng...
2026-07-14
后训练
弱到强泛化
强化学习RLVR
知识蒸馏
策略蒸馏
通过动态构造近端教师解决OPD优化不稳定性,零计算开销实现数学推理性能大幅提升
Zhengpeng Xie, Li Lyna Zhang, Zeke Xie, Mao Yang
2026-07-13
信任区域方法
大语言模型
强化学习
数学推理
知识蒸馏
OPSD-V通过真实长视频上下文进行缓存感知的在线策略自蒸馏,提升少步自回归视频生成的长视距稳定性
Hongyu Liu, Chun Wang, Feng Gao, Xuanhua He, Yue Ma, Ziyu Wan, Yong Zhang,...
2026-07-09
扩散模型
知识蒸馏
缓存优化
自回归模型
视频生成
395次实验揭示地球观测模型缩放规律,蒸馏出高效嵌入产品
Zhengpeng Feng, Sadiq Jaffer, Ira Shokar, Jovana Knezevic, Mark Elvers,...
2026-07-09
MATRYOSHKA嵌入
地球观测
知识蒸馏
缩放定律
自监督学习
TREK扩展GRPO探索支持,提升数学和Agent性能
Yuanda Xu, Zhengze Zhou, Kayhan Behdin, Jelena Markovic-Voronov, Hejian...
2026-07-08
Agent
大语言模型
强化学习
数学推理
知识蒸馏
通过上下文空间和参数空间双重蒸馏,将大模型的过程式记忆能力迁移到小模型,实现边缘设备部署
Peyman Hosseini, Ondrej Bohdal, Ahmed Alajrami, Andrea Maracani, Ignacio...
2026-07-03
LoRA
智能体
知识蒸馏
边缘计算
过程式记忆
通过优势感知的动态双蒸馏缓解特权幻觉问题,显著提升LLM和VLM的蒸馏性能
Xinlei Yu, Gen Li, Qingyi Si, Guibin Zhang, Yuqi Xu, Congcong Wang, Shuai...
2026-07-01
在线策略蒸馏
大模型压缩
特权信息
知识蒸馏
视觉语言模型
通过多教师在线策略蒸馏实现LLM多领域能力集成
Wenhan Ma, Jianyu Wei, Liang Zhao, Hailin Zhang, Bangjun Xiao, Lei Li, Qibin...
2026-07-01
LLM后训练
强化学习
模型融合
知识蒸馏
能力集成
通过扩展智能体视野和领域路由蒸馏,35B模型达到万亿参数性能
Lei Bai, Zongsheng Cao, Yang Chen, Zhiyao Cui, Shangheng Du, Yue Fan,...
2026-06-30
多域学习
工具使用
智能体
知识蒸馏
长视野推理
异步OPD中陈旧数据影响分析与高效训练流水线
Wonjun Kang, Kevin Galim, Seunghyuk Oh, Minjun Kang, Sanghyun Park, Donghoon...
2026-06-30
大语言模型
异步训练
强化学习
知识蒸馏
通过全量微调与知识蒸馏结合WISE-FT权重插值,解决时尚检索中领域适应与泛化的权衡问题
Siqiao Xue, Chunxue Xu
2026-06-30
时尚检索
权重插值
知识蒸馏
视觉语言检索
领域适应
通过硬路由和单查询场匹配,实现多能力图像生成模型的统一蒸馏
Wei Zhou, Xiongwei Zhu, Zelin Xu, Bo Dong, Lixue Gong, Yongyuan Liang, Meng...
2026-06-26
Flow Matching
图像生成
图像编辑
多能力组合
知识蒸馏
通过学生-教师概率比识别高价值负样本轨迹,提升 LLM 策略蒸馏效果
Chen Lin, Kedi Chen, Wei Zhang
2026-06-25
大语言模型
推理能力提升
知识蒸馏
策略蒸馏
负样本学习
首次系统性研究10种非语言声音的说话人识别,提出条件蒸馏和MoE架构解决领域失配问题
Tzu-Chieh Wei, Yi-Cheng Lin, Huang-Cheng Chou, Kuan-Yu Chen, Hsin-Yen Sung,...
2026-06-25
混合专家
知识蒸馏
自监督学习
说话人识别
非语言声音
用主题元数据引导粗粒度检索,实现高效精准的段落级 RAG 系统
Amirhossein Abaskohi, Raymond Li, Gaetano Cimino, Peter West, Giuseppe...
2026-06-22
主题建模
元数据引导检索
密集检索
检索增强生成
知识蒸馏
将冗长few-shot示例蒸馏为结构化分类标准和任务描述,提升B2B对话分类性能和可解释性
Guy Rotman, Adi Kopilov, Danit Berger Zalmanson, Omri Allouche
2026-06-22
B2B对话分析
上下文学习
分类标准提取
知识蒸馏
跨模型知识迁移
仅用0.22B参数实现10B级模型性能的图像修复框架
Kangsheng Duan, Ziyang Xu, Wenyu Liu, Xiaohu Ruan, Xiaoxin Chen, Xinggang Wang
2026-06-19
图像修复
模型压缩
知识蒸馏
高效架构
Taylor展开初始化加速Transformer转GDN
Zhongzhu Zhou, Qingyang Wu, Junxiong Wang, Mayank Mishra, Shuaiwen Leon...
2026-06-19
初始化策略
架构转换
模型压缩
知识蒸馏
线性注意力
通过软正确性门控和教师概率缩放改进 GUI 定位自蒸馏中的教师信号质量
Jingyuan Huang, Zuming Huang, Yucheng Shi, Tianze Yang, Xiaoming Zhai, Wei...
2026-06-18
GUI 定位
知识蒸馏
自监督学习
视觉语言模型
计算机视觉
首个针对扩散LLM的自蒸馏框架,用自生成答案作后缀条件,步级监督提升推理能力
Yifu Luo, Zeyu Chen, Haoyu Wang, Xinhao Hu, Yuxuan Zhang, Zhizhou Sha, Shiwei Liu
2026-06-17
大语言模型
扩散模型
推理能力
知识蒸馏
自监督学习