找到 305 条结果

过滤在线蒸馏中既不依赖输入又高影响的虚假教师信号

Yinuo Jiang, Yongjie Ye, Zhou Tao, Xiang Zhuang, Qiang Zhang, Huajun Chen, Tiankai Li 2026-08-06
在线策略蒸馏 大语言模型 梯度信噪比 知识蒸馏 视觉语言模型

把模态平衡本身作为在线自蒸馏的特权信息,用正负双教师提升多模态推理

Aniri, Jinhe Bi, Peng Liao, Zengjie Jin, Volker Tresp, Fei Shen, Yunpu Ma,... 2026-08-06
MLLM 后训练 在线自蒸馏 多模态大模型 模态平衡

对比师生轨迹差异,把行为差距蒸馏成可验证的文本技能,增强冻结的弱学生智能体

Qiming Shi, Yibo Dou, Jiawen Zhu, Yulong Tao, Linbo Jin, Zhaolu Kang, Yunfan... 2026-08-06
LLM智能体 师生对比 技能学习 提示工程 知识蒸馏

提出SAF四阶段流水线融合GRPO与OPD优势,避免熵坍塌并稳定提升性能。

Yifan Ding, Xincheng Wei, Yoshua Y. Li, Ziheng Li, Yuquan Lu, Siyu Zhang,... 2026-08-03
GRPO RLVR 强化学习 熵坍塌 知识蒸馏

用弱模型的对数几率差合成代理教师,蒸馏出超越弱教师、逼近自身的强学生。

Fangxu Yu, Zinan Lin, Xiaodong Liu, Weijia Xu, Michael Xu, Tianyi Zhou, Jianfeng Gao 2026-08-03
同策略蒸馏 大语言模型推理 对数几率算术 弱到强学习 强化学习

通过反向KL分解,把演化上下文作为在线监督信号注入蒸馏目标。

Yuran Wang, Zekun Wang, Bohan Zeng, Ruixu Zhang, Wenxuan Liu, Liu Yang,... 2026-07-31
上下文蒸馏 医学问答 反向KL分解 在线策略蒸馏 大语言模型