找到 72 条结果

用学生自身SDE分支探索替代教师目标,免教师实现流匹配模型的密集逐步蒸馏对齐

Shiyi Zhang, Mushui Liu, Yunze Tong, Wanggui He, Siyu Zou, Jinlong Liu,... 2026-08-28
在线策略蒸馏 多目标优化 强化学习对齐 文本到图像生成 流匹配

OPD迁移的是教师推理行为而非答案,同源才能整体对齐策略,多教师路由因此产生跷跷板效应

Zhaoyi Li, Deyang Kong, Yuan Wei, Evan Yang, Ranran Shen, Mahardika Krisna... 2026-08-24
在线策略蒸馏 多教师蒸馏 大语言模型后训练 泛化分析 知识迁移

过滤在线蒸馏中既不依赖输入又高影响的虚假教师信号

Yinuo Jiang, Yongjie Ye, Zhou Tao, Xiang Zhuang, Qiang Zhang, Huajun Chen, Tiankai Li 2026-08-06
在线策略蒸馏 大语言模型 梯度信噪比 知识蒸馏 视觉语言模型

通过反向KL分解,把演化上下文作为在线监督信号注入蒸馏目标。

Yuran Wang, Zekun Wang, Bohan Zeng, Ruixu Zhang, Wenxuan Liu, Liu Yang,... 2026-07-31
上下文蒸馏 医学问答 反向KL分解 在线策略蒸馏 大语言模型

在学生推理出错处让老师短暂接管再交还,修复在线策略蒸馏的前缀失败

Haolei Xu, Xiaowen Xu, Haiwen Hong, Zixuan Ni, Hongxing Li, Yiwen Qiu,... 2026-07-29
在线策略蒸馏 大模型训练 推测解码 推理 知识蒸馏

用教师与基础模型的概率差作为蒸馏奖励,大幅提升推理蒸馏效果。

Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han 2026-07-20
后训练 在线策略蒸馏 大语言模型推理 奖励设计 强化学习替代

系统揭示OPD的探索催化本质,诊断信号失真病理,用零开销信号调控修复训练不稳定

Rui Wang, Hongru Wang, Yi Chen, Boyang Xue, Tianqing Fang, Wenhao Yu, Kam-Fai Wong 2026-07-17
在线策略蒸馏 大模型后训练 强化学习 知识蒸馏 训练动力学