找到 72 条结果

教师会跟随学生错误但仍能识别错误,CriticOPD 用批评引导改写恢复蒸馏监督可靠性

Kaixiang Zhao, Tianrun Yu, Shangzhe Li, Yuxiao Yang, Amanda Hughes, Weitong... 2026-10-15
在线策略蒸馏 大语言模型推理 数学推理 特权信息 知识蒸馏

纯在线回归蒸馏配训练专用 Pivot 残差与教师排斥项,4 步生成媲美甚至超越多步教师

Jiawei Zhang, Ziyu Wan, Nanye Ma, Long Zhao, Dong Chen, Hongyu Liu, Qifeng... 2026-10-14
在线策略蒸馏 少步蒸馏 扩散模型 流匹配 视频生成

把专家与参考模型的策略差异当作隐式奖励做任意到任意的蒸馏,并系统刻画何时可迁移

Rong Wu, Daocheng Fu, Yu Yang, Xuemeng Yang, Siqi Li, Shu Zou, Yao Zhu,... 2026-10-12
在线策略蒸馏 大模型后训练 强化学习 相对策略差异迁移 隐式奖励

教师即隐式奖励模型:在线蒸馏只放大既有能力,偏好偏置导致奖励黑客式坍塌。

Han Cui, Jianhao Yan, Yun Luo, Hongbo Zhang, Zhizhang Fu, Yue Zhang 2026-10-08
在线策略蒸馏 大语言模型后训练 奖励黑客 强化学习 知识蒸馏

在rollout阶段混入更弱负策略的序列,不改蒸馏奖励即为OPD补上负向信号并全面提升

Jaehui Hwang, Dongyoon Han, Sangdoo Yun, Byeongho Heo 2026-10-08
LLM后训练 在线策略蒸馏 推理增强 知识蒸馏 负样本学习

解剖MOPD中损失加权、Adam动量与BF16精度如何筛选教师信号并决定任务收益

Siqi Zhu, Suozhi Huang, Kaixuan Zhang, Yuheng Yang, Zhanyang Jin, Yihang... 2026-10-05
LLM后训练 优化器分析 在线策略蒸馏 多教师蒸馏 损失加权