找到 305 条结果

融合专家输出分布与隐藏状态双重监督,单个1.5B学生模型超越各领域专家教师

Zhengyu Fang, Seoyeon Hong, Jie Yang, Muyang Li, Koyoshi Shindo, Brandon... 2026-10-05
在线蒸馏 多教师学习 大语言模型 知识蒸馏 表示对齐

线性复杂度门控循环骨干配合极简蒸馏与定制CUDA核,六大稠密任务兼顾精度与边缘延迟

Zhe Feng, Longfei Liu, Wei Liu, Kai Chen, Jiangang Kong, Wei Zhou, Yifeng... 2026-10-05
目标检测 知识蒸馏 稠密预测 线性注意力 视觉骨干网络

以分块独立评分解耦质量监督与时间一致性,RMD在百倍训练时域外仍稳定生成

Chenjian Gao, Zhihao Hu, Jianqi Ma, Jun Zhang, Weidong Zhang, Tianfan Xue 2026-10-05
扩散模型 知识蒸馏 自回归模型 视频生成 长视频生成

解剖MOPD中损失加权、Adam动量与BF16精度如何筛选教师信号并决定任务收益

Siqi Zhu, Suozhi Huang, Kaixuan Zhang, Yuheng Yang, Zhanyang Jin, Yihang... 2026-10-05
LLM后训练 优化器分析 在线策略蒸馏 多教师蒸馏 损失加权

缩放T5Gemma-2嵌入并蒸馏解码概率,使连续扩散语言模型生成更有效。

Zekai Zhang, Yunjie Tian, Yanjin He, Xiaoyan Zhang, Dongdi Zhao, Qing Qu, Di Fu 2026-10-02
扩散语言模型 文本嵌入 文本生成 潜在扩散 知识蒸馏

首篇系统梳理视频生成后训练与对齐的综述:四族方法、数据基准与开放挑战

Chaoyu Li, Xiaoyi Gu, Yogesh Kulkarni, Eun Woo Im, Mohammadmahdi Honarmand,... 2026-10-02
偏好优化 后训练 对齐 强化学习 扩散模型

将特权教师参数邻域的扰动专家组成池,逐状态路由监督以增强在线自蒸馏

Xincheng Wei, Yifan Ding, Yoshua Li, Yuquan Lu, Ziheng Li, Yi Lu, Dongsheng... 2026-10-02
LLM后训练 在线策略学习 数学推理 模型合并与扰动 知识蒸馏

在关键错误处施加预防性蒸馏、在其后施加恢复性蒸馏,让多轮智能体学会避免并从关键错误中恢复。

Yinghui He, Yapei Chang, Khushi Bhardwaj, Daniele Molinari, Tugrul Konuk,... 2026-10-01
LLM Agent 在线策略蒸馏 多轮智能体 强化学习 知识蒸馏