找到 80 条结果

构建答案匹配六视角数据集,发现OPSD收益主要来自蒸馏本身,特权参考的额外增益很小且依赖训练轨迹

XiuYu Zhang, Wei Chow, Junfeng Fang, Zhenkai Liang, Tat-Seng Chua 2026-09-18
LLM蒸馏 实证分析 数学推理 特权信息 自蒸馏

用原图与擦除图像的预测对比构造自蒸馏目标,无需外部教师或答案提示。

Yijun Liang, Yunjie Tian, Yijiang Li, Yuqi Jia, Furong Huang, Tianyi Zhou, Di Fu 2026-07-24
多模态后训练 对比学习 知识蒸馏 自蒸馏 视觉语言模型

按轨迹正确性分流的混合自蒸馏框架,统一RLSD稳定优化与OPSD方向纠正。

Qiye Cai, Yichuan Ma, Linyang Li, Peiji Li, Yongkang Chen, Qipeng Guo,... 2026-07-22
信用分配 可验证奖励RLVR 大语言模型推理 强化学习 自蒸馏