找到 72 条结果

通过优势感知的动态双蒸馏缓解特权幻觉问题,显著提升LLM和VLM的蒸馏性能

Xinlei Yu, Gen Li, Qingyi Si, Guibin Zhang, Yuqi Xu, Congcong Wang, Shuai... 2026-07-01
在线策略蒸馏 大模型压缩 特权信息 知识蒸馏 视觉语言模型

从参数空间几何视角揭示OPD介于SFT和RLVR之间的独特更新轨迹与子空间锁定现象

Zhennan Shen, Yanshu Li, Qingyu Yin, Chak Tou Leong, Zhilin Wang, Yanxu... 2026-06-09
参数空间几何 在线策略蒸馏 大语言模型后训练 强化学习

用信任域分割策略梯度可靠区,稳定蒸馏推理小模型。

Xingrun Xing, Haoqing Wang, Boyan Gao, Ziheng Li, Yehui Tang 2026-06-03
在线策略蒸馏 小语言模型 强化学习 推理模型 知识蒸馏

限制蒸馏 rollout 到前 N 个 token,解决 OPD 的离策略教师衰减问题

Zhou Ziheng, Jiaqi Li, Huacong Tang, Ying Nian Wu, Demetri Terzopoulos 2026-05-28
在线策略蒸馏 大语言模型 模型压缩 知识蒸馏

揭示OPD高效的"预见"机制,并提出EffOPD加速训练3倍

Yuchen Cai, Ding Cao, Liang Lin, Chunxi Luo, Xin Xu, Kai Yang, Weijie Liu,... 2026-05-18
低秩结构 参数动力学分析 在线策略蒸馏 大语言模型后训练 训练加速