找到 305 条结果

在学生推理出错处让老师短暂接管再交还,修复在线策略蒸馏的前缀失败

Haolei Xu, Xiaowen Xu, Haiwen Hong, Zixuan Ni, Hongxing Li, Yiwen Qiu,... 2026-07-29
在线策略蒸馏 大模型训练 推测解码 推理 知识蒸馏

用原图与擦除图像的预测对比构造自蒸馏目标,无需外部教师或答案提示。

Yijun Liang, Yunjie Tian, Yijiang Li, Yuqi Jia, Furong Huang, Tianyi Zhou, Di Fu 2026-07-24
多模态后训练 对比学习 知识蒸馏 自蒸馏 视觉语言模型

把智能体交互经验蒸馏进权重,无需额外环境采样即可保留大部分上下文学习增益。

Chenhui Gou, Haoqin Tu, Yunhao Fang, Jianfei Cai, Hamid Rezatofighi 2026-07-24
上下文学习 强化学习 智能体学习 样本效率 知识蒸馏

复用教师轨迹做离线多轮 agent 蒸馏,零工具调用、4倍加速且不掉点。

Baohao Liao, Hanze Dong, Christof Monz, Xinxing Xu, Li Dong, Furu Wei 2026-07-24
多轮交互 强化学习 智能体 模型压缩 知识蒸馏

用教师与基础模型的概率差作为蒸馏奖励,大幅提升推理蒸馏效果。

Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han 2026-07-20
后训练 在线策略蒸馏 大语言模型推理 奖励设计 强化学习替代

系统揭示OPD的探索催化本质,诊断信号失真病理,用零开销信号调控修复训练不稳定

Rui Wang, Hongru Wang, Yi Chen, Boyang Xue, Tianqing Fang, Wenhao Yu, Kam-Fai Wong 2026-07-17
在线策略蒸馏 大模型后训练 强化学习 知识蒸馏 训练动力学

0.8B端到端文档解析模型,靠数据引擎+多组件RL奖励+策略蒸馏刷新多项OCR榜单

Shiyin Lu, Yinglun Li, Yu Xia, Yuhui Chen, An-Yang Ji, Jun-Peng Jiang,... 2026-07-16
OCR 多模态大模型 强化学习 文档解析 知识蒸馏

Direct-OPD:用小模型RL的策略位移当隐式奖励,低成本提升更强的学生模型

Shiyuan Feng, Huan-ang Gao, Haohan Chi, Hanlin Wu, Zhilong Zhang, Zheng... 2026-07-14
后训练 弱到强泛化 强化学习RLVR 知识蒸馏 策略蒸馏