统一在线蒸馏框架修复三大失效模式,0.5B学生达GSM8K 69.8%
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
接力棒:轨迹接力的在线策略蒸馏
👍 32在学生推理出错处让老师短暂接管再交还,修复在线策略蒸馏的前缀失败
用结构化JSON协议蒸馏专有模型推理能力,提升开源模型智能体搜索
面向端侧部署的低延迟异构视觉编码器,配合两阶段生成式预训练实现SOTA。
多语言RAG中兼顾语义相关性与语言一致性的重排序器
视觉对比自蒸馏
👍 50用原图与擦除图像的预测对比构造自蒸馏目标,无需外部教师或答案提示。
从智能体经验中样本高效地学习
👍 18把智能体交互经验蒸馏进权重,无需额外环境采样即可保留大部分上下文学习增益。
基于前缀重放的多轮在线策略蒸馏
👍 12复用教师轨迹做离线多轮 agent 蒸馏,零工具调用、4倍加速且不掉点。
用锚定与对齐两个损失,让VLA微调在零额外数据下同时保住语义理解与动作精度
仅凭API规格,用LLM模拟环境生成训练API调用智能体的轨迹数据
把 LLM 裁判升级为教练,用可迁移经验知识替代标量奖励训练模型。
将教师监督直接融入强化学习目标,通过反向重要性采样实现选择性知识迁移
发现多教师蒸馏会把工具调用边界推向过度调用,提出 Soft Clamp 局部校准方案
在线策略差分蒸馏
👍 37用教师与基础模型的概率差作为蒸馏奖励,大幅提升推理蒸馏效果。
用参考答案引导的对比概率差作为token级正确性信号来塑形RLVR优势
SEED:面向智能体强化学习的自进化同策略蒸馏
👍 105把完成轨迹的事后技能蒸馏回策略,实现自进化密集监督。
揭秘在线策略蒸馏:角色、病理与调控
👍 18系统揭示OPD的探索催化本质,诊断信号失真病理,用零开销信号调控修复训练不稳定
0.8B端到端文档解析模型,靠数据引擎+多组件RL奖励+策略蒸馏刷新多项OCR榜单
用从短到长的在策略自蒸馏恢复结构化剪枝后崩溃的生成能力。
通过直接在策略蒸馏实现由弱到强的泛化
👍 143Direct-OPD:用小模型RL的策略位移当隐式奖励,低成本提升更强的学生模型