在在线策略蒸馏中用学生前缀做RL更新教师,把教师侧分布偏移变成优化目标
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
用统一编码器把冻结行为基础模型的潜在空间跨具身蒸馏到新人形机器人,单台仅需约10 GPU小时
后训练在无关决策上留下行为阴影
👍 44仅凭单个词的教师回复,同源学生即可习得私有小样本微调的能力
面向机器人操作的跨智能体递归框架蒸馏
👍 39强智能体把干预经验蒸馏成操作手册并递归精炼,轻量智能体照做即可大幅提升冻结VLA成功率
用低秩MLP预测每层视觉记忆,免剪枝加速多模态推理且保留全部视觉token
以三层九维量规为轴,用自适应提示蒸馏为集合重排补上文档级信用分配
将在线蒸馏重构为 KL 正则强化学习,用乐观最小二乘目标实现离策略复用与更高 Pass@k
将文档渲染为图像并压缩成视觉令牌做重排序:令牌减少16.5%–35.5%,精度反超同级文本模型
为预填充与解码两阶段分别定制量化格式、权重与存储,低比特下速度精度兼得
只对齐最后一层隐状态并在10步内淡出潜在监督,保住早期增益且避免训练坍塌。
用跨家族 LLM 裁判偏好标签对齐电商重排序器,并发布双格式 SHOPRANK-BENCH
首个在商业大逃杀游戏中与真人语音协作、端侧实时运行的AI队友智能体
用三级交互课程与特权在线蒸馏,教会VLM建模状态转移并提升长时程空间推理
用工具调用逼出闭源模型隐藏思维链,发现最强模型推理最短最难压缩
按ΔWER排序剪掉Whisper编码器6层,免标注蒸馏恢复性能,端到端提速1.75倍
以Qwen-Omni为原生骨干、经四阶段训练的全模态嵌入家族,登顶MMEB-v3等五大基准
提出Taste-Bench,从智能体轨迹自动挖掘决策分叉,测量并蒸馏长程决策“品位”
用审阅代理把优化框架的行为蒸馏进模型权重,部署时只需最小框架
提出信息效率比IER衡量token梯度估计可靠性,0.1%-1%预算即可匹敌全量OPD
离线缓存世界模型特征做余弦对齐,0.8B小VLA零推理成本获得大模型级精度