在关键错误处施加预防性蒸馏、在其后施加恢复性蒸馏,让多轮智能体学会避免并从关键错误中恢复。
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
多模态
长上下文
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
评测基准
高效推理
自监督学习
工具调用
对比学习
扩散语言模型
参数高效微调
视觉-语言-动作模型
Transformer
工具使用
LoRA
持续学习
自蒸馏
LLM评估
多模态推理
RAG
模仿学习
综述
信息检索
LLM推理
信用分配
在线策略蒸馏
合成数据
模型压缩
按师生对错四种组合重设蒸馏反馈:学生结果定方向,联合结果定教师用法
发现Direct-OPD的log-ratio奖励对概率质量失明,按JSD仅保留10%状态反而更稳更强。
把RL训练中被丢弃的历史自生成轨迹变成可复用经验,只对精选片段施加模仿损失
用最大耦合的接受/纠正事件内生路由token级监督,让在线策略蒸馏既准又快
同家族在线策略蒸馏的缩放特性
👍 17OPD峰值精度可由师生规模与教师分数用幂律提前预测,弱教师能把大模型教得超过自身
按各域反馈方差缩放多教师蒸馏优势,找回被淹没的数学增益
冻结的全Token自身副本当教师,在学生自采样轨迹上做分布蒸馏,5%视觉Token保留82.3%性能
只对齐最后一层隐状态并在10步内淡出潜在监督,保住早期增益且避免训练坍塌。
将多教师蒸馏的提示级硬路由改为逐token路由,ExpertAlign按专业化对齐选教师。
提出信息效率比IER衡量token梯度估计可靠性,0.1%-1%预算即可匹敌全量OPD
构建多阶段后训练基准,诊断智能体遗忘机制,提出LoRA专家混合方法MLE
面向在线策略蒸馏的教师-学生差异校准
👍 10用正负特权探测教师自偏差区间,只把超出区间的师生差异作为蒸馏信号
先独立练强技能教师,学生出师后在线判定并自动“退役”教师
将精度与效率专精模型的策略偏移离线组合进单个学生模型,同时提升准确率并减少推理token
8B-MoT 无编码器无VAE统一模型,靠空间联合重建与多专家RL蒸馏兼顾理解、生成与编辑
把部署路由护栏的交互轨迹与能力信号转化为课程化后训练,闭合评估—选择—更新循环。
在线策略反向蒸馏:激发弱到强泛化
👍 69用弱教师策略偏移方向放大强学生自身梯度,加速训练并突破教师上限
以验证器优势校准同模型密集自引导,用轨迹平衡拟合归一化目标分布实现自改进。
用验证器抽检教师逐题可靠性,按提示在密集OPD与GRPO间独占路由