自蒸馏中EMA教师的位移可替代Muon动量缓冲,省27–42%显存且精度更高
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
后训练
RLVR
视频理解
机器人学习
多模态
长上下文
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
评测基准
高效推理
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
Transformer
参数高效微调
工具使用
LoRA
持续学习
自蒸馏
LLM评估
多模态推理
RAG
综述
信息检索
模仿学习
LLM推理
信用分配
在线策略蒸馏
合成数据
模型压缩
让模型在潜空间思考、只在工具调用和答案处显式输出,智能体推理更快更准。
多词预测的正确做法
👍 22拆解 MTP 梯度滤除低信噪比残差,一行代码零开销恢复 KL 自蒸馏信号
把自身权重量化或剪枝成弱副本,用两者token级对比作密集监督,无需特权信息即可提升推理
发现提示内容几乎不重要,定位首个错误步骤的位置才是自蒸馏收益来源
仅凭主题词让模型自编题目自造答案,经自蒸馏循环实现零数据自我提升
函数空间时序自蒸馏策略优化(FSPO)
👍 25用稀疏历史分布缓存替代持久教师模型,实现单策略、时序稳定的自蒸馏强化学习
面向世界动作模型的自蒸馏未来视频表征学习
👍 36FRED用自蒸馏提升单步去噪的未来视频表征质量,大幅增强机器人操作泛化
统一评测10种自蒸馏方法:增益有限、训练不稳、高成本未必换来高性能
提出图像事实性评估新任务,训练ReAct智能体检索外部证据验证图像内容真伪
技能优势藏在隐藏态而非输出概率,对齐特权自我的逐层隐藏态即可传递后见之明
让MLLM自主学习每个图像块用细还是粗的视觉表示,平均省43% token仅损1.1%性能
自回顾蒸馏:将事后经验转化为先验前瞻
👍 166把事后轨迹的教训蒸馏为交互前预判,让全对或全错的轨迹也能产生学习信号
用PI敏感步骤选择与特权行为保持,阻止多轮自蒸馏部署中的性能坍塌
训练行为逼真的用户模拟器作为智能体RL环境,配合教练式自蒸馏提升跨用户泛化
构建真正需要音视频协同的基准、11.2万条证据接地数据与模态分解自蒸馏训练方法,提升全模态联合推理
按信息增益挑出去噪中少数关键承诺,仅用200题离线自蒸馏即胜过全序列SFT与在线RL
用类BPE方法从轨迹中零LLM调用挖掘技能树,并以数据、奖励、上下文三种方式注入智能体训练
定向自蒸馏训练小型顾问模型,为冻结前沿LLM提供有效建议
把自蒸馏监督转移到教师可被模仿的已验证轨迹上,收益不再随模型规模衰减