离线缓存教师Top-K对数几率并融合分块KL损失,让蒸馏显存随序列长度线性增长。
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
多模态
长上下文
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
评测基准
高效推理
自监督学习
工具调用
对比学习
扩散语言模型
参数高效微调
视觉-语言-动作模型
Transformer
工具使用
LoRA
持续学习
自蒸馏
LLM评估
多模态推理
RAG
模仿学习
综述
信息检索
LLM推理
信用分配
在线策略蒸馏
合成数据
模型压缩
基于前缀重放的多轮在线策略蒸馏
👍 12复用教师轨迹做离线多轮 agent 蒸馏,零工具调用、4倍加速且不掉点。
通过剪枝、蒸馏、量化实现移动端高质量电影级I2V生成,40×加速
提出FlashMorph,通过联合优化层间门控,高效选择混合注意力模型的全注意力层
提出DTR协议分析VLA模型架构冗余,发现语言主干高度冗余而视觉动作路径关键
提出FBNL范式,解耦查询-文档计算实现高效重排序,性能媲美工业模型但计算成本降低10-200倍
仅用0.22B参数实现10B级模型性能的图像修复框架
Taylor展开初始化加速Transformer转GDN
ZPPO通过BCQ/NCQ将教师知识仅注入提示词,在31个基准上显著提升小模型性能
剪枝+精确最小化+释放循环,最大压缩 39×
基于内部模型路由的推测解码验证方法
👍 37通过内部模型路由引入轻量级中间验证器,实现分层推测解码,降低拒绝率并提升推理速度
首个MoE转密集架构框架,DO-ACP评分+纯剪枝优于D2D剪枝6.3pp
研究在知识蒸馏前压缩教师推理轨迹的准确率-效率权衡
重构分词器+均值映射+离线蒸馏,高效把多语言教师适配到土耳其语
通过TTT架构实现Softmax Transformer到线性复杂度的快速转换
少即是多:在线策略蒸馏的早停展开
👍 11限制蒸馏 rollout 到前 N 个 token,解决 OPD 的离策略教师衰减问题
首个面向移动端的十亿参数级MoE模型,建立端侧LLM新帕累托前沿
首个跨架构扩散LLM蒸馏框架,统一解决时序/上下文/词表三重鸿沟。
时序扩展的混合专家模型
👍 4用 RL options 框架训练 MoE 控制器,把切换率从 50%+ 压到 5% 以下。
统一文本概率空间的多模态蒸馏框架,含视觉切换与动态双向 logits 差异损失。