首个跨架构扩散LLM蒸馏框架,统一解决时序/上下文/词表三重鸿沟。
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
面向大语言模型的混合策略蒸馏方法
👍 12将前向KL与反向KL按token级信号混合,结合off-policy数据与轻量on-policy采样的统一蒸馏框架
统一文本概率空间的多模态蒸馏框架,含视觉切换与动态双向 logits 差异损失。
BLD方法:基于字节级接口的跨分词器蒸馏简化基线
用熵与分歧两轴解释 OPD 中 token 重要性,并提出无参数 Soft-OR 选择规则。
通过预先计算教师logprob,把OPD从需要实时教师服务变成单阶段训练,效率提升4倍。
基于轨迹正确性和困惑度进行双路自适应加权的在线策略蒸馏框架,提升LLM推理对齐效果
POLYGLOT SCORE评估10个LM多语种教学能力,规模非关键因素。
通过直接条件蒸馏(DCD)把多步块扩散蒸馏为单步解码,同时用响应非对称扩散(RAD)削减72.3%训练FLOPs,在胸部X光报告生成上实现8倍理论加速和5.1倍实测加速。
腾讯混元具身基础模型家族,MoT+自进化训练+蒸馏,2B 小模型 SOTA 22 基准。
结构化蒸馏网页智能体能力以实现泛化
👍 20用单个前沿教师模型结构化合成轨迹,将9B小模型在WebArena上提升至41.5%
三阶段半监督蒸馏框架,将视觉基础模型压缩为11倍小的实例分割专家。
提出分层采样策略,通过保留教师分数分布多样性提升蒸馏检索泛化能力
Google 4B 医疗多模态模型,新增 3D 影像与时序分析能力
用冻结LM做教师配合层间KV共享,在零额外参数下恢复VLM的语言能力。
大语言模型在线策略蒸馏综述
👍 11系统性综述LLM在线策略蒸馏(OPD)的理论框架、方法分类、失败模式和工业实践
把675B的隐私判断蒸馏到150M编码器,本地即可超越教师的人类一致性
因果多镜头架构实现16FPS实时交互式长叙事视频生成
识别采样token蒸馏三大失败模式,提出top-K匹配+19.8%提升
自蒸馏通过压制不确定性表达损害数学推理泛化