提出数学原语与PRIM基准诊断LLM数学理解,发现独立结构发现是瓶颈,并用ABSORB自蒸馏修复
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
融合专家输出分布与隐藏状态双重监督,单个1.5B学生模型超越各领域专家教师
线性复杂度门控循环骨干配合极简蒸馏与定制CUDA核,六大稠密任务兼顾精度与边缘延迟
以分块独立评分解耦质量监督与时间一致性,RMD在百倍训练时域外仍稳定生成
排序质量相同的评分器换序后决策迥异,OC-SFT 以排列一致性惩罚稳定三类下游决策
解剖MOPD中损失加权、Adam动量与BF16精度如何筛选教师信号并决定任务收益
强到弱蒸馏中,KL方向与学习率而非rollout策略决定性能、遗忘与更新稀疏性。
缩放与蒸馏文本嵌入以提升扩散性
👍 24缩放T5Gemma-2嵌入并蒸馏解码概率,使连续扩散语言模型生成更有效。
视频生成模型的后训练与对齐综述
👍 20首篇系统梳理视频生成后训练与对齐的综述:四族方法、数据基准与开放挑战
冻结文本骨干作锚点,用稠密字幕自蒸馏把六种模态绑入同一嵌入空间且文本检索零退化。
7B至72B学生实验证明:小模型生成拒绝样本更省算力且训练效果更强
更好的监督就在近旁:邻域在线策略自蒸馏
👍 12将特权教师参数邻域的扰动专家组成池,逐状态路由监督以增强在线自蒸馏
提出INTENTFLUX基准量化意图漂移,STATEFORGE显式状态折叠部分修复损失
RIDE在表征空间沿RL诱导残差外推蒸馏目标,让学生稳定超越RL教师
让多模态大模型在LLM内部想象出紧凑3D高斯场景再作答,空间推理大幅超越像素级几何注入
在关键错误处施加预防性蒸馏、在其后施加恢复性蒸馏,让多轮智能体学会避免并从关键错误中恢复。
把IndexTTS2蒸馏成掩码非自回归架构,免转录克隆且提速10倍以上
把自蒸馏监督转移到教师可被模仿的已验证轨迹上,收益不再随模型规模衰减
用最大耦合的接受/纠正事件内生路由token级监督,让在线策略蒸馏既准又快
将CFG、少步采样与长上下文纠错一次性蒸馏为可复用LoRA,免训练插拔到54个下游视频模型