提出token可教性概念,在线策略蒸馏中仅用5%监督token即可超越全量监督
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
PEEK:通过高效知识蒸馏挑选关键帧
👍 16通过两阶段知识蒸馏,将字幕条件的帧相关性蒸馏到轻量级视觉模型,实现无需文本的高效视频关键帧选择
全栈框架将视频基础模型转为实时相机可控世界模型
少即是多:在线策略蒸馏的早停展开
👍 11限制蒸馏 rollout 到前 N 个 token,解决 OPD 的离策略教师衰减问题
用Bradley-Terry判别器+前向流匹配,把黑盒视频教师蒸馏进自回归学生。
将加速 MRI 重建重构为离散潜在空间中的下一加速尺度预测,显著提升极端欠采样下的感知质量
提出工具编排视觉经验蒸馏,让图像生成智能体自我进化。
把时空压缩内化到87M视觉编码器中,蒸馏让LLM用8倍帧数仍快35%
解耦可迁移动作与具身外观的跨具身视频生成,仅用未配对视频即可适配新机器人。
提出「稀疏奖励给大教师、稠密信号传小部署模型」的分配原则,四阶段流程在 MATH 提升 3.4 点
剖析OPD/OPSD成败,提出三类失败机制与对应稳定化修复。
用门控潜变量把循环Transformer的KV缓存压成常量,解耦推理深度与显存
在预训练尺度系统研究 MoE 压缩,提出部分保留专家合并、MTP 蒸馏与渐进剪枝
免训练token级诊断框架量化每个蒸馏信号与理想梯度的对齐程度
基于评分标准的在线策略蒸馏
👍 39用语义化评分标准替代教师 logits 的黑箱在线蒸馏框架。
用能量罗盘重塑离散流匹配的训练轨迹,让8步学生超越1024步教师
把奖励信号拆解到 rollout 与像素级,对 DMD 蒸馏做时空局部化加权。
把多个大模型的相互偏离视为动态负约束,构建无需真实标签的自主偏好对齐框架
构建医疗 RL 训练场并提出 TT-OPD 自蒸馏框架解决多轮崩塌问题
双向统一决策树与扩散模型于 GTSM 框架,提出两个表格算法。