通过剪枝、蒸馏、量化实现移动端高质量电影级I2V生成,40×加速
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
视觉语言模型
世界模型
GRPO
多模态大模型
多智能体系统
多模态学习
智能体
知识蒸馏
图像生成
代码生成
LLM智能体
注意力机制
LLM Agent
具身智能
流匹配
多模态大语言模型
视频理解
数学推理
检索增强生成
可解释性
图像编辑
多模态
机器人学习
机器人操作
自监督学习
工具使用
Transformer
基准评测
对比学习
长上下文
RLVR
多模态推理
计算机视觉
数据合成
LLM评估
信息检索
推理加速
3D重建
扩散语言模型
自回归模型
视觉推理
RAG
参数高效微调
LoRA
视觉-语言-动作模型
Flow Matching
模型压缩
自回归生成
视觉-语言模型
后训练
工具调用
持续学习
高效推理
RLHF
策略优化
提出FlashMorph,通过联合优化层间门控,高效选择混合注意力模型的全注意力层
提出DTR协议分析VLA模型架构冗余,发现语言主干高度冗余而视觉动作路径关键
提出FBNL范式,解耦查询-文档计算实现高效重排序,性能媲美工业模型但计算成本降低10-200倍
仅用0.22B参数实现10B级模型性能的图像修复框架
Taylor展开初始化加速Transformer转GDN
ZPPO通过BCQ/NCQ将教师知识仅注入提示词,在31个基准上显著提升小模型性能
剪枝+精确最小化+释放循环,最大压缩 39×
基于内部模型路由的推测解码验证方法
👍 36通过内部模型路由引入轻量级中间验证器,实现分层推测解码,降低拒绝率并提升推理速度
首个MoE转密集架构框架,DO-ACP评分+纯剪枝优于D2D剪枝6.3pp
研究在知识蒸馏前压缩教师推理轨迹的准确率-效率权衡
重构分词器+均值映射+离线蒸馏,高效把多语言教师适配到土耳其语
通过TTT架构实现Softmax Transformer到线性复杂度的快速转换
少即是多:在线策略蒸馏的早停展开
👍 15限制蒸馏 rollout 到前 N 个 token,解决 OPD 的离策略教师衰减问题
首个面向移动端的十亿参数级MoE模型,建立端侧LLM新帕累托前沿
首个跨架构扩散LLM蒸馏框架,统一解决时序/上下文/词表三重鸿沟。
时序扩展的混合专家模型
👍 4用 RL options 框架训练 MoE 控制器,把切换率从 50%+ 压到 5% 以下。
统一文本概率空间的多模态蒸馏框架,含视觉切换与动态双向 logits 差异损失。
通过表示层级揭示剪枝何时有效
👍 20剪枝在非生成任务有效但生成任务失效,softmax非线性放大是关键
将对话历史音频压缩为固定latent tokens,降低成本同时保留ASR增益