用对数空间软门控让语言建模损失端到端训练稀疏注意力选择器
Zhiwei Li, Lei Zhu, Hao Gu, Xiang Hu, Yan Wang, Haitao Mi, Sirui Han, Leo...
2026-09-14
FlashAttention
LLM推理加速
稀疏注意力
端到端优化
长上下文
免训练视觉token剪枝框架,用嵌套证据排序与单调KV收缩让GUI智能体在紧预算下保持精度
Yuhao Wang, Mu Qiao, Xindong Zhang, Yunzhi Zhuge, Lei Zhang, Huchuan Lu
2026-09-14
GUI智能体
KV缓存压缩
多模态大模型
视觉Token剪枝
高效推理
利用全局查询的聚类几何结构,用信标查询预判思维回看,保留关键KV缓存并实现5.8倍显存压缩
Janghyeon Kim, Minsoo Kim, Kyuhong Shim, Jungwook Choi
2026-09-09
Farthest Point Sampling
KV缓存压缩
大型推理模型
无训练方法
注意力机制
按隐藏状态轨迹方向角把冗余思维链压成潜在token,精度升2.6%、长度近半。
Xiaoang Xu, Siyuan Liu, Shuo Wang, Junlan Feng, Fanyu Meng, Zhu Zhang, Jixun...
2026-09-09
几何动力学
思维链压缩
显式-隐式交织
潜在推理
高效推理
只用浅层编码视频流并建索引,查询时按需对检索证据做全深度计算
Jitai Hao, Ke Yang, Qiang Huang, Jun Yu
2026-09-07
KV缓存与记忆
多模态大模型
检索增强
流式视频理解
高效推理
保留提示词、按头随机驱逐的免评分KV缓存压缩,精度追平最强基线且吞吐高32–43%。
Heng Wang, Jielin Qiu, Wenting Zhao, Cheng Qian, Liangwei Yang, Jiawei Han,...
2026-09-04
KV缓存
LLM服务
长思维链
高效推理
把时空管解码深度压到固定1+1轮,延迟降79倍、吞吐升92倍且精度更优。
Hanoona Rasheed, Haania Siddiqui, Ming-Hsuan Yang, Fahad Shahbaz Khan, Salman Khan
2026-08-31
多模态大模型
强化学习
时空定位
视频理解
高效推理
推理时只保留提示前缀加滑动窗口,让长思维链成本恒定,免训练提速3倍
Niklas Muennighoff, Zhengyang Wang, Zeyi Chen, Weijia Shi, Binyuan Hui, John...
2026-08-27
强化学习
测试时扩展
滑动窗口注意力
长上下文
高效推理
把3D形状码的逐token自回归解码改为块间因果、块内并行去噪加置信度修正,提速5.15倍
Bowen Cui, Weijie Wang, Zeyu Zhang, Yefei He, Mingda Lin, Haoyu Zhao, Yuanyu...
2026-08-25
3D网格生成
块级扩散
文本到3D生成
离散去噪
自回归生成
用时序置信度做异步分支控制,并行推理延迟降低21.8–32.2%
Xuteng Zhang, Wenhao Zeng, Xiaodong Gu, Chao Hu, Haotian Lin, Yuling Shi,...
2026-08-24
LLM推理控制
并行推理
推理优化
测试时扩展
高效推理
针对单用户CPU解码反向设计的卷积-注意力混合小模型,长上下文解码最高提速2.08倍
Christos Koutsiaris
2026-08-24
CPU推理
小语言模型
混合架构
量化
高效推理
细粒度MoE+核优化+防遗忘视频微调,稀疏CLIP视觉编码器追平1.7倍大的SOTA稠密模型
Bonan Zhang, Shiyu Dong, Quan Hung Tran, Katharina Gschwind, Shuqi Yang,...
2026-08-19
CLIP
模型缩放
混合专家(MoE)
知识蒸馏
视觉编码器
首个智能体文生图工作流路由框架,按提示需求动态分配最优管线,成本降95%延迟降65%
Harold Haodong Chen, Zhiyu Hou, Wen-Jie Shu, Weilin Ruan, Yingjie Xu, Litao...
2026-08-18
文生图
智能体工作流
模型路由
高效推理
训练时预测未来视觉嵌入、推理时直接作答,精度持平或超越Visual CoT且延迟降5倍以上
Xiaoyu Zhu, Xinke Deng, Suresh Taddewadikar, Arnab Kumar Mondal, Zhongyu...
2026-08-18
世界模型
后训练
多模态大模型
视频理解
高效推理
把世界生成模型构造未来的内部计算蒸馏为仅由当前观测预测的表征,控制时无需执行生成器
Weili Zeng, Yitong Xing, Fulong Liu, Chengqun Yang, Antao Xiang, Feng Tian,...
2026-08-10
世界模型
机器人操控
视觉语言动作模型
预测表征学习
高效推理
无需训练的两阶段全模态Token压缩,极致压缩下仍保持95%性能
Wanshun Su, Yang Shi, Feihu Liu, Ziwen Yu, Yan Min, Zhuoran Zhang, Qixun...
2026-08-05
Token压缩
免训练
全模态大语言模型
音视频理解
高效推理
混合线性与softmax注意力,单卡生成比全softmax视频DiT快3.2倍
Junsong Chen, Jincheng Yu, Yitong Li, Shuchen Xue, Haozhe Liu, Jingyu Xin,...
2026-07-24
扩散Transformer
注意力残差
混合注意力
线性注意力
视频生成
提出Latent Memory,将每条多模态证据压缩为一个高维潜在token,实现高效的问答系统
Zhi Zheng, Ziqiao Meng, Hao Luan, Wei Liu, Wee Sun Lee
2026-06-10
RAG
多模态学习
对比学习
知识蒸馏
记忆压缩
LoRA 联合训练实现按输入类型自适应跳过层
Prateek Kumar Sikdar
2026-06-08
LLM
LoRA
层跳过
智能体AI
高效推理
将RAT+的指数衰减记忆模块应用于Quest、MoBA、SnapKV等稀疏推理方法,大幅提升精度
Xiuying Wei, Caglar Gulcehre
2026-06-08
KV缓存优化
注意力机制
稀疏注意力
长上下文
高效推理