系统梳理大语言模型六大基石:预训练、生成建模、提示、对齐、推理与推理增强的教材级综述
Tong Xiao, Jingbo Zhu
2026-10-09
RLHF对齐
推理加速
推理模型
提示工程
教材与综述
从线性注意力状态递归中挖掘内在 token 重要性信号,训练免费压缩视觉 token
Hao Jiang, Yiru Mao, Tianpeng Bu, Hao Zhou, Hongtao Duan, Wang Jing, Bowen...
2026-10-09
多模态大模型
推理加速
混合架构
线性注意力
视觉Token压缩
用滚动端量化结果引导训练端FP4舍入,直接对齐训练-滚动两条量化路径
Xin Wang, Hao Yu, Zhengyang Zhuge, Bochao Mao, Zheng Li, Junda Feng, Yuyan...
2026-10-07
FP4低精度计算
强化学习后训练
推理加速
混合专家模型
量化感知训练
在去噪步内用token级自适应潜空间循环,让易预测词早提交、难预测词多迭代,质量速度兼得
Liancheng Fang, Zhuowei Li, Youngeun Kim, Tianchen Zhao, Rajat Koner, Jiaye...
2026-10-06
循环Transformer
扩散语言模型
推理加速
测试时扩展
自适应计算
单步蒸馏与分块级异步流水线双管齐下,让世界动作模型实现约25倍近无损实时推理
Chengtao Lv, Jinyang Du, Shuyi Feng, Yang Yong, Shiqiao Gu, Shunzi Yang,...
2026-10-06
一致性蒸馏
世界动作模型
异步推理
推理加速
机器人操作
接收方下发查询引导发送方按需筛选 KV 缓存回传,免文本解码,精度时延双优
Maximillian Rossi, Prajwal Raghunath, Haoqing Xuan, Yusen Zhang, Eugene Wu
2026-10-05
KV缓存压缩
多智能体系统
推理加速
潜空间通信
长上下文
追踪进展-波动平衡,在线自适应调度循环推理步长,免重训提精度并最高加速1.56倍
Boyuan Wang, Chengyao Yu, Jiaxi Ren, Hongxin Wei, Bingyi Jing, Yuxin Tao
2026-09-30
循环Transformer
循环推理
推理加速
测试时计算
自适应步长
复用去噪前向自产的同阶段KV缓存,辅以稀疏干净锚点,长视频生成更快且质量更高。
Yikai Wang, Xiao Han, Mengmeng Xu, Juan Camilo Perez, Yiannis Douratsos, Sen...
2026-09-29
KV缓存
少步蒸馏
推理加速
流水线并行
自回归生成
用低秩MLP预测每层视觉记忆,免剪枝加速多模态推理且保留全部视觉token
Jingdi lei, Junxian Li, Di Zhang, Zhanqiu Zhang, Yiwen Guo, Soujanya Poria
2026-09-29
低秩适配器
多模态大模型
推理加速
知识蒸馏
视觉token压缩
保持权重参数量不变,把矩阵乘法换成更便宜的结合代数乘积:吞吐+7%,质量略降
Ilya Koziev, Ivan Oseledets
2026-09-29
LLM预训练
代数复杂度理论
快速矩阵乘法
推理加速
算子优化
冻结的全Token自身副本当教师,在学生自采样轨迹上做分布蒸馏,5%视觉Token保留82.3%性能
Junxian Li, Ruixuan Yang, Tianao Zhang, Tiange Xu, Weisheng Dong, Yulun Zhang
2026-09-29
在线策略蒸馏
多模态大模型
推理加速
视觉Token压缩
课程学习
利用softmax平移不变性在等价输出头中搜索量化后保真度最优的表示
Asim Kadav, Christian Flores, Chirag Arora, Varun Kotte, Hongbo Zheng, Lan...
2026-09-28
后训练量化
大词表
推理加速
模型量化
输出头量化
IO 感知融合 KV 缓存与免训练自草稿自验证并行解码,让扩散 LLM 推理最高提速 148 倍
Quan Nguyen-Tri, Mukul Ranjan, Zhiqiang Shen
2026-09-23
GPU内核优化
KV缓存
免训练
扩散语言模型
投机解码
用值聚类平滑与 E4M3 概率直写,免训练让视频扩散低比特注意力又快又准
Xingyang Li, Dongyun Zou, Shining Zhang, Jiacheng Chen, Haocheng Xi, Lvmin...
2026-09-17
FP8
推理加速
注意力内核
系统优化
视频扩散模型
投机解码的“无损”取决于精度:BF16 仅45%轨迹一致,FP32 则完全一致。
Ilya Koziev, Leonid Sinev, Ivan Oseledets
2026-09-15
可复现性研究
扩散语言模型
投机解码
推理加速
数值精度
仅用3D坐标、免训练地把多视角词元精确剪到目标数量,8%词元保留93.5%性能
Nhat-Tan Bui, Varshini Elangovan, Arun Reddy Anugu, Sreyas Mohan, Wei Ye,...
2026-09-09
免训练方法
多视角3D推理
推理加速
视觉词元剪枝
视觉语言模型
冻结AR权重、外挂LoRA扩散权重并行起草,AR验证实现全批量无损提速
Subham Sekhar Sahoo, Lingjie Chen, Khiem Pham, Jonathan Geuter, Chaitanya...
2026-09-08
LoRA
RL后训练加速
一致性蒸馏
扩散语言模型
投机解码
层间递增、时间递减的层Dropout配方可省25%训练FLOPs并解锁1.5×无损推理加速
Mostafa Elhoushi, Alex Pretko, Nolan Dey, Bin Claire Zhang, Gavia Gray,...
2026-09-07
LLM预训练
层Dropout
推理加速
缩放分析
自推测解码
纯后训练专用模型家族,单次调用生成幻灯片与可交互课件,用可执行探针把交互性变成可测量的奖励信号
Shangqing Tu, Daniel Zhang-Li, Yucheng Wang, Shiyu Gan, Yanpeng Wang,...
2026-09-01
GRPO
后训练
国产算力适配
奖励攻击
奖励设计
响应耦合分区+探针残差重构,22–26%密度下免训练稀疏注意力加速视频生成1.48–2.61倍
Pardis Taghavi, Reza Langari, Gaurav Pandey
2026-08-24
世界模型
免训练方法
推理加速
稀疏注意力
视频生成