找到 104 条结果

Flide解耦决策请求的逻辑树与物理执行,精确分叉状态,最快提速9.5倍

Bobo Li, Jiajia Song, Hao Fei, Wynne Hsu, Mong Li Lee 2026-11-10
LLM Agent 决策模型 推理引擎 状态分叉 高效推理

定位模型推理中的过度思考状态,从同一状态重生成更短续写,用局部偏好对训练模型学会何时停止。

Muyao Yuan, Liyan Xu, Weizhan Zhang, Muyan Jiao, Jiangnan Li, Jinchao Zhang, Jie Zhou 2026-11-04
DPO 偏好学习 大型推理模型 推理压缩 数学推理

两个可折叠的线性变换让 GQA-2 同时赢下 KV 缓存、FLOPs 与质量的不可能三角

Xibo Ding, Guoxia Wang, Jinle Zeng, Jiabin Yang, Sirui Tao, Chao Yang, Dianhai Yu 2026-10-16
KV缓存压缩 MoE 注意力机制 结构重参数化 长上下文

冻结模型权重,测试时训练文档专属KV缓存,32×压缩下RULER达96.7%

Yingfa Chen, Xingyu Shen, Chaojun Xiao, Xu Han 2026-10-15
KV缓存压缩 测试时训练 知识蒸馏 长上下文 高效推理

用分数上界证书无损剪枝稀疏注意力索引器,Indexer最高加速2.74倍

Fanxu Meng, Taosong Fang 2026-10-14
GPU内核优化 无损加速 稀疏注意力 长上下文 高效推理