标签： 全部 强化学习 扩散模型 大语言模型 基准测试 视频生成 LLM智能体 世界模型 视觉语言模型 GRPO 多模态大模型 知识蒸馏 基准评测 具身智能 流匹配 机器人操作 多智能体系统 智能体 LLM Agent 可解释性 图像生成 代码生成 多模态学习 检索增强生成 注意力机制 RLVR 后训练 视频理解 机器人学习 多模态 长上下文 数学推理 图像编辑 VLA 数据合成 多模态大语言模型 推理加速 评测基准 高效推理 自监督学习 工具调用 对比学习 扩散语言模型 参数高效微调 视觉-语言-动作模型 Transformer 工具使用 LoRA 持续学习 自蒸馏 LLM评估 多模态推理 RAG 模仿学习 综述 信息检索 LLM推理 信用分配 在线策略蒸馏 合成数据 模型压缩
找到 117 条结果
相关性 | 日期

WUSH-KV：基于数据自适应变换的KV缓存量化

👍 12

用二阶统计为键值各造一个可逆变换，把2-bit KV缓存质量拉回接近全精度

Jiale Chen, Vage Egiazarian, Eldar Kurtić, Torsten Hoefler, Dan Alistarh 2026-10-01
KV缓存量化 SGLang 大模型推理 量化变换 长上下文
✅ 已总结
详情 →

MassAlloc 注意力：让注意力自行分配算力

👍 25

保留完整 QK 打分，用在线 softmax 归一化贡献决定每个 tile 是否执行后续计算

Jingze Shi, Zhangyang Peng, Xianduo Li, Yanlin Qi, Xiaotian Lin, Haoxian... 2026-09-29
FlashAttention 内核 大模型训练 稀疏注意力 算子工程 长上下文
✅ 已总结
详情 →

CoWindow Attention：完全因果覆盖是一种集体属性

👍 17

把长程历史按KV头互补划分、集体覆盖全部因果历史，以稀疏成本逼近全注意力质量。

Jingze Shi, Zhangyang Peng, Xianduo Li, Yanlin Qi, Xiaotian Lin, Haoxian... 2026-09-29
大语言模型 注意力架构 稀疏注意力 长上下文 高效训练与推理
✅ 已总结
详情 →

对数线性复杂度的块稀疏注意力

👍 28

用键金字塔逐层LSE筛选，把块稀疏注意力的选择开销从O(N²/C)降到O(N log N)

Bohao Tang, Zhen Qin, Yuqi Pan, Zheng Li, Pengfei Liu 2026-09-28
Triton内核 大语言模型 稀疏注意力 长上下文 高效注意力
✅ 已总结
详情 →

DeepSeek-V4.1-Flash：把 KV 缓存压缩推向极限

👍 214

跨层复用+FP4量化+有界重放三管齐下，将KV缓存压至前代1/4至1/8且性能更强

DeepSeek-AI, Anyi Xu, B. Li, Bangcai Lin, Bing Xue, BingCheng Xian,... 2026-09-18
FP4量化 KV缓存压缩 强化学习 推测解码 智能体训练
✅ 已总结
详情 →

ZGCM-1：面向数学与智能体搜索的全开源高效基础模型

👍 103

7B全开源模型靠深度思考加工具调用双引擎与极致训练效率，在数学和智能体搜索上比肩大型前沿模型。

Jiyan He, Guang Liang, Hao Liu, Haoxiang Guan, Jinbo Sun, Junyi Guo, Wenjun... 2026-09-15
AI原生研发 FP8训练 开源基础模型 数学推理 智能体搜索
✅ 已总结
详情 →

HyQuant：面向大语言模型注意力的混合精度量化

👍 6

保留少数垂直线token和局部窗口为全精度，其余低比特量化，实现近无损长上下文推理加速

Jiatong Ding, Bingxin Xing, Yu Zhang, Dian Ding, Xiaodong Yi, Xianbin... 2026-09-11
KV缓存压缩 LLM推理加速 模型量化 注意力机制 混合精度
✅ 已总结
详情 →

语言模型可以控制自身的注意力

👍 77

让模型在思维链中声明注意力范围，推理引擎据此跳过大部分KV缓存读取

Namgyu Ho, Huzama Ahmad, Woosung Koh, Se-Young Yun, Tal Schuster, Cicero... 2026-09-03
KV缓存 推理优化 提示工程 稀疏注意力 长上下文
✅ 已总结
详情 →