标签： 全部 强化学习 扩散模型 大语言模型 基准测试 视频生成 LLM智能体 世界模型 视觉语言模型 GRPO 多模态大模型 知识蒸馏 基准评测 具身智能 流匹配 机器人操作 多智能体系统 智能体 LLM Agent 可解释性 图像生成 代码生成 多模态学习 检索增强生成 注意力机制 后训练 RLVR 视频理解 机器人学习 多模态 长上下文 数学推理 图像编辑 VLA 数据合成 多模态大语言模型 推理加速 评测基准 高效推理 自监督学习 工具调用 对比学习 扩散语言模型 视觉-语言-动作模型 Transformer 参数高效微调 工具使用 LoRA 持续学习 自蒸馏 LLM评估 多模态推理 RAG 综述 信息检索 模仿学习 LLM推理 信用分配 在线策略蒸馏 合成数据 模型压缩
找到 117 条结果
相关性 | 日期

LowRAM：测试时低秩键与摊销值的可组合 KV 缓存压缩

👍 14

利用头内键值可预测性在测试时拟合值预测器，配合低秩键压缩，最高实现26.9倍近无损KV缓存压缩

Teresa Delgado, Hugo Hazard, Martin Benfeghoul, Jun Wang, Zafeirios Fountas 2026-11-09
KV缓存压缩 低秩分解 元学习 大模型推理加速 测试时适应
✅ 已总结
详情 →

你并不需要长上下文

👍 22

频繁压缩上下文即可让前沿模型在长程与长输入任务上保持精度，成本最高省233倍

Peter Belcak, Saurav Muralidharan, Jindong Jiang, Yonggan Fu, Wonmin Byeon,... 2026-11-04
LLM智能体 上下文压缩 推理成本 状态空间模型 长上下文
✅ 已总结
详情 →

虚拟头注意力（VHA）

👍 17

两个可折叠的线性变换让 GQA-2 同时赢下 KV 缓存、FLOPs 与质量的不可能三角

Xibo Ding, Guoxia Wang, Jinle Zeng, Jiabin Yang, Sirui Tao, Chao Yang, Dianhai Yu 2026-10-16
KV缓存压缩 MoE 注意力机制 结构重参数化 长上下文
✅ 已总结
详情 →

Apertus 1.5：从开放文本模型到开放多模态推理器

👍 17

持续预训练将全开放文本模型升级为具备图像音频理解、262K上下文与思考模式的多模态推理器

Project Apertus, Yixuan Xu, Yassine Turki, Vinko Sabolčec, Valentina... 2026-10-15
偏好对齐 多模态 开源大模型 强化学习 持续预训练
✅ 已总结
详情 →

基于测试时训练的潜空间压缩

👍 6

冻结模型权重，测试时训练文档专属KV缓存，32×压缩下RULER达96.7%

Yingfa Chen, Xingyu Shen, Chaojun Xiao, Xu Han 2026-10-15
KV缓存压缩 测试时训练 知识蒸馏 长上下文 高效推理
✅ 已总结
详情 →

DoSA：点积稀疏注意力

👍 66

用分数上界证书无损剪枝稀疏注意力索引器，Indexer最高加速2.74倍

Fanxu Meng, Taosong Fang 2026-10-14
GPU内核优化 无损加速 稀疏注意力 长上下文 高效推理
✅ 已总结
详情 →

REMORY：面向上下文压缩的残差记忆学习

👍 48

在摘要后附加可学习软记忆向量，让冻结LLM逼近全上下文表现

Hanchen Xia, Baoyou Chen, Yutang Ge, Naihao Deng, Senqiao Yang, Zilong Dong,... 2026-10-09
Agent记忆 上下文压缩 知识蒸馏 软提示 长上下文
✅ 已总结
详情 →

UNREAL：用单一模型统一检索与长上下文

👍 20

冻结LLM内部读出检索信号,仅训不到50万参数,同时胜任语料检索与长上下文证据选择

Edan Kinderman, Elad Hoffer, Yochai Blau, Brian Chmiel, Ron Banner, Daniel... 2026-10-07
参数高效微调 密集检索 检索增强生成 证据选择 长上下文
✅ 已总结
详情 →

混合注意力大语言模型中的多语言性

👍 5

首次揭示混合注意力LLM的多语言表征组织方式,证明首层全注意力布局让多语言训练提速至2.5倍

Lucas Bandarkar, Junlin Hu, Chenyuan Yang, Mohsen Fayyaz, Nanyun Peng 2026-10-07
Gated DeltaNet 可解释性 多语言 混合注意力 知识蒸馏
✅ 已总结
详情 →