找到 79 条结果

通过gist token压缩+选择性展开实现无需架构修改的长上下文稀疏注意力

Yuzhen Mao, Michael Y. Li, Emily B. Fox 2026-06-29
KV-cache压缩 LLM RAG 稀疏注意力 长上下文

提出LCLM编码器-解码器压缩方法,在保持模型能力的同时大幅降低长上下文推理的内存和延迟

Ang Li, Sean McLeish, Haozhe Chen, Nimit Kalra, Zaiqian Chen, Artem Gazizov,... 2026-06-09
KV cache优化 上下文压缩 编码器-解码器架构 语言模型效率 长上下文

自监督双代理任务(端到端重建+中间记忆召回)预训练LLM记忆能力。

Ziheng Li, Xingrun Xing, Haoqing Wang, Zhi-Hong Deng, Yehui Tang 2026-06-04
GRPO 上下文记忆智能体 多跳问答 强化学习 自监督预训练

9.8B 激活参数的 MoE 大模型,通过 Agent 数据管线+Forge 强化学习系统+自我进化,在编码与办公 Agent 任务上比肩头部闭源模型

MiniMax, Aili Chen, Aonian Li, Baichuan Zhou, Bangwei Gong, Binyang Jiang,... 2026-05-27
Agent MoE Speculative Decoding 代码生成 强化学习