找到 63 条结果

让LLM自主选择训练片段提升长上下文推理性能

Xinyu Zhu, Zhe Xu, Xiaohan Wei, Yunchen Pu, Fei Tian, Chonglin Sun, Kaushik... 2026-07-13
参数高效微调 注意力机制 测试时训练 自适应推理 长上下文

30B总参数仅激活3B的双语MoE模型,长上下文服务效率领先,德语能力突出

The Soofi-Team, Benedikt Droste, David Fitzek, Ruben Härle, Lukas Helff,... 2026-07-13
Mixture-of-Experts 多语言模型 开源模型 德语模型 混合架构

通过gist token压缩+选择性展开实现无需架构修改的长上下文稀疏注意力

Yuzhen Mao, Michael Y. Li, Emily B. Fox 2026-06-29
KV-cache压缩 LLM RAG 稀疏注意力 长上下文

提出LCLM编码器-解码器压缩方法,在保持模型能力的同时大幅降低长上下文推理的内存和延迟

Ang Li, Sean McLeish, Haozhe Chen, Nimit Kalra, Zaiqian Chen, Artem Gazizov,... 2026-06-09
KV cache优化 上下文压缩 编码器-解码器架构 语言模型效率 长上下文

自监督双代理任务(端到端重建+中间记忆召回)预训练LLM记忆能力。

Ziheng Li, Xingrun Xing, Haoqing Wang, Zhi-Hong Deng, Yehui Tang 2026-06-04
GRPO 上下文记忆智能体 多跳问答 强化学习 自监督预训练