找到 79 条结果

通过预注意力计算编辑 key 实现高效的提示词高亮

Weixian Waylon Li, Yuchen Niu, Yongxin Yang, Keshuang Li, Tiejun Ma, Shay B. Cohen 2026-03-03
推理时干预 提示词工程 注意力引导 谱分解 长上下文

通过双频带分解和能量校准恢复RoPE下均值池化损失的高频位置信息,实现高效块稀疏注意力

Xinghao Wang, Pengyu Wang, Xiaoran Liu, Fangxu Liu, Jason Chu, Kai Song, Xipeng Qiu 2026-02-11
RoPE 模型加速 注意力机制 稀疏注意力 长上下文

利用 RoPE 频率块的功能稀疏性,训练无关地动态预测 token 重要性以压缩 KV 缓存

Yifei Wang, Yueqi Wang, Zhenrui Yue, Huimin Zeng, Yong Wang, Ismini... 2026-02-05
KV缓存压缩 RoPE 注意力稀疏化 长上下文 高效推理

开发鲁棒的激活探针架构,以检测语言模型在长上下文等生产分布偏移下的滥用行为。

János Kramár, Joshua Engels, Zheng Wang, Bilal Chughtai, Rohin Shah, Neel... 2026-01-19
AlphaEvolve 分布偏移 滥用检测 激活探针 级联分类器

通过递归调用和环境变量突破LLM上下文限制的新范式

Alex L. Zhang, Tim Kraska, Omar Khattab 2026-01-06
REPL环境 任务分解 推理时扩展 递归调用 长上下文