找到 114 条结果

通过知识蒸馏对齐教师模型的视觉注意力轨迹,让小模型获得大模型的视觉推理能力

Linquan Wu, Tianxiang Jiang, Yifei Dong, Haoyu Yang, Fengji Zhang, Shichaang... 2026-01-16
多模态大模型 注意力机制 潜在推理 知识蒸馏 视觉推理

揭示LLM注意力斜线模式由RoPE中高频分量与近秩一查询/键的相互作用内在产生

Yuan Cheng, Fengzhuo Zhang, Yunlong Hou, Cunxiao Du, Chao Du, Tianyu Pang,... 2026-01-16
RoPE Transformer 位置编码 机制可解释性 注意力机制

基于Megalodon改进的Gecko架构,通过滑动分块注意力和自适应工作记忆实现4M长序列建模

Xuezhe Ma, Shicheng Wen, Linghao Jin, Bilge Acun, Ruihang Lai, Bohan Hou,... 2026-01-13
大语言模型 序列建模 注意力机制 线性注意力 长上下文建模

提出并行隐式推理框架,通过多流并行探索提升序列推荐性能

Jiakai Tang, Xu Chen, Wen Chen, Jian Wu, Yuning Jiang, Bo Zheng 2026-01-07
并行计算 序列推荐 注意力机制 隐式推理