找到 507 条结果

把长程历史按KV头互补划分、集体覆盖全部因果历史,以稀疏成本逼近全注意力质量。

Jingze Shi, Zhangyang Peng, Xianduo Li, Yanlin Qi, Xiaotian Lin, Haoxian... 2026-09-29
大语言模型 注意力架构 稀疏注意力 长上下文 高效训练与推理

用键金字塔逐层LSE筛选,把块稀疏注意力的选择开销从O(N²/C)降到O(N log N)

Bohao Tang, Zhen Qin, Yuqi Pan, Zheng Li, Pengfei Liu 2026-09-28
Triton内核 大语言模型 稀疏注意力 长上下文 高效注意力

只对齐最后一层隐状态并在10步内淡出潜在监督,保住早期增益且避免训练坍塌。

Jie Yang, Zhengyu Fang, Zelin Xu, Jiarui Sun, Xiran Fan, Junpeng Wang, Liang... 2026-09-28
可解释性 在线策略蒸馏 大语言模型 知识蒸馏 表示对齐

发现FP8强化学习全流程的过裁剪失稳根因,提出校准裁剪恢复BF16性能并提速1.5倍

Fanchao Chen, Ziheng Jiang, Ziyun Wei, Zheng Zhong, Du Li, Chi Zhang, Haibin... 2026-09-22
FP8量化 PPO/GRPO 低精度训练 大语言模型 强化学习

744B MoE 智能体模型以可验证经验流水线训练,并用 769 条任务记录剖析人机分工。

Honglin Guo, Tao Gui, Yicheng Chen, Guanting Dong, Qiming Ge, Yuyang Hu,... 2026-09-15
人机协作 可验证奖励 大语言模型 智能体 递归自我改进