找到 87 条结果

从量子纠缠视角分析LoRA微调的内部参数结构与外部注意力表示,揭示注意力机制的‘无毛’特性。

Min Chen, Zihan Wang, Canyu Chen, Zeguan Wu, Manling Li, Junyu Liu 2026-01-13
参数高效微调 大语言模型 矩阵乘积态 纠缠熵 量子信息

动态分配专家LoRA秩,基于路由频率和梯度重要性提升MoE微调效果

Guanzhi Deng, Bo Li, Ronghao Chen, Xiujin Liu, Zhuo Han, Huacan Wang, Lijie... 2026-01-12
LoRA 动态秩分配 参数高效微调 大语言模型 混合专家模型