用超网络生成仓库级LoRA适配器,零推理开销注入代码库知识并跟踪演化
Liliana Hotsko, Yinxi Li, Yuntian Deng, Pengyu Nie
2026-06-05
仓库级适应
代码理解
参数高效微调
超网络
软件演化
通过Perceiver超网络将视频编码为LoRA适配器,实现零视觉token的视频问答。
Manan Suri, Sarvesh Baskar, Dinesh Manocha
2026-06-05
参数高效微调
多模态学习
视觉语言模型
视频理解
超网络
提出三轴框架,通过PEFT在万亿参数基础模型上构建百万个人模型实例
Mind Lab, Song Cao, Vic Cao, Kaijie Chen, Bunny Fan, Hera Feng, Huan Feng,...
2026-06-02
LoRA
个人模型
参数高效微调
基础设施
强化学习
提出PEFT-Arena基准,发现正交微调在稳定性和可塑性权衡上最优,并揭示SFT超调现象
Yangyi Huang, Ruotian Peng, Zeju Qiu, Jiale Kang, Yandong Wen, Bernhard...
2026-05-28
几何分析
参数高效微调
正交微调
稳定性-可塑性困境
遗忘问题
通过双流注意力模块与视觉感知适配器,让冻结 LLM 精准识别并翻译 Web 图像中的多语种文字
Bo Li, Ronghao Chen, Ningyuan Deng, Huacan Wang, Shaolin Zhu, Lijie Wen
2026-05-25
OCR
参数高效微调
图像翻译
多模态大模型
网页理解
用低秩截断与补偿,免训练保护基础模型与LoRA,授权端无损恢复。
Beomjin Ahn, Jungmin Kwon, Chanyong Jung, Jaewook Chung
2026-05-22
LoRA
参数高效微调
奇异值分解
权重加密
模型安全
首个覆盖 9 种印度语言的多轮平行医疗对话数据集与可部署模型
Shubham Kumar Nigam, Suparnojit Sarkar, Piyush Patel
2026-05-14
低资源语言
医疗对话
参数高效微调
多语言 NLP
数据集
提出可查询低秩更新记忆库,用指令正则化路由替代静态LoRA
Omatharv Bharat Vaidya, Connor T. Jerzak, Nhat Ho, Chandrajit Bajaj
2026-05-12
LoRA
低秩适配
动态路由
参数高效微调
大语言模型
插入对角矩阵P,让单个LoRA适配器在所有子秩上同时学习层级特征。
Ionut-Vlad Modoranu, Mher Safaryan, Dan Alistarh
2026-05-11
LLM微调
LoRA
参数高效微调
层级表示学习
秩自适应
提出BR-MoE双层路由MoE机制,把PTM-based类增量学习首次扩展到300+非重叠任务。
Meng Lou, Yunxiang Fu, Yizhou Yu
2026-05-11
专家混合
参数高效微调
持续学习
类增量学习
长任务序列
在Ego-Exo4D上用三套参数高效方法把多视角动作熟练度估计推向生成式反馈
Edoardo Bianchi, Antonio Liotta
2026-05-07
动作质量评估
参数高效微调
多视角视频理解
时序采样
视觉语言模型
为LVLM设计并行PVM模块,缓解长序列生成中的视觉信号衰减
Siyuan Huang, Xiaoye Qu, Yafu Li, Tong Zhu, Zefeng He, Muxin Fu, Daizong...
2026-05-05
参数高效微调
多模态大模型
多模态推理
幻觉抑制
注意力机制
语义聚类指导的分布感知采样,DoRA+持续学习缓解跨语言负迁移
Noah Flynn
2026-04-23
DoRA
参数高效微调
多语言适应
持续学习
数据选择
用 RDP 算法把隐藏态当成几何轨迹,挑选关键层做稀疏 LoRA 微调
Yusuf Çelebi, Yağız Asker, Özay Ezerceli, Mahmoud ElHussieni, Selva Taş,...
2026-04-22
LoRA
几何分析
参数高效微调
层选择
表示学习
诊断 LoRA 合并干扰集中在 B 矩阵,提出 B 空间预校准方法 Pico。
Yixuan Tang, Yi Yang
2026-04-21
B矩阵
LoRA合并
共享方向
参数高效微调
模型融合
用一阶 Taylor 展开精准识别 MLLM 中语言特异与跨模态共享神经元,仅微调关键子集实现图像翻译 SOTA。
Bo Li, Ningyuan Deng, Tianyu Dong, Shaobo Wang, Shaolin Zhu, Lijie Wen
2026-04-21
参数高效微调
图像翻译
多模态大模型
神经元可解释性
跨语言OCR
用合成数据集 + LoRA 微调让 DINOv2/DINOv3/RADIO 等纯视觉基础模型在零样本异常检测上首次反超 CLIP 类方法。
Matic Fučka, Vitjan Zavrtanik, Danijel Skočaj
2026-04-10
参数高效微调
合成数据
工业质检
视觉基础模型
零样本异常检测
冻结 MoE-LoRA 栈 + 零空间投影 + 经验路由,发现适配器实际编码可迁移的认知原语。
Mohammad R. Abu Ayyash
2026-04-03
LLM多域适配
MoE-LoRA
参数高效微调
持续学习
认知能力
通过仅优化初始循环状态实现零推理开销的高效模型微调方法
Jack Young
2026-04-02
代码生成
参数高效微调
循环状态
混合架构
零开销
通过token级路由漂移分析与漂移感知的动态MoE扩展,解决VLM持续学习中的灾难性遗忘
Chongyang Zhao, Mingsong Li, Haodong Lu, Dong Gong
2026-03-31
LoRA
参数高效微调
大视觉语言模型
持续学习
混合专家模型