仅学一个二值掩码删掉不到0.05%权重即可媲美全参微调
Jack Lu, Zhenbang Yang, Mike Lasby, Tejas Pote, Yani Ioannou, Mengye Ren
2026-11-11
LLM后训练
RLVR
剪枝
参数高效微调
持续学习
开源PLatour用RL训练大小模型间线性桥,PACT-Check揭示部分收益并非真正来自信息传递
Zhenyi Shen, Junru Lu, Wei Liu, Jiangnan Ye, Jiazheng Li, Di Yin, Xing Sun,...
2026-11-06
参数高效微调
大模型协作
强化学习
推理效率
潜在通信
仅用单 GPU 数小时的高秩 LoRA 微调,即可把主流自回归大模型转换为可用的扩散语言模型
Ruurd J. A. Kuiper, Robert A. Bagheri
2026-11-03
AR到DLM转换
LoRA
参数高效微调
扩散语言模型
掩码扩散
给生成器加装轻量决策适配器,一次共享预填充同时完成重排与答案生成
Adilet Metinov, Chingiz Arziev
2026-10-30
KV Cache 复用
参数高效微调
检索增强生成
重排序
经验卡外部记忆加经验条件化LoRA持续微调,兼顾快速复用与长期保留
Zhen Bi, Zhizhi Peng, Yan Wang, Xueshu Chen, Haofei Zhang, Yaobo Zhang, Zeyu...
2026-10-28
LLM智能体
Web Agent
参数高效微调
持续学习
经验记忆
开源27B视觉语言裁判,单次前向判定机器人操作成败并输出校准概率
Josef Liyanjun Chen
2026-10-27
参数高效微调
成功检测
机器人学习
模型校准
视觉语言模型
零初始化残差适配器让冻结全模态模型按步聚焦关键证据,缓解 GUI 智能体的序列干扰
Fuyao Zhang, Wenwen He, Jiaming Zhang, Yurong Hao, Xuan Wang, Guowei Guan,...
2026-10-21
GUI智能体
全模态模型
参数高效微调
序列决策
注意力机制
用LoRA微调高达104B的多模态骨干刷新脑编码SoTA,单遍特征提取提效350倍
Zhuofan Josh Ying, Guanglong Sun, Nolan Ho, Kieran Liu, Rui Yang, Andrew...
2026-10-20
LoRA
fMRI
参数高效微调
多模态大模型
模型集成
SABER基准揭示视觉-语言模型普遍存在属性绑定失败,纯合成文本微调即可跨模态修复并达到SOTA。
Netanel Y. Tamir, Michael Green, Issar Tzachor, Or Shimshi, Dvir Samuel, Or...
2026-10-19
MLLM嵌入模型
参数高效微调
基准评测
多模态检索
属性绑定
用智能体自身状态训练的小决策模型按置信度接管常规选择,成本降 81–89% 而成功率不降。
Kunlun Zhu, Tao Feng, Xu Han, Heng Wang, Ling Yang, Xiangru Tang, Jiaxuan...
2026-10-16
LLM Agent
决策模型
参数高效微调
成本与延迟优化
智能体评测
用超网络把思维链推理摊销为单次查询条件化参数更新,让冻结LLM免生成思考痕迹即可高效推理。
Donggyun Kim, Jack Lu, Chanwoo Kim, Mengye Ren, Seunghoon Hong
2026-10-13
参数高效微调
向量量化
思维链蒸馏
测试时适配
超网络
在无害的图像-文本对上做狭窄微调,就能让视觉语言模型在无关任务上广泛失对齐
Shunchang Liu, Lukas Fluri, Xin Chen, Francesco Croce
2026-10-13
AI安全
参数高效微调
多模态
模型对齐
涌现性失对齐
冻结LLM内部读出检索信号,仅训不到50万参数,同时胜任语料检索与长上下文证据选择
Edan Kinderman, Elad Hoffer, Yochai Blau, Brian Chmiel, Ron Banner, Daniel...
2026-10-07
参数高效微调
密集检索
检索增强生成
证据选择
长上下文
推导出梯度步长应随历史知识有效秩按√R增长的节奏律,实现持续学习稳定-可塑性的最优平衡
Yuxuan Li, Fanhu Zeng, Hao Tang
2026-10-06
LoRA
参数高效微调
持续学习
灾难性遗忘
理论分析
用 GMM 门控把微调更新的影响限制在新数据支撑域内,让大模型学新不忘旧
Assaf Ben-Kish, Akarsh Kumar, James Glass, Raja Giryes
2026-10-05
参数高效微调
大语言模型
密度估计
持续学习
灾难性遗忘
SCALE冻结SFT增量,仅用预测熵学习有符号门控,实现特征的抑制、反转与外推
Cunchun Li, Haonan He, Yifan Gao, Minglei Li, Jingqi Ye, Qingyu Yang, Peng Ye
2026-10-05
Token重加权
参数高效微调
大语言模型
熵最小化
监督微调
冻结主干仅训12288参数学会读取历史K/V库,多轮推理最高提升11.67个百分点
Jipei He, Wenhui Tan, Xiaoyi Yu, Enver Sangineto, Fiorenzo Parascandolo,...
2026-10-05
KV缓存复用
LLM推理
参数高效微调
多轮会话
注意力机制
冻结文本骨干作锚点,用稠密字幕自蒸馏把六种模态绑入同一嵌入空间且文本检索零退化。
Mohammed Irfan Kurpath, Jaseel Muhammad Kaithakkodan, Sahal Shaji...
2026-10-02
Matryoshka表示学习
参数高效微调
多模态嵌入
灾难性遗忘
知识蒸馏
直接决策模型在序数任务上只用65–76%的有效候选等级,且该压缩可被BA-LoRA后训练大幅修复
Tianxiang Gao, Jinzhe Li, Zhiyuan Li, Yi Chang, Yuan Wu
2026-10-01
LLM可靠性
参数高效微调
序数分类
模型偏差
评估审计
提出数据无关的净效用指标,跨层跨任务为 LoRA 合并智能分配秩预算
Avinash Amballa, Yashas Malur Saidutta, Wenbo Li, Lazar Valkov, Srinivas Chappidi
2026-09-28
LoRA合并
参数高效微调
多任务学习
奇异值分解
模型合并