沿秩维度归一化LoRA下投影矩阵,零额外参数即可加速收敛、提升性能与稳定性
Jiale Kang, Ziyin Yue, Zheng Zhan, Yangyi Huang, Weiyang Liu
2026-09-01
LoRA
优化动力学
参数高效微调
大语言模型
预条件子
广覆盖SFT获取参与,回合级DPO修复可验证错误,权重缩放保留通用能力
Nan Li
2026-08-31
DPO
LoRA
偏好优化
后训练配方
对话博弈智能体
用轻量隐藏态门控连续调节安全LoRA强度,将HarmBench攻击成功率降至近零同时保留通用能力
Chengxiao Wang, Enyi Jiang, Xiaojing Liao, Sanmi Koyejo
2026-08-24
LLM安全对齐
LoRA
安全-效用权衡
对抗鲁棒性
条件计算
SFT 让模型改用希腊语推理,RLVR 修好格式缺陷,而准确率基准被 7.7 分种子噪声淹没
Ayoub Kirouane, Christos Petrocheilos
2026-08-21
LoRA
MoE
RLVR
低资源语言
实验方法论
首个流式音视频联合身份替换框架:单一扩散模型同步换脸换声,3步采样13.6 FPS
Yuxuan Zhang, Haozhong Xiong, Jiayi Song, Jinpeng Yu, Yang Shi, Jiaming Liu,...
2026-08-14
LoRA
扩散模型蒸馏
流式自回归生成
视频生成
语音转换
用测试时2D像素对应作伪真值,两分钟内以显式多视几何约束适配冻结的3D基础模型
Seokhyun Youn, Dahyeon Kye, Sung-Ho Bae, Jihyong Oh
2026-08-13
3D视觉基础模型
LoRA
多视几何
对极几何
测试时自适应
端到端适配 Nemotron 到希腊语专业域,1B 嵌入微调+LoRA 读者大幅超越通用多语言栈。
Ayoub Kirouane, Christos Petrocheilos
2026-08-07
BM25
LoRA
RAG评估基准
多语言检索
嵌入模型微调
用像素桥接与可切换适配器把异构教师能力蒸馏进单一学生
Siming Fu, Haojun Xu, Ruizhe He, Zheming Fu, Hualiang Wang, Jie Huang,...
2026-08-06
LoRA
多教师学习
扩散模型
文本生成图像
流匹配
系统诊断小模型PPO对齐的三大失效模式,提出工程化稳定框架与能力余量假说
Md Rezwanul Haque, Md. Milon Islam, Fakhri Karray
2026-07-29
LoRA
PPO
RLHF
小语言模型
强化学习
复用预训练 VLM 自身做视觉 token 自压缩,轻量适配、极端压缩下仍强。
Yupeng Zheng, Kai Zou, Bin Liu, Nenghai Yu
2026-07-27
KV-Cache
LoRA
层次信息传递
自编码器
视觉token压缩
首次系统刻画超网络知识注入的幂律缩放,目标模型缩放收益最大且OOD泛化优于微调
Nischay Dhankhar, Dos Baha, Abulhair Saparov
2026-07-23
LoRA
参数高效微调
大语言模型
知识注入
缩放定律
把后训练重构为token级正确性二元分类,提升分布外事实忠实度
Zitong Huang, Gustavo Lucas Carvalho, Deqing Fu, Robin Jia
2026-07-21
LoRA
事实性
后训练
机制可解释性
条件转向
用人类把关的自我进化循环把医疗后训练变成数据配方搜索问题。
actAVA AI, Haolin Chen, Leon Qi, Steve Brown, Deon Metelski, Tao Xia,...
2026-07-20
EHR工具调用
LoRA
SDFT
临床推理
医疗大模型
让两个模型互相当考官,竞争式RL隐式评估推理过程质量。
Vladislav Beliaev
2026-07-20
GRPO
LoRA
多智能体竞争
强化学习
推理模型
通过上下文空间和参数空间双重蒸馏,将大模型的过程式记忆能力迁移到小模型,实现边缘设备部署
Peyman Hosseini, Ondrej Bohdal, Ahmed Alajrami, Andrea Maracani, Ignacio...
2026-07-03
LoRA
智能体
知识蒸馏
边缘计算
过程式记忆
通过挖掘社区LoRA构建大规模数据集,实现高质量的风格-内容双重参考图像生成。
Jinghong Lan, Wei Cheng, Yunuo Chen, Ziqi Ye, Peng Xing, Yixiao Fang, Rui...
2026-06-19
LoRA
图像生成
多参考控制
扩散模型
风格迁移
揭示 LoRA 缩放因子 α 的主导作用,提出 α*≈C√r 平方根律。
Zicheng Zhang, Haoran Li, Jiaxing Wang, Guoqiang Gong, Anqi Li, Yudong Hu,...
2026-06-15
LoRA
PEFT
优化理论
微调
缩放律
揭示参数化工具检索系统存在知识-检索解离现象,提供诊断框架和缓解方案
Ashutosh Hathidara, Sai Shruthi Sistla, Sebastian Schreiber, Sahil Bansal
2026-06-12
LoRA
参数化检索
工具学习
模型诊断
知识保留
将文本技能转化为LoRA适配器,实现高效模块化的LLM代理技能系统
Aofan Yu, Chenyu Zhou, Tianyi Xu, Zihan Guo, Rong Shan, Zhihui Fu, Jun Wang,...
2026-06-09
LLM代理
LoRA
参数空间表示
技能系统
超网络
同时更新agent scaffold和权重的自改进系统
Prannay Hebbar, Yogendra Manawat, Samuel Verboomen, Alesia Ivanova, Selvam...
2026-06-08
Agent架构
LoRA
强化学习
测试时训练
自动化优化