系统性评估9种LoRA变体,发现适当调参后原版LoRA性能与变体相当
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
将权重微调、LoRA 和激活引导统一为动态权重更新,揭示偏好-效用权衡规律
CLARE通过轻量级适配器和自编码器路由实现机器人VLA模型的持续学习,避免灾难性遗忘
通过码本压缩和在线重置机制,将LLM持续学习的记忆库存储缩减至基线的0.3%
大型语言模型微调中的人工纠缠
👍 5从量子纠缠视角分析LoRA微调的内部参数结构与外部注意力表示,揭示注意力机制的‘无毛’特性。
动态分配专家LoRA秩,基于路由频率和梯度重要性提升MoE微调效果
双分支融合Prithvi与CNN,仅45.5M参数实现洪水制图SOTA