LoRA 联合训练实现按输入类型自适应跳过层
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
提出三轴框架,通过PEFT在万亿参数基础模型上构建百万个人模型实例
将50个视觉效果LoRA蒸馏到单一模块,解决部署成本和特征干扰问题
将外部记忆转化为参数化技能的具身智能体记忆框架
系统研究VLM表征如何影响VLA初始化,提出能力-更新-动作三轴设计原则
Retinex 插值连续伪配对 + 边缘加权 Flow Matching,实现可控低光增强。
用低秩截断与补偿,免训练保护基础模型与LoRA,授权端无损恢复。
在AdamW优化器之上加有界自治控制治理层,压力学习率下保稳定与提速。
商业检测器把base模型续写判为人类,HIP用迭代改写绕过检测
用学习的记忆控制器为冻结 GUI 基座插拔式注入多模态工作与情景记忆
把 LoRA 适配器当作可管理策略单元,让 1T 级别基座模型承载百万级策略目录。
用 Adafactor 对角 Kronecker 预条件子解决 LoRA 因子空间算子奇异性
首次系统分析 Adam 与 Muon 的优化器错配问题,证明 LoRA 可让 Muon 在微调阶段匹配甚至超越 Adam。
提出可查询低秩更新记忆库,用指令正则化路由替代静态LoRA
插入对角矩阵P,让单个LoRA适配器在所有子秩上同时学习层级特征。
RL 只在 1-3% 高熵分叉点重排序,REASONMAXXER 无需 RL 即匹敌完整训练
用 TTS 合成实体密集音频 + LoRA 微调,17× 提升泰卢固语 ASR 实体识别率
基于视频扩散先验的统一框架,单模型支持15种像素对齐任务的文本/视频间多模态生成。
指令引导的阿拉伯语及方言诗歌生成
👍 3构建百万级多方言指令数据集并微调LLM可控生成阿拉伯诗歌。
把可控能力当插件,用KV-Cache/LoRA作统一接口注入扩散模型