通过上下文空间和参数空间双重蒸馏,将大模型的过程式记忆能力迁移到小模型,实现边缘设备部署
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
视觉语言模型
世界模型
GRPO
多模态大模型
多智能体系统
多模态学习
智能体
知识蒸馏
图像生成
代码生成
LLM智能体
注意力机制
LLM Agent
具身智能
流匹配
多模态大语言模型
视频理解
数学推理
检索增强生成
可解释性
图像编辑
多模态
机器人学习
机器人操作
自监督学习
工具使用
Transformer
基准评测
对比学习
长上下文
RLVR
多模态推理
计算机视觉
数据合成
LLM评估
信息检索
推理加速
3D重建
扩散语言模型
自回归模型
视觉推理
RAG
参数高效微调
LoRA
视觉-语言-动作模型
Flow Matching
模型压缩
自回归生成
视觉-语言模型
后训练
工具调用
持续学习
高效推理
RLHF
策略优化
通过挖掘社区LoRA构建大规模数据集,实现高质量的风格-内容双重参考图像生成。
揭示 LoRA 缩放因子 α 的主导作用,提出 α*≈C√r 平方根律。
揭示参数化工具检索系统存在知识-检索解离现象,提供诊断框架和缓解方案
将文本技能转化为LoRA适配器,实现高效模块化的LLM代理技能系统
同时更新agent scaffold和权重的自改进系统
LoRA 联合训练实现按输入类型自适应跳过层
提出三轴框架,通过PEFT在万亿参数基础模型上构建百万个人模型实例
将50个视觉效果LoRA蒸馏到单一模块,解决部署成本和特征干扰问题
将外部记忆转化为参数化技能的具身智能体记忆框架
重新思考VLA初始化中的VLM表征设计
👍 15系统研究VLM表征如何影响VLA初始化,提出能力-更新-动作三轴设计原则
Retinex 插值连续伪配对 + 边缘加权 Flow Matching,实现可控低光增强。
用低秩截断与补偿,免训练保护基础模型与LoRA,授权端无损恢复。
在AdamW优化器之上加有界自治控制治理层,压力学习率下保稳定与提速。
商业检测器把base模型续写判为人类,HIP用迭代改写绕过检测
用学习的记忆控制器为冻结 GUI 基座插拔式注入多模态工作与情景记忆
把 LoRA 适配器当作可管理策略单元,让 1T 级别基座模型承载百万级策略目录。
用 Adafactor 对角 Kronecker 预条件子解决 LoRA 因子空间算子奇异性
首次系统分析 Adam 与 Muon 的优化器错配问题,证明 LoRA 可让 Muon 在微调阶段匹配甚至超越 Adam。
提出可查询低秩更新记忆库,用指令正则化路由替代静态LoRA