首次将多教师在线策略蒸馏用于跨平台GUI智能体持续学习,解决行为模式混合和灾难性遗忘问题
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
视觉语言模型
世界模型
GRPO
多模态大模型
多智能体系统
多模态学习
智能体
知识蒸馏
图像生成
代码生成
LLM智能体
注意力机制
LLM Agent
具身智能
流匹配
多模态大语言模型
视频理解
数学推理
检索增强生成
可解释性
图像编辑
多模态
机器人学习
机器人操作
自监督学习
工具使用
Transformer
基准评测
对比学习
长上下文
RLVR
多模态推理
计算机视觉
数据合成
LLM评估
信息检索
推理加速
3D重建
扩散语言模型
自回归模型
视觉推理
RAG
参数高效微调
LoRA
视觉-语言-动作模型
Flow Matching
模型压缩
自回归生成
视觉-语言模型
后训练
工具调用
持续学习
高效推理
RLHF
策略优化
SDPO在专业化任务上表现强劲但持续学习中易遗忘
持续学习系统,自动编写机器人程序并积累可重用技能库
提出AGENTODYSSEY评估框架,通过程序化生成文本游戏测试代理五大关键能力
用数据集蒸馏创建紧凑源锚点,提升持续测试时适应的稳定性
重新思考自进化大语言智能体的持续经验内化
👍 26揭示多迭代经验学习中能力崩溃问题,提出原理级经验、逐步注入和off-policy蒸馏的稳定内化方案
语言模型需要睡眠:学习自我修改与巩固记忆
👍 29提出受人类睡眠启发的范式,让LLM通过知识蒸馏与做梦实现持续学习与自我改进。
用进化损失+适配损失的分解框架,结合多智能体进化、分支树路由与人机介入,实现开放式任务流上的持续自改进线束部署。
提出受控任务流与可塑性/稳定性/泛化三类增益指标,严格评估智能体的持续学习。
将外部记忆转化为参数化技能的具身智能体记忆框架
按时间顺序预训练的LLM比打乱训练更具时效性知识
180任务×10模型基准,揭示智能体难以把单次经验沉淀为可复用过程技能。
用正交梯度投影剔除安全更新中干扰通用能力的分量,缓解对齐税。
通过轨迹级奖励塑形和跨任务优势归一化,有效缓解RFT方法在视觉持续学习中的灾难性遗忘问题
学习,快与慢:迈向持续自适应的语言模型
👍 18提出Fast-Slow Training框架,将慢权重RL与快权重提示词优化协同演化
用 Wasserstein 距离衡量任务几何冲突,既解释又控制 LLM 持续后训练遗忘
提出BR-MoE双层路由MoE机制,把PTM-based类增量学习首次扩展到300+非重叠任务。
提出存储-反思-经验三阶段演化框架,统一LLM智能体记忆机制的研究视角。
用上三角几何约束让多个领域适配器可堆叠成准阿贝尔群,O(1)推理并缓解灾难性遗忘。
让步数蒸馏扩散模型持续学习新概念而保持少步推理能力