先AR视频预训练再保留因果结构适配动作,19.2秒历史让GR-1成功率提升15.4点
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
多模态
长上下文
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
评测基准
高效推理
自监督学习
工具调用
对比学习
扩散语言模型
参数高效微调
视觉-语言-动作模型
Transformer
工具使用
LoRA
持续学习
自蒸馏
LLM评估
多模态推理
RAG
模仿学习
综述
信息检索
LLM推理
信用分配
在线策略蒸馏
合成数据
模型压缩
84项仿真任务检验智能体把数字能力转化为可靠机器人执行的程度,最强模型成功率仅19.0%
基于标量伴随匹配的Q学习
👍 25用闭式标量伴随免去逐步VJP,微调流策略做离线RL,OGBench最难域提升18-35点
用交互中心潜动作与DCT低频引导,把第一人称视频知识迁移到机器人操控
改造 Cosmos 3 视频基础模型为手部跟踪器,从单目视频联合估计解剖合理的手部姿态与接触力
场景与任务生成互相反馈迭代,规模化产出高质量机器人仿真训练数据。
把场景与双手统一表示为共享时空坐标系中的3D点轨迹联合预测,再将手部轨迹重定向为机器人动作
放弃未来预测目标,直接对当前观测去噪并共训动作,更鲁棒且训练开销减半
世界模型想象执行并诊断首个失败子任务,把稀缺示教定向投给对应的技能专家
用VLM与逆动力学双重验证自生成轨迹,让世界动作模型无需专家示范自我进化新任务
用稀疏视觉增量替代密集未来帧建模,流式增量记忆让机器人世界模型又快又稳。
将物理先验嵌入机器人学习:综述
👍 11提出物理引导/编码/信息三分类法,系统综述232篇物理嵌入式机器人学习文献。
离线缓存世界模型特征做余弦对齐,0.8B小VLA零推理成本获得大模型级精度
冻结预训练VLA,仅在瓶颈子任务训练残差RL,以局部奖励与重训练大幅提升长时程成功率
两阶段训练先无图像建立空间目标动作先验,再经位姿监督潜在接口注入视觉,缓解视觉-动作捷径。
把长期情景记忆编译成语言-视觉计划,用固定上下文执行长时程记忆依赖操作
用视觉校准片段教会动作条件世界模型零样本适应未见环境
用躯干坐标系下的3D手部轨迹嵌入,从网络视频中检索人类示范指导灵巧手训练。
以表征为中心的持续预训练,用开源数据加16卡算力训出可迁移的VLA骨干
把指令拆成原子动作分给各臂,用臂洗牌训练实现未见协作模式的组合泛化