通过以对象为中心的残差RL,在仿真中训练的策略零样本提升真实VLA机器人成功率从42%到76%
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
机器人控制的上下文世界建模
👍 40通过自探测交互上下文实现机器人策略零样本适应新配置
用于机器人操作的世界价值模型
👍 8将世界模型作为机器人价值学习的基础,实现SOTA任务进度估计
让VLA模型在原始动作层面可操控,实现零人类演示的自主机器人技能获取
提出极坐标结构的潜在动作表示,用半径编码过渡范围,方向编码模式
玩趣型智能体机器人学习
👍 49让机器人通过自我导向的玩耍学习可重用代码技能,无需显式任务指令
用图像编辑替代视频生成作为世界动作模型骨干,降低推理成本并提升机器人控制性能
提出ENPIRE框架让编码代理在真实世界中自主构建环境接口并改进机器人策略,实现99%任务成功率
实验证明自我视角视频预训练在泛化能力上超越机器人数据预训练
提出统一动作表示和可靠性感知训练,融合人类视频与机器人数据预训练VLA模型
用潜在视觉子目标替代像素级未来预测,实现低延迟机器人控制
腾讯 Robotics X 提出端到端 VLA 栈:10K小时UMI数据+4B MoT VLM+FlowPRO离线RL,跨形态零遥操作部署。
用第一人称视频的相机运动作为主动感知监督信号预训练机器人策略
通过两阶段预训练动作专家解决VLA模型OOD语言泛化问题
通过RoboGenesis模拟数据引擎和两阶段训练方法,实现实验室自动化VLA模型
世界模型自蒸馏:训练世界模型解决通用任务
👍 15通过自蒸馏和VLM反馈将视频扩散模型转为指令跟随的任务求解器
解耦世界规划与动作执行,异步双系统机器人策略提升闭环控制效率
完全基于仿真数据训练的人形机器人操作策略,实现零样本真实部署且效果超越真实遥操作数据
通用机器人智能的核心瓶颈是缺乏将物理世界经验转化为机器人可用监督信号的机制,需要构建四大支柱组件。
时间块扩散视觉语言动作模型
👍 1提出TBD-VLA,结合时间自回归与并行解码的块离散扩散VLA框架。