提出包含42个模拟任务和18个现实世界任务的统一基准,评估通用机器人操作策略在泛化、记忆、长期执行、精度和开放语义五个维度的能力。
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
视觉语言模型
世界模型
GRPO
多模态大模型
多智能体系统
多模态学习
智能体
知识蒸馏
图像生成
代码生成
LLM智能体
注意力机制
LLM Agent
具身智能
流匹配
多模态大语言模型
视频理解
数学推理
检索增强生成
可解释性
图像编辑
多模态
机器人学习
机器人操作
自监督学习
工具使用
Transformer
基准评测
对比学习
长上下文
RLVR
多模态推理
计算机视觉
数据合成
LLM评估
信息检索
推理加速
3D重建
扩散语言模型
自回归模型
视觉推理
RAG
参数高效微调
LoRA
视觉-语言-动作模型
Flow Matching
模型压缩
自回归生成
视觉-语言模型
后训练
工具调用
持续学习
高效推理
RLHF
策略优化
通过两阶段真实世界RL,将触觉反馈残差适应到预训练视觉策略,大幅提升接触丰富操作任务的成功率
融合LLM规划器和VLM批评者,将视频生成器转化为任务感知的世界模型,显著提升长周期机器人操作性能
用生成式世界模型替代真实机器人,实现实时数字遥操作数据生成
系统研究世界模型作为机器人策略评估器的关键设计要素,提出GigaWorld-1实现14.9%性能提升
用任务无关预训练解锁物理常识,减少VLA对专家数据的依赖
持续学习系统,自动编写机器人程序并积累可重用技能库
通过三层对齐机制解决移动操作中时序粒度、动作空间和训练推理一致性的结构化不匹配问题
通过动作条件预训练世界模型,获得可复用的机器人动力学先验
通过分层物理对齐提升机器人视频生成的物理合理性,用于世界模拟和策略学习
通过手腕平移桥接动作实现人类操作技能向双手机器人有效转移
从单视频自动构建数字孪生及其多样性变体,实现机器人策略的仿真评估与训练
通过以对象为中心的残差RL,在仿真中训练的策略零样本提升真实VLA机器人成功率从42%到76%
机器人控制的上下文世界建模
👍 63通过自探测交互上下文实现机器人策略零样本适应新配置
用于机器人操作的世界价值模型
👍 7将世界模型作为机器人价值学习的基础,实现SOTA任务进度估计
让VLA模型在原始动作层面可操控,实现零人类演示的自主机器人技能获取
提出极坐标结构的潜在动作表示,用半径编码过渡范围,方向编码模式
玩趣型智能体机器人学习
👍 50让机器人通过自我导向的玩耍学习可重用代码技能,无需显式任务指令
用图像编辑替代视频生成作为世界动作模型骨干,降低推理成本并提升机器人控制性能
提出ENPIRE框架让编码代理在真实世界中自主构建环境接口并改进机器人策略,实现99%任务成功率