38B统一具身合成模型,兼做世界模型与机器人数据引擎
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
视觉语言模型
世界模型
GRPO
多模态大模型
多智能体系统
多模态学习
智能体
知识蒸馏
图像生成
代码生成
LLM智能体
注意力机制
LLM Agent
具身智能
流匹配
多模态大语言模型
视频理解
数学推理
检索增强生成
可解释性
图像编辑
多模态
机器人学习
机器人操作
自监督学习
工具使用
Transformer
基准评测
对比学习
长上下文
RLVR
多模态推理
计算机视觉
数据合成
LLM评估
信息检索
推理加速
3D重建
扩散语言模型
自回归模型
视觉推理
RAG
参数高效微调
LoRA
视觉-语言-动作模型
Flow Matching
模型压缩
自回归生成
视觉-语言模型
后训练
工具调用
持续学习
高效推理
RLHF
策略优化
引入双重潜在记忆机制解决VLA模型长视野任务的时间偏差问题
提出包含42个模拟任务和18个现实世界任务的统一基准,评估通用机器人操作策略在泛化、记忆、长期执行、精度和开放语义五个维度的能力。
同步生成RGB、深度和光流的4D世界模型,实现高精度机器人操作
提出3D轨迹指导框架解决分层VLA中2D-3D表示不匹配问题
通过前瞻令牌从冻结视频模型中蒸馏动力学先验的统一机器人操作框架
用40M潜空间监视器检测动作漂移并在线纠错,让VLA动作时域自适应化。
域算术:环境变化下的单次VLA适应
👍 22通过权重向量算术运算实现VLA模型的单次演示适应
提出DTR协议分析VLA模型架构冗余,发现语言主干高度冗余而视觉动作路径关键
通过统一对齐框架和大规模跨具身数据预训练,实现具有真正泛化能力的机器人操作基础模型
通过以对象为中心的残差RL,在仿真中训练的策略零样本提升真实VLA机器人成功率从42%到76%
基于视觉-语言-动作模型与强化学习循环的双臂衣物折叠机器人系统,在模拟赛中获得第1名,在真实机器人决赛中获得第2名的优异成绩。
提出PICA训练机制提升关节物体操作鲁棒性
用 2K 仿真轨迹蒸馏到 4B 模型,实现前沿级操作性能
通过跨视图通信路径和3D几何先验实现机器人操作场景的多视图3D一致视频生成
双头 critic 解耦稀疏成功信号为可行性与效率,显著提升 VLA 微调效果
用潜在视觉子目标替代像素级未来预测,实现低延迟机器人控制
用 3D 轨迹作为视频到机器人动作的可复用中间表征,纯视频预训练即可匹敌有动作监督的 VLA。
首个同时满足高保真、长时一致性和高效生成的机器人操作世界模型
提出GPS表示结合VR数据收集,提升机器人对关节部件的感知与操作能力