用机器人坐标系下的点云图给VLA注入3D几何,化解相机-动作坐标错配。
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
视觉语言模型
世界模型
GRPO
多模态大模型
知识蒸馏
LLM智能体
多智能体系统
智能体
多模态学习
流匹配
具身智能
图像生成
基准评测
代码生成
LLM Agent
检索增强生成
注意力机制
机器人操作
多模态大语言模型
视频理解
可解释性
数学推理
图像编辑
多模态
机器人学习
RLVR
自监督学习
长上下文
后训练
Transformer
工具使用
对比学习
数据合成
视觉-语言-动作模型
推理加速
工具调用
LoRA
多模态推理
RAG
计算机视觉
LLM评估
信息检索
视觉推理
评测基准
高效推理
参数高效微调
扩散语言模型
自蒸馏
综述
Flow Matching
3D重建
模型压缩
自回归生成
持续学习
自回归模型
38B统一具身合成模型,兼做世界模型与机器人数据引擎
引入双重潜在记忆机制解决VLA模型长视野任务的时间偏差问题
提出包含42个模拟任务和18个现实世界任务的统一基准,评估通用机器人操作策略在泛化、记忆、长期执行、精度和开放语义五个维度的能力。
同步生成RGB、深度和光流的4D世界模型,实现高精度机器人操作
提出3D轨迹指导框架解决分层VLA中2D-3D表示不匹配问题
通过前瞻令牌从冻结视频模型中蒸馏动力学先验的统一机器人操作框架
用40M潜空间监视器检测动作漂移并在线纠错,让VLA动作时域自适应化。
域算术:环境变化下的单次VLA适应
👍 22通过权重向量算术运算实现VLA模型的单次演示适应
提出DTR协议分析VLA模型架构冗余,发现语言主干高度冗余而视觉动作路径关键
通过统一对齐框架和大规模跨具身数据预训练,实现具有真正泛化能力的机器人操作基础模型
通过以对象为中心的残差RL,在仿真中训练的策略零样本提升真实VLA机器人成功率从42%到76%
基于视觉-语言-动作模型与强化学习循环的双臂衣物折叠机器人系统,在模拟赛中获得第1名,在真实机器人决赛中获得第2名的优异成绩。
提出PICA训练机制提升关节物体操作鲁棒性
用 2K 仿真轨迹蒸馏到 4B 模型,实现前沿级操作性能
通过跨视图通信路径和3D几何先验实现机器人操作场景的多视图3D一致视频生成
双头 critic 解耦稀疏成功信号为可行性与效率,显著提升 VLA 微调效果
用潜在视觉子目标替代像素级未来预测,实现低延迟机器人控制
用 3D 轨迹作为视频到机器人动作的可复用中间表征,纯视频预训练即可匹敌有动作监督的 VLA。
首个同时满足高保真、长时一致性和高效生成的机器人操作世界模型