VLM规划器与VGM模拟器在双相循环中互训,从无标注种子图自演化机器人操作。
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
用视觉隐空间世界模型给VLA加上前瞻规划,实现工业机械臂零人工干预
把VLM做高层规划、DiT做低层控制,用级联交叉注意力桥接视觉定位与动作。
提出原生离散扩散VLA模型,统一多模态理解与生成,实现机器人长视距精准控制
用视觉提示解耦高层推理与低层控制,提升机器人操作精度
将触觉感知融入预测式视频世界模型,实现接触丰富操作的鲁棒控制
提出14B参数物理对齐世界模型,生成符合物理定律的机器人操作视频
通过VL-MoT框架和动作引导的视觉剪枝策略,解决VLA模型深层视觉敏感性衰减问题
用动作后果识别后验为离线机器人数据分配保守权重,无需奖励信号
用强化学习将视频MLLM转变为主动评论者,实现机器人任务进度精确估计和零样本故障检测
面向动态环境的可泛化机器人操作
👍 3提出DOMINO数据集和PUMA架构解决机器人动态操作问题
SDF 非完整水弹性模型高保真模拟触觉剪切,实现零样本 sim-to-real 触觉 RL 迁移。
提出自演化门控注意力模块 SEGA,将扩散策略的有效时序视野扩展到分钟级长程任务,仅需 33M 参数即可超越 1.2B 参数的 RDT。
大规模机器人操作基准测试,系统评估记忆增强型策略
首个大规模系统实证研究:delta 动作配关节空间是标准模仿学习的最优解,任务空间则在跨本体迁移中胜出
将未来观测压缩到条件空间,引导VLA模型精准生成动作
通过500+消融实验系统探索VLA设计空间,提炼12条关键发现和一个实用配方,构建出SOTA级VLA模型
仅0.5B参数的VLA基线通过标准化训练细节实现SOTA,超越数十亿参数大模型。
模块化人形机器人开放词汇物体抓取系统,末端跟踪误差降低5.5倍
整合600万+轨迹构建统一流形学习VLA模型,实现跨具身通用机器人操作