以语义事件为规划单元,双接口桥接高层指令与机器人长时程执行
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
将视觉语言模型的智能迁移至机器人控制
👍 67用游戏化语义动作接口加少样本上下文演示,让冻结VLM零训练闭环操控机器人达SOTA
从失败经验中学习纠错:经验引导数据合成+3D监控原子级纠错,大幅提升VLA恢复成功率
冻结预训练VLA,仅在瓶颈子任务训练残差RL,以局部奖励与重训练大幅提升长时程成功率
提出物理秩一致性指标PRC与联合监督的ActionPiece动作分词器,提升VLA策略成功率
把长期情景记忆编译成语言-视觉计划,用固定上下文执行长时程记忆依赖操作
280个难度分级任务系统诊断VLA模型:复杂空间与长程操作下最强模型成功率也跌至22.3%
以可执行技能契约和守卫运行时把VLA策略变成闭环具身智能体
不设专用记忆模块,把分钟级时间戳视频直接作为VLM原生上下文,四项记忆基准全部刷新SOTA
用12万小时自我中心视频预训练世界动作模型,真机零样本成功率从36.1%升至77.8%
以表征为中心的持续预训练,用开源数据加16卡算力训出可迁移的VLA骨干
复用预训练MLLM原生上下文作机器人记忆,以异步连续认知令牌驱动VLA控制器
让VLA逐块流式生成动作并实时注入触觉反馈,消除执行中的触觉时间错配
三系统架构+3.7万小时异构数据一阶段预训练,协同理解、预测与行动的具身基础模型。
用VLM编排VLA探索采集新任务数据,再经蒸馏与残差RL高效微调
高层子任务决策按需触发世界模型束搜索,用测试时算力换长程操作成功率。
冻结VLA策略,用自进化的代码Critic与恢复技能实现机器人闭环执行治理与持续提升
统一扩散Transformer融合动作生成与未来视觉预测,无需大型VLM即可达LIBERO前沿
三尺度具身基础模型,新增3D接地与接触点预测,统一动作空间跨本体VLA。
用扩散模型把单目长尾驾驶视频补全为多视角训练数据。