用智能手机AR可视化策略意图,实现无机器人即时策略迭代,数据效率提升2倍
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
首个端到端自监督物体中心世界模型,提出每粒子潜在动作实现可扩展多物体随机视频预测与决策。
首个真实世界从零起步的逆向强化学习,仅需观察与交互即可学视觉操控
将未来观测压缩到条件空间,引导VLA模型精准生成动作
通过500+消融实验系统探索VLA设计空间,提炼12条关键发现和一个实用配方,构建出SOTA级VLA模型
通过仿真回放一致性过滤合成机器人数据,大幅提升策略学习效果
通过教师-学生蒸馏框架,让移动机器人仅凭自我视角完成多物体长期推放任务
通过两阶段微调和多视觉基础模型并行对齐,为VLA模型注入隐式世界建模能力
首次验证人类第一人称数据可跨形态迁移到人形机器人,实现真实场景移动操作泛化
用20小时数据和8个A100 GPU,通过解决三个分布不一致性问题,将机器人操作成功率提升250%
用3D接触点替代语言条件,仅23小时数据实现强泛化机器人操控
通过大规模模仿预训练和强化学习后训练,构建可扩展的物理人-物交互生成控制器
提出训练无关的推理时引导框架,利用VLM生成可微奖励函数来引导冻结的机器人扩散策略适应分布外场景。
基于Slot Attention的物体中心表征大幅提升机器人策略的分布外泛化能力
两阶段训练的轻量物体中心模块,提升机器人操作的视觉鲁棒性
通过贝叶斯分解和潜在动作查询,强制VLA模型真正遵循语言指令而非依赖视觉捷径
将预训练视频模型单阶段微调为机器人策略,无需架构修改即可实现SOTA操控性能