三种数据干预让VLA依赖任务证据而非捷径,并以GroundFscore离线诊断扩展健康度
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
多模态
长上下文
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
评测基准
高效推理
自监督学习
工具调用
对比学习
扩散语言模型
参数高效微调
视觉-语言-动作模型
Transformer
工具使用
LoRA
持续学习
自蒸馏
LLM评估
多模态推理
RAG
模仿学习
综述
信息检索
LLM推理
信用分配
在线策略蒸馏
合成数据
模型压缩
面向世界动作模型的视频原生动作先验学习
👍 55让动作策略直接从无标注视频中学习动作先验,免中间接口,显著提升机器人泛化与标签效率
把场景与双手统一表示为共享时空坐标系中的3D点轨迹联合预测,再将手部轨迹重定向为机器人动作
智能体先验引导的策略学习
👍 50用技能的结构先验同时塑形训练泛化并指导运行时技能选择组合
在可验证域构造长程反思轨迹训练27B模型,实现测试时自我改进并跨域迁移
优化人手模型匹配机器人形态并保留接触,经残差RL与蒸馏实现89.3%真机零样本成功率
用未来夹爪状态监督出的紧凑趋势隐变量,为3D扩散策略提供软性前瞻而不做显式轨迹规划。
现成VLM智能体通过上下文即可指导机器人学习新任务,无需梯度更新,但精准执行仍是短板。
模态自回归世界-动作模型
👍 11按点轨迹→DINO→深度→RGB顺序自回归预测多模态未来再生成动作的机器人世界-动作模型
将开放词汇2D掩码显式提升为三场注意力,让3D扩散策略在杂乱场景稳定锁定目标
两阶段训练先无图像建立空间目标动作先验,再经位姿监督潜在接口注入视觉,缓解视觉-动作捷径。
用手持夹爪采集手-爪配对数据,两阶段扩散框架实现复杂空间操作迁移
280个难度分级任务系统诊断VLA模型:复杂空间与长程操作下最强模型成功率也跌至22.3%
名义速度下同样100%成功的专家与ACT策略,在最大演示速度下成功率差距扩大到31个百分点
把指令拆成原子动作分给各臂,用臂洗牌训练实现未见协作模式的组合泛化
用VLM编排VLA探索采集新任务数据,再经蒸馏与残差RL高效微调
将黏性污渍清洁重定义为拓扑聚合问题,用扩散策略生成分段推动实现零样本泛化
πR²:反应式实时流匹配策略
👍 5让大规模VLA流匹配策略实时闭环,重规划提速约4倍,成功率提升最高30%
用高保真手持采集替代遥操作,实现零机器人数据的策略训练与直接部署
基于MDL原理从轨迹挖掘可复用原语,用50%数据超越全量训练