用机器人坐标系下的点云图给VLA注入3D几何,化解相机-动作坐标错配。
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
视频 = 世界 + 事件流
👍 22Wan-Streamer v0.3 将视频分解为世界与事件流,实现通用预训练可迁移的实时音视频交互。
用混合专家架构把世界动作模型推理延迟降到85毫秒。
用第一人称视频预训练 + 真机后训练 + DAgger,构建可控双臂灵巧操作系统。
让VLA模型在原始动作层面可操控,实现零人类演示的自主机器人技能获取
提出统一动作表示和可靠性感知训练,融合人类视频与机器人数据预训练VLA模型
把3D几何基础模型拆分后插入因果时序预测器,单次前向同时输出未来几何与动作
用检索取代微调,测试时零参数更新扩展VLA到新任务
双头 critic 解耦稀疏成功信号为可行性与效率,显著提升 VLA 微调效果
通过两阶段预训练动作专家解决VLA模型OOD语言泛化问题
仅用轨迹级监督就能发现失败动作,VLA失败检测SOTA
生成式监督助力具身智能
👍 28将深度图生成融入VLM预训练,提升空间推理与物理操作能力
系统研究VLM表征如何影响VLA初始化,提出能力-更新-动作三轴设计原则
用信息瓶颈适配器替代MLP投影器,无需任何数据增强即提升VLA鲁棒性30%。
用人类第一人称视频做数据引擎生成物理QA,先训VLM再双通路迁移到VLA
用普通iPhone Pro+ARKit收集小时级第一人称视频数据集STERA-10M。
用VGGT编码最近16帧历史,注入VLA以解决块间意图冲突。
在VLA架构中统一集成运动感知、长期记忆与物理感知三大功能模块
X-WAM:统一4D世界动作模型,联合预测多视角RGB-D视频与机器人动作
用离散扩散统一视觉-语言-动作token,自动打分评估机器人策略