通过跨视图通信路径和3D几何先验实现机器人操作场景的多视图3D一致视频生成
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
双头 critic 解耦稀疏成功信号为可行性与效率,显著提升 VLA 微调效果
用潜在视觉子目标替代像素级未来预测,实现低延迟机器人控制
用 3D 轨迹作为视频到机器人动作的可复用中间表征,纯视频预训练即可匹敌有动作监督的 VLA。
首个同时满足高保真、长时一致性和高效生成的机器人操作世界模型
提出GPS表示结合VR数据收集,提升机器人对关节部件的感知与操作能力
统一的8B参数具身基础模型,整合认知、规划和定位能力,实现SOTA性能
通过场景演化先验和轨迹运动先验提升VLA模型的OOD泛化能力
提出语义视觉-动作令牌化器,构建统一语义空间用于世界动作建模
解耦世界规划与动作执行,异步双系统机器人策略提升闭环控制效率
从语言和视频证据直接生成LoRA适配器,实现零样本机器人策略适应
提出首个评估视频生成模型物理可执行性的基准测试框架,通过模拟器中的实际执行成功来衡量模型的物理知识。
通过结构化功能可供性预测作为中间表示,解决VLA模型语义空间与物理控制空间不匹配问题。
用语义事件而非固定时间块作为学习单元,解决语言-视觉-动作粒度失配问题
AFUN 单次前向联合预测功能性掩码与3D贝塞尔运动曲线,迈向开放世界机器人操作。
把多选题改造成机器人抓取任务,诊断VLA是否真懂指令语义。
利用图像转换、语言和3D流的三模态对齐学习动力学感知的机器人视觉表示
生成式监督助力具身智能
👍 28将深度图生成融入VLM预训练,提升空间推理与物理操作能力
用VGGT编码最近16帧历史,注入VLA以解决块间意图冲突。
将VLA训练中的帧采样重新定位为时序监督再分配问题