用离散扩散统一视觉-语言-动作token,自动打分评估机器人策略
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
为交互式视频世界模型提供标准化场景、统一动作接口与多维评估工具
通过视觉锚定的三支路交叉重建,将异构人类与机器人动作投影到共享离散潜在空间,统一服务策略与世界模型
用视觉隐空间世界模型给VLA加上前瞻规划,实现工业机械臂零人工干预
用世界模型辅助的视觉-语言双解码器监督潜在 CoT,让自动驾驶规划在答案级延迟下超越显式 CoT。
先把 VFM 语义特征自回归预测出来,再用扩散模型渲染像素,实现 7× 训练加速。
通过两阶段框架学习 64× 时间压缩的稠密运动潜空间,使目标条件运动生成比视频模型快 4 个数量级。
零样本世界模型是发育高效的学习者
👍 5ZWM用单儿童868小时第一人称视频训练,无需任务标签即可零样本完成光流/深度/分割/物理推理
用稀疏点轨迹的逐步自回归扩散,从单张图像生成上千种物理一致的开集未来预测,比视频生成快几个数量级。
用预训练视频扩散器当价值模型,联合预测未来本体状态与价值,突破VLM在长程任务中的时序建模瓶颈。
双分支 flow matching 视频生成模型,联合建模视觉与 V-JEPA2 物理潜变量
实时单视频驱动的 4D 交互世界模型,24FPS 跑出 SOTA 相机控制。
神经计算机:从视频生成走向可学习运行时
👍 29把神经网络本身当作一台计算机,用视频模型承载传统计算机的计算、内存和 I/O。
单令牌编码帧间差分,35×参数、2000×FLOPs缩减的生成式世界模型。
把7自由度机器人动作编码成像素级动作图像,让视频主干直接当零样本策略
世界模型统一定义与统一推理框架OpenWorldLib
面向潜在世界属性的涌现式组合通信
👍 2多智能体在通信压力下自发形成可分解的潜在物理属性离散编码
提出ECoT合成与工业代码世界模型,训练32B思考型代码LLM。
WAM vs VLA 系统鲁棒性对比研究
首个将三维点云作为可更新世界状态、闭环驱动自我中心手物交互视频生成的模拟器。