用257M潜空间世界模型把VLM潜动作规划翻译为预测未来,直接引导动作专家生成
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
用预测式世界模型引导行动选择与模型适配,实现跨域递归自我改进
引擎管状态、共享神经渲染器管画面,预训练智能体4轮学会建庇护所
细粒度具身交互的多智能体第一人称世界模型
👍 54联合生成多个第一人称视频流,让多智能体细粒度交互保持共享世界一致
免掩码框架把任意静态3DGS场景变成任意视角下生动无缝循环的动态3D影像
冻结LLM把环境规则写成自然语言规则书并编译为可执行世界模型,靠预测误差循环修订实现递归自我改进。
把视频生成改造成闭环任务执行:规划器选动作、执行器渲染画面、循环至任务完成
首个预测性空间推理诊断基准:最强模型58.0%远低于人类87.2%,空间专用模型接近随机
先AR视频预训练再保留因果结构适配动作,19.2秒历史让GR-1成功率提升15.4点
面向交互式世界模型的模块化框架,因果流式合成100ms立体声并支持中途改写文本指令
世界模型的自适应潜在容量
👍 14让JEPA世界模型把预测信息集中到自适应选择的潜在前缀,用更少维度换来更高规划成功率。
在冻结网络世界模型中让任务课程、注入攻击者与智能体共同演化,同时提升能力与鲁棒性
40个受控任务直接测量视频世界模型的物理一致性,最优模型仅得57.76分
世界编辑:对可执行世界的深度递增干预
👍 17以游戏模组定义世界编辑与干预深度,发现前沿编程agent可靠性随深度显著下降
渐进视觉规划的世界动作模型 ProWAM
👍 84按任务进度预测稀疏视觉子目标,兼顾长时程前瞻与高效闭环控制
预测少量前瞻令牌表征未来信息需求,据此挑选历史帧,即插即用提升长视频一致性。
首个相机对齐空间音频的实时交互视听世界模型,单卡24FPS同步生成画面与立体声
联合生成视角行动者与全景观察者,让视野外区域持续演化、重入时状态一致。
用引擎记录的可回放世界状态与时间戳事件,检验视频模型是否忠实渲染程序规定世界
免部署软件环境,用图像生成器合成 GUI 训练轨迹并成功迁移