首个统一评估视频世界模型物理、几何、交互能力的综合基准测试
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
多块预测框架解决自回归视频世界模型训练中的短视监督问题
系统综述文本世界模型的构建方法、训练与推理应用及评估挑战
视频世界模型的潜在空间记忆
👍 71在潜在空间直接构建3D记忆,实现高效几何一致的视频生成
通过固定backbone对照研究视频世界模型中四种记忆机制
将视频世界模型从相机导航扩展到对象级轨迹控制,实现相机与对象操作的组合控制
解耦世界规划与动作执行,异步双系统机器人策略提升闭环控制效率
通用机器人智能的核心瓶颈是缺乏将物理世界经验转化为机器人可用监督信号的机制,需要构建四大支柱组件。
提出首个评估视频生成模型物理可执行性的基准测试框架,通过模拟器中的实际执行成功来衡量模型的物理知识。
通过模态感知的一致性蒸馏,将世界动作模型的推理延迟从8.1秒降至348毫秒,实现23倍加速
提出统一的离散标记空间,将视觉观测、动作和未来演化对齐,实现自动驾驶中的世界建模与策略生成联合优化
用一个 Mixture-of-Transformers 统一语言/图像/视频/音频/动作的理解与生成
让MLLM学会何时调用、验证、信任世界模型的视频推演来预测未来。
基于Cosmos的实时生成式世界模型,用于自动驾驶闭环仿真与策略训练
在 on-policy RL 中复用 rollout 的下一观测做辅助世界模型监督,零额外推理开销
提出解耦记忆架构实现分钟级一致长视频生成
全栈框架将视频基础模型转为实时相机可控世界模型
YoCausal评估视频扩散模型的因果理解,发现时间箭头感知不等同于因果认知
提出Simplex旋转编码和稀疏Hub注意力,实现可扩展至四个玩家的多智能体世界模型
首个闭环视频世界模拟器,支持状态预测和奖励评估