为视频世界模型引入主体状态token与空间RoPE偏置,解决多智能体动作绑定难题
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
MultiGen 用显式外部记忆+三模块架构,让扩散游戏引擎支持关卡可编辑与多人一致性
首个动作条件化的第一人称视频世界模型,融合人体姿态联合建模。
提出原生离散扩散VLA模型,统一多模态理解与生成,实现机器人长视距精准控制
基于世界模型规划的结构化折纸生成
👍 15提出神经符号框架Learn2Fold,结合LLM语义规划与图结构世界模型,生成物理有效的折纸折叠序列
系统综述视频生成模型作为世界模拟器时的效率优化技术,涵盖建模范式、架构设计和推理算法三个维度。
提出混合记忆范式,让视频世界模型追踪离屏动态主体
Vega:学习用自然语言指令驾驶
👍 4提出统一视觉-语言-世界-动作模型,实现基于自然语言指令的自动驾驶
运动脉搏:从视觉动力学测量物理帧率
👍 18提出Visual Chronometer预测视频物理帧率,解决时间尺度幻觉
PhyGenesis 通过轨迹矫正与异构训练实现物理一致的驾驶视频生成
从《怪物猎人:荒野》采集的1亿帧游戏数据集,支持动作条件世界建模
VLM引导JEPA隐式世界模型,双时序通路融合语义与动态建模
将触觉感知融入预测式视频世界模型,实现接触丰富操作的鲁棒控制
提出14B参数物理对齐世界模型,生成符合物理定律的机器人操作视频
首个以交互为中心的视频世界模型评测基准,揭示当前模型在因果一致性和物理交互上的核心短板。
通过感知约束的动态缓存,将视频世界模型推理速度提升2.3倍同时保持99.4%质量
用PDE动力学替代注意力机制,实现O(N)复杂度的世界模型预测
EgoForge 仅凭单张自我中心图像+高层指令+可选外中心图,生成目标驱动的连贯第一人称视频
融合显式3D与隐式注意力的Patch级混合空间记忆机制
通过将预测损失扩展到所有token并引入深层自监督,大幅提升视频自监督学习的密集特征质量