通过因果注意力掩码将视频预测变为可选,实现9倍推理加速且不损失性能
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
立体世界模型:相机引导的立体视频生成
👍 11首个相机条件约束的立体世界模型,联合学习外观与双目几何,实现端到端立体视频生成
用相机位姿统一动作控制与3D一致性,构建交互式游戏世界模型
通过运动学控制机器人+4D扩散模型生成环境反应,实现高保真具身仿真
基于真实世界的城市场景世界模拟模型:首尔世界模型
👍 154首尔世界模型:用街景图像检索增强,实现真实城市级别的世界模拟视频生成
首个统一遥感世界模型,联合时空变化理解和未来场景预测,2B参数超越120×大模型
基于因子化世界状态的奖励预测
👍 2通过将观测分解为对象-属性结构,实现零样本跨域奖励预测
提出两阶段训练与一致性蒸馏,实现动作一致的高速导航世界模型
将每张图像压缩至8个离散token,使世界模型规划速度提升40倍且精度不降
基于曲率的异构 token 缓存框架,实现扩散世界模型最高 3.7 倍加速且保持 98% 生成质量
通过联合建模多源世界知识(运动、语义、几何),实现物理一致的视频生成。
首个端到端自监督物体中心世界模型,提出每粒子潜在动作实现可扩展多物体随机视频预测与决策。
超越语言建模:多模态预训练的探索
👍 108从零开始系统研究统一多模态预训练的设计空间,揭示视觉与语言的互补性和缩放不对称性
下一嵌入预测使世界模型更强大
👍 21用因果Transformer预测下一时刻嵌入,替代像素重建学习世界模型
世界链:潜在运动中的世界模型思维
👍 8CoWVLA 通过结构-运动解耦的潜在表示统一世界模型与潜在动作,实现高效机器人操控
利用全局几何记忆和立体记忆两种机制,从单张图片生成多轨迹一致视频并重建高质量3D场景
首次提出“微观世界仿真”概念,构建专家审核的显微视频基准、9.6K 数据集与微调模型。
首个真实世界从零起步的逆向强化学习,仅需观察与交互即可学视觉操控
一致性三位一体:定义通用世界模型的核心原则
👍 190提出模态/空间/时间三维一致性框架及CoW-Bench基准,系统评估世界模型的物理模拟能力
通过双曲JEPA和几何强化学习,提升能量预测世界模型的长程规划能力