零专家依赖,通过风险感知世界模型实现可泛化的端到端自动驾驶
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
首个多人 Minecraft 视频世界模型,支持多视角一致性生成
将未来观测压缩到条件空间,引导VLA模型精准生成动作
用协同演化世界模型替代进化启发式,引导LLM进行GPU内核优化搜索
提出混合2D-3D手部条件化策略,实现精细手部交互的沉浸式VR视频生成
提出首个桌面软件世界模型CUWM,通过文本+视觉两阶段分解预测UI状态转换,提升智能体决策质量
首个星际争霸II世界模型,通过预测未来观测实现LLM决策的前瞻性优化
通过两阶段微调和多视觉基础模型并行对齐,为VLA模型注入隐式世界建模能力
世界动作模型是零样本策略
👍 2014B视频扩散模型联合预测视频与动作,实现机器人零样本泛化与跨具身迁移
将JEPA从图像块扩展到对象级表示,通过遮蔽诱导因果归纳偏置,实现高效交互感知的世界建模
提出ViewRope几何感知位置编码,解决视频世界模型在相机循环闭合时的空间不一致问题
基于1M+真实轨迹训练的开放网页世界模型,显著提升智能体性能
用局部点云记忆替代全局3D重建,实现长时域相机可控视频生成的世界一致性
世界模型条件化强化学习,复杂操控任务成功率提升约30%。
通过组合式世界模型在想象空间中进行强化学习,实现机器人策略的自我改进
提出INTENT框架,通过意图感知世界模型在推理时实现预算受限的工具使用规划
通过无信息泄漏的 JEPA 风格预训练学习动作相关的状态转移语义
通过动力学增强的潜在动力学模型,从无标签视频学习可迁移任务知识
首个开放域闭环世界模型基准,评测记忆一致性与动作控制
用RL后训练大幅提升视频世界模型的动作跟随精度和视觉质量