通过RL训练的策略模型自适应决定何时及如何使用世界模型进行视觉空间推理
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
LIFT框架:SAC大规模预训练+物理信息世界模型,实现人形机器人安全高效微调
用44k小时人类视频预训练机器人世界模型,实现零样本泛化
基于潜在动作的自改进世界建模
👍 32将动作视为潜在变量,通过前向-逆向模型交替优化实现无标注世界建模
面向 LLM 智能体的强化世界模型学习
👍 28用自监督 RL 训练 LLM 成为动作条件的世界模型,提升智能体决策能力
提出分层无姿态记忆压缩器,实现1000帧连续世界模拟
批判碎片化的任务知识注入范式,提出统一世界模型框架的五大核心组件
LIVE:长时域交互式视频世界建模
👍 14通过循环一致性目标约束误差累积,实现稳定长时域视频生成
通过生成可渲染Web代码而非直接像素来建模移动GUI状态转换
通过时序KV压缩和ANN稀疏注意力实现5-10倍加速的自回归视频生成
世界模型量化的实证研究
👍 5系统评估 PTQ 对视觉规划世界模型的影响,揭示五条关键量化洞察
面向机器人控制的因果世界建模
👍 32提出LingBot-VA自回归扩散框架,统一视频动态预测与动作推理实现闭环机器人操控
提出概念解耦的视频基准,定量评估世界模型对物理常数和直觉物理的理解
推进开源世界模型
👍 135开源世界模型LingBot-World,支持分钟级实时交互世界模拟
视觉生成通过多模态世界模型实现类人推理
👍 25视觉生成作为世界模型在物理世界任务中显著优于纯语言推理
从状态构建和动力学建模两个维度,系统梳理视频生成模型迈向世界模拟器的技术路径
将预训练视频模型单阶段微调为机器人策略,无需架构修改即可实现SOTA操控性能
通过知识经验学习对齐智能体世界模型
👍 15WorldMind框架通过过程经验和目标经验,在推理时自主对齐LLM智能体的内部世界模型
利用VJEPA-2世界模型奖励信号在推理时引导视频生成以提升物理真实性
提出自适应前瞻机制,让LLM智能体在行动前动态决定想象多远的未来