用互联网第一人称视频学导航先验,三阶段训练转化为可执行动作块
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
提出AnyGoal基准,证明世界模型在重组熟悉状态与动作的新目标下系统性失效
以可供性为共享交互表征,让无动作标注的人类视频促进机器人操作学习
状态世界模型:执行规则,生成像素
👍 13规则程序裁决动作结果并维护隐藏状态,冻结视频模型只负责渲染,规则遵循率从32%提升到92%
以真实数据Fréchet距离三项约束替代教师,rollout稳定超4000帧
提出四阶段蓝图,推动JEPA可解释性从解码表征走向理解、验证与干预潜在世界
66个仿真灵巧任务配1.8万条人类演示,最佳多任务策略仅29.1%成功率
用持久信念图与隐式世界模型跨回滚积累证据、指导失败恢复,并蒸馏到9B小模型降低教师成本
面向高效自回归视频生成的投机强制
👍 78把中间去噪估计当草稿逐token提前验收,质量不降前提下将自回归视频生成提速至1.6倍
首个以探索-回访协议系统评测交互式世界模型3D一致性的基准
构建WorldCast基准,用320个案例评测多模态生成模型的多步世界状态预测能力
提出分解式分级视觉验证器与成对验证范式,为生成式RL提供更可靠的奖励信号
用3DGS仿真器为高奖励候选轨迹渲染匹配视频,与轨迹GRPO联合后训练驾驶世界模型
提出OneWM统一因果框架,首次系统验证世界预测与动作生成可相互促进
首个用模型-数据-环境-执行框架四域17类体系统一梳理智能体机器人研究的系统性综述
首个导航-场景冲突感知驾驶VLA:模式token解耦冲突推理,世界模型做梦兼顾指令遵循与安全
以79槽共享解剖动作空间联合训练,一个基础模型同时充当世界模型与跨本体机器人策略
首个以代码构建可运行3D世界来评测模型理解与实现能力的基准
面向GUI智能体的潜在世界动作模型
👍 21把GUI世界建模从重建未来屏幕改为潜在空间预测动作后果,成功率最高+12.5点、延迟降低98.9%
一个模型同时学世界动力学与动作策略,规划快32倍且接触任务成功率大幅领先