世界模型仅在预判到陷阱时介入,大幅提升黑盒LLM智能体的任务成功率
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
多模态
长上下文
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
评测基准
高效推理
自监督学习
工具调用
对比学习
扩散语言模型
参数高效微调
视觉-语言-动作模型
Transformer
工具使用
LoRA
持续学习
自蒸馏
LLM评估
多模态推理
RAG
模仿学习
综述
信息检索
LLM推理
信用分配
在线策略蒸馏
合成数据
模型压缩
用世界建模统一视角,把视频理解、生成、统一与交互组织为读、写、共享、交互四大操作
RynnUnify:迈向统一具身大脑
👍 3416B 统一具身模型,以交错视频-语言推理打通理解、预测与机器人控制。
用Gram矩阵在三个扰动尺度上诊断预训练世界模型LeWM是否复现环境的局部动作敏感几何
双轨受控评测:固定环境考智能体、固定动作考世界模型,分离诊断耦合失败
JEPA按特征集合的整体预测价值做选择,不可预测但能帮助预测他人的特征也会被保留
用语言统一动作与视觉变化,单个潜世界模型跨域联合训练,规划与策略推理大幅提速。
面向世界动作模型的自蒸馏未来视频表征学习
👍 36FRED用自蒸馏提升单步去噪的未来视频表征质量,大幅增强机器人操作泛化
迈向物理AI的递归自我改进
👍 19系统梳理机器人如何从改进行为走向改进改进方式本身,并给出判定真正递归的两轮测试
前瞻未来:自回归视频生成中的场景演化建模
👍 46给自回归视频扩散加未来块预测辅助任务,用更低训练成本显著提升物理合理性
首个交互式流式视频生成基准:五任务300案例评测38个模型
ALPS:面向世界模型的视觉状态编码器
👍 21仅用静止图像与文本预训练单一冻结编码器,同时支持状态感知、语言对齐与像素重建。
分层规划+确定性编译+持久记录,让3D世界边探索边生成、可交互且可重访
无解码器世界模型在表示空间预测下一屏,17毫秒余弦比对识破被劫持的GUI转移
用研究世界模型预测实验增益作 RL 奖励,配合在线校准训练出会提出模型改进的 LLM
首个跨本体移动-操作自我中心世界模型,以相机位姿加投影骨架统一人类与机器人经验
冻结33B视频骨干,双LoRA实现任意结构输入的4步渲染,泛化到11种未见结构表示
通过点轨迹预测学习4D世界
👍 50VPM多视角世界模型联合预测未来视频与持久3D点轨迹,点监督同时提升视频保真度与机器人操作成功率
以专用视觉模型提取物体级物理量并对照物理定律校验,系统量化视频生成的物理合理性
用互联网第一人称视频学导航先验,三阶段训练转化为可执行动作块