首个无需训练、无需骨架先验的跨物种视频动作迁移框架
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
视觉语言模型
世界模型
GRPO
多模态大模型
多智能体系统
多模态学习
智能体
知识蒸馏
图像生成
代码生成
LLM智能体
注意力机制
LLM Agent
具身智能
流匹配
多模态大语言模型
视频理解
数学推理
检索增强生成
可解释性
图像编辑
多模态
机器人学习
机器人操作
自监督学习
工具使用
Transformer
基准评测
对比学习
长上下文
RLVR
多模态推理
计算机视觉
数据合成
LLM评估
信息检索
推理加速
3D重建
扩散语言模型
自回归模型
视觉推理
RAG
参数高效微调
LoRA
视觉-语言-动作模型
Flow Matching
模型压缩
自回归生成
视觉-语言模型
后训练
工具调用
持续学习
高效推理
RLHF
策略优化
视频生成模型是通用视觉学习器
👍 57利用预训练视频生成模型构建统一通用的多任务视觉感知框架
Vidu S1:实时交互式视频生成模型
👍 128支持语音控制的实时交互式数字人物视频生成系统
OpenCoF:通过视频生成学习推理
👍 15构建OpenCoF-17K数据集,通过多样化时间监督和推理token机制提升视频生成模型的推理能力
首个开源MoE视频基础模型,通过稀疏专家架构、机器人增强数据和多维奖励系统实现物理世界的精确模拟。
首个支持720p@60fps实时交互的开放式无限世界模型
OPSD-V通过真实长视频上下文进行缓存感知的在线策略自蒸馏,提升少步自回归视频生成的长视距稳定性
融合LLM规划器和VLM批评者,将视频生成器转化为任务感知的世界模型,显著提升长周期机器人操作性能
同步生成RGB、深度和光流的4D世界模型,实现高精度机器人操作
用生成式世界模型替代真实机器人,实现实时数字遥操作数据生成
统一双向与自回归视频生成的灵活分块框架,实现质量与效率的动态权衡
系统研究世界模型作为机器人策略评估器的关键设计要素,提出GigaWorld-1实现14.9%性能提升
在保持约200ms延迟的同时将实时音视频交互模型输出分辨率从192×336提升至640×368
基于表示自编码器的多人交互世界模型
👍 22首个支持四玩家实时交互的动态环境世界模型,在单张GPU上实现20fps生成且能保持数小时稳定
通过4D几何先验和时空自强迫机制实现任意长度的多视角视频生成
通过旋转基共享 Lloyd-Max 码本实现数据无关的 DiT 低比特量化,无需校准数据即可跨模态应用
解耦语义编排与视频生成,实现动态对象持久记忆的可控世界模拟
首个面向流式视频生成的工作负载调度系统,联合优化会话迁移与GPU弹性伸缩
用学习型查询token解决视频世界模型的长期记忆问题
通过适配开源视频先验,在消费级GPU上实现14-15 FPS的实时可控世界模拟