用视频参考+稀疏注意力+动作表征实现生产级1080p数字人视频生成
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
首个在单个ViT中统一图像视频tokenization的UMM框架
从单张窄视场图像实时生成可交互漫游的3D视频世界模型,支持8FPS实时交互
世界模型自蒸馏:训练世界模型解决通用任务
👍 15通过自蒸馏和VLM反馈将视频扩散模型转为指令跟随的任务求解器
提出端到端角色动画范式,统一多种子任务,通过MotionPair-60K数据集和Bias-Aware DPO实现业界领先性能
首个支持实时推理的唇形同步扩散模型,通过分析驱动的蒸馏框架将14B教师压缩为两步自回归学生,实现31 FPS流式生成
首个统一评估视频世界模型物理、几何、交互能力的综合基准测试
多块预测框架解决自回归视频世界模型训练中的短视监督问题
通过分层token化和粗到细rollout实现长视频生成的一致性
提出基于时间距离的自适应KV缓存压缩方法,在固定预算下实现长视频的一致性生成
视频世界模型的潜在空间记忆
👍 71在潜在空间直接构建3D记忆,实现高效几何一致的视频生成
首个针对组合式视频编辑的基准测试,揭示当前模型在复杂多指令场景下的严重缺陷。
通过固定backbone对照研究视频世界模型中四种记忆机制
将视频世界模型从相机导航扩展到对象级轨迹控制,实现相机与对象操作的组合控制
通过混合视图动作控制和锚点视图定制实现可交互、可演化的第一人称世界模拟
发现2步推理比50步推理物理一致性更好,提出PhaseLock保留运动先验
统一力表示+因果蒸馏实现实时力控流式视频生成
5B参数的高效统一视频生成编辑框架,推理速度提升5.4倍
提出首个评估视频生成模型物理可执行性的基准测试框架,通过模拟器中的实际执行成功来衡量模型的物理知识。
用一个 Mixture-of-Transformers 统一语言/图像/视频/音频/动作的理解与生成