首个系统量化视频世界模型长程记忆能力的多维基准
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
视觉语言模型
世界模型
GRPO
多模态大模型
多智能体系统
多模态学习
智能体
知识蒸馏
图像生成
代码生成
LLM智能体
注意力机制
LLM Agent
具身智能
流匹配
多模态大语言模型
视频理解
数学推理
检索增强生成
可解释性
图像编辑
多模态
机器人学习
机器人操作
工具使用
自监督学习
Transformer
基准评测
对比学习
长上下文
RLVR
多模态推理
计算机视觉
数据合成
LLM评估
信息检索
推理加速
3D重建
扩散语言模型
自回归模型
视觉推理
Flow Matching
RAG
参数高效微调
LoRA
视觉-语言-动作模型
模型压缩
自回归生成
视觉-语言模型
后训练
工具调用
持续学习
高效推理
RLHF
策略优化
异步帧调度让关键帧走完去噪、非关键帧跳步,配合潜轨迹投影保时序一致性
用视频参考+稀疏注意力+动作表征实现生产级1080p数字人视频生成
首个仅用2D监督训练3D人体动作扩散模型,性能接近全3D监督
将8步扩散模型蒸馏为2步生成器,通过三种技术突破2步生成的质量和稳定性瓶颈
通过随机令牌掩码减少表示对齐对完整令牌集的依赖,加速扩散模型训练
提出端到端角色动画范式,统一多种子任务,通过MotionPair-60K数据集和Bias-Aware DPO实现业界领先性能
首个支持实时推理的唇形同步扩散模型,通过分析驱动的蒸馏框架将14B教师压缩为两步自回归学生,实现31 FPS流式生成
通过分层token化和粗到细rollout实现长视频生成的一致性
视频世界模型的潜在空间记忆
👍 71在潜在空间直接构建3D记忆,实现高效几何一致的视频生成
文生图模型只需词义和词序,无需复杂上下文信息
基于分解视觉代理的直接3D感知物体插入
👍 26提出DIRECT框架,通过外观-几何-上下文三元引导实现姿态可控的物体插入
发现2步推理比50步推理物理一致性更好,提出PhaseLock保留运动先验
通过基于熵的梯度缩放在音乐扩散模型中实现结构化多样性生成
时间块扩散视觉语言动作模型
👍 2提出TBD-VLA,结合时间自回归与并行解码的块离散扩散VLA框架。
5B参数的高效统一视频生成编辑框架,推理速度提升5.4倍
通过模态感知的一致性蒸馏,将世界动作模型的推理延迟从8.1秒降至348毫秒,实现23倍加速
用一个 Mixture-of-Transformers 统一语言/图像/视频/音频/动作的理解与生成
扩散模型中的分数控制以减少幻觉
👍 2通过控制分数平滑度减少扩散模型幻觉
把扩散过程拆成噪声域协调与残差映射两阶段,实现统一高效的图像翻译