从视频生成模型提取3D先验增强MLLM空间理解
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
提出MoTok,将运动生成解耦为离散语义规划与扩散式精细重建,实现高效可控运动生成
将视频编辑分解为语义锚定和运动对齐,实现高精度指令跟随和强时序一致性
联合学习视频物体移除与插入,利用逆任务一致性擦除物体副作用效果
基于聚类的最优传输流匹配方法
👍 2通过聚类和簇内最优传输,实现更直的流匹配轨迹,提升生成质量
提出DPL和RSL协同去噪框架,实现语义驱动的部分级文本到3D生成
融合显式3D与隐式注意力的Patch级混合空间记忆机制
立体世界模型:相机引导的立体视频生成
👍 11首个相机条件约束的立体世界模型,联合学习外观与双目几何,实现端到端立体视频生成
一个统一的扩散模型框架,支持文本到图层生成、文本到图像生成以及图像到图层分解三种任务
揭秘视频推理:扩散模型中的推理机制
👍 115视频扩散模型的推理沿去噪步骤展开,而非跨帧进行
通过运动学控制机器人+4D扩散模型生成环境反应,实现高保真具身仿真
提出IOMM框架,通过纯图像预训练和混合数据微调,实现高效统一多模态模型训练
通过稀疏关键帧引导,将视频超分辨率从黑盒转变为用户可控的交互式过程
在3D基础模型表示空间直接进行扩散,实现高质量跨视角一致的3D场景生成
系统性研究像素空间扩散模型中视觉协同去噪的四个关键设计,提出有效recipe提升生成质量
通过二进制编码和索引洗牌优化扩散语言模型,提升零样本推理性能
引入Diffusion DNA和图论规划,将扩散模型从固定调度升级为动态System 2式规划
基于真实世界的城市场景世界模拟模型:首尔世界模型
👍 154首尔世界模型:用街景图像检索增强,实现真实城市级别的世界模拟视频生成
仅用2D图像训练,实现视频DiT的多种编辑任务,无需任何视频数据
提出LightCtrl框架,通过少量物理先验实现细粒度可控的单图像重光照