一个统一的扩散模型框架,支持文本到图层生成、文本到图像生成以及图像到图层分解三种任务
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
视觉语言模型
世界模型
GRPO
多模态大模型
多智能体系统
多模态学习
智能体
知识蒸馏
图像生成
代码生成
LLM智能体
注意力机制
LLM Agent
具身智能
流匹配
多模态大语言模型
视频理解
数学推理
检索增强生成
可解释性
图像编辑
多模态
机器人学习
机器人操作
工具使用
自监督学习
Transformer
基准评测
对比学习
长上下文
RLVR
多模态推理
计算机视觉
数据合成
LLM评估
信息检索
推理加速
3D重建
扩散语言模型
自回归模型
视觉推理
Flow Matching
RAG
参数高效微调
LoRA
视觉-语言-动作模型
模型压缩
自回归生成
视觉-语言模型
后训练
工具调用
持续学习
高效推理
RLHF
策略优化
揭秘视频推理:扩散模型中的推理机制
👍 373视频扩散模型的推理沿去噪步骤展开,而非跨帧进行
通过运动学控制机器人+4D扩散模型生成环境反应,实现高保真具身仿真
提出IOMM框架,通过纯图像预训练和混合数据微调,实现高效统一多模态模型训练
通过稀疏关键帧引导,将视频超分辨率从黑盒转变为用户可控的交互式过程
系统性研究像素空间扩散模型中视觉协同去噪的四个关键设计,提出有效recipe提升生成质量
在3D基础模型表示空间直接进行扩散,实现高质量跨视角一致的3D场景生成
通过二进制编码和索引洗牌优化扩散语言模型,提升零样本推理性能
引入Diffusion DNA和图论规划,将扩散模型从固定调度升级为动态System 2式规划
基于真实世界的城市场景世界模拟模型:首尔世界模型
👍 155首尔世界模型:用街景图像检索增强,实现真实城市级别的世界模拟视频生成
仅用2D图像训练,实现视频DiT的多种编辑任务,无需任何视频数据
提出LightCtrl框架,通过少量物理先验实现细粒度可控的单图像重光照
统一视频扩散框架,实现场景、多视角主体和运动的解耦控制
提出区域级偏好优化方法提升多语言复杂字形渲染精度
通过混合扩散和对抗训练实现少步轨迹可控视频生成,质量与精度双提升
提出谱匹配假设,通过ESM和DSM统一提升潜在扩散生成质量
通过解耦高频细节与语义特征,在单一模型中实现视觉理解与图像生成的统一优化
通过增强条件空间构建多视角奖励映射,提升流模型GRPO对齐效果
统一框架实现多主体身份保持与全方位运动控制,通过潜在空间强化学习优化身份保真度
DVD:基于生成先验的确定性视频深度估计
👍 27确定性地将预训练视频扩散模型转化为单次前向传播的深度回归器