三阶段解耦物理推理与视觉合成的免训练视频生成框架
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
视觉语言模型
世界模型
GRPO
多模态大模型
多智能体系统
多模态学习
智能体
知识蒸馏
图像生成
代码生成
LLM智能体
注意力机制
具身智能
流匹配
LLM Agent
多模态大语言模型
视频理解
数学推理
检索增强生成
可解释性
图像编辑
多模态
机器人学习
机器人操作
基准评测
工具使用
自监督学习
Transformer
对比学习
长上下文
RLVR
多模态推理
计算机视觉
数据合成
LLM评估
信息检索
推理加速
视觉推理
扩散语言模型
3D重建
Flow Matching
RAG
自回归模型
参数高效微调
LoRA
视觉-语言-动作模型
模型压缩
自回归生成
视觉-语言模型
后训练
工具调用
持续学习
高效推理
RLHF
策略优化
基于MMDiT的实时流式人形视频生成框架,25fps低延迟交互,支持任意时长
VIBE:基于视觉指令的图像编辑器
👍 64紧凑高效的指令式图像编辑系统,2B VLM+1.6B扩散模型,4秒生成2K图像
让LLM先推理再生成,突破T2I模型的文字-像素映射局限
基于扩散模型,通过VNE和宽松训练目标编辑物体内在属性。
利用VJEPA-2世界模型奖励信号在推理时引导视频生成以提升物理真实性
首次实现无需标注的骨骼绑定与运动生成统一框架
SRENDER通过生成稀疏关键帧和3D渲染,将相机控制视频生成加速40倍以上
视频生成中的运动归因:MOTIVE框架
👍 72提出MOTIVE框架,通过运动加权梯度归因识别影响视频生成运动质量的训练片段。
基于VLM与扩散模型的统一框架,通过自然语言指令实现多语言视觉文本生成与编辑。
首个在手机端实现 DiT 高质量图像生成的系统,0.4B 模型 1.8 秒生成 1K 图像
首个仅需单帧掩码的端到端视频角色替换框架
通过语义解耦表征对齐增强潜在扩散模型
👍 17语义解耦VAE取代浅层对齐,ImageNet 256×256 FID达1.21
提出4D几何控制表示,统一控制相机和多物体运动,生成高保真动态视频
将CoT推理重新表述为迭代去噪过程,通过扩散滑动窗口缓解错误积累
首个引入时空记忆机制的相机控制视频重渲染框架,实现多视图场景的一致性生成
通过低成本微调将预训练视频扩散模型转化为金字塔模型,实现4.5倍FLOPs降低且无质量损失
提出百万级工业缺陷多模态数据集IMDD-1M及扩散模型基座,实现少样本缺陷检测与生成
提出细粒度属性解耦的CPO方法,将扩散模型从粗粒度二元偏好对齐提升到多维、离散、非均衡的专家评价标准
系统研究3D生成模型如何记忆训练数据,并提出减少记忆化的实用策略