联合文本语义和视觉空间提示实现精准意图感知的图像编辑
Chenxi Xie, Yuhui Wu, Qiaosi Yi, Lei Zhang
2026-06-17
图像编辑
多模态学习
扩散模型
计算机视觉
首次提出RefGC-SR²任务,利用原始高分辨率参考图联合修复生成伪影并提升分辨率。
Jeahun Sung, Dahyeon Kye, Soo Ye Kim, Jihyong Oh
2026-06-17
参考引导生成
图像生成
扩散模型
超分辨率
融合物理渲染与生成先验,实现可控高保真城市场景逆渲染
Yi-Ruei Liu, Jie-Ying Lee, Zheng-Hui Huang, Yu-Lun Liu, Chih-Hao Lin
2026-06-16
3D Gaussian Splatting
扩散模型
自动驾驶仿真
逆渲染
重光照
用双查询记忆机制与主体重建任务约束长视频身份一致性
Xuan Wei, Longbin Ji, Guan Wang, Xiangrui Liu, Zhenyu Zhang, Shuohuan Wang,...
2026-06-16
主体一致性
多镜头视频
扩散模型
记忆机制
长视频生成
用 Noisy ViT 编码器统一视觉空间,解耦扩散解码器与文本解码,实现理解与生成的协同提升。
Shuai Wang, Liang Li, Yang Chen, Ruopeng Gao, Yao Teng, Limin Wang
2026-06-16
图像生成
多模态理解
扩散模型
统一多模态模型
视觉语言模型
从冻结扩散Transformer提取多模态感知信息
Yagmur Akarken, Orest Kupyn, Christian Rupprecht
2026-06-16
Transformer
多模态学习
扩散模型
深度估计
特征提取
用"相机栅格视频"作为视觉化的相机表征,实现无需跨配对数据的多镜头相机运动克隆。
Jiwen Liu, Shujuan Li, Zhixue Fang, Xiaohan Li, Yan Zhou, Zijie Meng, Zhimin...
2026-06-15
MMDiT
多镜头
扩散模型
相机控制
视频生成
像素对齐多层几何表示,同时实现可见表面重建与遮挡几何生成。
Hao Zhang, Mohamed El Banani, Jen-Hao Cheng, Paul Zhang, Yi Hua, Ben...
2026-06-15
3D重建
像素对齐
几何补全
图像到3D
扩散模型
首个系统量化视频世界模型长程记忆能力的多维基准
Shengjun Zhang, Zhang Zhang, Simin Huang, Zhenyu Tang, Hanyang Wang,...
2026-06-15
基准测试
扩散模型
视频世界模型
记忆评估
长程一致性
用视频参考+稀疏注意力+动作表征实现生产级1080p数字人视频生成
Benjamin Liang, Ce Chen, Desmond Lin, Ivan Somov, Jiajun Zhao, Jiewei Yuan,...
2026-06-15
扩散模型
数字人
稀疏注意力
视频生成
语音驱动
异步帧调度让关键帧走完去噪、非关键帧跳步,配合潜轨迹投影保时序一致性
Chensheng Dai, Shengjun Zhang, Yifan Li, Zhang Zhang, Zheng Zhu, Yueqi Duan
2026-06-15
DiT优化
免训练加速
关键帧选择
异步去噪调度
扩散模型
首个仅用2D监督训练3D人体动作扩散模型,性能接近全3D监督
Amir Mann, Gal Michael Harari, Merav Keidar, Or Litany
2026-06-12
2D监督
3D动作生成
姿态估计
扩散模型
跨模态训练
将8步扩散模型蒸馏为2步生成器,通过三种技术突破2步生成的质量和稳定性瓶颈
Dongyang Liu, Ruoyi Du, David Liu, Dengyang Jiang, Liangchen Li, Qilong Wu,...
2026-06-12
图像生成
对抗学习
扩散模型
模型蒸馏
端到端训练
通过随机令牌掩码减少表示对齐对完整令牌集的依赖,加速扩散模型训练
Lianyu Pang, Tianlin Pan, Cheng Da, Changqian Yu, Huan Yang, Kun Gai, Song...
2026-06-12
SiT架构
令牌掩码
扩散模型
表示对齐
训练效率
提出端到端角色动画范式,统一多种子任务,通过MotionPair-60K数据集和Bias-Aware DPO实现业界领先性能
Wenhao Yan, Fengjia Guo, Zhuoyi Yang, Jie Tang
2026-06-10
多角色交互
扩散模型
端到端学习
视频生成
角色动画
首个支持实时推理的唇形同步扩散模型,通过分析驱动的蒸馏框架将14B教师压缩为两步自回归学生,实现31 FPS流式生成
Paul Hyunbin Cho, Jinhyuk Jang, SeokYoung Lee, Joungbin Lee, Siyoon Jin,...
2026-06-10
唇形同步
实时推理
扩散模型
模型蒸馏
自回归生成
通过分层token化和粗到细rollout实现长视频生成的一致性
Ishaan Preetam Chandratreya, David Charatan, Basile Van Hoorick, Sergey...
2026-06-10
Transformer
分层表示
扩散模型
视频生成
长期一致性
在潜在空间直接构建3D记忆,实现高效几何一致的视频生成
Weijie Wang, Haoyu Zhao, Yifan Yang, Feng Chen, Zeyu Zhang, Yefei He,...
2026-06-09
3D一致性
世界模型
扩散模型
空间记忆
视频生成
文生图模型只需词义和词序,无需复杂上下文信息
Nurit Spingarn, Noa Cohen, Tamar Rott Shaham, Tomer Michaeli
2026-06-09
扩散模型
文本到图像生成
文本编码器
模型分析
语言理解
提出DIRECT框架,通过外观-几何-上下文三元引导实现姿态可控的物体插入
Jingbo Gong, Yikai Wang, Yushi Lan, Yuhao Wan, Ziheng Ouyang, Rui Zhao,...
2026-06-08
3D感知图像编辑
姿态控制
扩散模型
条件生成
物体插入