提出CoViP框架,通过个性化图像摘要和强化学习实现上下文视觉个性化
Yeongtak Oh, Sangwon Yu, Junsung Park, Han Cheol Moon, Jisoo Mok, Sungroh Yoon
2026-02-04
上下文理解
个性化
多模态学习
强化学习
视觉语言模型
多尺度视觉裁剪+长程轨迹RL,突破多模态深度研究瓶颈
Wenxuan Huang, Yu Zeng, Qiuchen Wang, Zhen Fang, Shaosheng Cao, Zheng Chu,...
2026-02-03
信息检索
多模态学习
大语言模型
强化学习
视觉问答
基于时空上下文学习的通用角色动画框架
Mingshuang Luo, Shuang Liang, Zhengkun Rong, Yuxuan Luo, Tianshu Hu, Ruibing...
2026-02-02
上下文学习
多模态学习
扩散模型
视频生成
角色动画
首个结合原生音频-视频输入、时序定位和人口统计学元数据的多模态理解基准
Ahmed Y. Radwan, Christos Emmanouilidis, Hina Tabassum, Deval Pandya, Shaina Raza
2026-02-02
公平性评估
基准测试
多模态学习
视频理解
音频-视频问答
V-JEPA视频预训练+模拟器多模态轨迹蒸馏,实现SOTA端到端驾驶规划
Linhan Wang, Zichong Yang, Chen Bai, Guoxiang Zhang, Xiaotong Liu, Xiaoyin...
2026-02-02
多模态学习
端到端驾驶
自动驾驶
自监督学习
视频预训练
训练UMM同时生成深度图和分割图,反向提升视觉理解能力
Zihan Su, Hongyang Wei, Kangrui Cen, Yong Wang, Guanhua Chen, Chun Yuan,...
2026-01-30
后训练
图像分割
多模态学习
深度估计
统一模型
基于扩散Transformer的统一多模态视频生成框架
Debang Li, Zhengcong Fei, Tuanhui Li, Yikun Dou, Zheng Chen, Jiangping Yang,...
2026-01-27
多模态学习
扩散模型
视频生成
计算机视觉
从视觉编码器提取亲和力提示注入语言模型,免训练提升VLA模型的空间理解能力
Jongwoo Park, Kanchana Ranasinghe, Jinhyeok Jang, Cristina Mata, Yoo Sung...
2026-01-27
Vision-Language-Action
免训练方法
多模态学习
机器人操作
空间推理
将文本思维链渲染成图像,用视觉编码器压缩推理过程
Yifan Wang, Shiyu Li, Peiming Li, Xiaochen Yang, Yang Tang, Zheng Wei
2026-01-22
多模态学习
思维链压缩
潜在空间推理
知识蒸馏
视觉推理
首个全模态未来预测基准,揭示当前MLLM在视听协同推理上的显著不足
Qian Chen, Jinlan Fu, Changsong Li, See-Kiong Ng, Xipeng Qiu
2026-01-21
基准评测
多模态学习
指令微调
未来预测
音视频理解
通过隐式多模态思维链推理实现视觉语言导航,训练时用思维链、推理时无需显式生成,兼顾推理能力与实时性
Jing Zuo, Lingzhou Mu, Fan Jiang, Chengcheng Ma, Mu Xu, Yonggang Qi
2026-01-21
具身智能
多模态学习
思维链推理
视觉自回归模型
视觉语言导航
多模态整流流模型从随意拍摄序列生成鲁棒的度量3D物体形状
Yawar Siddiqui, Duncan Frost, Samir Aroudj, Armen Avetisyan, Henry...
2026-01-19
3D重建
场景理解
多模态学习
形状生成
流匹配
系统分析多图像视觉语言模型的失败模式,提出 MIMIC 基准和针对性改进方案
Anurag Das, Adrian Bulat, Alberto Baldrati, Ioannis Maniadis Metaxas, Bernt...
2026-01-19
基准测试
多图像理解
多模态学习
注意力机制
视觉语言模型
构建1亿中文图文对数据集,通过系统化清洗流程显著提升中文视觉-语言预训练性能
Hengyu Shen, Tiancheng Gu, Bin Qin, Lan Wu, Yuling Wu, Shuo Tan, Zelong Sun,...
2026-01-16
中文NLP
多模态学习
对比学习
数据集构建
视觉-语言预训练
让LLM先推理再生成,突破T2I模型的文字-像素映射局限
Siqi Kou, Jiachun Jin, Zetong Zhou, Ye Ma, Yugang Wang, Quan Chen, Peng...
2026-01-16
多模态学习
强化学习
扩散模型
推理增强
文本到图像生成
统一对比学习与3D字幕生成,通过测试时搜索提升跨域鲁棒性
Hao Tang, Ting Huang, Zeyu Zhang
2026-01-13
3D视觉
场景理解
多模态学习
对比学习
测试时优化
将视觉和文本数学物理问题转换为可验证的LEAN形式化代码
Jing Xiong, Qi Han, Yunta Hsieh, Hui Shen, Huajian Xin, Chaofan Tao,...
2026-01-12
几何推理
多模态学习
定理证明
物理推理
自动形式化
提出百万级工业缺陷多模态数据集IMDD-1M及扩散模型基座,实现少样本缺陷检测与生成
TsaiChing Ni, ZhenQi Chen, YuanFu Yang
2026-01-09
多模态学习
少样本学习
工业缺陷检测
开放词汇
扩散模型
提出无需外部数据的自我改进框架,通过Proposer-Solver-Judge三角色对弈解决统一多模态模型理解能力强但生成能力弱的问题
Ruiyan Han, Zhen Fang, XinYu Sun, Yuchen Ma, Ziheng Wang, Yu Zeng, Zehui...
2026-01-07
多模态学习
文本到图像生成
统一模型
自我对弈
自我改进
提出认知启发的三阶段框架,通过知识内化解决视觉数学推理中的推理漂移问题
Shuhang Chen, Yunqiu Xu, Junjie Xie, Aojun Lu, Tao Feng, Zeying Huang, Ning...
2026-01-07
多模态学习
强化学习
数学问题求解
知识内化
视觉推理