Gemma 4:具备思维模式的原生多模态开放模型家族,在推理和多模态理解上实现显著性能提升
Gemma Team, Sherif El Abd, Vaibhav Aggarwal, Robin Algayres, Alek Andreev,...
2026-07-08
MoE架构
多模态大语言模型
开放权重模型
思维模式
量化感知训练
首个评估MLLM视听艺术理解能力的综合基准,揭示模型在艺术意图推理方面的显著短板
Yuxuan Fan, Gyusik Seo, Jing Hao, Jaemin Cho, Mohit Bansal, Jaehong Yoon
2026-07-08
基准测试
多模态大语言模型
意图推理
艺术理解
视频理解
在保持文本LLM核心推理能力不退化的前提下,实现统一的音频理解与生成。
Zhifeng Kong, Sang-gil Lee, Jaehyeon Kim, Boxin Wang, Zihan Liu, Sungwon...
2026-07-07
MoE架构
多模态大语言模型
语音识别
音频理解
音频生成
通过双向KL校准解决变分推理中的训练-推理不匹配,实现高效多模态连续推理
Shijie Li, Yilin Gao, Siyuan Yang, Tieyuan Chen, Chaofan Gan, Zhihao He,...
2026-07-02
变分推断
多模态大语言模型
潜在推理
训练-推理不匹配
连续推理
通过结构去噪和逆向规划实现个性化幻灯片设计
Tianci Liu, Zihan Dong, Linjun Zhang, Haoyu Wang, jing Gao, Emre Kiciman,...
2026-07-02
多智能体协作
多模态大语言模型
幻灯片生成
强化学习
结构去噪
提出可控基准评估视频时间逻辑推理能力,揭示模型与人类巨大差距
Hohin Kwan, Hongyu Li, Ray Zhang, Manyuan Zhang, Xianghao Kong, Anyi Rao,...
2026-06-30
基准测试
多模态大语言模型
时间逻辑推理
程序化数据生成
视频理解
通过头级拓扑对齐提升MLLMs视觉感知能力
Davide Caffagni, Alberto Compagnoni, Federico Melis, Sara Sarto, Pier Luigi...
2026-06-30
多模态大语言模型
对比学习
拓扑对齐
注意力头
表示对齐
首个支持摄影师构图和被摄者姿态推荐的拍摄时MLLM摄影指导系统
Jiayu Li, Yixiao Fang, Tianyu Hu, Wei Cheng, Ping Huang, Zheheng Fan, Gang...
2026-06-25
人体姿态推荐
多模态大语言模型
强化学习
摄影构图
美学裁剪
无需文本标注答案,通过对比正负视觉证据门控提升细粒度视觉推理能力
Haoxiang Sun, Zhihang Yi, Langxuan Deng, Yuhao Zhou, Peiqi Jia, Jian Zhao,...
2026-06-25
在线策略蒸馏
多模态大语言模型
对比学习
视觉推理
门控机制
将视觉规划内化到潜在查询,单前向传播实现结构感知图像生成。
Zixuan Li, Haokun Lin, Yicheng Xiao, Zhiwei Li, Xinyang Song, Zelong Zheng,...
2026-06-25
多模态大语言模型
思维链
扩散模型
文本到图像生成
查询级联
利用扩散语言模型的并行解码特性,实现单次前向传播同时描述多个图像区域
Yueyi Sun, Yuhao Wang, Jason Li, Ye Tian, Tao Zhang, Jacky Mai, Yihan Wang,...
2026-06-22
区域感知
多模态大语言模型
并行生成
扩散语言模型
细粒度视觉理解
多模态大语言模型的社会偏见集中在少数视觉线索上,时尚风格等自我展示信号对判断影响最大
Shaghayegh Kolli, Timo Cavelius, Nafiseh Nikeghbal, Samantha Dalal, Jana Diesner
2026-06-22
偏见评估
公平性
多模态大语言模型
社会偏见
视觉偏见
通过主动视觉推理实现视觉原生的多模态深度搜索代理
Zhengbo Zhang, Changtao Miao, Jinbo Su, Zhaowen Zhou, Chunxia Zhang, Xukai...
2026-06-17
主动视觉
多模态大语言模型
智能代理
深度搜索
视觉推理
使用冻结MLLM作为监督器,通过属性感知梯度改进视觉编码器训练
Shubhang Bhatnagar, Dheeraj Baiju, Narendra Ahuja
2026-06-17
多模态大语言模型
强化学习
深度度量学习
视觉嵌入
零样本图像检索
提出三阶段框架让MLLM主动恢复损坏的视觉内容,实现像素级重建与多模态推理的鲁棒理解
Jiaqi Tang, Jianmin Chen, Youyang Zhai, Wei Wei, Runtao Liu, Mengjie Zhao,...
2026-06-12
图像重建
多模态大语言模型
强化学习
视觉自恢复
鲁棒性增强
提出一种推理-再推理的两阶段框架,通过合成新视角视频验证初始假设,提升第一人称视频空间推理精度。
Chaofan Ma, Zhenjie Mao, Yuhuan Yang, Fanqin Zeng, Yue Shi, Yingjie Zhou,...
2026-06-11
3D几何
多模态大语言模型
空间推理
视频理解
跨视角验证
通过优化输入图像而非模型权重,实现对冻结多模态LLM的非侵入式任务适配
Michal Chudoba, Sergey Alyaev, Petra Galuscakova, Tomasz Wiktorski
2026-06-11
参数高效微调
多模态大语言模型
强化学习
视觉提示
计算艺术
发现视觉 token 在中间层饱和,提出双路径路由架构节省 25-30% 计算
Siyuan Liu, Jinyang Wu
2026-06-10
多模态大语言模型
架构设计
视觉-语言融合
计算效率
首个评估全模态视频字幕指令跟随能力的综合基准,发现格式-内容权衡现象
Jiahao Wang, An Ping, Yanghai Wang, Yuanxing Zhang, Shihao Li, Hanyan Bian,...
2026-06-09
基准测试
多模态大语言模型
指令跟随
时空定位
视频字幕
提出"观看-记住-推理"三重框架,系统梳理基于MLLM的视频理解方法、数据集、基准和未来方向
Jiahao Meng, Yue Tan, Qi Xu, Kuan Gao, Weisong Liu, Yanwei Li, Jason Li,...
2026-06-08
多模态大语言模型
时序定位
视频推理
视频理解
记忆机制