视觉预训练比文本预训练更高效,用25%token预算提升科学推理性能
Yiming Zhang, Zhonghan Zhao, Wenwei Zhang, Haiteng Zhao, Tianyang Lin,...
2026-07-13
基础模型
多模态学习
科学推理
自监督学习
视觉预训练
支持语音控制的实时交互式数字人物视频生成系统
Jintao Zhang, Kai Jiang, Jintao Chen, Xu Wang, Yang Luo, Yuji Wang, Dechuang...
2026-07-10
多模态学习
实时推理
数字人
视频生成
语音交互
通过参数隔离将触觉能力注入小型MLLM,在避免灾难性遗忘的同时实现SOTA触觉推理
Yoonhyung Park, Minji Kim, Sungwon Moon, Jiyoung Lee
2026-07-09
具身智能
参数高效微调
多模态学习
灾难性遗忘
触觉感知
统一多模态生成框架实现异构视觉任务
Xiaoyang Han, Jianhua Li, Kewang Deng, Zukai Chen, Xuanke Shi, Sihan Wang,...
2026-07-08
基础模型
多模态学习
统一视觉模型
视觉生成
通过潜在全局规划和事件因子化注意力,实现无损并行自回归视频描述解码
Wenzheng Zeng, Siyi Jiao, Chen Gao, Hwee Tou Ng, Mike Zheng Shou
2026-07-08
事件定位
多模态学习
密集视频描述
并行解码
自回归模型
通过大规模数据扩展、动作空间增强和预测动态建模改进VLA模型的实际部署能力
Wei Wu, Fangjing Wang, Fan Lu, He Sun, Shi Liu, Yunnan Wang, Yibin Yan, Yong...
2026-07-08
VLA模型
基础模型
多模态学习
机器人控制
移动操作
层次化软标签学习用于多模态性别歧视检测
Matteo Fasulo, Antonio Gravina, Luca Tedeschini, Luca Babboni
2026-07-07
多模态学习
学习与分歧
层次分类
性别歧视检测
软标签学习
通过注意力机制提取跨模态检索头,实现长文档问答中文本与图像证据的高效定位
Dang Quang Thien Tran, Quang V. Dang, Vinamra Tyagi, Sai Soorya Rao...
2026-07-06
因果中介分析
多模态学习
归因分析
注意力机制
长文档理解
DiscoPER通过PROPOSE-EVALUATE-REFLECT循环实现完全自主的多模态科学发现
Bingchen Zhao, Sara Beery, Oisin Mac Aodha
2026-07-02
假设生成与验证
元反思机制
因果发现
多模态学习
自主科学发现
统一世界基础模型,从多模态信号学习世界潜在空间
Yihao Wang, Yuheng Ji, Mingyu Cao, Yanqing Shen, Runze Xiao, Huaihai Lyu,...
2026-07-01
世界模型
具身智能
多模态学习
状态预测
Act2Answer评估VLA知识保留,发现显著衰减
Nikita Kachaev, Andrey Moskalenko, Matvey Skripkin, Nikita Kurlaev, Daria...
2026-07-01
多模态学习
常识推理
机器人学
知识评估
视觉-语言-动作模型
研究发现交错语音语言模型未经转录训练却在中间层隐式地进行语音转录和文本推理
Talia Sternberg, Gallil Maimon, Yossi Adi
2026-06-30
多模态学习
机制可解释性
语音语言模型
隐式转录
提出ILLUME-X统一模型,实现高质量N-to-M自由形式交错文本-图像生成
Chonghuinan Wang, Zhikai Chen, Chunwei Wang, Yecong Wan, Junwei Yang, Zhixin...
2026-06-30
Transformer
交错生成
图像生成
多模态学习
文本生成
通过多轮自适应检索和强化学习优化,显著提升KB-VQA任务的准确率
ZhengXian Wu, Hangrui Xu, Kai Shi, Zhuohong Chen, Yunyao Yu, Chuanrui Zhang,...
2026-06-29
多模态学习
强化学习
智能体
检索增强生成
视觉问答
提出模式引导的MoE框架,让全模态模型学会使用正确的多模态证据进行社交推理
Yifan Shen, Pei Tian, Xinzhuo Li, Bowen Fang, Shujun Xia, Bingxuan Li, Ana...
2026-06-29
多模态学习
混合专家
社交推理
视频问答
路由机制
ViQ实现高质量量化视觉表示,兼顾语义与细节,支持任意分辨率。
Xumin Yu, Zuyan Liu, Zhenyu Yang, Yuhao Dong, Shengsheng Qian, Jiwen Lu, Han...
2026-06-26
向量量化
多模态学习
大语言模型
视觉量化
首个零样本同时支持对象计数、人群计数、指代表达计数和精确计数图像生成的统一视觉语言模型
Anindya Mondal, Sauradip Nag, Anjan Dutta
2026-06-26
多模态学习
文本生成图像
目标计数
视觉语言模型
研究后训练阶段对生物推理模型泛化的不同影响
Lukas Fesser, Hanlin Zhang, Michelle M. Li, Eric Wang, Bryan Perozzi,...
2026-06-26
后训练
多模态学习
强化学习
泛化能力
生物推理
系统综述多模态代码智能领域,提出以验证为核心的四方向研究议程
Xuanle Zhao, Qiushi Sun, Jingyu Xiao, Xuexin Liu, Haoyue Yang, Qiaosheng...
2026-06-25
代码生成
多模态学习
机器学习综述
程序合成
视觉编程
通过可验证的数据构建解决视觉数学推理中的数据质量和奖励信号可靠性问题
Haoling Li, Kai Zheng, Jie Wu, Can Xu, Qingfeng Sun, Han Hu, Yujiu Yang
2026-06-24
多模态学习
强化学习
数学推理
数据验证
视觉推理