通过两阶段知识蒸馏,将字幕条件的帧相关性蒸馏到轻量级视觉模型,实现无需文本的高效视频关键帧选择
Killian Steunou, Anas Filali Razzouki, Khalil Guetari, Mounîm A. El-Yacoubi,...
2026-06-01
帧选择
排序学习
知识蒸馏
视频字幕生成
视频理解
通过视觉编码器内部帧合并和解耦空间选择,将视频LLM推理速度提升2.65倍
Hesong Wang, Xin Jin, Lu Lu, Chenhaowen Li, Jian Chen, Qiang Liu, Huan Wang
2026-05-29
Token压缩
推理加速
时域压缩
视频大语言模型
视频理解
用多智能体+双桥一致性框架在百镜头量级实现角色一致的长视频换脸/风格化重制
Yiren Song, Huilin Zhong, Kevin Qinghong Lin, Haofan Wang, Mike Zheng Shou
2026-05-27
多智能体系统
电影化重制
视频理解
视频生成
身份一致性
把视频当码率流处理,codec-stream 在事件级定位上 +44.8。
Xiang An, Yin Xie, Feilong Tang, Yunyao Yan, Huajie Tan, Didi Zhu, Changrui...
2026-05-27
多模态大模型
感知智能
时序定位
视觉token压缩
视频理解
首个系统化的隐喻视频理解基准MetaphorVU-Bench与基于隐喻知识图谱的推理时增强框架MetaphorBoost
Zhuoqun Li, Boxi Cao, Guiping Jiang, Fangrui Lv, Ruotong Pan, Jianan Wang,...
2026-05-26
多模态大模型
知识图谱
视频理解
评测基准
隐喻理解
SWIM 用纯文本提示实现视频物体定位,训练时用掩码监督跨模态注意力。
Boyuan Sun, Bowen Yin, Yuanming Li, Xihan Wei, Qibin Hou
2026-05-25
多模态大模型
注意力正则化
细粒度物体定位
视频理解
跨模态对齐
提出GPR任务与MM-OCEAN基准,揭示MLLM 51%正确评分无证据支撑。
Caixin Kang, Tianyu Yan, Sitong Gong, Mingfang Zhang, Liangyang Ouyang,...
2026-05-22
Big Five人格
人格感知
可解释AI
多模态大模型
社会认知
揭示Video-LLM靠视觉先验幻觉声音而非真正听音,提出THUD诊断与干预对齐方案。
Xiaofei Wen, Wenjie Jacky Mo, Xingyu Fu, Rui Cai, Tinghui Zhu, Wendi Li,...
2026-05-20
Clever Hans效应
偏好优化
多模态大模型
视频理解
诊断评测
首个无提示视频潜台词理解基准,揭示前沿多模态模型在讽刺、反讽与社会含义上的系统短板
Qi Li, Xinchao Wang
2026-05-15
基准测试
多模态大模型
社会语言学
视频理解
隐喻与反讽
让 VLM 在潜空间"想象"4D 动态以推理时空演化
Zhangquan Chen, Manyuan Zhang, Xinlei Yu, Xiang An, Bo Li, Xin Xie, ZiDong...
2026-05-11
多模态大模型
强化学习
潜在推理
空间推理
视频理解
NVIDIA开源30B-A3B MoE全模态模型,文本图像视频音频全支持。
NVIDIA, Amala Sanjay Deshmukh, Kateryna Chumachenko, Tuomas Rintamaki,...
2026-05-01
EVS加速
MoE
Nemotron
RL后训练
全模态模型
用镜头查询 Transformer 与全合成数据,把镜头边界检测扩展到带场景关系。
Boyang Wang, Guangyi Xu, Zhipeng Tang, Jiahui Zhang, Zezhou Cheng
2026-04-28
关系学习
合成数据
查询式检测
视频Transformer
视频理解
把时间做成可学习概念,教会模型感知并按指定播放速度生成视频
Yen-Siang Wu, Rundong Luo, Jingsen Zhu, Tao Tu, Ali Farhadi, Matthew...
2026-04-24
慢动作数据集
扩散模型
时间建模
自监督学习
视频理解
首个专为视频RL设计的端到端训练评测框架,带离线缓存与异步推理
Chuanyu Qin, Chenxu Yang, Qingyi Si, Naibin Gu, Dingyu Yao, Zheng Lin, Peng...
2026-04-21
RLVR
多模态大模型
强化学习
视频理解
训练框架
打开 Gemini 思维流黑盒,揭示思考预算与视频理解质量的真实关系。
Shivam Sharma, Sankalp Nagaonkar, Ashish Choithani, Ashutosh Trivedi
2026-04-15
LLM-as-Judge
思维链
推理评估
视觉语言模型
视频理解
提出三级层次和组基评估的视频理解基准,揭示SOTA模型与人类差距
Chaoyou Fu, Haozhi Yuan, Yuhao Dong, Yi-Fan Zhang, Yunhang Shen, Xiaoxing...
2026-04-08
基准测试
多模态大模型
视频理解
评估方法
发现视频理解数据集严重依赖语言捷径,提出仅用视觉基础问题后训练提升模型性能
Yuxuan Zhang, EunJeong Hwang, Huaisong Zhang, Penghui Du, Yiming Jia, Dongfu...
2026-04-08
多模态学习
数据质量控制
视觉语言模型
视频理解
语言偏见
500题+5级层次化评估协议,证明主流视频MLLM在长视频细粒度时空证据定位上几乎全部失败(Level-5最高仅1%)。
Jiahao Meng, Tan Yue, Qi Xu, Haochen Wang, Zhongwei Ren, Weisong Liu, Yuhao...
2026-04-03
Thinking-with-Videos
基准测试
多模态大模型
时空定位
视频理解
首个强调感知中心推理的复杂视频理解基准,现有最强模型准确率仅45.96%
Shaoxuan Li, Zhixuan Zhao, Hanze Deng, Zirun Ma, Shulin Tian, Zuyan Liu,...
2026-04-02
基准测试
多模态推理
感知中心推理
视频理解
长时域推理
通过掩码与门控融合,强制VLM利用几何token进行空间推理
Shihua Zhang, Qiuhong Shen, Shizun Wang, Tianbo Pan, Xinchao Wang
2026-03-31
3D几何
多模态学习
空间推理
视觉语言模型
视频理解