以观测状态为对齐对象的两阶段后训练,让视觉智能体真正获取并依赖工具返回的证据。
Haozhi Yuan, Handong Li, Yifan Zhang, Qianshan Wei
2026-11-10
多教师在线策略蒸馏
多模态大模型
工具使用
强化学习
智能体视觉推理
让每个LLM层按自身语义状态动态门控选择全部ViT层视觉信息,实现自适应全层连接
Yingying Yan, Jiaqi Tang, Wei Wei, Qianzhou Wang, Lei Zhang, Jianmin Chen,...
2026-11-09
LLaVA
动态路由
多模态大模型
注意力机制
视觉-语言连接
首个以情景/答案依赖链度量视频对话记忆的基准,最佳模型仅得45.7%
Zhengdong Hu, Chao Wang, Kaituo Feng, Huanjin Yao, Mingfei Lu, Hehe Fan, Yi Yang
2026-11-05
基准评测
多模态大模型
多轮对话
视频理解
长上下文记忆
TurnWise 以回合级信用分配与回合均值聚合改进流式视频 GRPO
Shuai Dong, Kanghui Tian, Linghan Chen, Wenqi Shao, Hongrui Wu, Haowen Hou,...
2026-11-05
GRPO
主动交互
信用分配
多模态大模型
强化学习
视频生成质量是多模态理解沿数据-条件-对齐-评估全链路的投影,可灵分享全栈工程经验
Kling Team, Dong Chen, Jialu Chen, Xinlong Chen, Yifan Dai, Haotian Dong,...
2026-11-04
参考条件生成
多模态大模型
奖励模型
提示词增强
视频描述
四个可解释摄影令牌统一驱动360°方向选择、裁剪排序、门控精修与量化解释
Yuan-Kang Lee, Kuan-Lin Chen, Chia-Che Chang, Yu-Lun Liu
2026-11-03
360°全景取景
可解释性
图像裁剪
多模态大模型
美学评估
构建上下文-焦点-观测点计划,让模型学会先判断该看什么再主动取证的视频描述框架
Tengfei Liu, Yang Shi, Yuran Wang, Yuqi Tang, Yizhuo Jia, Zhuoran Zhang,...
2026-11-03
GRPO
主动感知
多模态大模型
强化学习
智能体
提出Lab2Sim基准与EduVideo2Code框架,把实验视频变成可交互的虚拟实验
Xusen Hei, Jiali Chen, Jinyu Yang, Yi Cai
2026-11-03
前端代码生成
基准评测
多模态大模型
科学教育
视频理解
用潮汐式调参与模态协同,把数字与物理伪造、图像与视频检测统一进单个2B参数模型
Chenfan Qu, Yachao Liang, Mingqi Fang, Jiangwei Xie, Zhenming Wang, Baoyue...
2026-11-02
AI生成内容检测
人脸防伪
基础模型
多模态大模型
深度伪造检测
首个自我中心身体运动理解基准:最强MLLM仅50.0%,显著落后人类的68.5%
Matea Tashkovska, Naël Ouerghemi, Haozhe Qi, Alexander Mathis
2026-11-02
基准评测
多模态大模型
自我中心视觉
视频问答
身体运动理解
可见状态监督补答案级监督之欠规范,测试时因果视图搜索按需扩展证据
Yihao Hu, Pan Wang, Yitong Lin, Zhihao Wen, Deyuan Liu, Hang Wang, Mingda...
2026-11-02
多模态大模型
流式视频理解
测试时计算
监督学习
视频LLM
免训练的预测一致性证书决定每步是否读图:0.35×FLOPs保住99.6%分数
Donghyeon Cho, Joowon Kim, Seungho Shin, Eunho Yang
2026-10-30
多模态大模型
扩散模型
推理加速
视觉token
验证检索头随模态扩展而共享保留,训练其注意力使文档检索R@1提升6.03点
Jia Wang, Yuqing Li, Jiangnan Li, Zheng Lin, Mo Yu
2026-10-30
全模态模型
可解释性
多模态大模型
文档检索
检索头
首个为流式视频理解引入ask动作的多轮基准,评估模型面对不确定性时何时提问、问什么、何时作答
Lu Wang, Zhuoran Jin, Longxiang Wang, Junhong Chen, Yupu Hao, Yao Xu,...
2026-10-30
不确定性
主动交互
基准测试
多模态大模型
流式视频
提出'代码即视频描述'范式并构建323视频基准,代码保留视频信息优于自然语言,动态时序仍最弱
Jiafu Tang, Yifan Xu, Eric Tang, Junjie Zhao, Shipeng Luo, Te Sun, Haoxuan...
2026-10-28
代码生成
多模态大模型
视频描述
视频理解
评测基准
按时间序回放异构空间监督并平衡接口损失,让单一模型同时提升三类流式空间基准
Yihao Hu, Yitong Lin, Pan Wang, Zhihao Wen, Hang Wang, Yiwen Zhao, Deyuan...
2026-10-28
后训练/SFT
多任务学习
多模态大模型
流式空间智能
视频理解
有效比特预算而非量化误差决定离散视觉token的语义容量,FVQ追平连续表示
Jialv Zou, Xiaotong Li, Zhengrong Yue, Xu Huang, Yaxin Luo, Wenhao Yan,...
2026-10-28
OCR理解
向量量化
多模态
多模态大模型
视觉tokenizer
用单图多区域合成数据加 RLVR 训练"连接证据"能力,泛化提升空间感知与长上下文
Lai Wei, Yatai Li, Liangbo He, Jun Lan, Renjie Gu, Linhan Cao, Junkai Lin,...
2026-10-28
RLVR
具身智能
多模态大模型
数据合成
空间感知
首个可验证的人机闭环交互环境与基准:最强MLLM助手通过率仅41.7%,感知、记忆与通信是主要瓶颈
Qinsi Wang, Wei Wen, Chong Zhou, Saksham Suri, Zechun Liu, Lemeng Wu, Hai...
2026-10-27
具身交互环境
可验证奖励
多模态大模型
第一人称AI助手
闭环评测基准
反向蒸馏加组内设计奖励的两阶段训练,让提示词增强器显式学会光照、构图、版式与细节设计。
Zekai Zhang, Yanran Zhang, Shengming Yin, Yan Shu, Zhening Liu, Bingxuan...
2026-10-27
多模态大模型
强化学习
提示词增强
文生图
视觉设计