把GUI世界建模从重建未来屏幕改为潜在空间预测动作后果,成功率最高+12.5点、延迟降低98.9%
Seungjun Yu, Hojun Choi, Seojeong Park, Jaeyo Shin, Hyunjung Shim
2026-10-14
GUI Agent
世界模型
多模态大模型
对比学习
移动端自动化
把视频推理变成多轮“找证据-接地证据-推理”的智能体过程,RL奖励每次检索的证据增益
Jiahao Meng, Zhongyuan Bao, Yue Tan, Haiquan Wen, Renrui Zhang, Anna Wang,...
2026-10-14
多模态大模型
强化学习
时空定位
智能体工具调用
视频推理
将视觉定位重构为并行视觉证据抽取,4B扩散模型提速4.51倍并刷新30项基准
Qize Yu, Lianrui Fan, Bowen Ping, Xini Ding, Zetian Song, Junbo Niu, Kaixuan...
2026-10-13
多模态大模型
并行解码
强化学习
扩散语言模型
自投机解码
用训练期新视角生成器教会模型主动规划视角并在脑内想象场景,提升空间推理。
Yuhong Liu, Shenxi Wu, Junyi Chi, Beichen Zhang, Xuanlang Dai, Jiaqi Wang,...
2026-10-13
后训练
多模态大模型
强化学习
数据合成
空间推理
用视频生成模型批量构造可控$(s,a,s')$转换监督,证明视觉转换推理是可跨任务迁移的共享训练原语
Zheyu Fan, Yue Zhang, Mingkai Deng, Kangrui Wang, Qineng Wang, Canyu Chen,...
2026-10-13
合成数据
基准数据集
多模态大模型
视觉世界模型
视觉转换推理
VLM文本问答会拒绝有害请求,定位输出却照做;定向微调将定位拒绝率提升64-95个百分点
Erfan Shayegani, Kundan Krishna, Yue Dong, Nael Abu-Ghazaleh, Leon Gatys,...
2026-10-13
VLM安全
多模态大模型
安全对齐
安全微调
视觉定位
让MLLM自主学习每个图像块用细还是粗的视觉表示,平均省43% token仅损1.1%性能
Yuan Feng, Qize Yang, Ruizhe Chen, Sibo Song, Haolin He, Muzhi Zhu, Zihan...
2026-10-12
动态粒度路由
多模态大模型
自蒸馏
视觉Token压缩
高效推理服务
发现多模态大模型内部存在三维线性空间工作区,坐标可读出可编辑,空间推理瓶颈在视角变换计算。
Zhiyuan Shi, Xiang Li, Xingzhuo Guo, Shangchen Miao, Weiliang Chen, Qiyu...
2026-10-12
因果干预
多模态大模型
机制可解释性
空间推理
线性表征
蚂蚁集团推出统一OCR基础模型家族PolyOCR,用数据引擎加CGPO后训练在五大基准达到SOTA
GuangJian Team, Kaili Huang, Yongshuo Zhang, Bingtao Fu, Changjiang Jiang,...
2026-10-12
OCR
基准评测
多模态大模型
强化学习
知识蒸馏
HSS基准显示最强模型直觉视觉推理仅53.6%,远低于人类的93.1%
Xingang Guo, Jing Gu, Brian Jang, Renxiong Wang, Utkarsh Tyagi, Daniel...
2026-10-12
LLM-as-a-judge
基准测试
多模态大模型
直觉推理
社会认知
训练时用密集帧当参考,让模型仅凭稀疏帧也能可靠定位与问答
Wenfang Sun, Yingjun Du, Cees G. M. Snoek
2026-10-12
多模态大模型
强化学习
视频理解
高效推理
首个数据视频理解基准:961个视频、6775题,最强模型70.0%仍落后人类21.7个百分点
Yupeng Xie, Zhenyang Wang, Jiayi Zhu, Yinghao Tang, Zhouan Shen, Yiyu Chen, Yuyu Luo
2026-10-12
叙事理解
基准测试
多模态大模型
数据可视化
视频理解
把纵向医疗推理重构为证据搜寻任务,8B智能体经两阶段后训练准确率超越GPT-5
Minye Shao, Chaohui Yu, Yixuan Wu, Fan Wang, Ling Shao, Yang Long
2026-10-12
UK Biobank
医疗AI智能体
多模态大模型
智能体强化学习
特权自蒸馏
给预训练多模态大模型配一套导航智能体框架,零微调跑通任意任务与陌生场景
Jinkai Zhang, Jingyi Xu, Yuanhong Yu, Jiarui Guo, Ruizhen Hu, Hujun Bao,...
2026-10-09
具身导航
多模态大模型
智能体框架
机器人
零样本泛化
从线性注意力状态递归中挖掘内在 token 重要性信号,训练免费压缩视觉 token
Hao Jiang, Yiru Mao, Tianpeng Bu, Hao Zhou, Hongtao Duan, Wang Jing, Bowen...
2026-10-09
多模态大模型
推理加速
混合架构
线性注意力
视觉Token压缩
84项仿真任务检验智能体把数字能力转化为可靠机器人执行的程度,最强模型成功率仅19.0%
Zhiqin Yang, Chenxin Li, Xiaomeng Hu, Yibin Liu, Weidong Huang, Jiankai Sun,...
2026-10-08
具身智能
基准测试
多模态大模型
智能体评测
机器人学习
把网页智能体每步视为解析-执行-反馈-观察四阶段往返并加固,得分从31升至57
Jiangang Han
2026-10-08
GUI智能体
Web Agent
基准评测
多模态大模型
智能体工程
用因果过渡CoT数据加工具增强GRPO,让4B模型在视频事件预测上以小博大刷新SOTA。
Qiutong Chen, Yuchan Guo, Zhenlong Yuan, Haobo Yang, Fangfang Lin, Xinyi...
2026-10-08
GRPO
反语言先验
多模态大模型
工具增强智能体
强化学习
将生成的语义证据边界作为嵌入读出位置,12项MMEB检索任务平均Recall@1达76.9%
Zirong Chen, Fuda Ye, Enjun Du, Junfu Pu, Xinlei Wang, Xinyu Zuo, Lisheng...
2026-10-08
多模态大模型
多模态嵌入
对比学习
表示读出
跨模态检索
构建真正需要音视频协同的基准、11.2万条证据接地数据与模态分解自蒸馏训练方法,提升全模态联合推理
Junming Lin, Yuxuan Wang, Zhenxin Lei, Yuxin Liu, Ruixun Liu, Yinsong Yan,...
2026-10-06
基准评测
多模态大模型
强化学习
数据引擎
自蒸馏