构建55小时/6M帧的桌面操作视频数据生态,暴露现有代理在专业软件上约60%任务失败率
Xiangru Jian, Shravan Nayak, Kevin Qinghong Lin, Aarash Feizi, Kaixin Li,...
Computer Use
Desktop Automation
GUI Agent
Video Dataset
Visual Grounding
自蒸馏通过压制不确定性表达损害数学推理泛化
Jeonghye Kim, Xufang Luo, Minbeom Kim, Sangmook Lee, Dohyung Kim, Jiwon...
大语言模型
强化学习
推理
知识蒸馏
自蒸馏
两阶段自进化框架训练4B模型达81%成功率,超越人类水平
Zichuan Lin, Feiyu Liu, Yijun Yang, Jiafei Lyu, Yiming Gao, Yicheng Liu,...
GUI智能体
多模态大模型
强化学习
移动端自动化
自进化学习
通过规划先于感知的迭代推理,让MLLM自主决定看什么、何时看、怎么看
Yaolun Zhang, Ruohui Wang, Jiahao Wang, Yepeng Tang, Xuanyu Zheng, Haonan...
GRPO
多模态大语言模型
强化学习
智能体
视频理解
提出轨迹感知进化方法T-MAP,发现LLM智能体在多步工具执行中的真实攻击漏洞
Hyomin Lee, Sangwoo Park, Yumin Choi, Sohyun An, Seanie Lee, Sung Ju Hwang
LLM代理安全
MCP协议
工具调用
红队测试
进化算法
Actor-Judge架构实现多模态推理无监督自进化,无需标注数据
Zhengxian Wu, Kai Shi, Chuanrui Zhang, Zirui Liao, Jun Yang, Ni Yang,...
GRPO
多模态大语言模型
强化学习
数学推理
自进化训练
揭示LLM生成优化三大隐藏设计决策如何决定成败,无通用解
Allen Nie, Xavier Daull, Zhiyi Kuang, Abhinav Akkiraju, Anish Chaudhuri, Max...
LLM智能体
Prompt优化
学习循环
强化学习
自动化机器学习
提出首个面向多Agent环境感知评测的端到端基准,包含2.4K高密度标注的多视点游戏视频QA对,揭示MLLM在时序推理和跨视频理解上的显著不足。
Yunzhe Wang, Runhui Xu, Kexin Zheng, Tianyi Zhang, Jayavibhav Niranjan...
基准评测
多Agent系统
多模态大模型
幻觉检测
时序推理
提出Visual Chronometer预测视频物理帧率,解决时间尺度幻觉
Xiangbo Gao, Mingyang Wu, Siyuan Yang, Jiongze Yu, Pardis Taghavi, Fangzhou...
世界模型
帧率估计
时间建模
视觉动力学
视频生成
提出多智能体协作框架解决流式视频理解中的实时推理、长期记忆和主动交互三大挑战
Jiawei Chen, Zhe Chen, Chaoqun Du, Maokui He, Wei He, Hengtao Li, Qizhen Li,...
主动交互
具身智能
多智能体系统
流式视频理解
长期记忆
提出锚点引导的3D跟踪实现单目视频360度动态物体重建
Jae Won Jang, Yeonjin Chang, Wonsik Shin, Juhwan Cho, Nojun Kwak
3D重建
动态场景
单目视频
新视角合成
高斯泼溅
通过频域监督解决3DGS跟踪中的梯度消失问题
Avigail Cohen Rimon, Amir Mann, Mirela Ben Chen, Or Litany
3D Gaussian Splatting
变形模型
可微渲染
目标跟踪
频域优化
提出132个月CFO模拟器,揭示LLM智能体在长期资源分配任务上的严重不足
Yi Han, Lingfei Qian, Yan Wang, Yueru He, Xueqing Peng, Dongji Feng, Yankai...
企业决策
大语言模型
智能体基准测试
资源分配
金融科技
通过3D感知特征预训练实现高质量实时新视角合成,无需显式3D重建
Stanislaw Szymanowicz, Minghao Chen, Jianyuan Wang, Christian Rupprecht,...
3D感知
Transformer
实时渲染
新视角合成
预训练
通过动态混合精度量化与时间增量缓存,实现视频DiT 1.92倍加速和3.32倍内存缩减
Rundong Su, Jintao Zhang, Zhihang Yuan, Haojie Duanmu, Jianfei Chen, Jun Zhu
Transformer
扩散模型
模型量化
视频生成
高效推理
开源统一视频生成模型,融合多模态组合与推理能力,支持文本/图像/视频自由形式输入
Kaihang Pan, Qi Tian, Jianwei Zhang, Weijie Kong, Jiangfeng Xiong, Yanxin...
多模态
扩散模型
统一模型
视觉推理
视频生成
提出CareFlow基准和CarePilot框架,实现医疗软件长视野任务自动化
Akash Ghosh, Tajamul Ashraf, Rishu Kumar Singh, Numan Saeed, Sriparna Saha,...
GUI自动化
医疗AI
多智能体系统
视觉语言模型
长视野推理
递归扩展树生成问题特定评估标准,揭示LLM细粒度能力差异
Shanghua Gao, Yuchang Su, Pengwei Sui, Curtis Ginder, Marinka Zitnik
HealthBench
LLM评估
开放式问答
评估标准生成
递归扩展
用结构化文本描述3D空间布局作为中间推理链,提升MLLM的空间推理准确率
Jiacheng Hua, Yishu Yin, Yuhang Wu, Tai Wang, Yifei Huang, Miao Liu
多模态大语言模型
提示工程
空间推理
视频理解
认知科学
PhyGenesis 通过轨迹矫正与异构训练实现物理一致的驾驶视频生成
Jiawei Zhou, Zhenxin Zhu, Lingyi Du, Linye Lyu, Lijun Zhou, Zhanqian Wu,...
世界模型
扩散模型
物理一致性
自动驾驶
视频生成
PLDR-LLM在自组织临界点训练时具备推理能力
Burc Gokden
临界相变
推理能力
自组织临界性
语言模型
用统一MLLM实现3D场景中细粒度功能元素的主动时空定位和分割
Jiaying Lin, Dan Xu
3D视觉
功能分割
多模态大语言模型
时空接地
零样本学习