提出数学原语与PRIM基准诊断LLM数学理解,发现独立结构发现是瓶颈,并用ABSORB自蒸馏修复
Shuo Xing, Zilin Dai, Chengyuan Qian, Fangzhou Lin, Wenjing Chen, Ping He,...
2026-10-06
后训练
基准评测
数学推理
知识蒸馏
能力诊断
提出SESD任务与Video2Skill基准,揭示VLM难以从流式视频中积累可复用技能
Jianshu Zhang, Ce Zhang, Xiyuan Yang, Chenwei Xu, Haoran Lu, Yijiang Li,...
2026-10-06
具身智能
基准评测
技能发现
视觉语言模型
视频理解
进度奖励模型不是不会估进度,而是缺正确上下文;智能体循环补上后误差降63%
Jianshu Zhang, Keliang Wu, Chengxuan Qian, Xiyuan Yang, Ce Zhang, Ariel...
2026-10-06
具身智能
基准评测
智能体循环
机器人操作
过程奖励
用持久元素对应与执行引导修复,把游戏意图和底座场景变成可运行的UE5游戏世界
Wei Wu, Ziyang Xu, Zeyu Zhang, Yang Zhao, Hao Tang
2026-10-06
3D场景
UE5
代码生成
基准评测
智能体
423道13语言人工创作的多模态浏览难题,最强模型仅得31.68%
Alham Fikri Aji, Faiz Rizki Ramadhan, Zayd M. K. Zuhri, Seung Hun Eddie Han,...
2026-10-05
基准评测
多模态检索
多语言NLP
深度研究
网页浏览智能体
让智能体把视频写成可执行4D图形代码:200个场景、18个模型评测,动力学重建是普遍短板
Ruihong Shen, Žiga Kovačič, Peter Kulits, Xingrui Wang, Zizhang Li, Joshua...
2026-10-05
代码生成
基准评测
多模态智能体
物理仿真
逆图形学
程序化构建每轮精确真值的首个长时程3D编辑基准:代码智能体保真更强但更慢
Ruihan Yu, Yu-Ju Tsai, Muyao Niu, Runyi Li, Lian Fu, Hanqing Liu, Zheng-Hui...
2026-10-05
3D编辑
LLM智能体
基准评测
指令跟随
误差累积
以原生仿真与六维工程指标评测智能体生成 Simulink 模型的真实能力,最强系统仅 42.86 分
Ruiqi Zhang, Jiahao Wang, Mingxuan Li, Haichen Luo, Chaoting Wang, Guoyu...
2026-10-05
LLM智能体
Simulink
基准评测
工程仿真
模型生成
首个相机对齐空间音频的实时交互视听世界模型,单卡24FPS同步生成画面与立体声
Lei Ke, Jiahao Pan, Zeyue Tian, Jiaming Wang, Haoyuan Huang, Kam Man Wu,...
2026-10-05
世界模型
因果蒸馏
基准评测
实时交互
空间音频
用引擎记录的可回放世界状态与时间戳事件,检验视频模型是否忠实渲染程序规定世界
Zheng-Hui Huang, Guixu Lin, Yu-Ju Tsai, Jian-Kai Zhu, Fengbo Lan, Yu-Lun...
2026-10-02
世界模型
交互保真度
可编程世界
基准评测
视频生成
构建模拟外卖平台的235表ERP仓库,按行动后果评测数据Agent,最强模型仅解决34.8%
Gabriel Tomitsuka, Arman Raayatsanati, Emma Xing, Duke Gand, Joseph J Ma
2026-10-02
ERP数据仓库
Text-to-SQL
基准评测
数据Agent
模拟环境
提出INTENTFLUX基准量化意图漂移,STATEFORGE显式状态折叠部分修复损失
Yanjie Zhang, Bowen Cao, Zixin Chen, Yushi Sun
2026-10-02
LLM智能体
基准评测
多轮对话
意图漂移
状态跟踪
首个交互式3D世界审计基准:213个异常任务上最佳模型仅42.3%,远低于人类83.4%
Ziyan Jiang, Jingbo Yang, Jiabao Ji, Yujian Liu, Qiucheng Wu, Tommi...
2026-10-01
3D世界审计
VLM
具身智能
基准评测
多模态智能体
首个让智能体边操作运行软件边改代码、并用确定性测试验证修复的四域基准
Prince Zizhuang Wang, Chenhao Liang, Zelong Xu, Aojie Yuan, Xiaolin Zhou,...
2026-10-01
可验证奖励
基准评测
多模态智能体
计算机使用智能体
软件工程智能体
以100份长篇GDD构建冻结的依赖感知契约,三轴联动评测并改进编码代理的设计忠实度
Seonho Lee, Wonryeol Jeong, Alberto Cereser, Inha Kang, Hyeonjong Kim,...
2026-10-01
LLM-as-a-Judge
LLM智能体
基准评测
游戏开发
规格遵循
编程智能体迭代写Blender代码,把单张图像重建为可编辑、可查询的3D场景程序
Xirui Li, Peng Shi, Mingwen Dong, Sheng Zhang, Zhuoyan Xu, Dongkyu Lee,...
2026-09-30
3D场景重建
Blender
Image-to-Code
基准评测
编程智能体
构建声学证据×记忆操作双轴分类的多会话语音记忆基准,揭示15个音频大模型均低于40%准确率
Yang Xiao, Vidhyasaharan Sethu, Eun-Jung Holden, Ting Dang
2026-09-30
基准评测
多会话记忆
语音大模型
长上下文
音频理解
首个以多会话生活轨迹评测流式视频助手跨会话持久记忆的基准,揭示效用-延迟-存储三难权衡
Jianguo Huang, Jinming Liu, Qiyao Wang, Liang Xu, Jianhang Li, Zhimian Wen,...
2026-09-30
主动式助手
基准评测
多模态大模型
持久记忆
流式视频理解
提出EMem-Bench基准与EMem记忆系统,诊断并缓解具身智能体的四大记忆缺陷
Lizhou Liang, Xinyu Zhong, Miao Pan, Xiaohe Zhou, Xuanyu Liu, Qinfeng Li,...
2026-09-29
具身智能
基准评测
多模态大模型
智能体记忆
长程任务
让模型看图解题并直接改图:最强生成模型在SolveEdit上也只得57.0分
Wenjie Shu, Yexin Liu, Harold Haodong Chen, Xuerui Qiu, Zehan Wang, Yidi...
2026-09-29
图像编辑
基准评测
多模态推理
测试时规划
视觉问题求解