提出5448题、16类任务的决策模型基准,暴露多选完整性与概率校准两大短板
Junhao Shen, Qing Zong, Yue Guo, Zhanqiu Zhang, Yiwen Guo, Hong Cheng
2026-11-11
Agent能力
System-1决策模型
基准污染防治
基准评测
多选题评测
用智能体流水线把复现经验固化为四组件工件,复现成功率从76.4%升至92.6%
Yubo Wang, Rui Meng, Jaehyun Nam, Tomas Pfister, Jinsung Yoon
2026-11-10
AI智能体
可复现性
基准评测
科研自动化
把归一化基准从径向距离换成高斯间距中位数,消除前馈3DGS的尺度监督歧义
Hao Yu, Zhenwei Wang, Yongzhen Hu, Yuning Gong, Junta Wu, Xiaowei Zhou,...
2026-11-09
3DGS
前馈重建
基准评测
归一化
新视角合成
首个专家验证的长上下文多参考图像合成基准,用实体关系图清单定位生成失败
Haoxiang Cao, Yuxuan Zhang, Penghui Du, Bo Li, Jiajiong Cao, Yingying Fan,...
2026-11-09
LLM智能体
图像生成
基准评测
多参考合成
评测方法学
提出ADB基准与SERS流水线,量化智能体在无对抗输入下自发越权的授权漂移
Chuxue Cao, Jingru Zeng, Boqin Yin, Yujin Zhou, Yidan Huang, Sujin Chen,...
2026-11-09
基准评测
工具调用
授权边界
智能体安全
隐私合规
首个系统评测大模型无梯度编辑他模型权重的基准
Chris von Csefalvay, Pranav Doma, Achyuthan Unni Krishnan, Tamás Földi
2026-11-09
LLM智能体
基准评测
模型安全
模型权重编辑
知识编辑
构建 BILBY 基准:静态折叠成功的设计仅约半数通过分子动力学稳定性检验
Emile de Bruyn, Moritz Schäffler, Jannik Schneider, Sebastian R. Schmidt,...
2026-11-09
分子动力学
基准评测
生成模型
结构生物信息
蛋白质设计
42位物理学家基于自身研究构建56个端到端任务,测得最强智能体通过率仅27.4%。
Bingran You, Wenjun Ke, Ria Rosenauer, Bo Liu, Wenbo Chen, Min Chen, Shuqi...
2026-11-05
AI Agent
Agent-as-Judge
Rubric评估
基准评测
物理科研自动化
首个以情景/答案依赖链度量视频对话记忆的基准,最佳模型仅得45.7%
Zhengdong Hu, Chao Wang, Kaituo Feng, Huanjin Yao, Mingfei Lu, Hehe Fan, Yi Yang
2026-11-05
基准评测
多模态大模型
多轮对话
视频理解
长上下文记忆
以任务为锚点重建153个可离线执行的真实网站环境,让GUI智能体的评测与RL训练稳定可靠。
Zhaoyang Wang, Qianhui Wu, Boyu Gou, Demi Wang, Jiacheng Zhang, Peichun Hua,...
2026-11-04
GUI智能体
人机协作
基准评测
强化学习训练
环境合成
首个测编码智能体在未完成任务间切换后恢复能力的基准:切换使解决率平均降11.5个百分点
Shuochen Chang, Qianli Ma, Yibo Miao, Qingyang Liu, Bingjie Gao, Haonan...
2026-11-04
上下文管理
基准评测
多任务会话
编码智能体
软件工程
在不停盘的原版英雄联盟中评测实时视觉智能体,最强模型任务成功率仅25.0%。
Zhaojian Yu
2026-11-04
GUI Agent
基准评测
实时智能体
游戏AI
计算机使用
用时序控制回测诊断金融深度研究系统的真实预测力,受控T2成绩可逼近实时成绩
Fengyuan Liu, Mukai Li, Jieshun You, Yilin Zheng, Chenjia Min, Yizhou Zhang,...
2026-11-04
回测
基准评测
大语言模型
时间泄漏
深度研究系统
冻结2025文献让LLM写提案、与2026真实论文对照,差距集中在具体方法而非方向。
Shanshan Zhong, Chen Xu, Jingjie Ning, Zhengzhong Liu, Aviral Kumar, Chenyan Xiong
2026-11-03
AI科学家
LLM智能体
基准评测
想法生成
研究品味
首个要求跨仓库协同修改的SWE基准,最强模型Pass@1仅58.48%
Silin Chen, Yuling Shi, Heng Lian, Zihan Zhang, Xiaodong Gu, Haotian Lin, Zhensu Sun
2026-11-03
SWE-Bench
基准评测
编码智能体
跨仓库开发
软件工程
提出ReGap-Bench配对干预基准,证明任务匹配的视觉参考无需训练即可显著提升多模态推理
Guizhen Chen, Weiwen Xu, Wotao Yin, Anh Tuan Luu, Hou Pong Chan
2026-11-03
免训练技能
参考间隙
基准评测
多模态推理
视觉提示
提出Lab2Sim基准与EduVideo2Code框架,把实验视频变成可交互的虚拟实验
Xusen Hei, Jiali Chen, Jinyu Yang, Yi Cai
2026-11-03
前端代码生成
基准评测
多模态大模型
科学教育
视频理解
BedBench 定位 VLM 3D 推理失败点:单项判断正确,精确答案与一致性却失败
Khai Le-Duc, Nguyen Kim Hai Bui, An Ngo, Nam D. Hoang, Yueqi Song, Jiarui...
2026-11-03
3D推理
基准评测
模型诊断
视觉语言模型
合成相互依赖规格的真实仓库编码任务并用RL训练,大幅提升智能体长程编码能力
Yishuo Cai, Minzheng Wang, Liang Zhao, Linghao Zhang, Lei Li, Shicheng Li,...
2026-11-02
代码智能
基准评测
强化学习
数据合成
软件工程
首个自我中心身体运动理解基准:最强MLLM仅50.0%,显著落后人类的68.5%
Matea Tashkovska, Naël Ouerghemi, Haozhe Qi, Alexander Mathis
2026-11-02
基准评测
多模态大模型
自我中心视觉
视频问答
身体运动理解