要求视频问答模型同时输出答案、时间片段与密集跟踪分割掩膜三类证据
Shijie Wang, Honglu Zhou, Ziyang Wang, Ran Xu, Caiming Xiong, Silvio...
2026-07-14
可解释性
基准评测
指令微调
时空定位
视频分割
首个大规模中文精神科诊断基准,通过多智能体框架评估LLM在精神科咨询和诊断中的能力
Shihao Xu, Tiancheng Zhou, Jiatong Ma, Yanli Ding, Yiming Yan, Ming Xiao,...
2026-06-24
中文医疗对话
临床AI
基准评测
多智能体系统
大语言模型
首个多主体共享记忆治理基准,综合评估记忆代理的效用、访问控制和主动遗忘能力。
Zhe Ren, Yibo Yang, Yimeng Chen, Zijun Zhao, Benshuo Fu, Zhihao Shu, Bingjie...
2026-06-22
主动遗忘
共享记忆治理
基准评测
大语言模型代理
访问控制
首个跨语言深度研究基准XBCP揭示语言失配导致性能大幅下降
Yuheng Lu, Qingcheng Zeng, Heli Qi, Puxuan Yu, Fuheng Zhao, Rui Yang, Hitomi...
2026-06-17
基准评测
智能体评估
深度研究智能体
跨语言检索
SciAgentArena:跨5领域198任务,系统评测18个AI智能体科学发现能力
Tianyu Liu, Allen Xin Wang, Antonia Panescu, Lisa Xinyi Chen, Wenxin Long,...
2026-06-15
AI智能体
基准评测
大语言模型
生物医学
科学发现
首个系统性评测工具集成推理智能体在工具失败场景下动态重规划与异常恢复能力的基准
Dongsheng Zhu, Xuchen Ma, Yucheng Shen, Xiang Li, Yukun Zhao, Shuaiqiang...
2026-06-08
基准评测
工具使用
智能体
错误恢复
鲁棒性
首个测试AI代理长期记忆关系判别能力的基准数据集,揭示当前系统在处理互补、细致和矛盾关系时的显著不足。
Wenxuan Wang, Haoyu Sun, Fukuan Hou, Mingyang Song, Weinan Zhang, Yu Cheng, Yang Yang
2026-06-08
AI代理
关系推理
基准评测
记忆系统
长期记忆
提出RE-Edit基准,揭示现有编辑模型在五维隐性推理上的普遍失败。
Yixuan Ding, Wei Huang, Ruijie Quan, Xiaojuan Qi, Yi Yang
2026-06-05
后处理优化
图像编辑
基准评测
多维度评估
推理感知
把研究Agent的错误诊断从最终答案级下沉到语义span级,并提出claim溯源的审计框架DRIFT。
Jiaming Wang, Ziteng Feng, Jiangtao Wu, Ruihao Li, Qianqian Xie, Yuxiang...
2026-06-04
基准评测
声明可溯源性
多智能体审计
深度研究智能体
过程级评估
超长时序闭环优化基准,证明坚持性比初始解更决定最终性能。
Zhangchen Xu, Junda Chen, Yue Huang, Dongfu Jiang, Jiefeng Chen, Hang Hua,...
2026-06-04
LLM智能体
前沿模型
基准评测
奖励黑客防御
时间感知
提出受控任务流与可塑性/稳定性/泛化三类增益指标,严格评估智能体的持续学习。
Yiheng Shu, Bernal Jiménez Gutiérrez, Saisri Padmaja Jonnalagedda, Yuguang...
2026-06-03
可塑性-稳定性权衡
基准评测
持续学习
语言智能体
非参数记忆
评测12个前沿VLM用Blender代码做过程化3D建模的智能体基准
Yipeng Gao, Lei Shu, Genzhi Ye, Xi Xiong, Ameesh Makadia, Meiqi Guo, Laurent...
2026-06-02
3D生成
Blender
VLM智能体
人类偏好
代码生成
提出SwanBench-Speech,覆盖17种场景的7维自动化评测基准,揭示当前模型在混响一致性、韵律连贯性和表现力上的显著差距。
Changhao Pan, Rui Yang, Han Wang, Zhuan Zhou, Xuming He, Wenxiang Guo, Ziyue...
2026-06-01
基准评测
多模态评估
对话生成
语音合成
长文本生成
提出首个评估个性化记忆系统的基准 PerMem-Bench,并系统研究会话级存储门控方法。
Yeonjun In, Wonjoong Kim, Sangwu Park, Kanghoon Yoon, Chanyoung Park
2026-05-26
LLM Agent
个性化
基准评测
存储门控
记忆系统
180任务×10模型基准,揭示智能体难以把单次经验沉淀为可复用过程技能。
Yingtie Lei, Zhongwei Wan, Jiankun Zhang, Samiul Alam, Zixuan Zhong, Peizhou...
2026-05-26
Agent Skills
LLM智能体
基准评测
技能学习
持续学习
提出CUSP基准,揭示前沿模型能识别可行方向却无法可靠预测科学突破是否及何时发生
Sean Wu, Pan Lu, Yupeng Chen, Jonathan Bragg, Yutaro Yamada, Peter Clark,...
2026-05-22
不确定性校准
基准评测
大模型评测
时间推理
知识截止
用Z3验证与对抗加固构建中文逻辑推理基准,揭示前沿模型Hard准确率仅37.5%
Ming Zhang, Qiyuan Peng, Yinxi Wei, Yujiong Shen, Kexin Tan, Yuhui Wang,...
2026-05-21
Z3求解器
中文基准
基准评测
大语言模型评测
对抗加固
首个评测 GUI 智能体在专业媒体后期软件中长程组合操作的基准
Haobo Hu, Xiangwu Guo, Zhiheng Chen, Difei Gao, Haotian Liu, Libiao Jin, Qi Mao
2026-05-21
GUI Agent
基准评测
媒体后期制作
视觉语言模型
计算机使用智能体
立场论文:把交互式评估从基准格式升级为设计科学,提出E:X→Y框架与两轴分类法。
Keyang Xuan, Peiyang Song, Pan Lu, Pengrui Han, Wenkai Li, Zhenyu Zhang,...
2026-05-20
LLM智能体
交互式评估
分类法
基准评测
立场论文
首个评估完整 Agent 工作流的 GPU 内核优化基准,揭示智能体在未见配置上的显著泛化崩溃。
Sharareh Younesian, Wenwen Ouyang, Sina Rafati, Mehdi Rezagholizadeh, Sharon...
2026-05-19
AI 编码 Agent
Agent 工作流
GPU 内核优化
HIP/Triton
基准评测