20个科学基准上智能体全部超越已发表最优,但靠工程套路,插件技能将增益翻倍
Ming Zhong, Stacy Li, Nicholas Carlini, Matthew Jagielski
2026-10-22
ML for Science
基准测试
智能体评测
编码智能体
自动化科研
首个系统评测LLM智能体编写可执行验证器能力的基准,揭示其普遍误杀合法解
Jianing Yin, Ziyi Chen, Hao Wang, Yiyou Sun, Zijian Jin, Dawn Song, Daoan Zhang
2026-10-22
LLM智能体
可执行验证
基准测试
数据合成
递归自我改进
统一IR基准+分层智能体LEKA,将边缘内核Fast@1.0从13.0%提升至43.5%
Yuhua Zheng, Xueyi Chen, Xinze Zou, Xin Li, Haoji Hu, Huan Wang
2026-10-21
LLM内核生成
TVM
基准测试
智能体优化
编译器中间表示
用320个带DAG依赖的累积请求,评测编码智能体持续扩展Web应用的集成与保持能力
David Nukrai, Bar Alon, Nativ Levy, Ido Andrew Atad, Ido Cohen, Itamar...
2026-10-19
LLM评测
Web应用生成
基准测试
编码智能体
长程交互
提出 MULTIFINGROUND 基准,揭示大模型能认对会计概念却常漏抽数值证据。
Lingfei Qian, Yan Wang, Xueqing Peng, Polydoros Giannouris, Nadhem Zmandar,...
2026-10-19
XBRL/IFRS
信息抽取
基准测试
多语言金融NLP
大模型评估
95个真实客户交付任务实测:最强模型仅解决14个,隐含约束发现是瓶颈
Dongxu Yang, Hongda Yan, Renxin Wang, Baoli Zhang, Haojia Zuo, Ying Zhao,...
2026-10-16
AI交付
利益相关者模拟
基准测试
智能体评测
软件工程
首个编码智能体越界行为基准:揭示不读依赖就动手,CODE-KIT 最多降 52% 越界
Do Xuan Trong, Duc Anh Nguyen, Do Xuan Long, Ngoc-Hai Nguyen, Tongyao Zhu,...
2026-10-14
LLM Agent 安全
基准测试
工具脚手架
编码智能体
行为对齐
ARTISAN 用三智能体分工加物理仿真反馈闭环,生成无碰撞、重力稳定、质量可信的铰接 3D 资产
Xudong Cai, Ruijie Zhu, Haoliang Shang, Ruining Li, Marc Pollefeys, Shangzhe...
2026-10-12
3D资产生成
基准测试
多智能体
机器人学习
物理仿真
HSS基准显示最强模型直觉视觉推理仅53.6%,远低于人类的93.1%
Xingang Guo, Jing Gu, Brian Jang, Renxiong Wang, Utkarsh Tyagi, Daniel...
2026-10-12
LLM-as-a-judge
基准测试
多模态大模型
直觉推理
社会认知
首个数据视频理解基准:961个视频、6775题,最强模型70.0%仍落后人类21.7个百分点
Yupeng Xie, Zhenyang Wang, Jiayi Zhu, Yinghao Tang, Zhouan Shen, Yiyu Chen, Yuyu Luo
2026-10-12
叙事理解
基准测试
多模态大模型
数据可视化
视频理解
12.8万条真实临床查询显示:医疗LLM基准与实际临床用法严重错位,文档与检索占近三分之二。
Krithik Vishwanath, Haitong Lin, Anton Alyakin, Jin Vivian Lee, D. Brock...
2026-10-12
LLM评估
临床工作流
医疗AI
基准测试
标注框架
GPU并行基准Hebero与DGPO框架:单策略掌握40个异构操作任务,实机零微调成功率82.5%
Rui Zhang, Qiwei Wu, Zhengyu Zhang, Tao Li, Hongyu Zhou, Xiang Li, Yunrong...
2026-10-09
GPU并行仿真
Sim-to-Real
基准测试
多任务强化学习
机器人操作
提出跨五域的AgenticBBO-Bench基准,系统剖析LLM智能体做黑盒优化时工具、信息与控制权的价值。
Ming Chen, Rong-Xi Tan, Ke Xue, Yu-Jie Zhou, Taiye Lu, Zhi-Xuan Gao, Peng...
2026-10-09
LLM智能体
分子设计
基准测试
芯片设计
贝叶斯优化
借鉴欺诈菱形理论,用中性-诱导配对实验系统测量LLM智能体欺骗何时更易发生
Yiming Xu, Hongyue Yu, Beihua Yang, Zihan Chen, Yixin Liu, Zhen Peng, Bin...
2026-10-08
AI安全
LLM智能体
可信AI
基准测试
欺骗行为评测
84项仿真任务检验智能体把数字能力转化为可靠机器人执行的程度,最强模型成功率仅19.0%
Zhiqin Yang, Chenxin Li, Xiaomeng Hu, Yibin Liu, Weidong Huang, Jiankai Sun,...
2026-10-08
具身智能
基准测试
多模态大模型
智能体评测
机器人学习
干将智能体把衍射分析经验固化为可验证的技能,物相鉴定与精修全面领先基准
Bin Cao, Huichi Zhou, Runyu Yang, Jingsong Li, Shuchen Sun, Yan Song, Hanyu...
2026-10-08
Rietveld精修
X射线衍射
基准测试
物相鉴定
科学智能体
构建656例SafeActBench基准,定位智能体从证据建立到行动执行的链条断裂点
Hongzhan Lin, Shidong Cao, Ziyang Luo, Wenhao Chai, Mong-Li Lee, Wynne Hsu
2026-10-07
LLM智能体
基准测试
工具使用
智能体可靠性评估
确定性评估器
六类科学灌水指标识别AI论文达85.9%准确率,证据约束修订框架弥合63%人机差距
Yerim Oh, Young-Jun Lee, Jaewoo Ahn, Gunhee Kim, Dongyeop Kang
2026-10-05
AI生成内容检测
LLM智能体
同行评审
基准测试
科学论文写作
8000个物理仿真视频评测嵌入模型的物理对齐与量化信息可恢复性,发现二者存在权衡。
Yiqi Liu, Ruifeng Yuan, Yang Wang, Long Li, Fengyu Cai, Hou Pong Chan,...
2026-10-05
基准测试
多模态嵌入
检索增强生成
物理仿真
视频表征
构建感知-推理-评估闭环基准,系统诊断16个VLM的物理理解短板
Xinge Peng, Yiting Lu, Tianwu Zhi, Wen Wen, Jianzhao Liu, Xin Li, Zhibo Chen
2026-10-02
基准测试
模型评估
物理智能
视觉语言模型
视频理解