FinDendro证明LLM自报知识截止不可信:GPT-5答对76%却只认38%
Lingfei Qian, Yan Wang, Xueqing Peng, Yupeng Cao, Yuechen Jiang, Zhuohan...
2026-11-09
LLM评估
基准构建
知识截止
自我知识
金融回测
用母题引导的进化树搜索与面向未来的叙事记忆,生成多样且连贯的微短剧剧本。
Siyang He, Qiqi Wang, Fan Liu, Yuncheng Huang, Pengfei Xu, Xi Chen, Ziwei...
2026-10-26
LLM评估
创意写作
叙事记忆
多智能体
进化搜索
RAG组件孤立增益难叠加:检索次可加、忠实度近可加,最优组合随语料规模翻转。
Ido Levy, Segev Shlomov, Leshem Choshen
2026-10-22
LLM评估
RAG
信息检索
实验设计(DOE)
组合性分析
LLM 只改写评论为前提,廉价决策模型对照论文验证,精度追平 GPT-5.5 成本减半
Dingjie Song, Zhiling Yan, Ziqian Zhang, Yuxuan Zhang, Lichao Sun
2026-10-19
LLM评估
事实核查
同行评审
基准数据集
成本感知推理
为文本任务解析计算每例真值类概率,直接评估模型概率质量与校准方法
Yuyang Dai, Yuting Tang, Futoshi Futami, Takashi Ishida
2026-10-15
LLM评估
不确定性量化
基准评测
校准
贝叶斯误差
保留全部非法交易并加权采样合法交易,将百万级测试评估压缩 271–611 倍且可无偏估计全量指标
Natapong Nitarach, Phume Ngampornsukswadi, Pittawat Taveekitworachai,...
2026-10-12
Horvitz-Thompson估计
LLM评估
反洗钱
图文本序列化
重要性加权采样
12.8万条真实临床查询显示:医疗LLM基准与实际临床用法严重错位,文档与检索占近三分之二。
Krithik Vishwanath, Haitong Lin, Anton Alyakin, Jin Vivian Lee, D. Brock...
2026-10-12
LLM评估
临床工作流
医疗AI
基准测试
标注框架
预注册非劣性检验:紧预算下原文轮次+一次重排媲美LLM抽取记忆,写成本降3061倍
Rishabh Sharma, Rishika Lall
2026-10-06
LLM评估
智能体记忆
检索增强生成
重排序
非劣性检验
提出修辞鲁棒性基准与双分支SciCore审稿框架,让AI审稿既抗措辞操纵又不丧失论文区分力
Chenguang Wang, Ming Li, Chengrui Fan, Jianpeng Chen, Han Chen, Tianyi Zhou,...
2026-10-02
AI同行评审
LLM-as-a-Judge
LLM评估
科学评审
鲁棒性基准
提出SAGO框架,以逐实例多轴行为稳定性取代聚合准确率来评估LLM泛化
Nagham Omar, Mahmoud Jabarin, Maya Rozenshtein, Rom Himelstein, Avi...
2026-10-02
LLM评估
可解释性
提示词敏感性
泛化
鲁棒性
在规则可执行且违背先验的异星环境中,精确评测AI自主探索、发现并运用新知识的能力
Ming Zhang, Zhenghao Xiang, Peizhong Gao, Yujiong Shen, Yuhui Wang, Zhonghan...
2026-09-25
AI智能体
LLM评估
可验证评测
基准评测
探索能力
Jev 一次调用输出校准概率,零样本检测十类对齐失败,AUROC 0.886,成本仅裁判 1/63
Ruoqi Guo, Yi Liu, Gelei Deng, Yuekang Li, Lida Zhao, Yutao Wu, Simin Chen,...
2026-09-25
AI对齐
LLM评估
基准评测
失败检测
强化学习
2383人随机对照实验证实AI辅导GRE提分与专家等效,最佳模型成本低至1/918
Curtis Northcutt, Inaara Hasmani, Kevin Feng, Trevor Khangi, Andreas...
2026-09-24
AI教育
LLM评估
基准平台
学习增益
等效性检验
主张为每个基准结果并列报告校准分数,使其成为LLM评估的一等标准
Mario Sanz-Guerrero, Katharina von der Wense
2026-09-24
LLM评估
校准
立场论文
置信度估计
提出关系感知情感支持对话新任务,用真实伴侣与家庭访谈基准揭示大模型关系推理短板
Haichuan Hu, Yang Xiao, Mingni Tang, Jiawen Duan, Quanjun Zhang, Congqing...
2026-09-10
LLM评估
关系建模
基准评测
多方对话
心理治疗
将SWE-Bench任务改写成真实用户风格,揭示榜单成绩高估智能体实战6.4个百分点。
Gyuhyeong Kim, Hyojung Gwon, Jeonghyeon Kim, Kyuhong Shim, Sunjae Lee
2026-09-04
LLM评估
SWE-Bench
代码智能体
基准评测
提示与沟通
从生产错误分析出发,分域训练GRPO专家并SLERP合并,把企业流量整合到单一自托管32B模型
Olga Tsymboi, Dmitrii Stoianov, Ramil Latypov, Danil Taranets, Daniil...
2026-09-02
GRPO强化学习
LLM评估
企业级LLM部署
俄语NLP
函数调用
以工具日志裁决引用真伪的客观奖励,训练出会检索、无幻觉的 AI 审稿与答辩智能体
Xuerui Su, Liya Guo, Qizhi Pei, Qipeng Guo, Zhongbo Tian, Lijun Wu, Kai...
2026-09-02
LLM评估
同行评审
奖励设计
幻觉抑制
智能体强化学习
同一模型经不同语言接口自博弈对打,实力与策略系统性偏移,英语最强、希伯来语最弱。
Bobby Cheng, Adam Gaber, Zhengyuan Liu, Catherine Arnett, Omer Goldman,...
2026-08-27
LLM评估
多语言NLP
文本博弈环境
智能体评测
自博弈
37个LLM的合成问卷受访者不敌无语言模型的copula基线,无法替代真人样本
Mantas Lukauskas, Viktorija Šarkauskaitė
2026-08-18
LLM评估
偏见审计
合成数据
基准测试
心理测量学