首个集成符号因果推理与数据科学执行的综合基准测试框架
标签：
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
视觉语言模型
世界模型
GRPO
多模态大模型
多智能体系统
多模态学习
智能体
知识蒸馏
图像生成
代码生成
LLM智能体
注意力机制
LLM Agent
具身智能
流匹配
多模态大语言模型
视频理解
数学推理
检索增强生成
可解释性
图像编辑
多模态
机器人学习
机器人操作
自监督学习
工具使用
Transformer
基准评测
对比学习
长上下文
RLVR
多模态推理
计算机视觉
数据合成
LLM评估
信息检索
推理加速
3D重建
扩散语言模型
自回归模型
视觉推理
RAG
参数高效微调
LoRA
视觉-语言-动作模型
Flow Matching
模型压缩
自回归生成
视觉-语言模型
后训练
工具调用
持续学习
高效推理
RLHF
策略优化
构建覆盖15个领域433项技能的数据智能体综合评测基准
首次系统研究表格推理中的数据引用错误(DREs)，提出基于critic的检测和缓解方法
揭示多模型LLM系统的精度上限由共同失败率β决定，而非常用的成对错误相关系数ρ
构建150个真实日常任务的基准测试，用级联评估标准系统评估搜索智能体能力
研究LLM在遇到合理错误论证时是否会改变正确答案，发现翻转率差异巨大（17.5%-97.3%）
首个评估AI端到端自主科学研究能力的基准，40任务10领域揭示当前系统距可靠重发现差距巨大
提出首个评估LLM生成符合目标分布样本能力的基准
提出ARCANE基准测试框架，评估角色扮演语言代理是否能随角色心理发展轨迹产生符合该阶段状态的响应。
构建1,638个标准化患者案例评估LLM临床Agent动态决策能力，发现最强模型仅完成60.4%
评估LLM代理多轮对话下主动搜索能力的200任务基准
AI评审员在综合质量上可超越顶级人类评审员，但存在事实正确性短板和视角多样性问题
数学家新创作的439道研究级数学题，前沿模型最高仅30.4%
构建首个基于全文文献的多物种植物细胞类型标记基因证据基准，揭示LLM在生物学证据归因上的关键短板。
指令引导的阿拉伯语及方言诗歌生成
👍 4构建百万级多方言指令数据集并微调LLM可控生成阿拉伯诗歌。
首个大规模基准评估AI智能体在科学文献深度与广度检索中的真实能力
评估智能体能否从经验中发现并持续修复技能库的终身学习基准
用种子驱动的程序化生成构建无限科学数据仓库与可验证问答基准
用轻量级BERT模型替代词汇方法，高效评估LLM答案正确性
构建405道自然科学实验预测任务，揭示LLM在实验结果预测与可靠性校准上的双重缺陷