首个系统评测大模型高级数学证明生成与验证能力的基准套件
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
视觉语言模型
世界模型
GRPO
多模态大模型
多智能体系统
多模态学习
智能体
知识蒸馏
图像生成
代码生成
LLM智能体
注意力机制
LLM Agent
具身智能
流匹配
多模态大语言模型
视频理解
数学推理
检索增强生成
可解释性
图像编辑
多模态
机器人学习
机器人操作
自监督学习
工具使用
Transformer
基准评测
对比学习
长上下文
RLVR
多模态推理
计算机视觉
数据合成
LLM评估
信息检索
推理加速
3D重建
扩散语言模型
自回归模型
视觉推理
RAG
参数高效微调
LoRA
视觉-语言-动作模型
Flow Matching
模型压缩
自回归生成
视觉-语言模型
后训练
工具调用
持续学习
高效推理
RLHF
策略优化
提出IdeaGene框架和IG-Bench基准,评估AI系统的科学思想谱系推理能力
首个在真实环境中评估主动agent的能力驱动基准测试
首个集成符号因果推理与数据科学执行的综合基准测试框架
提出包含42个模拟任务和18个现实世界任务的统一基准,评估通用机器人操作策略在泛化、记忆、长期执行、精度和开放语义五个维度的能力。
首个评估MLLM视听艺术理解能力的综合基准,揭示模型在艺术意图推理方面的显著短板
构建18种低资源语言的数学推理基准,揭示多语言模型在低资源语言上的持续性能差距。
构建统一的优化器理论框架和大规模基准测试,为100+优化器提供机制分类和多目标性能评估。
首次发现智能体从真实环境学习遵循对数S型缩放定律,学习速度每三月翻倍
首个系统化评估VLM数据集策划策略的基准,发现数据混合比过滤更关键
评估AI代理通过反馈迭代改进可执行策略的能力
构建覆盖15个领域433项技能的数据智能体综合评测基准
首个静脉识别数据增强综合基准,揭示准确率与鲁棒性的关键权衡
提出DISCOBENCH基准,评估搜索代理在深度搜索中主动识别和澄清模糊性的能力
首个评估VLM在专业领域视频定位适应能力的基准
首个评估长期记忆系统如何不当影响决策的基准测试,揭示现有智能体普遍存在记忆诱导的谄媚问题
审计三大性能优化基准,揭示参考补丁失效、评分规则偏差和任务覆盖饱和问题
研究发现编码代理存在'构建到测试'倾向,基准测试分数无法真实反映交付物的质量
提出AFTER基准和EVOLUTION框架,研究LLM智能体程序性记忆的泛化能力
小大脑,大成就:探索紧凑型语言模型
👍 15小型语言模型在RAG系统中可媲美大型模型,且无需GPU