2万题音视频联合推理基准,揭示最强模型仅64.2%准确率
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
首个评估图像编辑模型学科推理能力的基准,揭示当前模型在知识密集型编辑中的巨大瓶颈
构建238道真实案例、每例平均54项二元核对项的幻灯片生成评测基准,显著提升人评一致性。
为判官模型构建含偏好图与列表式评估的指令遵循评测基准
首个系统评估「生成能否帮助理解」的统一多模态模型基准,覆盖3000样本×35模型。
首个覆盖7类推理、21项任务的真实生活多图像推理基准,揭示SOTA MLLM的巨大差距
首次提出“微观世界仿真”概念,构建专家审核的显微视频基准、9.6K 数据集与微调模型。
Cryo-Bench:首个冰冻圈语义分割基准,评测14个地理基础模型。
提出长时程CLI编程基准,揭示当前最强智能体通过率不足20%,人机协作可显著提升性能。
提出多层次评估框架,揭示MLLMs在双手协调中「高级推理强、精细执行弱」的协调悖论
首个配对评估Agent Skill效果的基准,覆盖87任务18配置
三场景经济环境基准,揭示LLM长程决策中无单一模型全面占优的系统性瓶颈
首个开放域闭环世界模型基准,评测记忆一致性与动作控制
首个评估编程智能体代码上下文检索能力的过程级基准
评测基准,隔离视觉知识与推理,评估MLLM的实体识别能力
提出 VDR-Bench,揭示现有基准两大缺陷并设计多轮裁剪搜索策略
提出DDR-Bench基准,评估LLM在无预设问题下自主探索数据库并挖掘洞见的能力
提出测试维护评估基准TAM-Eval,揭示LLM在测试生成/修复/更新上的能力局限
提出代码驱动的科学图像生成框架ImgCoder和评测基准SciGenBench,揭示精度-表现力权衡
首个覆盖感知/推理/预测/决策四维度的多模态时间序列推理基准,评测30+主流模型