面向LLM生成Triton内核的基准，揭示任务结构主导正确性、迭代只修不快。
标签：
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
视觉语言模型
世界模型
GRPO
多模态大模型
知识蒸馏
LLM智能体
多智能体系统
智能体
多模态学习
流匹配
具身智能
图像生成
基准评测
代码生成
LLM Agent
检索增强生成
注意力机制
机器人操作
多模态大语言模型
视频理解
可解释性
数学推理
图像编辑
多模态
机器人学习
RLVR
自监督学习
长上下文
后训练
Transformer
工具使用
对比学习
数据合成
视觉-语言-动作模型
推理加速
工具调用
LoRA
多模态推理
RAG
计算机视觉
LLM评估
信息检索
视觉推理
评测基准
高效推理
参数高效微调
扩散语言模型
自蒸馏
综述
Flow Matching
3D重建
模型压缩
自回归生成
持续学习
自回归模型
首个统一评估交互式世界模型的基准，提出动作生成框架，跨4.9K任务对14个模型做九维评测。
首个面向海洋科学的统一多模态语料库，含50亿token与14万指令对
构建 Claw 风格个人智能体训练数据合成、SFT/RL 训练与基准评测的端到端可扩展框架。
从生成视角探索空间智能
👍 23提出 GSI-Bench：首个生成式空间智能基准，仿真训练可提升空间编辑与理解。
提出 BEHEMOTH 基准与 CluE 集群进化方法，解决异构 LLM 记忆提取难题。
首个系统评测 Agent-as-a-Judge 的基准，带工具访问 F1 平均涨 13 点。
构建了跨越47国17语、3万+奥数题的MathNet基准，并首次系统性评测模型在数学等价检索上的能力。
构建可控多模态乘法基准，用算术负荷C与强迫续写探针揭示多模态LLM的乘法失误源于计算而非感知。
首个要求多模态(含视频/音频)网络检索与多跳推理的搜索增强代理评测基准
通过 PPI 让 LLM 动态处理任意多层级的指令冲突。
首个覆盖工件级与型号级细粒度语义的制造领域MLLM基准，揭示领域知识才是性能瓶颈。
首个评估LLM自主发现软件bug能力的游戏基准，30个游戏124个bug，最优模型仅发现48.39%
提出将智能体个性化扎根于文件系统操作行为轨迹,包含数据引擎、诊断基准与自底向上记忆架构三件套
基于亿级应用流量的时间序列预测基准，揭示深度学习与基础模型的互补优势
提出首个面向多Agent环境感知评测的端到端基准，包含2.4K高密度标注的多视点游戏视频QA对，揭示MLLM在时序推理和跨视频理解上的显著不足。
首个面向数据智能体评测的现实多数据库集成基准
首个评测全模态模型社交互动能力的 who-when-how 三维基准
2万题音视频联合推理基准，揭示最强模型仅64.2%准确率
首个评估图像编辑模型学科推理能力的基准，揭示当前模型在知识密集型编辑中的巨大瓶颈