首个统一对比长上下文LVLM与记忆增强代理的多模态长期记忆基准

提出二维评测矩阵与371题基准，专测多模态智能体能否在长程交互中保留并推理像素级视觉证据。

首个覆盖36类任务、融合结构化推理评分的图像编辑与奖励模型统一基准。

面向长会话智能体的记忆评测基准，揭示所有系统依赖推理崩塌。

把视频生成评测重定义为世界状态预测,提供436个结构化推理用例与6K专家偏好对的诊断式基准。

用结构化规约贯穿生成流程，按承诺状态条件调用检索/推理/修复，解决图像生成的概念鸿沟。

提出 68 指标框架，揭示六大 vibe coding 平台在规范理解、后端基础设施、生产可用性和安全上的系统性短板。

提出组合性偏差框架与首个专门评测 MLLM 裁判可靠性的九类偏差基准

CoT 提示降低视觉空间推理能力，揭示 MRMs 文本先验幻觉

把多词表达资源按「分类/抽取/解释」三种原子操作重组，构建操作对齐的语义基准

首个覆盖多轮、对话质量/对话特征/指令遵循/安全四大维度的全双工语音模型评测基准。

提出视频编辑领域首个三维解耦的人工标注奖励模型与基准数据集

真实可复现的多模态深度研究智能体评测基准

金融场景下LLM调用MCP工具的评测基准，含613样本与65个工具

首个以交互为中心的视频世界模型评测基准，揭示当前模型在因果一致性和物理交互上的核心短板。

首个可运行的金融工具使用基准，760工具+295题+合规评估

首个平行语音-文本多语言提示数据集，揭示SLLMs在口语指令下的真实能力

用400个价值超百万美元的专业任务，评测语言智能体的真实职业能力

提出HybridRAG-Bench框架，分离RAG推理与参数记忆。

373条人工构建查询+人类搜索轨迹，评估搜索智能体深度与广度能力