WorldBench：一个具有挑战性和视觉多样性的多模态推理基准 WorldBench: A Challenging and Visually Diverse Multimodal Reasoning Benchmark
提出视觉多样性优先的多模态推理基准WorldBench
前置知识
多模态大语言模型（MLLM）
多模态大语言模型是能够理解和处理多种模态（如文本、图像、音频等）的深度学习模型。它们通常由预训练的视觉编码器（如CLIP、DINO等）和语言模型（如GPT、LLaMA等）组成，通过跨模态对齐实现视觉-语言的联合理解。MLLM可以执行图像描述、视觉问答、推理等任务，是当前AI研究的热点方向。
本文的核心研究对象是MLLM，理解其基本架构和工作原理对于理解评估基准的设计至关重要。WorldBench正是为了评估MLLM在多样化视觉场景下的推理能力而构建。
视觉编码器（Vision Encoder）
视觉编码器是将图像转换为高维向量表示的神经网络模型，通常基于Vision Transformer（ViT）或卷积神经网络架构。常见的视觉编码器包括CLIP、SigLIP、DINO等，它们在大规模图像数据集上预训练，能够提取丰富的视觉特征。这些特征向量可以用于图像检索、分类、相似度计算等任务。
本文使用多种视觉编码器（SigLIP 2、Perception Encoder、DINO v3）来定量评估图像集的视觉多样性，通过分析图像嵌入的协方差结构来计算有效秩和参与比。理解视觉编码器的工作原理有助于理解这些评估指标的含义。
Bradley-Terry模型
Bradley-Terry模型是一种用于分析成对比较数据的概率模型，广泛应用于体育比赛排名、搜索引擎A/B测试、大模型竞技场等场景。它为每个项目分配一个潜在分数theta_i，定义项目i优于项目j的概率为P(i>j) = exp(theta_i) / (exp(theta_i) + exp(theta_j)) = sigma(theta_i - theta_j)，其中sigma是sigmoid函数。通过对观测到的成对比较结果进行最大似然估计，可以得到各项目的相对能力排序。
本文使用Bradley-Terry模型来聚合人类评估中成对的多样性比较结果，生成各基准的全局多样性排名。理解这个模型有助于理解人类评估结果如何转化为量化指标。
有效秩（Effective Rank）
有效秩是衡量矩阵或数据集复杂度的一种指标，定义为特征值分布的信息熵的指数形式：ER(C) = exp(-sum(p_i * log(p_i)))，其中p_i = lambda_i / sum(lambda_j)是第i个特征值的相对贡献，lambda_i是样本协方差矩阵的特征值。有效秩的取值范围是1到d（矩阵的秩），值越大表示数据方差分布在更多方向上，数据多样性越高。
本文使用有效秩来定量评估不同基准图像集的视觉多样性。通过计算多个视觉编码器提取的图像嵌入的有效秩，作者证明WorldBench在视觉多样性方面优于现有基准。
研究动机
现有的多模态评估基准主要采用以任务为中心的构建范式，即先设计任务类别（如物体识别、OCR等），然后为每个类别构建问题。这种方法存在一个根本性问题：它过度关注任务类型的多样性，却忽略了图像本身的视觉多样性。图像的视觉多样性决定了能够提出什么类型的问题，从而决定了能够评估模型的哪些能力。具体来说，如MMMU和MEGA-Bench这样的基准大量使用教科书风格的图表和示意图，而MMBench中的图像往往是单个居中的物体，背景信息极其有限。这种视觉上的局限性导致基准无法充分测试MLLM理解和推理真实世界中多样化视觉内容的能力。例如，ImageNet将超过120个类别分配给不同犬种，却完全覆盖不了数字图像（如网页、截图、游戏），而这类内容在现代MLLM应用中日益重要。
本文的目标是本文的目标是构建一个以视觉多样性为核心的多模态推理基准WorldBench，用于全面评估多模态大语言模型理解和推理真实世界视觉内容的能力。WorldBench包含2000个精心策划的问题，涵盖7个视觉领域：生物、物体、场景、数字世界、学术、文档图表和智能体。通过构建大规模视觉概念分类法，从搜索引擎和现有数据集中收集高质量的多样化图像，并设计对前沿MLLM具有挑战性但人类直觉上自然易懂的问题，WorldBench旨在揭示当前MLLM在视觉理解方面的弱点，特别是那些在现有任务导向基准中无法充分暴露的缺陷。
与已有工作不同的是，本文的独特切入角度是从视觉多样性而非任务多样性出发构建多模态基准。与ZeroBench等其他挑战性基准通过链式独立子问题构造复杂问题不同，WorldBench的问题设计更自然、更接近真实世界场景。更重要的是，本文不仅通过定量指标（有效秩、参与比）评估视觉多样性，还首次引入了人类评估来验证基准在人类感知中的多样性表现。这种双重评估方法确保了WorldBench不仅在数学意义上具有高视觉多样性，而且这种多样性能够被人类感知和认可。此外，本文还系统地分析了推理长度对性能的影响，以及WorldBench与其他基准在模型性能相关性方面的差异，这些分析为理解MLLM的视觉推理能力提供了新的视角。
核心方法
WorldBench的构建采用三步流程：首先构建覆盖广泛视觉概念的大规模分类法，然后根据分类法收集高质量图像，最后为每张图像设计具有挑战性的问题。整体思路是从视觉世界的多样性出发，而不是从任务类型出发，确保基准能够覆盖尽可能丰富的视觉内容。作者使用大语言模型辅助构建分类法，但保留人类在关键决策环节的参与，确保分类法的合理性和图像质量。问题设计采用结构化试错方法，迭代优化问题直到至少一个前沿模型回答错误，从而确保问题的挑战性。整个构建过程体现了人类智慧与AI能力的有效结合，既利用了LLM的大规模知识生成能力，又通过人类专家的精细调控保证了基准的质量。
核心创新点是将视觉多样性作为基准构建的首要原则，而非任务多样性。具体体现在三个方面：一是构建了一个包含2000个细粒度视觉概念的大规模分类法，涵盖7个视觉领域，全面覆盖视觉世界；二是从多个来源（搜索引擎、现有数据集）收集图像，并优先选择非标志性、非物体中心的图像，以丰富视觉语境；三是问题设计针对前沿MLLM的失败模式，通过迭代测试确保问题具有实际挑战性。与现有基准相比，WorldBench在定量评估（有效秩和参与比）和人类评估（Bradley-Terry得分）两方面都表现出更高的视觉多样性，这为评估MLLM的视觉理解能力提供了更全面、更真实的测试环境。
方法步骤详情
构建WorldBench的完整步骤如下：第一步是构建综合分类法。作者首先定义7个高层视觉领域作为分类法的骨干，然后使用大语言模型为每个领域生成候选子域，人工审查后合并相似概念、删除冗余项。这个生成-精炼循环重复多次直到没有新的重要子域出现。对于Agent领域，Robotics子域的分类法约60个叶子概念来自AgentVQA数据集，其他子域采用LLM辅助构建。最终分类法包含约2000个细粒度视觉概念。第二步是根据分类法收集图像。对于每个视觉概念，从Google和Bing等搜索引擎查询数百张候选图像，选择最匹配目标概念的图像。作者优先选择非标志性图像，即具有丰富语境、可能包含多个物体的图像，而非物体中心的特写视图。对于Robotics子域，直接从AgentVQA数据集选择代表性图像，然后人工验证。第三步是设计挑战性问题。为每张图像起草初始问题，在多个前沿模型上评估，迭代修改问题直到至少一个模型回答错误。所有问题都是四选一多选题，问题内容不必与用于检索图像的视觉概念直接相关。最后进行多轮人工审查，澄清模糊语言，确保每个问题只有一个正确答案。
技术新颖性
WorldBench的技术新颖性体现在多个方面：首先，它是首个以视觉多样性为核心构建原则的多模态基准，打破了现有基准以任务为中心的构建范式；其次，首次将人类评估引入视觉多样性的量化评估，使用Bradley-Terry模型从成对比较中生成全局排名，与基于嵌入的定量评估相互验证；第三，问题设计采用模型驱动的试错方法，直接针对前沿模型的失败模式，而非人工预设任务类型；第四，系统地研究了推理长度对性能的影响，发现增加推理token数量并不总能提升性能，在某些领域甚至会下降；第五，通过计算与其他基准的模型性能相关性，发现WorldBench提供了评估MLLM的新维度，其与其他基准的平均相关性为0.94，是所比较基准中最低的，这表明WorldBench确实捕捉到了其他基准未能评估的能力方面。这些创新使得WorldBench成为评估MLLM视觉推理能力的重要工具。
实验结果
WorldBench的评估结果揭示了多模态大语言模型在视觉理解方面的显著弱点。定量评估方面，使用SigLIP 2、Perception Encoder和DINO v3三种视觉编码器计算有效秩和参与比，WorldBench在多数情况下排名第一或第二。具体而言，使用SigLIP 2时，WorldBench的有效秩为308.3，高于MMBench的256.4和MMT-Bench的253.3；使用Perception Encoder时，WorldBench的有效秩为253.3，排名第一；使用DINO v3时，WorldBench的参与比为241.7，同样排名第一。人类评估方面，从12名志愿者收集360对比较结果，使用Bradley-Terry模型聚合得到全局排名，WorldBench得分1187.4，显著高于MMT-Bench的1157.8、MMBench的1149.3和SEED-Bench-2的1115.4。模型性能评估方面，在15个MLLM上测试，最强的专有模型Gemini-3.1-Pro平均准确率仅64.0%，最强的开源模型Qwen3.5-VL-27B平均准确率56.6%。没有任何模型在任何一个领域达到75%以上的准确率。性能差距巨大，例如在Documents, Charts, & Tables领域，Gemini-3.1-Pro达到73.8%，而Gemma-4-E4B仅39.0%，仅略高于随机猜测水平。推理长度分析显示，从无推理到低推理预算时所有领域性能都有提升，但继续增加推理预算时趋势分化：Digital World、Objects、Scenes和Agents继续提升，而Documents, Charts, & Tables、Academics和Living Things则出现饱和或下降，这表明生成更多推理token可能导致模型陷入推理循环。相关性分析显示，WorldBench与MMMU、MMStar和MMT-Bench的平均Pearson相关性为0.94，是所比较基准中最低的，这表明WorldBench确实评估了不同的能力维度。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视觉多样性定量评估 | 有效秩 | 308.3 | 256.4 | +20.2% |
| 视觉多样性人类评估 | Bradley-Terry得分 | 1187.4 | 1157.8 | +2.6% |
| MLLM视觉推理 | 平均准确率 | 64.0% | 56.6% | +13.1% |
局限与改进
作者在论文中明确指出了一些局限性。首先，使用预训练视觉编码器作为视觉多样性度量存在局限性，因为不同编码器在不同的数据分布上训练，捕获的视觉表示可能有所不同，这可能导致多样性评估的偏差。其次，虽然WorldBench在视觉多样性方面优于现有基准，但它仍然局限于2000个问题和7个领域，可能无法完全覆盖视觉世界的所有方面。第三，人类评估仅涉及12名志愿者，每人进行30对比较，虽然通过Bootstrap方法计算了置信区间，但样本规模仍然相对较小。第四，问题设计依赖于前沿模型在构建时期的性能水平，随着模型能力的提升，一些问题可能变得不再具有挑战性。除了作者承认的局限性外，我还观察到一些其他问题：首先，WorldBench主要关注静态图像，没有考虑视频或其他模态的视觉内容；其次，问题类型仅限于四选一多选题，可能无法充分评估模型的生成和解释能力；第三，虽然优先选择非标志性图像，但图像仍然主要来自搜索引擎，可能存在某些领域或文化背景的代表性不足问题；第四，评估主要集中在准确性，没有考虑模型的推理效率、计算成本等实用指标。这些局限性为未来的工作提供了改进方向。
独立分析的弱点
WorldBench存在几个值得进一步改进的弱点。首先是领域覆盖的平衡性问题，虽然7个领域的划分看似全面，但每个领域的问题数量分布可能不均匀，某些视觉概念可能过度或不足代表。建议引入更系统的采样策略，确保每个领域的视觉概念在基准中的代表性与其在真实世界中的重要性相匹配。其次是问题的动态性和时效性问题，随着MLLM能力的快速提升，当前具有挑战性的问题可能在几个月内就被解决。建议建立持续更新机制，定期替换已被解决的问题，添加新的挑战性问题，甚至可以考虑社区贡献的开放式问题池。第三是文化多样性和全球覆盖问题，主要从英文搜索引擎收集图像可能存在西方中心偏移，建议扩展到多语言搜索引擎和不同地区的数据源，确保基准的全球代表性。第四是评估指标的单一性问题，主要关注准确性可能无法全面反映模型能力，建议增加对推理质量、答案一致性、计算效率等维度的评估。第五是问题类型的局限性，仅使用四选一多选题限制了评估的深度，建议增加开放生成问题、多步骤推理问题、反驳论证问题等多种题型。
未来方向
基于WorldBench的成果，未来有多个值得探索的研究方向。作者提到希望自己的工作能够激励构建优先考虑视觉多样性的数据集，这表明扩展到其他模态（如视频、音频、3D场景）是一个自然方向。从技术角度看，可以探索更精细的视觉多样性度量，不仅考虑图像内容的多样性，还可以考虑构图、风格、光照、视角等视觉特征的多样性。另一个重要方向是开发自动化的问题生成方法，利用大语言模型和视觉-语言模型自动生成具有挑战性的问题，并使用人类评估和模型评估的双重验证机制确保问题质量。从应用角度看，可以研究WorldBench的表现与模型在真实世界任务中的表现之间的相关性，探索使用WorldBench的分数来预测模型在实际应用中的性能。还可以研究不同训练策略（如多模态预训练数据多样性、监督微调数据选择、强化学习奖励设计等）对WorldBench性能的影响，为改进MLLM训练方法提供指导。
复现评估
WorldBench的可复现性情况相对良好。作者提供了项目网站，标注了Code和Dataset可用性，表明基准数据和代码将会开源。论文详细描述了构建过程的三个步骤，包括分类法构建、图像收集和问题设计，为复现提供了清晰的指导。定量评估部分详细说明了有效秩和参与比的计算方法，包括使用的三种视觉编码器和数据处理流程。人类评估部分描述了用户界面设计、Bradley-Terry模型的参数估计方法和Bootstrap置信区间的计算过程。模型评估部分列出了所有15个模型的名称、访问方式和评估参数。从计算资源角度看，复现定量评估需要运行多个视觉编码器提取图像特征，计算量中等；复现模型评估需要调用多个专有模型API或运行大型开源模型，成本较高但可行。总体而言，WorldBench的复现难度中等，主要挑战在于收集高质量图像和设计具有挑战性的问题，这两个环节都需要大量人力投入。
论文图表
