各就其位：文本到图像模型空间智能基准测试

提出SpatialGenEval基准，系统评估T2I模型的空间感知、推理与交互能力

前置知识

文本到图像生成（Text-to-Image, T2I）

给定一段自然语言描述（prompt），模型自动生成与之匹配的图像。当前主流范式为扩散模型（Diffusion Models），通过逐步去噪过程从随机噪声生成图像；此外还有自回归模型（逐token生成）和统一多模态模型（同时具备理解与生成能力）。代表性模型包括Stable Diffusion、FLUX、DALL-E、Qwen-Image等。

本文的核心任务是评估T2I模型的空间智能，理解T2I的基本工作原理是理解评估目标的前提。

空间智能（Spatial Intelligence）

空间智能是指对空间关系的感知、推理和交互能力。在本文中，作者将其分解为四个层次：空间基础（对象和属性的正确生成）、空间感知（位置、朝向、布局）、空间推理（比较、邻近、遮挡）和空间交互（运动交互、因果交互）。这种层级框架借鉴了认知科学中对空间认知的研究。

这是本文的核心概念，论文的整个基准测试都是围绕空间智能的定义和评估展开的。

信息密集型提示（Information-dense Prompts）

与传统基准测试使用的短提示不同，信息密集型提示包含多个相互关联的空间约束，平均长度约66个词，需要模型同时处理对象、属性、位置、布局、比较、邻近、遮挡、运动和因果等多个维度的信息。这种设计更接近真实应用场景的复杂性。

信息密集型提示是本文方法的核心创新，它揭示了现有模型在处理复杂空间关系时的瓶颈。

多模态大语言模型（MLLM）作为评估器

使用多模态大语言模型（如Qwen2.5-VL-72B、GPT-4o）作为自动评估器，替代传统的人工评估或简单的分类指标。MLLM接收生成的图像和多选题，根据视觉内容选择正确答案。为提高稳定性，采用5轮投票机制，只有在至少4轮中选对才计为正确。

MLLM评估器是本文评估流程的核心，其与人类评估的一致性（约80%）直接影响基准测试的可靠性。

数据为中心的方法（Data-centric Approach）

与模型架构改进不同，数据为中心的方法关注通过提升训练数据的质量和多样性来改善模型性能。本文构建了SpatialT2I数据集（15,400个文本-图像对），通过微调现有模型来验证数据质量对空间智能的影响。

这是本文的另一个核心贡献，证明了即使不改变模型架构，通过高质量数据也能显著提升空间智能。

研究动机

当前T2I模型在生成高保真图像方面取得了显著进展，但在处理复杂空间关系时经常失败。如论文Figure 1所示，即使是最先进的模型（如GPT-Image-1、Qwen-Image、Bagel）也会出现对象错位、方向错误、数量比较失败、因果交互不正确等问题。这些不是轻微的美学缺陷，而是表明模型缺乏空间智能——即空间感知、推理和与真实场景交互的核心能力。然而，现有的基准测试（如T2I-CompBench、GenEval、DPG-Bench）大多使用短或信息稀疏的提示，只能验证对象存在性、属性绑定或简单二元关系，无法全面评估模型的空间能力。例如，现有测试常使用Yes/No选择题（如图中是否有骰子？），这种粗粒度的评估无法捕捉模型在高级空间推理上的关键缺陷。

本文的目标是本文旨在引入SpatialGenEval，一个系统评估T2I模型空间智能的新基准。具体目标包括：(1) 构建包含1,230个信息密集型提示的评估集，覆盖25个真实场景，每个提示整合10个空间子领域；(2) 设计细粒度的多维多选题评估机制，每个提示配对10个精心设计的问题；(3) 通过大规模评估23个最先进模型，揭示当前T2I模型在空间智能上的具体瓶颈；(4) 探索数据为中心的方法，通过构建SpatialT2I数据集（15,400个文本-图像对）来验证高质量数据对空间智能的提升效果。

与已有工作不同的是，本文的独特切入点在于关注长且信息密集的提示设计，而非传统基准测试的短提示。作者发现，当提示包含多个相互依赖的空间约束时，模型的性能会显著下降，这揭示了现有评估的根本局限。此外，本文采用多维多选题评估方式，而非简单的分类或二元判断，能够精确定位模型在每个空间子领域的成功与失败。这种设计灵感来自认知科学对空间智能的层级定义，将空间能力分解为基础、感知、推理、交互的递进层次，填补了T2I评估在高级空间推理方面的空白。

核心方法

SpatialGenEval的构建遵循一个清晰的定义、生成、验证流程。首先，基于认知科学和计算机视觉研究，将空间智能定义为4个域（空间基础、感知、推理、交互）和10个子域（对象、属性、位置、朝向、布局、比较、邻近、遮挡、运动交互、因果交互）。然后，利用Gemini 2.5 Pro生成信息密集型提示：给定一个真实场景（如森林、厨房）和10个空间子域的定义，要求模型生成一个约60词的提示，无缝整合所有10个空间约束。每个提示再配对10个多选题，每个问题针对一个子域。整个流程包含人工审核环节，确保提示质量和问题设计的合理性。

本文的核心创新在于信息密度和多维评估的结合设计。传统基准测试使用短提示，只能测试对象-属性绑定等基础能力。而SpatialGenEval的提示平均66个词，同时包含多个空间约束（如一个生锈的机器人，面向右侧，比书高但比花瓶矮），这要求模型同时处理对象识别、属性绑定、相对位置、比较推理等多个维度。更重要的是，每个提示配对10个精心设计的多选题，覆盖所有空间子域，使得评估能够精确到每个能力维度。这种设计不仅揭示了模型的瓶颈（如空间推理准确率低于30%），还为数据驱动的改进提供了方向。

方法步骤详情

方法分为三个主要阶段：(1) 提示生成阶段：从25个真实场景（自然、室内、户外、人类、设计）中选取场景，结合10个空间子域定义，使用Gemini 2.5 Pro生成信息密集型提示。提示长度约60词，平衡CLIP编码器的77 token限制和信息密度需求。生成后由5名人类专家审核，修正逻辑错误、简化词汇、确保覆盖所有子域。(2) 问题生成阶段：对每个提示，使用Gemini 2.5 Pro生成10个多选题，每个问题针对一个子域。问题设计包含4个合理选项和1个E: None选项，避免强制猜测。同样由人类专家审核，确保问题不泄露答案、表述准确。(3) 评估阶段：T2I模型根据提示生成图像，然后使用MLLM评估器（Qwen2.5-VL-72B）回答10个问题。采用5轮投票机制，只有在至少4轮中选对才计为正确。最终报告每个子域的准确率。

技术新颖性

与现有基准测试相比，SpatialGenEval在三个方面具有技术新颖性：(1) 提示设计：首次采用信息密集型设计，每个提示同时包含10个空间约束，而传统基准测试通常只测试1-2个空间关系。(2) 评估方式：采用多维多选题而非二元判断或分类，每个提示配对10个问题，能够精确定位模型在每个子域的表现。(3) 层级框架：基于认知科学定义的空间智能层级（基础、感知、推理、交互），将空间能力分解为10个子域，提供了更全面的评估视角。此外，作者还探索了数据为中心的改进方法，构建SpatialT2I数据集用于微调，验证了高质量数据对空间智能的提升效果。

实验结果

论文对23个最先进的T2I模型进行了大规模评估，揭示了几个关键发现：(1) 开源模型正在追赶闭源模型，但空间智能仍是重大挑战。最佳开源模型Qwen-Image（60.6%）已接近领先闭源模型Seed Dream 4.0（62.7%），但最高分仅略高于60分及格线，表明即使是最先进的模型对复杂空间智能的掌握也很初级。(2) 空间基础与高级空间智能之间存在显著性能差距。在空间基础任务上，顶级模型（如Qwen-Image、Bagel）在对象和属性生成上得分超过70%，但在需要复杂推理的空间感知、推理和交互任务上性能明显下降。(3) 空间推理是主要瓶颈。比较和遮挡等子任务的得分经常低于30%，接近随机选择（20%）。这表明当前T2I模型可以正确渲染对象，但无法将对象的语义属性与场景的结构逻辑（如相对大小、物理层次）绑定。(4) 文本编码器能力是关键决定因素。使用强大LLM编码器的模型（如Qwen-Image使用LLM编码器）始终优于使用标准CLIP编码器的模型（如SD-1.5）。例如，Qwen-Image（60.6%）显著优于SD-3.5-L（54.0%），而使用T5的FLUX.1（56.5-58.5%）和SD-3（54.0-54.6%）也明显优于仅依赖CLIP的SD-1.5（28.5%）。(5) 数据为中心的方法有效。使用SpatialT2I数据集微调后，SD-XL提升+4.2%，UniWorld-V1提升+5.7%，OmniGen2提升+4.4%，且在空间关系上产生更逼真的效果。

**Table 2**: SpatialGenEval排行榜（Qwen2.5-VL-72B评估）

**Table 10**: SpatialGenEval排行榜（GPT-4o评估）

查看结构化数据

任务	指标	本文	基线	提升
空间智能综合评估	总体准确率(%)	最佳开源模型Qwen-Image: 60.6%，最佳闭源模型Seed Dream 4.0: 62.7%	随机选择: 19.8%，SD-1.5: 28.5%	相比早期模型SD-1.5提升约32个百分点
空间推理（比较）	子域准确率(%)	最佳模型约32%（Seed Dream 4.0: 32.1%）	随机选择: 20.3%	仅略高于随机水平
空间推理（遮挡）	子域准确率(%)	最佳模型约34%（Seed Dream 4.0: 33.8%）	随机选择: 19.6%	仅略高于随机水平
微调效果验证	总体准确率提升(%)	SD-XL: +4.2%，UniWorld-V1: +5.7%，OmniGen2: +4.4%	原始模型	一致的性能提升

局限与改进

论文承认了两个主要局限性：(1) 规模问题：SpatialGenEval的构建依赖半自动化、人工参与的流程，虽然确保了数据质量，但过程劳动密集，难以扩展到更大规模或新领域。(2) 范围问题：10个空间子域的层级框架是对近乎无限复杂的现实世界空间现象的抽象，更细致或动态的空间效应（如流体动力学、复杂变形、多智能体预测交互）值得未来探索。从个人观察来看，评估的局限性还包括：(1) 评估器依赖：虽然论文验证了MLLM评估器与人类的一致性（约80%），但仍存在约20%的不一致，特别是在空间推理任务上一致性更低（约73%）。(2) 场景覆盖：25个场景虽然多样，但可能无法完全代表所有真实应用场景，特别是专业领域（如医学影像、工程制图）。(3) 提示设计：信息密集型提示虽然更接近真实应用，但平均66词的长度可能仍无法完全捕捉长文档描述的复杂性。

独立分析的弱点

基于独立分析，本文存在几个值得关注的弱点：(1) 评估深度不足：虽然论文揭示了空间推理是主要瓶颈，但未深入分析失败的具体模式。例如，模型在比较任务上的失败是因为无法理解两倍大这样的相对概念，还是因为无法在图像中正确渲染相对大小？这种细粒度分析对指导改进至关重要。(2) 数据多样性有限：SpatialT2I数据集来自14个模型的生成结果，可能存在模型偏差。如果这些模型有共同的缺陷（如对某些空间关系的系统性失败），那么基于这些数据训练的模型可能会继承这些偏差。(3) 微调效果评估不够全面：论文只展示了在SpatialGenEval上的性能提升，但未评估在其他基准测试或真实应用中的表现。微调可能导致在其他能力上的性能下降（灾难性遗忘）。(4) 计算成本分析缺失：论文未详细说明评估和微调的计算成本，这对于实际应用中的可行性评估很重要。改进方向包括：(1) 增加失败模式的细粒度分析，如通过注意力可视化或错误案例研究来理解模型的具体弱点。(2) 引入更多数据源和数据增强策略，减少模型偏差。(3) 进行更全面的评估，包括其他基准测试和真实应用场景。(4) 提供计算成本分析和效率优化建议。

未来方向

论文提出了几个未来研究方向：(1) 数据集级扩展：将信息密集型提示和多维评估的原则扩展到其他生成能力，如风格控制、文本渲染、世界知识。将框架扩展到文本到视频是评估时空推理的关键步骤。(2) 对象级扩展：通过增加对象数量来利用信息密集型设置，是提高细粒度感知和生成的有前途的方法。(3) 后训练策略：除了简单微调，SpatialT2I能够探索更先进的数据为中心策略，包括课程学习（从简单到复杂的空间任务）和基于MLLM反馈的强化学习。基于本文成果，还可以延伸的方向包括：(1) 将空间智能评估扩展到多模态理解任务，如视觉问答、图像描述等。(2) 探索空间智能与其他认知能力（如物理推理、因果推理）的关联。(3) 开发专门针对空间智能的模型架构，如引入显式的空间表示或推理模块。(4) 将评估框架应用于具身智能（Embodied AI）领域，评估智能体在物理世界中的空间理解能力。

复现评估

论文在可复现性方面做得较好：(1) 开源情况：论文明确声明所有资源（基准测试、数据集、评估代码）都公开可用，项目页面为https://github.com/AMAP-ML/SpatialGenEval。(2) 数据集：SpatialGenEval包含1,230个提示和12,300个问题，SpatialT2I包含15,400个文本-图像对，数据规模适中，便于复现。(3) 算力需求：评估在8xH20 GPU上进行，使用vllm框架，每个图像评估约1.8秒，完成所有1,230个图像约40分钟。微调使用官方设置，但具体算力需求未详细说明。(4) 复现难度：中等。主要挑战在于需要访问多个T2I模型（23个）和MLLM评估器（Qwen2.5-VL-72B、GPT-4o）。对于开源模型，可以直接下载；对于闭源模型，需要API访问。此外，人工审核环节可能难以完全复现，但论文提供了详细的元指令和人工审核指南。总体而言，论文提供了足够的细节和资源，使得其他研究者能够复现主要结果。

各就其位：文本到图像模型空间智能基准测试 Everything in Its Place: Benchmarking Spatial Intelligence of Text-to-Image Models