GEBench：将图像生成模型作为GUI环境进行基准测试

提出首个评估图像生成模型作为GUI环境能力的基准，揭示多步规划和空间定位的关键瓶颈

前置知识

GUI环境模拟

GUI环境模拟是指利用计算模型来模拟图形用户界面的交互行为。传统方法依赖物理硬件或固定软件栈，而本文探索使用图像生成模型作为替代方案。这种模型能够根据用户指令和当前视觉上下文预测未来的GUI状态，从而创建灵活、低成本的交互轨迹模拟。

理解GUI环境模拟的概念是理解本文研究动机的基础，因为论文的核心创新点在于评估图像生成模型是否能可靠地充当GUI环境

图像生成模型

图像生成模型是能够根据文本提示或参考图像生成新图像的深度学习模型。近年来，从文本到图像合成（如Stable Diffusion、DALL-E）到基于参考的框架（如Nano Banana、GPT-image）取得了快速发展。

论文评估了12个最先进的图像生成模型，理解这些模型的工作原理和局限性对于理解实验结果至关重要

多模态大语言模型（MLLM）

多模态大语言模型是能够处理和理解多种模态信息（如文本、图像、视频）的大规模语言模型。本文中，MLLM被用作评估器（VLM-as-a-Judge），对生成的GUI序列进行自动评估。这种方法比传统指标（如FID、CLIP分数）更能捕捉GUI交互的语义和结构完整性。

本文提出的GE-Score评估框架依赖于MLLM作为评估器，理解MLLM的能力和局限性对于理解评估方法的可靠性至关重要

离散状态转换与连续状态转换

离散状态转换指的是GUI中由用户动作触发的界面跳跃，如点击按钮后整个界面布局的改变。连续状态转换则指视频中的平滑运动，如物体移动或场景变化。GUI交互本质上是离散的：一个动作会替换整个视觉布局，这与自然场景中的连续运动有本质区别。

这是本文的核心创新点之一：现有基准主要关注连续状态转换，而GEBench专注于评估离散状态转换，这是GUI交互的独特特征

空间定位（Grounding）

空间定位指的是模型根据给定的坐标点（如$[938, 61]$）在图像中精确放置元素的能力。在GUI生成中，这要求模型理解抽象坐标与图像像素之间的映射关系。本文使用归一化相对坐标（范围$[0, 1000]$）来评估模型的空间感知能力。

实验发现空间定位是所有模型最薄弱的环节，GOAL分数普遍低于20%，这揭示了当前模型在感知和执行之间的根本脱节

研究动机

现有图像生成基准主要关注通用领域的视觉保真度，如FID、CLIP分数等指标，这些指标虽然能评估单张图像的美学质量，但完全忽略了GUI交互的核心需求：状态转换的一致性和时间连贯性。具体来说，当图像生成模型充当GUI环境时，必须能够根据用户指令预测下一个界面状态，这要求模型具备精确的坐标定位、图标识别和文本渲染能力。然而，现有基准无法评估这些关键能力，导致模型在单步转换中表现良好（如Nano Banana Pro达到84.50分），但在多步规划中分数急剧下降（同样模型在多步任务中仅得68.65分）。这种评估缺口使得我们无法判断生成模型是否真正适合作为可靠的GUI环境。

本文的目标是本文的具体目标是创建一个专门评估图像生成模型作为GUI环境能力的基准框架。这个框架需要能够：1）评估模型在五种不同GUI生成任务中的表现；2）提供多维度的评估指标，不仅关注视觉质量，更关注功能逻辑和状态转换一致性；3）通过VLM-as-a-Judge方法实现客观、可复现的评估；4）识别当前模型的关键技术瓶颈，为未来研究指明方向。最终目标是建立一个必要的基础，用于开发能够支持大规模自主GUI智能体训练的生成式GUI模拟器。

与已有工作不同的是，本文的独特切入角度在于将评估重点从通用视觉保真度转移到GUI交互逻辑。与现有基准不同，GEBench专注于评估离散状态转换而非连续运动，评估交互序列而非单张图像，评估功能完整性而非美学质量。这种转变揭示了一个关键悖论：视觉保真度并不等同于功能可行性。例如，GPT-image-1.5生成的GUI具有出色的构图和清晰度，获得高QUAL分数，但这些美观的图像经常包含幻觉控件或不合逻辑的布局。这种评估范式的转变使我们能够识别现有基准无法发现的关键瓶颈，如图标解释、文本渲染和定位精度问题。

核心方法

GEBench的方法整体思路是将图像生成模型视为交互式GUI环境，并建立一个全面的评估框架来测试其能力。这个框架包含三个核心组件：数据构建、任务设计和评估指标。数据构建通过记录真实用户交互创建高质量的GUI轨迹数据集；任务设计将GUI生成能力分解为五个互补的任务类别；评估指标则通过多维度评分系统全面衡量模型表现。整个方法遵循一个直觉：要评估模型是否适合作为GUI环境，就需要测试它在真实交互场景中的表现，而不仅仅是生成美观的单张图像。

GEBench的核心创新点是提出GE-Score，一个五维度评估指标系统。与现有评估方法（如FID、CLIP分数）的本质区别在于，GE-Score专门针对GUI交互的独特需求设计。具体来说，GE-Score包含五个维度：目标达成度（GOAL）、交互逻辑（LOGIC）、一致性（CONS）、UI合理性（UI）和视觉质量（QUAL）。每个维度都针对GUI生成的不同方面进行评估，例如GOAL评估生成状态是否满足指定动作或全局目标，LOGIC评估状态转换是否符合真实GUI交互模式。这种多维度设计使我们能够精确诊断模型的具体弱点，而不是仅仅给出一个笼统的质量分数。GE-Score的数学定义为：$$GEscore = \frac{1}{|D| \cdot N} \sum_{d \in D} \sum_{i=1}^{N} F(r_{i,d}) = \frac{4}{N} \sum_{d=1}^{5} \sum_{i=1}^{N} r_{i,d}$$，其中 $F(r) = 20 \times r$ 是线性归一化变换，将评分映射到百分比域 $[0, 100]$。

方法步骤详情

GEBench的方法步骤可以分解为四个主要阶段：第一阶段是数据收集，通过屏幕录制在移动和桌面平台上收集原始交互数据，记录用户操作如点击图标、滚动界面等；第二阶段是任务注释，注释者定义具体动作并将其转换为结构化JSON元数据；第三阶段是质量控制，包括基于规则的预处理（自动过滤不一致样本）、人工专家验证（确保注释动作与视觉状态转换匹配）和统计校准（调整数据分布以减轻偏差）；第四阶段是评估执行，使用三个VLM评估器（Gemini-3-Pro-Native、GPT-4o、Qwen3-vl-235b-a22b-thinking）对生成的GUI序列进行跨评估，每个样本评估三次以确保可靠性。

技术新颖性

GEBench的技术新颖性体现在三个方面：首先，它是首个专门评估图像生成模型作为GUI环境的基准，填补了现有评估体系的重要空白；其次，提出的GE-Score指标系统创新性地将GUI交互的五个关键维度整合到一个统一的评估框架中，每个维度都针对GUI生成的独特需求设计；第三，采用VLM-as-a-Judge评估方法，通过三个独立的VLM评估器进行交叉评估，确保评估的客观性和鲁棒性。这种方法比传统的人工评估更高效，比单一指标更全面。实验表明，VLM评估与人类专家判断的皮尔逊相关系数达到$r = 0.9892$，证明了这种方法的可靠性。

实验结果

GEBench的实验评估了12个最先进的图像生成模型（8个商业模型和4个开源模型），揭示了几个关键发现。首先，单步转换表现良好：Nano Banana Pro在中文子集上达到84.50分，GPT-image-1.5在英文子集上达到80.80分，表明这些模型具有强大的视觉合成能力。然而，多步规划表现急剧下降：即使最好的模型在多步任务中也普遍低于60分，开源模型甚至低于10分。这种性能差距揭示了当前模型在长期逻辑规划方面的根本缺陷。其次，空间定位任务表现最差：即使是最优秀的Nano Banana Pro，GOAL分数也只有23.9%，大多数模型低于10%。这表明模型无法将抽象坐标映射到精确的像素位置。第三，三个主要技术瓶颈被识别：文本渲染准确性（字符重叠、语义损坏）、图标解释和一致性（无法识别正确的交互边界）、定位精度（空间抖动、几十像素的偏移）。

查看结构化数据

任务	指标	本文	基线	提升
单步视觉转换（中文子集）	GE-Score	Nano Banana Pro: 84.50	开源模型平均: ~34-55	商业模型显著优于开源模型
多步规划（中文子集）	GE-Score	Nano Banana Pro: 68.65	开源模型平均: ~12-25	所有模型在多步任务中表现下降
空间定位	GOAL分数	Nano Banana Pro: 23.9%	大多数模型: <10%	所有模型表现极差，揭示根本缺陷
虚构应用生成（中文子集）	GE-Score	Nano Banana Pro: 65.75	开源模型平均: ~23-32	商业模型在零样本泛化方面更强

局限与改进

GEBench虽然提供了全面的评估框架，但仍存在一些局限性。首先，数据集规模相对较小（700个样本），可能无法完全代表真实世界GUI交互的全部复杂性。其次，评估主要依赖于VLM作为评估器，虽然与人类判断高度相关（$r = 0.9892$），但仍可能存在系统性偏差。第三，当前评估主要关注静态GUI状态，未充分考虑动态交互过程，如动画效果、过渡时间等。此外，论文承认的局限性包括：1）现有模型在图标解释、中文文本渲染和定位精度方面存在关键瓶颈；2）视觉保真度不等于功能可行性；3）模型在单步转换中表现良好，但缺乏长期逻辑规划能力。我的观察是，评估框架可能过于依赖视觉检查，而忽略了更深层次的功能测试，如可访问性、性能影响等。

独立分析的弱点

GEBench的弱点可以从多个角度分析。首先，数据集规模较小（700个样本），可能不足以捕捉GUI交互的全部多样性，特别是对于长尾场景和边缘情况。改进方向包括扩大数据集规模，增加更多应用类型和交互模式。其次，评估指标虽然全面，但可能过于主观，依赖于VLM的判断。可以考虑引入更多客观指标，如像素级匹配、结构相似性等。第三，任务设计可能过于简化，现实中的GUI交互往往更复杂，涉及多窗口、多任务、系统级交互等。改进方向包括设计更接近真实场景的任务。第四，评估框架可能忽略了性能因素，如生成速度、计算资源需求等，这些在实际部署中至关重要。

未来方向

论文作者提出和基于成果可延伸的未来研究方向包括：1）开发能够进行细粒度结构控制和语义持久性的新架构，而不仅仅是追求视觉真实感；2）改进图标解释、中文文本渲染和定位精度这三个关键技术瓶颈；3）探索将GEBench扩展到更多GUI平台和交互模式；4）研究如何将生成模型与传统GUI框架结合，创建更可靠的混合系统；5）开发专门针对GUI生成的训练数据和损失函数；6）探索多模态融合方法，结合视觉、文本和结构信息提高生成质量。基于GEBench的发现，未来工作还可以专注于提高模型的长期逻辑规划能力，开发能够维护时间一致性的新架构，以及创建更全面的评估指标。

复现评估

GEBench的复现评估相对较好。论文提供了完整的代码（GitHub链接：https://github.com/stepfun-ai/GEBench），包括数据集构建、评估框架和所有实验结果。数据集包含700个精心策划的样本，涵盖五个任务类别，每个样本都有详细的注释和元数据。评估框架使用三个公开可用的VLM作为评估器（Gemini-3-Pro-Native、GPT-4o、Qwen3-vl-235b-a22b-thinking），确保评估的可复现性。然而，复现可能面临一些挑战：1）商业模型（如Nano Banana Pro、GPT-image-1.5）的访问可能受限；2）VLM评估器的配置和版本可能影响结果；3）数据集构建涉及人工注释，完全复现可能困难。总体而言，论文提供了足够的细节和代码支持，使其他研究者能够复现主要结果。

GEBench：将图像生成模型作为GUI环境进行基准测试 GEBench: Benchmarking Image Generation Models as GUI Environments