PlanViz: 面向计算机使用任务的规划型图像生成与编辑评估

首个评估统一多模态模型在计算机使用任务中规划能力的基准

前置知识

统一多模态模型 (UMMs)

这类模型将多模态大语言模型（MLLM）的理解能力与扩散模型或流模型的生成能力整合到一个端到端架构中。不同于传统模型只能做图像生成或编辑中的一种，UMMs 能够在单一模型内同时处理理解和生成任务。代表性模型包括 GPT-Image-1、Gemini3-Pro-Image、OmniGen2 等。这种集成使得模型能够更好地理解复杂指令，并找到正确的生成方向，在创意绘图、多图融合等复杂任务上表现出色。

本文的核心研究对象就是 UMMs，评估它们在计算机使用任务中是否具备规划能力，理解 UMM 的架构特点是阅读本文的基础

计算机使用任务 (Computer-use Tasks)

指用户在日常生活中与计算机交互的各类任务，包括图形用户界面（GUI）操作、工作流程设计、地图导航等。与生成自然图像不同，这类任务产生的视觉内容具有高度的结构化特征，需要模型理解空间关系、遵循逻辑约束、保持语义一致性。例如在地图上规划路线需要考虑道路连通性，设计流程图需要理解步骤的逻辑顺序。

本文首次将这类任务引入图像生成/编辑评估，这是论文定义的新评估领域

扩散模型 (Diffusion Models)

一类通过逐步去噪过程生成图像的深度学习模型。核心思想是先向数据添加噪声直至变成纯噪声，然后学习从噪声中恢复原始数据。模型在前向过程中逐步破坏数据，反向过程中逐步去噪。常见的实现包括 DDPM、Stable Diffusion 等。流模型（Flow Models）是扩散模型的一种变体，采用连续的流变换而非离散的扩散步骤。

UMMs 的生成能力主要来自扩散/流模型组件，理解这一基础有助于把握生成质量的来源

MLLM-as-Judge

使用多模态大语言模型作为自动化评估器的方法范式。传统的图像质量评估指标（如 FID、LPIPS）只能衡量像素级或特征级的相似性，无法判断图像是否满足特定的语义需求。MLLM-as-Judge 利用多模态模型的视觉理解能力，根据预设的评分标准对生成结果进行多维度打分。这种方法能够处理更复杂的评估任务，如检查图中是否包含特定元素、布局是否正确等。

本文提出的 PlanScore 评估方法基于这一范式，是理解论文评估体系的关键

研究动机

现有评估基准主要聚焦于自然图像生成，如 UniEval、ROVER、GenExam 等，它们的评估场景集中在自然风景、科学图像或物体级别。然而，在日常生活中，用户与计算机交互时需要生成或编辑的图像类型完全不同：需要在地图上规划旅游路线、绘制会议准备的工作流程图、设计网页界面原型。这些计算机使用任务对图像生成提出了特殊要求：必须理解空间推理、遵循逻辑约束、保持结构一致性。从论文的实验结果可以看到，即使是性能最强的模型 GPT-Image-1，在编辑任务上的 Cor（正确性）也仅为 0.39（开放问题）到 0.44（封闭问题），远低于人类参考答案的 1.00。这说明现有模型在处理这类需要规划能力的任务时存在显著不足，而现有基准无法揭示这一问题。

本文的目标是本文提出 PlanViz 基准，目标是系统评估统一多模态模型（UMMs）在计算机使用任务中的规划能力。具体而言，论文希望回答三个核心问题：UMMs 能否将复杂任务转化为正确的视觉输出？开源模型与闭源模型之间的差距有多大？模型在生成任务和编辑任务上的表现是否存在差异？通过构建包含三个子任务（路线规划、工作流程图表、网页/UI 展示）的评估框架，配合人类标注的数据集和任务自适应的评估指标 PlanScore，论文旨在为该领域的研究提供全面的诊断工具。

与已有工作不同的是，本文的独特视角在于抓住了'规划'这一被忽视的能力维度。现有基准关注的是'能否生成好看的图像'，而 PlanViz 关注的是'能否将复杂的、多约束的任务需求转化为功能性的视觉输出'。论文将'规划'定义为：模型能否将多个复杂目标和约束转化为计算机使用任务的功能性视觉结果。这一角度揭示了现有模型的核心短板——它们能够生成视觉上逼真的图像，但往往无法遵循任务的具体约束，生成'视觉上合理但语义上不匹配'的内容。例如，模型可能生成一条美观的路线图，但路线并未经过用户要求访问的景点。这种'正确性'与'视觉质量'的解耦现象是论文的重要发现。

核心方法

PlanViz 的设计思路可以用一个类比来理解：如果说现有基准是'美术考试'（只看画得漂不漂亮），那么 PlanViz 就是'建筑制图考试'（不仅要画得好看，还要符合工程规范、满足功能需求）。技术路线包含三个层次：首先，定义三个具有代表性的计算机使用子任务；其次，构建高质量的人工标注数据集；最后，设计任务自适应的自动化评估指标。整体框架从问题定义到数据构建再到评估方法形成完整闭环，确保评估的全面性和准确性。

本文最核心的创新是提出了 PlanScore——一个任务自适应的三维度评估指标。传统的图像评估指标（如 FID、LPIPS）只衡量视觉质量或与参考图像的相似性，无法判断生成的图像是否满足特定任务需求。PlanScore 包含三个维度：Correctness（正确性）衡量生成内容是否满足任务约束，采用关键点匹配方法，每个问题有唯一的关键点集合 P，通过 MLLM 判断满足的关键点数量 Ps，计算 Cor = |Ps|/|P|；Visual Quality（视觉质量）衡量图像的视觉连贯性和语义一致性，满分 5 分标准化到 [0,1]；Efficiency（效率）衡量图像是否包含不需要的冗余内容，同样满分 5 分标准化到 [0,1]。三个维度的结合既保证了任务功能性的核心地位（Cor 权重最高），又兼顾了视觉体验。

方法步骤详情

PlanViz 的构建流程分为四个阶段。第一步，高质量数据收集：手动从网站或应用收集约 500 张源图像，经过筛选保留每个编辑子任务 60 张高质量图像，确保图像清晰、文字可识别、场景真实。第二步，人工标注：由经验丰富的博士生为每张图像设计问题，标注参考答案和关键评分点。对于生成任务，每个子任务提供 60 个问题；编辑任务则基于源图像设计。第三步，质量检查：采用盲测策略，由不了解数据集构建过程的其他标注者检查问题难度和参考答案的正确性，最终标注一致性得分为 0.96。第四步，提示风格转换：使用 GPT-4o 对问题进行语言风格转换，确保问题表达的多样性，但不改变任务语义。评估阶段，使用 Qwen3-VL-235B-A22B-Instruct 作为评判模型，基于详细评分标准进行自动化打分。

技术新颖性

PlanViz 在技术上的新颖性体现在三个方面。首先，评估领域的新颖性：这是首个专门针对计算机使用任务的图像生成/编辑评估基准，填补了自然图像评估之外的空白。其次，评估方法的新颖性：PlanScore 是首个任务自适应的评估指标，不同于通用的图像质量指标，它能根据具体任务的关键要求进行精确评估。关键点匹配方法将主观的'是否正确'转化为可量化的匹配问题。第三，数据构建流程的新颖性：四阶段构建流程（收集、标注、质检、风格转换）保证了数据质量，0.96 的一致性得分说明标注的可靠性。论文还首次系统性地将评估场景分为开放问题和封闭问题，揭示了不同约束条件对模型表现的影响。

实验结果

论文对 13 个开源/闭源 UMM 和 9 个专用模型进行了大规模评估，揭示了五个关键发现。第一，评估基准具有足够的挑战性：编辑任务上即使是最强的 GPT-Image-1，总体得分也仅为 0.61-0.67，远低于人类参考答案的 0.98；生成任务上开源模型与闭源模型差距明显，Seedream-4.5 达到 0.88 而开源模型普遍低于 0.55。第二，生成与编辑任务存在显著性能不一致：几乎所有模型在编辑任务上的表现都大幅低于生成任务，例如 Qwen-Image 在生成任务上 Cor 为 0.46/0.77/0.77，但在编辑任务上 Cor 降至 0.15 以下。第三，子任务间表现差异明显：生成任务中路线规划最难（最强模型 Cor 为 0.81），而工作流程和 UI 设计相对容易（最强模型 Cor 约 0.90）；编辑任务上三个子任务都极具挑战。第四，Thinking 机制效果不一：Step1X-Edit-v1p2 的 Thinking 变体整体得分仅提升 0.04，而 Bagel-Thinking 在生成任务上 Cor 提升高达 0.35。第五，正确性与视觉质量存在解耦：许多模型 Vis 得分超过 0.70 但 Cor 接近 0，生成'视觉逼真但语义错误'的内容。

查看结构化数据

任务	指标	本文	基线	提升
图像生成 - 路线规划	Cor (正确性)	Seedream-4.5: 0.81	GPT-Image-1: 0.67	闭源模型 Cor 普遍 > 0.73
图像生成 - 工作流程	Cor (正确性)	Seedream-4.5: 0.88	GPT-Image-1: 0.89	闭源模型表现接近
图像生成 - 网页/UI	Cor (正确性)	GPT-Image-1: 0.92	Seedream-4.5: 0.86	最强闭源模型 Cor > 0.90
图像编辑 - 路线规划	Cor (正确性)	GPT-Image-1: 0.42	OmniGen2: 0.27	闭源模型领先约 0.15
图像编辑 - 工作流程	Cor (正确性)	Seedream-4.5: 0.51	GPT-Image-1: 0.42	Seedream-4.5 在此任务最优
图像编辑 - 网页/UI	Cor (正确性)	Seedream-4.5: 0.30	GPT-Image-1: 0.30	编辑任务普遍困难

局限与改进

论文存在几方面局限性。首先，数据规模相对有限：每个子任务仅 60 个问题，总计 360 个场景，可能无法完全覆盖真实世界中计算机使用任务的多样性。其次，评估依赖单一评判模型 Qwen3-VL-235B-A22B-Instruct，尽管论文进行了人类一致性验证，但评判模型本身的偏差可能影响结果的客观性。第三，论文主要关注图像层面的评估，而实际的计算机使用任务往往涉及交互和动态过程，静态图像评估可能无法完全捕捉模型的真实能力。此外，论文揭示了开源模型与闭源模型的巨大差距，但对差距的根本原因（模型架构、训练数据、训练方法）缺乏深入分析。最后，开放问题和封闭问题的分类虽然有意义，但部分问题的归属可能存在主观性。

独立分析的弱点

论文的一个重要弱点是数据集规模与任务多样性之间的平衡问题。每个子任务仅有 60 个场景，这意味着评估结果可能受到特定场景选择的影响。建议未来工作可以扩展到数百甚至上千个场景，同时引入更多类型的计算机使用任务，如演示文稿设计、数据库查询可视化、代码架构图等。另一个弱点是评估维度的设计，尽管 PlanScore 包含三个维度，但它们之间的权重关系是固定的，不同应用场景可能需要不同的权重分配。例如在医疗场景中，正确性远比视觉质量重要。建议引入可配置的权重机制或分层评估框架。此外，论文对'规划'的定义较为宽泛，将其等同于'满足约束'，但规划通常涉及多步骤推理和优化，未来工作可以设计更精细的规划能力评估。

未来方向

基于论文成果，可以延伸出多个研究方向。首先，可以探索如何提升开源模型的规划能力，论文显示开源 UMM 在编辑任务上与闭源模型差距巨大，研究差距的根源（是模型架构问题还是训练数据问题）将非常有价值。其次，可以将评估扩展到动态场景，评估模型生成交互式原型或动画序列的能力。第三，可以研究专门针对计算机使用任务的微调方法，利用 PlanViz 的数据对模型进行领域适配。第四，可以探索规划与生成的解耦方法，先让模型生成结构化的规划表示（如流程图的 JSON 表示），再转换为图像，这可能比端到端方法更容易控制。最后，可以将研究扩展到多轮交互场景，评估模型在用户逐步提供建议时的表现。

复现评估

论文的复现条件相对友好。数据方面，论文提供了完整的人工标注数据集，包括问题、参考答案和关键点，这降低了复现的门槛。评估方面，论文使用的评判模型 Qwen3-VL-235B-A22B-Instruct 是开源的，可以本地部署，无需依赖商业 API。实验方面，论文评估了大量开源模型（如 OmniGen2、Bagel、Janus-4o 等），这些模型的权重和代码都是公开的。不过，完全复现整个评估流程需要：（1）运行多个大型模型的 GPU 资源（至少需要多卡 A100 或 H100）；（2）对闭源模型的 API 访问权限；（3）人工验证部分结果的时间成本。总体而言，复现主要实验结果的难度中等，但完全重现所有对比实验需要较多资源。

PlanViz: 面向计算机使用任务的规划型图像生成与编辑评估 PlanViz: Evaluating Planning-Oriented Image Generation and Editing for Computer-Use Tasks