BizGenEval：商用视觉内容生成系统性基准评测 BizGenEval: A Systematic Benchmark for Commercial Visual Content Generation
首个商业视觉生成系统化基准
前置知识
文本渲染能力
指图像生成模型在生成的图像中精确呈现文本内容的能力，包括短标题、长段落、表格等多种文本形式，要求字符级别的准确性和文本与图像元素的协调融合。这是商业视觉文档的核心要求之一，因为幻灯片、网页、海报等商业文档通常包含大量文本信息。
商业视觉文档密集的文本内容需求使得文本渲染成为评估模型商用能力的关键维度，直接影响模型能否生成可用的专业材料。
布局控制能力
指模型控制图像中元素的空间组织、结构关系和层级排列的能力，包括整体布局、复杂流程、箭头连接、块状元素的分层安排等精确的空间约束控制。这要求模型理解并执行复杂的空间指令，如元素对齐、相对位置、网格排列等。
商业文档的结构化特性要求精确的布局控制，现有模型的近似布局无法满足专业设计场景的严格要求。
属性绑定能力
指模型对视觉属性如颜色、形状、图标、数量、风格等的精确控制能力，要求根据指令准确指定和绑定视觉元素的具体属性值。这涉及细粒度的属性约束，如特定颜色值、准确的对象数量、特定的图标类型等。
商业设计中的品牌一致性、信息准确传达都依赖于精确的属性控制，这是区分专业生成和艺术创作的重要维度。
知识推理能力
指模型在生成图像时正确应用领域知识和进行事实推理的能力，包括物理、化学、数学、历史、艺术等领域的概念理解和知识应用。这要求模型不仅生成视觉内容，还要确保内容的语义正确性和事实准确性。
商业文档如科学图表、教育材料等需要准确的知识内容，知识推理缺失会导致生成内容的专业性和可信度严重下降。
检查表评估协议
一种结构化评估方法，为每个生成任务设计一组二元（Yes/No）验证问题，通过多模态大语言模型作为评判器自动回答这些问题来评估生成结果的质量。评分采用惩罚策略：Score = max(0, 1 − αNerrors)，其中Nerrors是错误回答数量，α是惩罚系数（本文设为0.2）。
商业视觉文档的复杂多约束特性需要细粒度的评估方法，检查表协议提供了可扩展、一致的自动化评估框架。
多模态大语言模型作为评判器
利用多模态大语言模型（如Gemini-3-Flash-Preview）的视觉推理能力来自动评估生成的商业视觉图像，评判器需要理解图像内容并回答结构化的验证问题。本文发现Gemini-3-Flash-Preview在结构化视觉任务（如图表解读）上表现优于GPT-5.2。
商业视觉评估需要专业的图像理解能力，人工评估成本高昂，多模态评判器提供了可扩展的自动化解决方案。
研究动机
现有的图像生成基准主要关注自然图像合成、对象组合性或美学质量评估，如GenEval、VQAScore、GenAI-Bench等，这些基准无法有效评估商业视觉内容生成的特殊需求。商业视觉文档具有密集的文本内容、复杂的布局结构、大量的视觉元素和严格的语义正确性要求，这些特征在现有基准中被严重忽视。虽然OneIG-Bench包含了幻灯片或海报生成的主题，但主要将其用作文本渲染评估的提示来源，使用简单的提示和基于相似性的指标，而非评估整体商业视觉生成能力。此外，一些面向设计的工作如信息图表生成和海报渲染的评估仍然分散且特定于单个领域，缺乏系统性的跨领域评估框架。这导致当前图像生成模型在商业应用中的实际能力无法得到准确评估，模型演示往往通过精心挑选的案例展示，而非标准化的评估。
本文的目标是本文旨在构建BizGenEval，首个全面评估图像生成模型在商业视觉内容创建方面能力的系统化基准。该基准涵盖5个代表性领域（幻灯片、科学图表、数据图表、网页、海报）和4个核心能力维度（文本渲染、布局控制、属性绑定、知识推理），形成20个评估任务。通过400个精心策划的提示和8000个人工验证的检查表问题，BizGenEval旨在严格评估生成图像是否满足复杂的视觉和语义约束。此外，作者希望通过对26个领先的图像生成系统（包括最新的商业API和开源模型）进行大规模基准测试，揭示当前生成系统与真实世界商业设计任务要求之间的能力差距，为未来的实用视觉内容生成研究提供标准化的评估基准。
与已有工作不同的是，本文的独特切入角度在于从实际商业设计工作流出发，系统性地构建了跨领域的商业视觉生成评估框架。与现有领域特定的工作（如SlidesGenBench仅限于语言驱动的幻灯片创建、Design2Code和WebSight专门用于截图到代码系统、FigureBench专门用于科学图表生成）不同，BizGenEval提供了5个商业领域的整体视角。与关注基础生成能力的工作（如LongText-Bench和TextCrafter仅限于长文本或多区域文本、LayoutBench和7Bench操作于抽象边界框布局、GenEval和VQAScore探索自然或合成场景中的对象级属性）不同，BizGenEval专门针对结构化商业文档中的设计中心属性，如颜色方案、图标使用和风格一致性。与知识推理相关工作（如WISE、WorldGenBench、R2I-Bench评估通用或教育风格场景的知识基础图像合成）不同，BizGenEval要求同时满足布局、密集文本、属性和事实正确性。因此，BizGenEval填补了现有基准在系统性评估商业视觉生成能力方面的空白。
核心方法
BizGenEval方法采用了一个两阶段的结构化框架：基准构建和自动化评估。在基准构建阶段，首先收集真实世界的商业视觉设计参考（用于内容基础任务）和领域知识点（用于知识推理任务），然后将这些参考转化为详细的生成提示。对于内容基础任务，提示基于真实商业材料构建，模拟人类设计师使用图像生成系统时可能提出的真实请求；对于知识推理任务，提示通过扩展精选的知识点来生成，关键知识事实被故意从提示中省略并保留为仅在评估期间使用的隐藏推理依据，强迫模型依赖其内部知识来生成事实一致的视觉内容。在评估阶段，为每个提示构建20个二元验证问题（分为10个简单和10个困难问题），形成结构化检查表，然后使用多模态大语言模型作为评判器自动回答这些问题并计算得分。这种方法将真实世界设计约束与自动化可扩展评估相结合，提供了全面的商业视觉生成能力评估。
BizGenEval的核心创新在于设计了领域-能力正交的双维度评估框架，通过5个商业领域（Slides、Webpage、Poster、Chart、Scientific Figure）和4个能力维度（Layout Control、Attribute Binding、Text Rendering、Knowledge-based Reasoning）的交叉组合形成20个评估任务。这一设计使得评估能够同时覆盖内容类型和生成能力两个维度，避免了现有基准要么过于关注单一领域要么过于关注单一能力的局限性。另一个核心创新是知识推理任务中的隐藏推理依据设计，即将关键知识事实从生成提示中省略，仅在评估时使用，这防止了答案泄露并鼓励真正的推理，确保模型必须依赖其内部知识而非仅仅复制提示中的信息来生成事实正确的视觉内容。此外，检查表评估协议将复杂的商业视觉生成需求分解为细粒度的可验证问题，结合惩罚策略的评分机制，实现了对多约束生成任务的精确量化评估。
方法步骤详情
BizGenEval的基准构建包含四个主要步骤。第一步是内容基础数据收集：从UI/UX设计存储库、企业演示档案、学术数据库和数字营销作品集等多元化专业来源手动收集1,819个候选图像，然后根据预定义的领域-任务分类法进行针对性筛选，为每个领域-任务组合选择20个具有清晰结构模式和现实设计约束的代表性参考，最终通过多轮人工筛选和隐私处理保留300个内容基础参考样本。第二步是知识基础数据收集：构建涵盖物理、化学、数学、历史、艺术五个主题的知识参考池，每个主题从专业数据库、教育资源和学术课程中精选20个代表性知识点，对于科学领域如物理和化学优先选择涉及实验装置、分子结构和基本科学原理的知识点，数学类别强调基于推理的视觉任务如几何构造、方程和图解表示，人文学科主题如历史和艺术则关注时间关系、文化符号和风格特征，共获得100个精选知识参考。第三步是提示构建：对于内容基础任务，使用视觉-语言模型对参考图像进行组件级分析，识别关键结构元素、视觉属性和文本内容，从中生成详细的生成指令；对于知识推理任务，通过将精选的知识参考扩展为五个内容领域内的生成指令来构建提示，并故意省略关键知识事实作为隐藏推理依据。第四步是评估检查表构建：基于提示通过人工参与循环过程为每个任务构建20个验证问题（分为10个简单和10个困难问题），形成结构化检查表，简单问题主要针对基本属性如基本空间布局、显著视觉属性或高级文本正确性，困难问题则需要细粒度推理和对视觉、结构或文本元素的精确控制。最后进行多轮人工验证确保提示和检查表的质量和可靠性。
技术新颖性
BizGenEval的技术新颖性体现在多个方面。首先，它是首个系统评估商业视觉内容生成的跨领域基准，通过领域-能力正交设计实现了对商业生成任务的全面覆盖，这与现有领域特定或能力特定的基准形成鲜明对比。其次，知识推理任务中的隐藏推理依据设计是一种新颖的评估策略，通过从生成提示中省略关键知识事实并仅在评估时使用，确保了评估的真实性和模型推理能力的有效测试。第三，检查表评估协议结合多模态评判器和惩罚策略的评分机制，提供了一种针对复杂多约束生成任务的可扩展自动化评估方法，这克服了传统基于相似性指标或全局语义分数的评估方法在细粒度约束验证方面的不足。第四，BizGenEval在数据构建上采用了从真实世界商业材料出发的方法，通过手动收集和人工筛选确保了评估任务的真实性和专业性，这与现有基准使用合成或简化的场景形成对比。最后，BizGenEval的大规模评估涵盖了26个领先的图像生成模型，包括最新的商业API和开源模型，为商业视觉生成提供了强基线和全面的性能分析，这为未来研究提供了宝贵的参考基准。
实验结果
评估结果揭示了当前图像生成模型在商业视觉内容创建方面的显著能力差距。在内容领域维度上，模型对不同商业场景的特定要求表现出明显的敏感性差异。闭源模型特别是Nano-Banana-Pro和Nano-Banana-2.0在所有领域都保持较高分数，困难集平均分数约68-77%。幻灯片、网页和海报是表现最好的领域，这表明这些领域被模型的训练分布很好地捕捉。相比之下，数据图表和科学图表呈现更大挑战，困难集分数明显下降（如GPT-Image-1.5降至27.8-28.2%），反映了精确数值渲染和结构化图表生成的困难。开源模型普遍落后，Z-Image、FLUX.2-dev和Qwen-Image-2512在幻灯片和网页上取得中等性能（简单分数43-49%），但在科学图表上接近零结果（困难分数0-2%），表明在生成复杂专业内容方面存在显著差距。在能力维度上，闭源模型在文本渲染和知识推理方面表现良好，如Nano-Banana-Pro在文本渲染上达到86.4/95.0，在知识推理上达到82.6/96.2，表明强大的文本保真度和领域推理能力。相比之下，布局控制和属性绑定仍然更具挑战性，特别是在困难子集上（如布局72.2，属性65.6），揭示了细粒度空间推理和精确属性控制的持续局限性。三个主要发现进一步阐明了当前模型的局限性：（1）风格化生成不意味着精确组合，现代模型很好地捕捉了商业文档的高级风格模式，但仍缺乏精确组合所需的确定性控制；（2）文本和知识能力在模型间高度极化，顶级商业API在语言密集型任务上表现强劲，而大多数模型表现显著较差，26个评估模型中有21个在文本和知识上得分低于12.6，有几个接近零，所有开源模型都属于这一类别；（3）自然图像能力不转移到商业文档，在自然图像基准上表现强劲的模型在商业视觉文档上表现明显不同，表明自然图像基准上的强性能不会直接转移到需要密集文本渲染、结构化布局和多重组合约束的专业设计场景。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 商业视觉内容生成（整体平均） | Hard/Easy集分数 | Nano-Banana-Pro: 76.7/93.7 | GPT-Image-1.5: 35.9/81.6 | 闭源模型相比开源模型有显著优势，最顶级模型性能是普通开源模型的约20-30倍 |
| 文本渲染能力 | Hard/Easy集分数 | Nano-Banana-Pro: 86.4/95.0 | 开源模型普遍低于12.6/41.0 | 顶级闭源模型在文本渲染上表现优异，多数开源模型在该维度接近失效 |
| 知识推理能力 | Hard/Easy集分数 | Nano-Banana-Pro: 82.6/96.2 | 开源模型普遍低于6.8/60.0 | 知识推理能力高度极化，闭源模型与开源模型之间存在显著差距 |
| 布局控制能力 | Hard/Easy集分数 | Nano-Banana-Pro: 72.2/91.2 | 多数开源模型低于26.8/69.2 | 即使是顶级模型在复杂布局约束上仍有困难，精确的空间推理是普遍挑战 |
| 跨基准比较（BizGenEval vs GenEval） | 整体分数 | BizGenEval反映商业场景性能（如Z-Image: 8.2/43.8） | GenEval反映自然图像性能（如Z-Image: 0.84） | 自然图像能力不转移到商业文档，两个基准的分数相关性很低，表明需要专门针对商业场景的评估 |
局限与改进
BizGenEval的局限性体现在评估方法、数据覆盖和应用范围等多个方面。作者承认评估协议依赖于多模态大语言模型作为评判器，尽管人工评估表明与人类判断有强烈一致性（Cohen's κ = 0.7692），但评判器的偏见和错误仍然可能影响评估结果。此外，检查表评估将复杂的商业视觉生成需求分解为二元问题，虽然提供了细粒度的评估，但可能无法完全捕捉商业设计的整体美学和用户体验质量。在数据覆盖方面，BizGenEval涵盖5个代表性领域，但商业视觉内容还包括其他类型如信息图表、品牌标识、包装设计等，这些领域的评估尚未包含在当前基准中。知识推理维度仅涵盖物理、化学、数学、历史、艺术五个主题，更广泛的领域知识（如生物学、地理学、工程技术等）的评估有待扩展。在应用范围方面，BizGenEval专注于生成能力的评估，但实际商业设计工作流还包括编辑、迭代优化、团队协作等方面，这些方面的评估超出了当前基准的范围。此外，BizGenEval主要评估静态图像生成，对动态视觉内容（如动画、交互式界面）的评估尚未涉及。最后，虽然BizGenEval评估了26个模型，但模型发展迅速，新模型的评估需要持续更新以保持基准的相关性。
独立分析的弱点
独立分析显示BizGenEval存在几个可以改进的弱点。首先，评估的粒度问题：虽然检查表评估提供了细粒度的验证，但将复杂的设计要求分解为独立问题可能忽略了元素之间的交互和整体协调性，例如一个商业海报的视觉效果不仅取决于单个元素的正确性，还取决于整体的视觉层次、色彩和谐和空间平衡，这种整体性在当前的二元问题评估中难以充分体现。改进方向是开发整体性评估指标，结合美学理论、设计原则和用户体验研究，将元素级评估与整体质量评估相结合。其次，评判器的偏见问题：多模态评判器可能对某些视觉风格、文化元素或设计惯例存在偏见，导致评估结果的不公平性，特别是对于非西方设计风格或新兴设计趋势，评判器可能缺乏足够的理解和欣赏。改进方向是构建多样化的评判器集合，包括不同文化背景和设计专长的模型，并通过人工校准来减少偏见。第三，知识的时效性：知识推理任务的知识点可能随着科学发展而更新，当前基准的知识点可能在未来变得过时或需要补充新知识。改进方向是建立动态更新机制，定期评估和更新知识库，确保知识推理任务的相关性和准确性。第四，生成视角的单一性：BizGenEval主要评估从文本到图像的单次生成，但实际商业设计工作流通常涉及迭代优化、局部编辑、多版本比较等复杂交互过程，这些过程的评估在当前基准中缺失。改进方向是扩展评估场景，包括迭代生成、条件编辑、多方案比较等更接近真实工作流的任务。最后，语言和文化的局限性：当前基准主要基于英语提示和西方设计惯例，对中文等其他语言和非西方设计风格的覆盖不足，这可能限制了基准的全球适用性。改进方向是构建多语言多文化的版本，涵盖不同地区和文化的商业设计惯例。
未来方向
基于BizGenEval的成果，未来研究方向可以从多个维度展开。首先，扩展基准覆盖范围：将评估扩展到更多的商业视觉领域，如信息图表、品牌标识、包装设计、社交媒体模板等，以提供更全面的商业视觉生成能力评估。同时，扩展知识推理的主题范围，包括生物学、地理学、工程技术、商业管理、法律等更多领域，评估模型在更广泛知识基础上的生成能力。其次，改进评估方法：开发更精细的评估协议，包括整体质量评估、用户体验评估、多维度综合评估等，将细粒度的元素级评估与高层面的整体评估相结合。同时，探索多评判器集成、人工校准、对抗性测试等方法，提高评估的准确性和公平性。第三，深入分析模型能力：基于BizGenEval的评估结果，深入研究模型在不同能力维度上的失败模式和改进方向，例如布局控制的困难可能源于空间推理能力的不足，属性绑定的挑战可能源于细粒度控制机制的缺失，这些分析可以为模型架构改进提供指导。第四，开发专门的商业生成模型：基于BizGenEval揭示的需求，设计专门针对商业视觉内容生成的模型架构和训练方法，例如引入结构化布局表示、强化文本渲染精度、增强领域知识整合、支持精确属性控制等。最后，探索人机协作设计：BizGenEval展示了当前模型与专业设计要求之间的差距，未来可以研究如何将生成模型与人类设计师的工作流集成，例如通过迭代优化、局部编辑、智能辅助等方式，实现高效的人机协作商业设计。
复现评估
BizGenEval的复现评估显示该研究具有较好的复现潜力。论文提供了详细的基准构建方法、评估协议和评分计算公式，为复现提供了充分的技术细节。BizGenEval的官方网站（https://aka.ms/BizGenEval）预计会提供基准数据集、提示示例和评估工具，这将大大降低复现的难度。然而，复现BizGenEval仍然面临一些挑战。首先是评估成本问题：BizGenEval评估了26个模型，每个模型生成400张图像，共10,400张图像，每张图像需要回答20个检查表问题，这涉及大量的生成和评估API调用，成本较高。对于资源有限的团队，可以选择评估子集模型或使用开源模型进行复现。其次是评判器的选择：论文使用Gemini-3-Flash-Preview作为评判器，其他研究者在复现时可能使用不同的评判器（如GPT-5.2、Claude等），这可能导致评估结果的差异。为了提高可复现性，作者可以提供评判器的具体prompt模板和评估参数。第三是数据隐私问题：BizGenEval基于真实世界的商业材料构建，虽然论文提到移除了个人和敏感信息，但某些设计可能仍涉及版权或商业机密，复现时需要确保数据的合法使用。作者可以考虑提供合成但等价的参考材料以解决这一问题。最后是计算资源问题：虽然BizGenEval的评估主要依赖API调用而非本地计算，但对于希望完全本地复现的研究者，可能需要大量的计算资源来运行开源模型和评估工具。总体而言，BizGenEval具有中等到高的复现难度，主要挑战在于评估成本和数据访问，但作者提供的详细文档和预期提供的开源资源将大大促进研究的复现和扩展。
论文图表
