AIBench：评估学术插图生成中的视觉-逻辑一致性 AIBench: Evaluating Visual-Logical Consistency in Academic Illustration Generation
首个用 VQA 四层级问答评测学术插图逻辑正确性的细粒度基准
前置知识
视觉问答（VQA）
VQA 是一种多模态任务，给定一张图像和一个自然语言问题，模型需要输出对应的答案。在学术插图评测场景下，问题可以涉及图像中是否存在某个模块、数据流向是否正确、整体目标是什么等，从而把对图像全局语义的理解拆解成多个可验证的子问题。
AIBench 的核心创新就是把对学术插图的评估形式化为多选 VQA 任务，这样既避免了 VLM-as-Judge 的主观性，又能细粒度定位生成失败的具体原因，因此理解 VQA 是读懂本文评测范式的前提。
文生图模型（T2I）
文生图模型以自然语言描述为条件生成图像，近年代表方法包括 Diffusion Transformer、FLUX、Qwen-Image、Nano Banana Pro、Seedream 等。这类模型在通用 T2I 基准上表现趋于饱和，但在需要高密度信息布局的学术框架图上仍存在巨大差距。
本文的实验对象是当前 SOTA 的闭源与开源 T2I 模型，并把它们在 AIBench 上的表现与通用基准做对比，是文章得到'能力差距被通用基准掩盖'这一关键结论的依据。
逻辑有向图（Logic Directed Graph）
本文把方法部分文字描述的 AI 模型抽象为一个有向图 $G=(V, E, P)$，其中 $V$ 是关键模块或数据节点，$E$ 是节点间的有向数据流，$P$ 是架构阶段（如预训练、对齐）。这种结构化表示既保留了原论文术语，又方便后续在不同层级上自动生成 QA 对。
这是连接非结构化方法文本与可验证 VQA 任务的桥梁，是 AIBench 数据构造流水线的核心中间表示，理解它才能理解为什么 QA 可以被系统化拆分为组件/拓扑/阶段/语义四层。
UniPercept 美学模型
UniPercept 是基于 InternVL3-8B 的专门美学评估模型，从多个感知维度对图像输出 0–100 的连续美学分数。论文经过系统比较发现 CLIP 类指标和通用 VLM 在学术插图上失效，最终选定 UniPercept 作为美学评估器。
理解为什么不能简单套用 CLIP-based Aesthetic Score 或 PickScore，对理解本文客观逻辑与主观美学解耦的评测设计至关重要。
研究动机
现有学术插图评测几乎完全依赖 VLM-as-Judge 范式，例如 PaperBanana（292 篇）和 AutoFigure（3300 篇）都让单一 VLM 同时给整张图打分。但这一范式存在两个根本缺陷：第一，它隐含假设 VLM 具备对论文方法文本和复杂插图的神谕级多模态理解能力，而当底层逻辑非平凡、文本密集时这种假设并不成立；第二，逻辑错误和美学缺陷被混在一起打分，导致评估既不可解释也无法定位具体失败原因。同时，CLIP-based 美学指标（Aesthetic Score、PickScore）在 Table 2 中表现失灵，例如 PickScore 把人类排名最差的 FLUX2-dev 排在最高 20.127，而 Aesthetic Score 的模型间方差几乎可以忽略。这意味着在通用 T2I 基准趋于饱和、闭源/开源差距看似缩小的表象下，学术插图这一高密度、强逻辑任务实际上存在被严重低估的能力鸿沟。
本文的目标是本文的目标是构建 AIBench 这一首个细粒度、基于 VQA 的学术插图评测基准，通过把整体评估拆解为可验证的客观逻辑问答和独立的主观美学评估，量化当前 SOTA 模型在读懂长方法文本并渲染高密度框架图的双重挑战下的真实能力，并探索用 test-time scaling 突破能力天花板的可能性。具体而言，论文要在 300 篇 CVPR/ICCV/NeurIPS/ICLR 2025 论文上构建 5704 道四层级 QA 对，让评测输出既能给出可比的整体分数，也能精确指出每个模型在组件存在性、局部拓扑、阶段架构、全局语义四个粒度上的失败模式。
与已有工作不同的是，本文的独特切入角度是把评测任务从全局打分重构为四层级 VQA。作者先用 Gemini 3 Flash 从方法文本自动构建结构化的逻辑有向图 $G=(V,E,P)$，再以这张图为骨架在四个粒度上批量生成多选题，从而把对 VLM 的推理负担降到原子问题级；同时引入人工专家审核与幻觉过滤步骤保证 QA 质量。这种自动构造加人类把关加多粒度拆分的组合是已有 VLM-as-Judge 基准所不具备的，也是把评测变成可定位、可解释、可复现诊断工具的关键差异点。
核心方法
AIBench 的方法直觉是把对图像的整体逻辑判断，拆成一组可被自动批改的多选题。技术上分为三个阶段：数据构造阶段从论文方法文本出发，用 Gemini 3 Flash 解析出逻辑有向图 $G=(V,E,P)$，再针对组件、拓扑、阶段、语义四个层级各设计一个 QA 生成器，把图结构配上原论文插图作为参考图像批量产出多选题；质量控制阶段先用 Gemini 3 Flash 对原图自答剔除准确率低的样本，再用 Gemini 3.1 Pro 配方法文本剔除无法回答的幻觉题，最后由人类专家系统审校；评测阶段用一个强 VLM（默认 Qwen3-VL-235B-A22B-Instruct）作为求解器对生成图做 VQA 答题，用 UniPercept 单独评美学分，最终按 $\mathrm{Acc}_l = \frac{1}{|\mathcal{Q}_l|} \sum_{q \in \mathcal{Q}_l} \mathbb{1}[\hat{a}_q = a_q^*]$ 计算每层准确率（缩放到 0–100）并求五维平均得到 Overall Score。
与 PaperBanana、AutoFigure 等依赖单一 VLM 对整图打分的 VLM-as-Judge 方法相比，AIBench 的本质区别是解耦、拆解、形式化。具体来说：第一，把客观逻辑和主观美学拆成两个独立评分通道；第二，把全局逻辑判断拆解为四层级原子问题（component existence / local topology / phase architecture / global semantics），每层都对应有向图的一个特定结构属性；第三，把评测形式化为多选 VQA 而不是开放式打分，使得指标天然可解释、可定位、可批量计算；第四，引入逻辑有向图这一结构化中间表示作为 QA 合成的骨架，避免直接对长方法文本生成 QA 时出现逻辑不一致。
方法步骤详情
完整的数据构造与评测流程分四步。第一步是数据采集与清洗：从 CVPR/ICCV/NeurIPS/ICLR 2025 收录、arXiv 可下载的论文中解析 LaTeX 抽取方法章节文本，再用规则加 VLM 配对选出方法对应的框架图，最终在四类会议间均匀采样约 3000 对文本-图像对。第二步是构建逻辑有向图：把方法文本输入 Gemini 3 Flash，要求它输出 $G=(V,E,P)$，其中 $V$ 是关键模块或数据节点，$E$ 是有向数据流，$P$ 是架构阶段（如预训练、对齐、推理），且必须保留原论文术语。第三步是四层级 QA 生成：基于 $V$、$E$、$P$、全局图属性分别用四个层级专用 Gemini 提示词生成多选 QA，并以原论文插图为视觉参考对齐问答风格，四个层级分别为 Level 1 组件存在性、Level 2 局部拓扑、Level 3 阶段架构、Level 4 全局语义。第四步是质量筛选：先让 Gemini 3 Flash 对原图自答剔除低准确率样本，再对剩余错误题让 Gemini 3.1 Pro 配上方法文本仍无法答对的视为幻觉剔除，最后由人类专家对全部 5704 题进行事实性、难度、覆盖度审校。评测时，由 VLM 求解器 $F$ 对生成图 $V$ 和问题 $q$ 输出预测选项 $\hat{a}=F(V,q)$，用问题级全局平均准确率（公式 $\mathrm{Acc}_l = \frac{1}{|\mathcal{Q}_l|} \sum_q \mathbb{1}[\hat{a}_q = a_q^*]$）计算每层得分，再与 UniPercept 给出的美学分（0–100）做算术平均得到 Overall Score。
技术新颖性
技术新颖性体现在三个层面。一是把评测任务重新定义成一个可结构化生成的中间产物——逻辑有向图，使得 QA 可以从图的不同结构属性（节点、边、阶段、全图）系统化派生，而不是凭经验手写；二是把美学评估器选择本身作为一个研究问题，通过 Table 2 系统比较了 Aesthetic Score、PickScore、VLM-as-Judge、UniPercept、AesR1 与人类排名的对齐度，明确给出 CLIP 类指标在学术插图上失效、专用美学模型更可靠的实证结论；三是首次证明 test-time scaling 在学术插图任务上同时存在推理侧和生成侧两条独立路径都能显著提分——重写策略把 Qwen-Image-2512 从 42.83 拉到 58.39，纯 SVG 中间表示把 Semantics 准确率推到 91.98 但美学跌到 43.12，BoN/Edit 后处理又把 Wan2.6 从 65.84 提到 69.31，这构成了对当前 SOTA 模型能力瓶颈的系统性诊断。
实验结果
Table 3 的主实验显示，AIBench 在 300 篇 2025 顶会论文、5704 道 QA 上对当前 SOTA 模型给出了清晰的层级排名。最强闭源模型 Nano Banana Pro 取得 Overall Score 77.77（Component 87.80、Topology 74.81、Phase 82.67、Semantics 88.54、Aesthetics 55.04），Seedream 5.0 紧随其后得 73.23，Wan 2.6 65.84，Seedream 4.5 59.68，GPT-Image-1.5 61.62；开源模型差距巨大，Emu3.5 42.15、Qwen-Image-2512 42.83、Z-Image 41.62、Qwen-Image 33.18、FLUX2-dev 37.94，而 BAGEL、UniWorld-V1、OmniGen2、BLIP3o-NEXT 这类统一生成模型整体仅 10–19 分。三大核心发现如下：Finding 1 是闭源 vs 开源的差距在 AIBench 上远大于通用基准，Nano Banana Pro 比最强开源 Emu3.5 高出约 35 分，反驳了通用基准已饱和的乐观判断；Finding 2 是逻辑完整性与美学之间存在明显 trade-off，GPT-Image-1.5 美学最高 57.50 但 Component 仅 66.23、Topology 50.87，而 Nano Banana Pro 信息密度极高换来 Component 87.80 但美学 55.04，Table 2 单独也表明纯 SVG 代码生成可达 Semantics 91.98、Aesthetics 仅 43.12；Finding 3 是 test-time scaling 在推理侧和生成侧都能显著突破上限，重写策略让 Qwen-Image-2512 从 42.83 涨到 58.39（提升 15.56 分），AutoFigure 的 SVG 先验再喂给 Nano Banana Pro 把 SOTA 推到 78.03，Wan2.6 用 BoN 涨到 67.23、Post-Editing 涨到 69.31。Figure 6 进一步显示用 Qwen2.5-VL-72B、Qwen3-VL-235B、Qwen3.5-397B、GPT-5.1 等不同求解器时模型相对排名保持稳定，且本方法与人类专家排名的 Spearman 相关系数 $\rho=0.886$，显著高于 VLM Score（0.600）和 VLM Arena（0.714），证明 AIBench 不仅量化了能力差距，自身作为评测工具也具备鲁棒性和人机一致性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Nano Banana Pro vs Open-Source SOTA（学术插图生成） | AIBench Overall Score（五维平均 0–100） | 77.77（Component 87.80 / Topology 74.81 / Phase 82.67 / Semantics 88.54 / Aesthetics 55.04） | Emu3.5 42.15、Qwen-Image-2512 42.83、Z-Image 41.62、FLUX2-dev 37.94 | Nano Banana Pro 比最强开源 Emu3.5 高 35.62 分，比 FLUX2-dev 高 39.83 分，体现闭源模型在长文推理 + 高密度渲染上的显著优势 |
| Seedream 5.0 vs Seedream 4.5（同系列闭源 T2I 升级） | AIBench Overall Score | 73.23（Component 82.93 / Topology 72.81 / Phase 72.10 / Semantics 86.53 / Aesthetics 51.78） | 59.68（Seedream 4.5，Component 67.89 / Topology 52.42 / Phase 48.14 / Semantics 74.47 / Aesthetics 55.48） | 整体提升 13.55 分，逻辑四层全面提升（Component +15.04、Topology +20.39、Phase +23.96、Semantics +12.06），美学略降 3.70，再现逻辑-美学 trade-off |
| Rewriting test-time scaling on Qwen-Image-2512 | AIBench Overall Score | 58.39（Component 56.97 / Topology 45.93 / Phase 57.71 / Semantics 71.97 / Aesthetics 59.35） | 42.83（原始 Qwen-Image-2512，Component 32.27 / Topology 29.11 / Phase 39.95 / Semantics 56.39 / Aesthetics 56.45） | 用 Qwen-Max 先把方法文本重写成结构化 prompt 后整体提升 15.56 分，逻辑四层全部涨 10 分以上（Component +24.70、Topology +16.82、Phase +17.76、Semantics +15.58） |
| SVG Pipeline + Nano Banana Pro（极端 reasoning scaling） | AIBench Overall Score | 78.03（Component 87.57 / Topology 76.50 / Phase 78.91 / Semantics 92.14 / Aesthetics 55.05） | Nano Banana Pro 直接生成 77.77，纯 SVG（Gemini-2.5-Flash）76.83 | AutoFigure 风格的 SVG 作为结构先验再喂给 Nano Banana Pro，把 Semantics 推到 92.14，刷新 SOTA 至 78.03 |
| Wan2.6 后处理 test-time scaling | AIBench Overall Score | Best-of-N 67.23、Post-Editing 69.31 | Wan2.6 基线 65.84（Component 68.60 / Topology 56.11 / Phase 72.56 / Semantics 80.43 / Aesthetics 51.50） | Best-of-N（N=4，Qwen3-VL-235B 选最优）提升 1.39 分，Post-Editing（用 Nano Banana Pro 局部修正）提升 3.47 分 |
| 评测器与人类排名一致性 | Spearman 相关系数 $\rho$ | AIBench 与人类排名 $\rho=0.886$ | VLM Score 0.600、VLM Arena 0.714 | AIBench 比 VLM Score 高 0.286、比 VLM Arena 高 0.172，表明 VQA 拆解在 system-level 上更贴近人类判断 |
局限与改进
作者承认的局限性主要有两点：第一，benchmark 当前仅覆盖 2025 年四个顶会的 300 篇论文，规模仍有限，未必能完全代表整个学术插图生态；第二，QA 由 Gemini 3 Flash 自动生成后经人工审核，即便经过幻觉过滤和专家审校，仍可能存在少量题目与原图实际意图不完全对齐的情况。我自己的额外观察是：AIBench 高度依赖 VLM 求解器的视觉理解能力，从 Figure 6(a) 看不同求解器间绝对分数存在波动，虽然相对排名稳定但绝对数值仍会偏移；此外，UniPercept 是基于自然图像美学训练的通用美学模型，对学术插图信息密度优先于装饰性的特殊美学标准未必完全契合，这可能是 Table 2 中 UniPercept 与人类排名仍有差距的原因之一；同时，方法主要针对方法章节框架图，未涵盖实验对比图、可视化结果图等其他学术插图类型。
独立分析的弱点
从独立分析角度，AIBench 存在以下几个可改进的弱点。第一个弱点是数据规模与覆盖面：当前仅 300 篇 2025 顶会论文、5704 道 QA，远小于 AutoFigure 的 3300 篇，未来需要扩展到其他会议（ACL、ICML、KDD 等）以及综述论文、期刊文章，使基准更普适；改进方向是引入更多会议、引入跨年纵向样本，并配套自动 QA 质量控制。第二个弱点是求解器敏感性：Figure 6(a) 显示四个 SOTA VLM 之间的绝对分数波动可达数分，意味着不同实验室用不同求解器可能得到不同的绝对得分，影响跨论文比较；改进方向是发布官方评测协议、固化求解器版本、或对多个求解器取平均。第三个弱点是美学评估器的领域偏差：UniPercept 是面向自然图像的美学模型，而学术插图的核心是信息可读性 + 逻辑清晰度，美学应让位于功能性，目前 Table 2 中 UniPercept 与人类 $\rho$ 仍有差距；改进方向是专门用学术插图数据微调美学模型或加入可读性、信息密度等任务相关维度。第四个弱点是缺乏对失败原因的反向诊断：虽然 Table 3 给出层级分数、Figure 5 给出四类失败模式（缺失组件 / 布局错误 / 幻觉推理 / 文本渲染），但缺少自动化的失败分类器，使得评测结果对模型改进的直接指导性仍偏弱；改进方向是建立题型到失败模式映射库并开源分类代码。第五个弱点是 test-time scaling 报告偏少：Table 4 只展示三个代表性实验，对 scaling 的理论极限、最优策略组合尚未充分探索。
未来方向
作者明确指出的未来方向是把 AIBench 作为社区驱动的标准评测平台，并持续引入新模型与新 TTS 策略。从论文成果可延伸的研究方向包括：第一，把 AIBench 的 VQA 范式扩展到其他科学绘图场景，如实验结果可视化、神经网络结构图、分子/蛋白质示意图等，构建统一 Scientific Illustration Bench；第二，结合 logic-aware reward model，把 AIBench 的层级准确率作为 RLHF 或 DPO 的奖励信号，训练专门针对学术插图优化的生成模型；第三，研究 reasoning-side 和 generation-side TTS 的最优组合，例如先用 LLM 写 SVG、再用 VLM-as-Judge 选 BoN、再做 Post-Editing 是否能进一步突破 78.03 的当前 SOTA；第四，探索多模态 agent 形式的生成 pipeline，让模型先输出结构化 JSON 描述、再渲染成图，类似 AutoFigure 但加入 AIBench 风格的层级 QA 作为在线反馈；第五，研究 logic-aesthetics trade-off 的 Pareto 前沿，定量回答在哪个美学分阈值下 Semantics 准确率提升最快，为模型设计提供更细的导航。
复现评估
AIBench 的复现性整体较好。项目主页 https://deep-kaixun.github.io/aibench-page/2026 上提供了 benchmark 数据集，但论文未明确说明 300 篇论文清单、5704 道 QA 全文以及 UniPercept 评分脚本是否完全开源。从论文内容看，可复现的部分包括：数据集构造流水线（Gemini 3 Flash 提示词、四层级 QA 生成模板）、评测协议（公式 $\mathrm{Acc}_l = \frac{1}{|\mathcal{Q}_l|} \sum_q \mathbb{1}[\hat{a}_q = a_q^*]$ 的问题级全局平均、五维平均）、默认 VLM 求解器 Qwen3-VL-235B-A22B-Instruct 和美学评估器 UniPercept 的具体型号选择、以及 test-time scaling 中 Rewriting 用 Qwen-Max、Post-Editing 用 Nano Banana Pro 等关键超参。算力方面，评测一张生成图需要调用一次 235B 规模 VLM 和一次 UniPercept（基于 InternVL3-8B），单次开销较大但单 GPU 可跑，复现整体难度中等。最不确定的部分是 5704 道 QA 的具体文本、300 篇论文的挑选列表、以及筛选步骤 3 的人工审核标注——这些是 benchmark 的核心资产，其开放程度直接决定外部研究者能否在自己生成的图上跑出与论文一致的分数。
论文图表
图 5 用四个子图展示了生成失败的可视化案例：(a) FLUX 2.0 缺失 condition DiT 关键模块；(b) Wan-2.6 求和布局错误；(c) GPT-Image-1.5 出现幻觉推理，把数据流接到错误模块；(d) Wan-2.6 文本渲染不清且阶段混淆。每个子图都附了一组生成图、四选一问题、错误答案及正确选项。
这是论文做定性分析的关键图，把 Table 3 中的低分变成具体可视的失败模式，让读者理解为什么这些模型在 AIBench 上不行，并支撑 Finding 2 中关于逻辑-美学 trade-off 的讨论。