PaperBanana：面向AI科学家的学术插图自动化生成框架 PaperBanana: Automating Academic Illustration for AI Scientists
多智能体协作自动生成出版级学术插图，包含方法图与统计图
前置知识
Agentic Framework（智能体框架）
智能体框架是一种由多个专门化的AI智能体（Agent）协作完成复杂任务的系统架构。每个智能体承担特定的角色和职责，通过流水线式的协作实现端到端的任务完成。在本文中，PaperBanana由五个专门化智能体组成：Retriever（检索器）负责检索参考案例、Planner（规划器）负责内容规划、Stylist（风格师）负责风格优化、Visualizer（可视化器）负责图像渲染、Critic（评审器）负责质量反馈和迭代修正。这种分工协作的方式使得系统能够处理单一模型难以胜任的复杂视觉生成任务。
理解智能体框架是理解PaperBanana方法论的基础。论文的核心创新不在于单个模型的能力提升，而在于如何通过多智能体的协作流水线来系统性地解决学术插图生成的复杂性问题。
VLM（Vision-Language Model，视觉语言模型）
视觉语言模型是一类能够同时理解图像和文本的多模态大模型，如Gemini-3-Pro、GPT-5等。这类模型通过在大规模图文数据上预训练，获得了跨模态的理解和推理能力。在本文中，VLM被用作多个智能体的核心引擎：Retriever用VLM进行语义检索，Planner用VLM进行内容规划，Stylist用VLM进行风格迁移，Critic用VLM进行图像质量评估和反馈。论文默认使用Gemini-3-Pro作为VLM骨干网络。
VLM是PaperBanana框架的核心技术基础。理解VLM的多模态理解能力对于理解论文中检索、规划、评估等各个环节的工作原理至关重要。同时，VLM-as-a-Judge的评估方法也是本文评估协议的核心。
Image Generation Model（图像生成模型）
图像生成模型是能够根据文本描述生成对应图像的深度学习模型，近年来的代表包括DALL-E、GPT-Image系列以及本文中提到的Nano-Banana-Pro等。这些模型通常基于扩散模型或自回归架构，通过学习海量图文对的映射关系，实现从文本到图像的高质量转换。本文中使用的主要图像生成模型是Nano-Banana-Pro，同时也实验了GPT-Image-1.5。图像生成模型在PaperBanana中作为Visualizer的核心组件，负责将经过规划和风格优化的文本描述渲染为具体的视觉图像。
图像生成模型是PaperBanana产生最终输出的关键组件。论文的实验结果表明，不同的图像生成模型对最终插图质量有显著影响，Nano-Banana-Pro在学术插图场景下明显优于GPT-Image-1.5。
VLM-as-a-Judge（VLM作为评审员）
VLM-as-a-Judge是一种利用视觉语言模型来评估生成内容质量的评估方法范式。在本文中，给定模型生成的插图和人类绘制的参考插图，VLM评审员（Gemini-3-Pro）在四个维度上进行对比评估：Faithfulness（忠实度）、Conciseness（简洁度）、Readability（可读性）和Aesthetics（美学度）。评估采用参照对比方式，判断模型输出是优于、劣于还是与人类参考持平。这种方法避免了需要大量人工标注的评估成本，同时通过与人类评估的相关性分析（Kendall's tau相关系数约0.41-0.57）验证了其可靠性。
这是本文评估协议的核心方法论。理解VLM-as-a-Judge的工作原理和验证过程，对于判断论文实验结果的可信度至关重要。论文通过Inter-Model Agreement和Human Alignment两层验证确保了评估的有效性。
Reference-based Retrieval（基于参考的检索增强）
基于参考的检索增强是一种在生成任务中，先从预先构建的参考库中检索出与当前任务最相关的示例，然后利用这些示例来指导生成过程的技术。在PaperBanana中，Retriever智能体从固定的参考集R中检索出N个最相关的示例E，每个示例是一个三元组（源上下文、意图描述、参考插图）。检索过程使用VLM通过生成式检索方式实现，根据研究领域和图表类型进行匹配。这些检索到的参考示例为后续的Planner提供了结构逻辑和视觉风格的具体参考。
检索增强是PaperBanana框架的核心机制之一。消融实验表明，有无检索器对最终插图质量有显著影响，特别是对Conciseness、Readability和Aesthetics三个维度。这说明参考案例对于生成符合学术规范的插图至关重要。
Iterative Refinement Loop（迭代精炼循环）
迭代精炼循环是PaperBanana中Visualizer和Critic两个智能体之间形成的闭环反馈机制。在每一轮迭代中，Visualizer根据当前描述生成图像，Critic检查生成的图像并对照原始源上下文和意图描述，识别事实偏差、视觉瑕疵或改进空间，然后提供针对性的反馈并生成优化后的描述，送回Visualizer进行下一轮生成。论文设置T=3轮迭代，实验表明3轮迭代相比1轮和无迭代分别带来显著的性能提升，特别是在Faithfulness维度上，Critic有效弥补了Stylist引入的细节丢失问题。
迭代精炼循环是PaperBanana在美学和忠实度之间取得平衡的关键机制。消融实验显示，没有Critic时Faithfulness显著下降（从45.8降到30.7），而Critic的引入能有效恢复这一指标，证明了闭环反馈对生成质量的重要性。
研究动机
尽管基于大语言模型的自主AI科学家在文献综述、创意生成和实验迭代等方面取得了显著进展，但生成符合出版标准的学术插图仍然是研究工作流中的劳动密集型瓶颈。具体来说，方法图（methodology diagram）的生成面临两方面挑战：一是基于代码的方法（如TikZ、Python-PPTX、SVG）在处理现代AI论文中常见的专业图标和自定义形状等复杂视觉元素时存在表达力限制；二是尽管近期的图像生成模型展示了强大的指令遵循能力和高质量视觉输出，但在始终如一地生成符合学术标准的插图方面仍然困难重重。专业插图工具所需的专业知识往往限制了研究人员自由表达复杂思想的能力，迫使他们投入大量手工精力来制作图表。这在科学研究发现的有效视觉传播中形成了显著的瓶颈。现有工作如Paper2Any虽然也支持生成论文插图，但其优先展示高层思想而非忠实描绘具体的方法流程，导致在方法图评估中表现不佳。
本文的目标是本文的具体目标是设计并实现一个完全自动化的智能体框架PaperBanana，能够将科学内容（方法描述和图表标题）自动转换为出版级质量的方法论插图和统计图表。框架需要满足以下要求：（1）通过多个专门化智能体的协作流水线，实现从文本描述到高质量视觉输出的端到端生成；（2）通过参考增强机制学习学术插图的结构逻辑和风格规范；（3）通过迭代精炼机制在美学和忠实度之间取得平衡；（4）构建专门的评估基准PaperBananaBench来严格评估框架性能；（5）展示框架对统计图表生成的可扩展性。
与已有工作不同的是，本文的独特切入角度在于将学术插图生成问题重新定义为一个多智能体协作的规划-生成-评估闭环系统，而非简单的端到端映射。与现有方法相比，PaperBanana的核心差异体现在三个方面：第一，通过Retriever智能体进行语义检索来获取参考案例，而非简单地拼接few-shot示例，这种方式能够更精准地学习目标图表的结构逻辑和视觉风格；第二，通过Stylist智能体自动从参考集中综合出学术美学指南G，覆盖配色、形状、线条、布局和字体等维度，实现了风格的自动迁移而无需手动定义；第三，通过Visualizer-Critic的迭代精炼闭环，在美学打磨和忠实度之间实现了动态平衡，解决了单一生成模型容易丢失技术细节或过度简化的矛盾。这种参考驱动的协作流水线使得系统能够有效掌握出版级插图所需的逻辑组成和风格规范。
核心方法
PaperBanana的整体思路可以用一个直觉来理解：要画好一张学术插图，就像一个新手画家需要参考范例、规划构图、注意风格、反复修改一样。系统首先从预先构建的参考集中检索出与当前任务最相关的示例插图（Retriever），然后像一个认知核心一样，综合源上下文、意图描述和参考示例，生成详细的文本描述（Planner）。接着，一个设计顾问角色根据自动总结的学术美学指南对描述进行风格优化（Stylist），最后由Visualizer和Critic形成闭环进行图像渲染和迭代修正。技术路线是：输入方法描述S和图标题C → Retriever检索N个参考示例E → Planner生成初始描述P = VLM_plan(S, C, E) → Stylist优化描述P* = VLM_style(P, G) → Visualizer生成图像I_t = Image-Gen(P_t) → Critic评估并生成优化描述P_{t+1} = VLM_critic(I_t, S, C, P_t) → 循环T=3轮 → 输出最终图像I_T。整个过程遵循线性规划阶段加迭代精炼循环的两阶段架构。
PaperBanana的核心创新点在于参考驱动的协作流水线和迭代精炼机制的结合。与已有方法的本质区别体现在：第一，与Vanilla直接提示图像生成模型和Few-shot拼接示例的方法不同，PaperBanana通过语义检索智能地选择最相关的参考示例，实现精准的结构和风格迁移；第二，与Paper2Any等端到端框架不同，PaperBanana将插图生成分解为五个专门化子任务，每个智能体专注于特定方面的能力，通过分工协作实现整体性能的提升；第三，Stylist智能体通过遍历整个参考集自动综合学术美学指南G，而非手动定义风格规则，这使得风格迁移能够覆盖配色、形状、线条、布局和字体等多个维度；第四，Visualizer-Critic的迭代精炼闭环是解决美学和忠实度矛盾的关键，Critic通过对比生成图像和原始上下文来识别并修正细节错误，消融实验表明Critic的引入使Faithfulness从30.7提升到45.8，同时保持Aesthetics在72.1的高水平。
方法步骤详情
PaperBanana的方法步骤包括五个阶段。第一阶段是Retriever，输入源上下文S和意图描述C，从固定参考集R中检索N个最相关示例E = {E_n}，每个示例是三元组(S_n, C_n, I_n)。检索采用生成式方式，VLM通过匹配研究领域和图表类型对候选元数据进行排序，优先考虑视觉结构而非主题相似性。第二阶段是Planner，输入S、C和检索到的示例E，通过上下文学习将S中的非结构化或结构化数据转化为全面详细的文本描述P = VLM_plan(S, C, {(S_i, C_i, I_i)})。第三阶段是Stylist，输入初始描述P，根据自动总结的学术美学指南G进行风格优化，输出P* = VLM_style(P, G)，指南覆盖配色、形状容器、线条箭头、布局构图和字体图标等维度。第四阶段是Visualizer，在每轮迭代t中接收描述P_t并生成图像I_t = Image-Gen(P_t)。第五阶段是Critic，接收生成图像I_t，对照原始S和C检查事实偏差、视觉瑕疵，生成优化描述P_{t+1} = VLM_critic(I_t, S, C, P_t)。Visualizer-Critic循环进行T=3轮，最终输出I = I_T。对于统计图表，Visualizer改为生成Python Matplotlib可执行代码I_t = VLM_code(P_t)以确保数值精度。
技术新颖性
PaperBanana的技术新颖性体现在多个层面。从问题定义的角度，论文将学术插图生成形式化为从源上下文S和意图描述C到图像I的映射I = f(S, C, E)，并首次将参考示例集E显式纳入生成过程，为后续的检索增强机制提供了理论基础。从方法设计的角度，五个专门化智能体的分工协作架构是新颖的，特别是Stylist智能体通过遍历整个参考集自动综合学术美学指南G，解决了手动定义学术风格的不完备性问题。从评估体系的角度，PaperBananaBench是首个专门针对方法图生成的评估基准，包含292个测试案例和292个参考案例，涵盖NeurIPS 2025的多种研究领域和插图风格。评估协议采用分层聚合策略，将Faithfulness和Readability作为主要维度，Conciseness和Aesthetics作为次要维度，确保内容忠实度和清晰度优先于美学。此外，框架对统计图表的扩展（通过代码生成替代图像生成以确保数值精度）展示了统一框架处理不同类型学术可视化的潜力。
实验结果
论文在PaperBananaBench上的实验结果充分验证了PaperBanana的有效性。在主要对比中，PaperBanana（搭配Nano-Banana-Pro）在所有四个评估维度上全面超越基线：Faithfulness达到45.8（相比Vanilla Nano-Banana-Pro的43.0提升2.8%），Conciseness达到80.7（提升37.2%），Readability达到51.4（提升12.9%），Aesthetics达到72.1（提升6.6%），Overall达到60.2（提升17.0%）。值得注意的是，GPT-Image-1.5在Vanilla和Agentic设置下表现都很差（Overall仅11.5和19.0），这归因于其较弱的指令遵循和文本渲染能力。Paper2Any框架（搭配Nano-Banana-Pro）的Overall仅为8.5，因为其目标是展示高层思想而非忠实描绘具体方法流程。在不同类别中，Agent和Reasoning类取得最高Overall得分69.9%，其次是Scientific和Application（58.8%）和Generative和Learning（57.0%），Vision和Perception类得分最低（52.1%）。消融实验表明：无检索器时Conciseness、Readability和Aesthetics显著下降；随机检索器与语义检索器性能接近，说明提供一般性的结构和风格模式比精确的内容匹配更重要；Stylist提升Conciseness（+17.5%）和Aesthetics（+4.7%）但降低Faithfulness（-8.5%），而Critic有效弥补了这一差距；3轮迭代相比1轮和无迭代分别带来显著性能提升。在统计图表扩展中，PaperBanana相比Vanilla Gemini-3-Pro在所有维度上均有提升（Faithfulness +1.4%，Conciseness +5.0%，Readability +3.1%，Aesthetics +4.0%，Overall +4.1%），甚至在Conciseness、Readability和Aesthetics上略超人类表现。盲评人类评估显示PaperBanana相比Vanilla Nano-Banana-Pro的平均胜/平/负率为72.7%/20.7%/6.6%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 方法图生成（Faithfulness） | VLM-as-a-Judge参照对比得分 | 45.8 | 43.0（Vanilla Nano-Banana-Pro） | +2.8% |
| 方法图生成（Conciseness） | VLM-as-a-Judge参照对比得分 | 80.7 | 43.5（Vanilla Nano-Banana-Pro） | +37.2% |
| 方法图生成（Readability） | VLM-as-a-Judge参照对比得分 | 51.4 | 38.5（Vanilla Nano-Banana-Pro） | +12.9% |
| 方法图生成（Aesthetics） | VLM-as-a-Judge参照对比得分 | 72.1 | 65.5（Vanilla Nano-Banana-Pro） | +6.6% |
| 方法图生成（Overall） | 分层聚合得分 | 60.2 | 43.2（Vanilla Nano-Banana-Pro） | +17.0% |
| 统计图生成（Overall） | VLM-as-a-Judge参照对比得分 | 高于Vanilla Gemini-3-Pro | Vanilla Gemini-3-Pro | +4.1% |
| 人类盲评对比 | 平均胜/平/负率 | 72.7%胜 / 20.7%平 / 6.6%负 | Vanilla Nano-Banana-Pro | 72.7%胜率 |
局限与改进
论文作者承认了几个重要局限性：第一，输出的栅格性质是突出限制，不同于矢量图形可无限缩放和精确编辑，栅格图像本质上难以编辑，虽然4K分辨率输出可作为权宜之计但不能根本解决问题；第二，风格标准化和多样性之间存在权衡，统一的风格指南确保了学术标准合规但不可避免地降低了输出的风格多样性；第三，细粒度忠实度方面仍有差距，最普遍的错误涉及细粒度连接问题（如错位的起点/终点或错误的箭头方向），这些微妙错误往往逃过当前评审模型的检测；第四，评估范式面临固有挑战，参考对比方式在忠实度的结构正确性量化和主观维度如美学的文本提示对齐方面存在局限。此外，我观察到：框架依赖于预先构建的参考集R的质量和覆盖范围，参考集的局限性可能直接影响生成质量；迭代精炼机制增加了计算开销，3轮迭代意味着3次图像生成和3次VLM评估；对统计图表的扩展采用了代码生成方式，但论文也指出图像生成模型在处理密集或复杂数据时会出现数值幻觉或元素重复，限制了其适用范围。
独立分析的弱点
论文存在几个值得改进的弱点。第一，Faithfulness维度仍是主要瓶颈，PaperBanana的45.8分仍然低于人类的50.0分，且在所有维度中差距最大。改进方向可以考虑引入更细粒度的结构化评估指标，如基于图结构的连接正确性检测，或在Critic中增加针对连接和箭头方向的专门化检查模块。第二，风格指南G的综合方式是遍历整个参考集R，但这种方式可能遗漏特定子领域或新兴风格趋势。可以考虑引入领域自适应的风格综合机制，根据不同研究领域动态调整风格指南的权重。第三，框架对图像生成模型的依赖较强，GPT-Image-1.5的糟糕表现（Overall仅19.0）说明框架的性能上限受制于底层生成模型。可以考虑引入模型集成策略或针对学术场景的微调。第四，评估仅覆盖了NeurIPS 2025的方法图，对其他会议（如ICML、ICLR、ACL）和学科领域（如生物、物理）的泛化性未得到验证。第五，3轮固定的迭代次数可能不是最优的，可以考虑引入基于质量分数的自适应终止策略，在质量达标时提前停止以节省计算资源。
未来方向
论文作者提出了多个有前景的未来方向：第一，向可编辑学术插图发展，包括三种方案——使用图像编辑模型进行小调整、通过OCR和SAM重建管线将元素重组到演示文稿、开发GUI Agent自主操作专业矢量设计软件如Adobe Illustrator；第二，通过测试时缩放实现多样化偏好，生成一系列不同风格和构图的候选结果，让用户或VLM偏好模型选择最符合需求的插图；第三，扩展到更广泛的领域，利用检索来指导生成什么（目标图表类型）和自动风格总结来教如何生成（风格规范）的范式，可应用于UI/UX设计、专利草图和工业示意图等需要严格遵循社区标准的专业领域。基于已有成果，还可以延伸以下方向：将框架应用于论文全文插图的自动生成（包括实验结果图、数据可视化等），结合用户反馈的在线学习机制，以及开发轻量级版本以降低对大规模VLM和图像生成模型的依赖。
复现评估
论文在复现方面提供了较好的支持。代码和基准数据集已公开发布在GitHub仓库（https://dwzhu-pku.github.io/PaperBanana/）。PaperBananaBench包含292个测试案例和292个参考案例，数据来源清晰（NeurIPS 2025论文）。论文详细描述了每个智能体的prompt设计（附录G）、美学指南的综合过程（附录F）和评估协议的详细评分标准（附录H）。主要复现挑战包括：（1）需要访问Gemini-3-Pro和Nano-Banana-Pro等商业API，这带来了一定的算力和成本门槛；（2）参考集R的构建需要从NeurIPS 2025论文中提取并经过人工筛选，这个过程需要专业标注人员的参与；（3）评估协议使用VLM-as-a-Judge，其结果可能因VLM版本不同而有差异，论文通过Inter-Model Agreement验证了一定程度的鲁棒性但仍有波动。总体而言，框架的设计理念和核心算法是可复现的，但完整的端到端复现需要较大的API调用成本和一定的标注资源。
论文图表
