DiagramBank：一份带多层级文档语境的、质量受审计的科学示意图数据集 DiagramBank: A Large-scale Dataset of Diagram Design Exemplars with Paper Metadata for Retrieval-Augmented Generation
释放5.7万张AI/ML论文示意图并配以多层级文档上下文的可审计数据集。
前置知识
CLIP（对比语言-图像预训练）
CLIP是OpenAI在2021年提出的多模态模型，使用对比学习把图像和文本编码到同一向量空间。本文使用OpenCLIP ViT-B/32配DataComp-XL权重作为第一阶段分类器，对每张抽取出的论文图计算"它是示意图/图/照片/其他"的softmax置信度，作为后续级联路由的廉价信号。
数据集构建的核心是从数十万张混合图像中分离出真正的示意图，CLIP提供了零样本、低成本的分类入口；如果不理解softmax概率与置信度阈值的概念，就无法理解为何τ=0.85被选为高精度工作点。
级联过滤（Cascade Filtering）
级联过滤指把多个分类器按成本由低到高串联起来：先用廉价的CLIP做粗筛，再让两个小型VLM对候选做独立投票（majority vote），分歧样本由更大、更贵的VLM做最终裁决。它把计算预算集中在"CLIP不确定"的样本上，从而在保持高召回的同时大幅降低标注成本。
本文的57,100条记录不是CLIP一次性过滤的结果，而是经过"Tier 1:CLIP预测为diagram"+"Tier 2:CLIP预测为非diagram但置信度<0.70的rescue"两道VLM级联后留下的。不理解级联，就会误把高置信度CLIP视图当作主发布集。
图-文多层级文档上下文（Multi-Level Document Context）
指一条数据记录同时携带论文级（标题、摘要、venue、年份）、图表级（caption、figure_context正文片段）和质量级（CLIP标签/置信度、级联路径、决策字段）的多粒度信息，让RAG可按粒度切换检索策略。
这是DiagramBank区别于SciCap、DocFigure、AI2D等已有figure数据集的根本特征。多层级上下文意味着下游RAG与可视化检索不必再回到原始PDF就能拿到充足证据，是理解作者强调"reusable resource"的关键。
Precision-Recall权衡与分层抽样审计
Precision是留下记录中真示意图的比例；Recall/Retention是真正示意图被留下的比例。本文用stratified sampling取500张、Wald 95% CI给精度区间，最终发布集93.67%（CI 90.11–97.22）。
理解这一统计学概念才能正确解读"τ=0.85时精度94.4%"这类数字：精度只是估计量，带置信区间，且样本被按cascade path和venue分层，否则会高估或低估系统误差。
研究动机
近年来AI Scientist、Paper-Banana、AutoFigure、DiagrammerGPT等自动化学术写作与示意图生成系统快速发展，对"可审计的科学示意图语料"形成直接需求。然而现有figure数据集存在三类缺陷：SciCap（416k）、DocFigure（33k）、ACL-Fig（112k）、SMSMO（24k）等都把示意图、图、照片、表格、截图混合，缺乏针对性过滤；AI2D虽专注示意图但只覆盖5k张中小学科学图；几乎所有数据集都只保留caption级监督，缺失figure_context。AI Scientist v1/v2均报告示意图质量长期低于人类基准。
本文的目标是本文的核心目标是发布一份专为科学示意图设计的、带多层级文档上下文的质量受审计数据集DiagramBank。具体量化目标包括：从OpenReview上ICLR 2017–2026、NeurIPS 2021–2022/2024–2025、ICML 2023–2025、TMLR 2022–2026的论文PDF中抽取并最终保留57,100张高质量示意图，每条记录耦合图片、标题、摘要、figure-reference正文片段、venue/year元数据、provenance字段和QC标签；同时给出两套独立的人类盲审精度——高置信度CLIP视图94.4%、级联过滤最终发布集93.67%（95% CI 90.11–97.22）。作者也希望提供一个开放的多层级metadata索引范例（title/abstract/caption三套FAISS索引），证明这些记录足以支撑可复现的retrieval/RAG协议。
与已有工作不同的是，本文的独特切入角度是把"数据集贡献"与"新方法/新基准"明确切割——它不发布新的检索算法、不设立固定train/test split，也不要求下游必须按某一指标排名，而是把"什么被抽出来、为什么被接受、如何被审计"全部作为可由用户重建的中间产物暴露出来。与SciCap/Acl-Fig不同，它把cascade路径和confidence视图留在主发布集里；与AI2D不同，它聚焦现代AI/ML的OpenReview论文而非中小学科学图；与AI Scientist等生成系统不同，它不直接输出图，而是提供"被人类引用过的"示意图作为可审计exemplar，附带BibTeX等可追溯的版权信息。换言之，DiagramBank占据的是"为下游benchmark和RAG系统提供可审计地基"这一被现有工作空出的生态位。
核心方法
DiagramBank的构造是一个四阶段流水线：元数据获取→图文抽取→示意图分类→关系聚合，最终用DuckDB落成denormalized记录。直觉上，先"广撒网"把所有候选图元信息抓全，再用廉价的CLIP做粗筛，把剩余分歧样本交给多个VLM精确投票，类似用众包流水线替代单一昂贵模型。技术上，第一阶段调用OpenReview Python API把ICLR/ICML/NeurIPS/TMLR的venue-year异构schema归一化为Papers relation；第二阶段用PDFFigures 2.0抽figure+caption、用PyMuPDF定位figure_context；第三阶段OpenCLIP ViT-B/32路由后由VLM级联投票确认；第四阶段DuckDB join回Papers，暴露三套视图：全CLIP、高置信度（$\tau\geq 0.85$）、级联过滤主发布集。
本文的核心创新不是某一种新分类算法，而是把"示意图数据集构建"这件事从一次性过滤升级为"多视图、可审计、可重建"的资源交付。具体三点与既有工作有本质区别。第一，它把CLIP过滤和VLM级联分离成两个独立的审计对象，让高置信度CLIP视图和级联过滤视图各自报自己的精度，避免把CLIP的94.4%误读为最终发布集的精度。第二，引入"低置信度非diagram rescue path"（Tier 2: CLIP预测为非diagram但置信度<0.70的样本被重新交给VLM rescue），最终挽救出5,066张原本被CLIP漏掉的示意图，使主发布集57,100条记录中包含了CLIP初筛漏掉的部分。第三，把每条记录都做成denormalized——图、caption、figure_context、title、abstract、quality标签、provenance全部塞进一行，下游检索时不需要做运行时join，这一设计显著降低了RAG系统的接入门槛。
方法步骤详情
六步流水线：(1)OpenReview API拉取ICLR/ICML/NeurIPS/TMLR venue-year异构schema，归一为Papers relation（title/abstract/decision/BibTeX）。(2)PDFFigures 2.0得475,616候选，PyMuPDF定位引用段落作figure_context。(3)OpenCLIP ViT-B/32算softmax，分配clip_label∈{diagram, plot, photo, other}与clip_confidence $c\in[0,1]$。(4)Tier 1：60,717候选→两VLM投票，46,524一致+3,645多数=52,034，minority由大VLM confirm。(5)Tier 2 rescue：33,459张$c<0.70$非diagram经两小VLM重判+大VLM confirm救回5,066。(6)DuckDB join得57,100条（ICLR 20,516/ICML 11,267/NeurIPS 19,655/TMLR 5,662），附三套视图。
技术新颖性
技术新颖性体现在四层面。第一，"两次审计"统计学设计：在500张stratified sample上分别测CLIP视图（94.4% precision @ $\tau=0.85$）和级联发布集（93.67%，95% CI 90.11–97.22），把中间视图与最终发布集精度分别审计。第二，rescue path的设置：显式把$c<0.70$的"低置信度负样本"再次投入VLM，证明单纯靠高精度阈值会损失约8.9%的真示意图（5,066/57,100≈8.9%）。第三，多层级metadata索引范例：title/abstract/caption三套独立FAISS索引配合Deep Fetch，sanity check实现hierarchical P@10=78.0%、caption-only P@10=81.0%、7-9-4胜负分布。第四，denormalized schema：把paper-level、figure-level、quality fields全部嵌入单条JSONL记录，下游不需要运行时join。
实验结果
核心发现分三层。(1)审计精度：500张stratified sample，CLIP视图$\tau=0.85$时精度94.4%（34/36正确），0.49% false-positive rate（2/410）；$\tau$从0.50升到0.90的sweep显示精度从64.0%升到96.0%，保留率从100%降到55.7%。最终发布集精度93.67%（95% CI 90.11–97.22），dominant error mode是screenshots混入。(2)规模分布：2017–2025非table切片452,339张，plots 65.2%、diagrams 19.8%、photos 11.5%；ICLR 4.79图/篇、TMLR 9.22图/篇，visual breadth 79.8%–97.6%。(3)检索sanity check：20条query、1,862 pairs，Fleiss $\kappa=0.425$，hierarchical P@10=78.0%、caption-only P@10=81.0%，胜负7:9:4互补。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 高置信度CLIP视图精度审计 | Precision @ τ=0.85（500张stratified sample，Wald 95% CI） | 94.4% precision（34/36张正类预测正确），0.49% false-positive rate（2/410张负样本误判） | τ=0.50时64.0% / τ=0.70时77.3% / τ=0.80时86.0% / τ=0.90时96.0% | 相比τ=0.50提升30.4pp precision，保留率仅从100%降到55.7%，是最优点；τ=0.90虽再涨1.6pp但保留率断崖下跌至55.7% |
| 级联过滤最终发布集精度审计 | Precision（500张stratified by cascade path × venue，95% CI） | 93.67% precision（95% CI 90.11–97.22） | 无直接baseline；与高置信度CLIP视图94.4%相比略低0.7pp但CI重叠 | 代价是约0.7pp precision换取CLIP漏掉的5,066张示意图（占最终8.9%），且发布集是"cascade-validated"而非"CLIP-threshold-only" |
| Figure type分布（2017–2025非table切片） | 占比 / CLIP平均置信度 | Diagrams 19.8%（57,808/291,431 accepted-paper），plot 65.2%、photo 11.5% | SciCap将图、照片、表格混合，无独立diagram占比；AI2D仅5,000张教育图 | 首次系统给出OpenReview AI/ML论文里示意图的真实占比——约五分之一 |
| Metadata检索sanity check（20条query） | P@10 (model-judged, hierarchical rubric) | Hierarchical 78.0%，Caption-only 81.0%，胜负比7:9:4 | 两种策略互为baseline；Fleiss κ=0.425（52% unanimous） | Caption-only略胜说明figure-level语义匹配在某些查询上比paper-level更直接；两者互补而非支配 |
| Venue visual density | 图数/论文 + caption平均长度 + visual breadth | ICLR 4.79图/篇、ICML居中、TMLR 9.22图/篇；visual breadth全venue 79.8%–97.6% | 无直接对比；凸显venue-specific差异 | 高密度venue如TMLR意味着检索索引需要更多figure_local evidence以避免误匹配 |
局限与改进
作者坦承四点：(1)整个pipeline依赖自动化PDF解析与自动分类，部分记录可能含imperfect captions、incomplete figure-reference spans或分类错误；(2)主发布集precision-oriented，可能排除有用的低置信度示意图；(3)覆盖局限于OpenReview可访问venue/year，会偏向近期AI/ML出版规范；(4)检索工具与authoring示例只是compact sanity check，下游仍需task-specific human studies。独立补充两点：500张审计样本相对57,100条发布规模偏小，95% CI宽度6.4pp意味着精度估计不确定性较高；retrieval sanity check里Fleiss $\kappa=0.425$属"fair agreement"，3位VLM judge一致性只有中等水平，标签噪声相当部分来自judge间分歧。
独立分析的弱点
独立审视后五点值得改进。(1)CLIP预训练权重（DataComp-XL）与下游VLM无显式domain adaptation，对AI/ML论文里灰底箭头/小字号annotation/数学公式的视觉编码可能偏差，建议用paper-image数据继续pretrain或加adapter。(2)figure_context抽取依赖PyMuPDF grep引用号，双栏排版/caption跨页/subfigure编号下易漏检，建议引入布局感知检测。(3)Tier 2规则"两个小VLM都重标为diagram才rescue"过于严格，仅救出5,066/33,459=15.1%，建议放宽threshold或加VLM自一致性校验。(4)主发布集仅覆盖accepted papers，缺少rebuttal期间反复修改形成的图表分布，建议expose rejected-paper视图。(5)denormalized schema存储开销大、schema升级需rebuild，建议改用columnar存储（Parquet）。
未来方向
作者提出future方向：(a)推荐temporal splits、venue holdout splits、confidence-controlled evaluation三套protocol；(b)用户应明确声明所用subset、confidence threshold与cascade paths；(c)图像版权允许时单独发布，否则仅发source link+BibTeX。可延伸五条方向：(1)扩展venue覆盖到AAAI/ACL/EMNLP/CVPR/ICCV/CHI，构成domain shift benchmark；(2)扩展图表taxonomy（architecture/workflow/sequence/concept map/UML）支持按类型检索；(3)利用BibTeX构建跨论文示意图citation network，支持diagram authorship genealogy研究；(4)与LLM-based RAG深度结合，探索LLM-as-a-judge与人工审计一致性；(5)扩展到非英文论文，多语言RAG需重做Tier 1分类。
复现评估
复现评估分四方面。(1)开源：代码公开在https://github.com/csml-rpi/DiagramBank，dataset card/release manifest/schema description/indexing scripts随附发布；review阶段通过anonymized supplementary archive提供，公开地址可在de-anonymization后获得。(2)数据可获得性：OpenCLIP ViT-B/32+DataComp-XL、PDFFigures 2.0、PyMuPDF、DuckDB、FAISS、OpenReview Python API、OpenAI text-embedding-3-large均为公开工具或商业API，外部依赖充分。(3)算力：CLIP路由单卡A100可完成，VLM级联API费用约数千美元，中等团队可承担。(4)复现难度：最大风险在审计阶段，Fleiss $\kappa=0.425$说明VLM judge一致性仅fair水平，复现者必须严格按原rubric和sampling strata。
论文图表
一张概述性的示意图，对比"仅figure抽取"的弱资源和DiagramBank的context-rich records：左半部分示意"仅抽出figure → caption → 图像"的孤立记录，右半部分示意"被审计过的diagram collection + 多层级metadata索引 + dataset-grounded diagram generation"，每条主线都连到下游RAG与authoring用例。
这张图直接呈现作者的核心论断——"区别于既有figure dataset的不是方法，而是context-rich与verified"，是理解motivation的最重要视觉证据。