SciIR：科学图像推理生成的大规模训练数据集与基准

提出SciIR-82k数据集和SciIR-Bench基准，提升科学图像推理生成能力

前置知识

文本到图像生成

文本到图像生成是指根据文本描述生成对应图像的技术，主要方法包括基于扩散模型的方法和自回归方法。扩散模型通过逐步去噪从随机噪声生成图像，学习率通常设置在10的负4次方到10的负5次方之间。自回归方法则按顺序生成图像token，通过最大化似然估计进行训练。这些模型在生成日常图像方面表现优异，但在需要严格逻辑约束的科学图像生成方面存在显著不足。

本文核心工作就是改进T2I模型在科学图像生成中的推理能力，理解T2I的基本原理和工作机制是理解本文问题和解决方案的基础。

Peirce符号三角

Peirce符号三角是由美国哲学家Charles Sanders Peirce提出的符号学理论框架，包含三个核心维度：Icon通过相似性表征对象，Index通过因果或时空关联表征对象，Symbol通过约定俗成的规则表征对象。在本文中，这三个维度被映射到科学图像推理的三个层次：Entity Structure对应Icon的拓扑保真度，Scientific Process对应Index的因果或时序关联，Scientific Law对应Symbol的抽象规则约束。这种映射使得科学图像推理可以在符号学框架下进行系统化分析。

本文的理论基础直接基于Peirce符号三角，理解这个框架对于把握论文的理论创新和数据集分类体系至关重要。

思维链

思维链是一种prompting技术，通过引导模型逐步展示推理过程来提升复杂任务的解决能力。在文本到图像生成中，CoT可以用来显式建模从抽象概念到具体视觉元素的转换逻辑。本文提出了Scientific Reasoning Chain-of-Thought (Sci-RCoT)，专门针对科学图像的特点，将科学概念分解为术语、可视化描述和推理步骤，确保生成的图像符合科学原理。Sci-RCoT的推理过程可以表示为从科学术语到可视化描述再到推理步骤的序列，确保了从抽象概念到具体视觉表征的逻辑连贯性。

Sci-RCoT是本文数据集的核心创新之一，它提供了显式的推理路径标注，使得模型能够学习如何将科学概念正确转化为视觉表征，这与传统T2I数据集仅提供描述性标注有本质区别。

原子检查表

原子检查表是一种细粒度评估方法，将复杂的评估目标分解为最小可验证的单元，每个问题只验证单一的语义单元。在SciIR-Bench中，对于推理结构中的每个科学术语，VLM会生成对应的二元验证查询，并且会生成额外的对抗性问题来探测领域特定的捏造。评估采用严格的否决机制：一个样本只有在特定轨道上通过所有原子检查才被认为是有效的。形式上，令Q为样本在特定类别的原子问题集合，s(q)为单个问题的得分，样本的有效性定义为当且仅当所有问题的得分都为1时样本才有效，否则为0。

原子检查表是本文评测方法的核心创新，它将科学正确性从整体黑盒评估转化为透明、可验证的细粒度评估，这是对传统评估指标的重要改进。

研究动机

当前文本到图像模型虽然在生成照片级真实视觉内容方面取得了显著成功，但在科学图像生成所需的严格语义对齐和逻辑推理方面仍然存在根本性缺陷。即使是最先进的闭源系统，虽然能够达到高感知保真度和对象级一致性，却经常违反领域特定的逻辑约束，产生视觉上看似合理但事实上不正确的结果。开源模型面临的挑战更为根本：在知识密集型场景中，它们往往难以内化领域特定知识并满足严格的科学约束，经常产生违反基本物理定律的幻觉。这种差异揭示了一个关键原则：感知保真度不等同于推理鲁棒性，视觉润色无法弥补科学有效性的缺失。

本文的目标是本文的目标是构建一个基于符号三角理论的数据集和基准，以促进图像推理生成中的科学严谨性。具体而言，本文希望解决三个核心瓶颈：数据方面，克服逻辑注释资源的稀缺性，通过构建大规模的、带有Sci-RCoT注释的科学图像-文本对数据集，提供过程导向的监督信号；评估方面，建立科学正确性标准，通过细粒度的评测基准将科学正确性分解为可验证的原子问题；模型方面，提升执行科学约束的能力，通过推理密集型训练数据让模型学习科学概念到视觉表征的转换逻辑。通过这些努力，本文旨在推动科学图像生成领域从追求视觉质量向追求科学推理能力的范式转变。

与已有工作不同的是，本文的独特切入角度是将Peirce的符号三角理论系统地应用于科学图像推理的三个维度：Entity Structure（Icon）、Scientific Process（Index）和Scientific Law（Symbol），并基于这个理论框架构建数据集和评测基准。与现有数据集主要提供描述性标注不同，本文通过逻辑逆向工程从图像重构隐含的科学推理链，提供过程导向的监督信号。与现有评测基准主要关注布局和工作流不同，本文的评测基准采用原子检查表将科学正确性分解为可验证的细粒度问题，能够诊断特定的原子违规。这种基于符号三角理论的方法论创新是本文与现有工作的根本区别。

核心方法

本文的整体思路是基于Peirce符号三角理论，构建一个完整的科学图像推理生成生态系统。直觉上，科学图像不仅是视觉内容，更是编码逻辑关系和物理约束的抽象结构，因此需要专门的训练数据和评估方法。技术路线上，本文首先从Nature和Nature Communications的约360k原始图像中，通过YOLO11自动布局分析器将多面板图像分解为语义独立的子图像，然后通过两阶段过滤管道（VLM筛选加人工验证）提取超过80k高质量子图像。接着，使用Qwen3-VL作为领域特定评估器，根据每个样本与三个推理轨道的相关性得分进行分层。最后，通过逻辑逆向工程从图像重构Sci-RCoT推理链，并使用Qwen3-Max通过Term-Substitution策略生成紧凑的提示词。

本文的核心创新点是通过逻辑逆向工程从真实科学图像中重构隐含的科学推理链，而不是简单地描述图像内容。具体而言，传统T2I数据集的标注流程是正向的：从文本提示到逻辑推理再到视觉输出，而本文采用逆向流程：从ground-truth图像重构潜在科学推理即Sci-RCoT，然后推导精确的提示词。这种逆向工程使用Qwen3-VL进行视觉grounding，使用Qwen3-Max进行语义抽象，产生高质量的推理链和提示词。与已有方法相比，这种方法不仅提供了更丰富的训练信号，还确保了标注的科学准确性，为训练具有科学推理能力的模型提供了高质量的数据基础。推理过程可以表示为从真实图像通过逆向工程得到Sci-RCoT，再通过蒸馏得到提示词的流程。

方法步骤详情

SciIR-82k数据集构建包含三个主要步骤。第一步是语料库构建，从Nature和Nature Communications获得约360k原始图像，使用Ultralytics-YOLO11作为自动布局分析器将多面板图像分解为语义独立的子图像，标准化到1024乘1024分辨率，然后通过两阶段过滤管道最终提取超过80k高质量子图像及其对应的标题和内容。第二步是符号分层，使用Qwen3-VL作为领域特定评估器，评估每个样本与三个推理轨道的相关性得分，这种分类作为路由机制，根据图像的主导符号属性将其引导到目标注释管道。第三步是推理驱动注释，采用逻辑逆向工程：首先，Qwen3-VL执行分类驱动的推理提取，将输入解析为JSON，解耦术语和可视化描述；其次，Qwen3-VL合成科学推理思维链；最后，Qwen3-Max通过术语替换策略将Sci-RCoT蒸馏为紧凑提示词。

技术新颖性

本文的技术新颖性体现在多个方面。首先，理论层面的新颖性在于将Peirce符号三角系统性地应用于科学图像推理，建立了Entity Structure、Scientific Process和Scientific Law三维理论框架，为科学图像生成提供了结构化的理论基础。其次，数据层面的新颖性在于通过逻辑逆向工程构建Sci-RCoT注释，这种过程导向的监督信号与传统数据集的结果导向标注有本质区别，使得模型能够学习科学概念到视觉表征的转换逻辑而不仅是最终外观。第三，评估层面的新颖性在于原子检查表方法，将科学正确性从整体黑盒评估分解为透明、可验证的细粒度评估，并且采用严格的否决机制。第四，模型层面的新颖性在于Qwen-Image-SciIR的双模块架构，将科学推理与视觉合成解耦，通过推理规划器和视觉生成器的协同工作，实现了推理到渲染的统一流程。

**Fig. 2**: Overview of the SciIR-82k pipeline grounded in Peirce's Semiotic Triad [29]. The framework comprises three stages: (1) Corpus Construction, employing YOLO11 and InternVL 3.5 for sub-figure extraction and filtering; (2) Semiotic Stratification, categorizing samples into Icon, Index, and Symbol tracks; (3) Reasoning-Driven Annotation, which leverages Qwen3 models to reverse-engineer Sci-RCoT and prompts.

**Fig. 3**: An evaluation instance from SciIR-Bench. Prompt from a sample covering all four tracks is used to guide various models in generating images. The output is then scrutinized by Gemini-3-Pro using a dimension-specific atomic checklist.

**Fig. 4**: Qwen-Image-SciIR model architecture.

实验结果

本文在SciIR-Bench上对12个T2I模型进行了系统评估，揭示了科学视觉合成的当前格局。闭源与开源模型之间存在巨大差距：最佳闭源模型的近饱和性能95%证明了任务是可解的，但开源竞争对手仍有60%的差距。关键的发现是，专注于美学的基线在严格轨道上失败不到10%，证实了根本性的错位：当前开源训练优化感知保真度，牺牲了科学准确性所需的逻辑。对于大多数模型，在显式Sci-RCoT提示下的性能显著超过抽象提示。例如，某个模型的准确率在没有密集指导时从36%下降到13%。这证实了虽然它们擅长执行详细指令，但缺乏内化的科学世界模型来自主推导约束。扩散模型目前保持对自回归架构的明显优势，建立了14%的明确性能差距。然而，文本轨道的严重失败揭示了当前开源视觉生成框架的根本限制。微调的有效性显示最终得分从35%提高到43%，在科学过程和实体结构轨道上分别增加了16%和9%。

**Table 1**: Comparison of SciIR-82k with representative T2I datasets.

**Table 2**: Comparison of SciIR-Bench with representative T2I benchmarks.

**Table 3**: Evaluation on SciIR-Bench. We report the Accuracy Score (%) for Intrinsic Reasoning (IR), Instruction Following (IF), and overall performance across four distinct tracks.

**Table 4**: Correlation between metrics and expert judgments. Our Atomic Checklist shows the strongest linear and rank alignment with human experts.

**Fig. 1**: Overview of SciIR. (a) SciIR-82k: keyword word cloud and distribution across semiotic-oriented image generation tracks. (b) Example figures from diverse domains. (c) Illustration of SciIR-Bench results across various open- and closed-source models with a comparison of Intrinsic Reasoning vs. Instruction Following.

**Fig. 5**: Qualitative comparison of generated results.

查看结构化数据

任务	指标	本文	基线	提升
SciIR-Bench - Scientific Law轨道	Accuracy Score (%)	43% (Qwen-Image-SciIR)	40% (Qwen-Image-2512基线)	+3%
SciIR-Bench - Entity Structure轨道	Accuracy Score (%)	59% (Qwen-Image-SciIR)	50% (Qwen-Image-2512基线)	+9%
SciIR-Bench - Scientific Process轨道	Accuracy Score (%)	53% (Qwen-Image-SciIR)	37% (Qwen-Image-2512基线)	+16%
SciIR-Bench - Text轨道	Accuracy Score (%)	15% (Qwen-Image-SciIR)	15% (Qwen-Image-2512基线)	0%
SciIR-Bench - Final Score	Overall Accuracy (%)	43% (Qwen-Image-SciIR)	35% (Qwen-Image-2512基线)	+8%
SciIR-Bench - 最佳闭源模型对比	Final Score (%)	43% (Qwen-Image-SciIR)	95% (Nano-Banana-Pro)	闭源模型领先52%
原子检查表与人类专家一致性	Pearson's r相关系数	0.692 (Atomic Checklist)	0.457 (VQAScore最佳基线)	+0.235

局限与改进

作者承认SciIR-82k偏向于发表的、标准化的图形，未能充分代表非典型或非常规图表，而SciIR-Bench强调科学正确性而非视觉美学。此外，开源模型在文本轨道上的普遍失败揭示了当前开源视觉生成框架的根本限制：无论是使用连续去噪还是离散next-token预测，都缺乏精确科学插图所需的细粒度排版控制。另一个限制是SciIR-82k主要来自Nature和Nature Communications，这些期刊的图表风格相对标准化，可能无法捕捉其他期刊或领域的图表多样性。此外，SciIR-Bench的800个测试实例虽然经过精心筛选，但对于评估所有类型的科学图像仍然可能不够全面，特别是对于一些高度专业化的图表类型覆盖可能不足。

独立分析的弱点

开源模型在文本轨道上的普遍失败揭示了当前开源视觉生成框架的根本限制，需要专门的文本渲染模块或混合架构来解决。开源模型在某些情况下的反直觉表现突显了它们在复杂指令遵守方面的缺陷，提示了需要改进模型的指令理解能力和长上下文处理能力。开源模型与闭源模型之间的巨大差距表明开源训练存在根本性问题，需要重新思考训练目标和损失函数，从优化感知保真度转向优化科学推理能力。SciIR-82k偏向Nature系列期刊的标准化图形，未能充分覆盖其他出版源和非常规图表，这限制了数据集的多样性和泛化能力。SciIR-Bench虽然采用原子检查表实现了细粒度评估，但主要关注科学正确性，相对忽视了视觉美学，这可能导致模型在保证科学准确性的同时产生视觉上不吸引人的结果。

未来方向

作者提出未来工作应该扩展领域和风格覆盖，添加多模态和跨语言注释，并研究混合训练和评估方法，如符号约束、弱监督和对抗或反事实检查，以进一步增强模型的科学推理能力。基于本文成果，可以延伸的方向包括：将SciIR框架扩展到其他科学可视化类型（如3D渲染、动画、交互式图表）；研究如何将科学定律作为硬约束集成到生成过程中，而不仅是作为训练信号，可以通过在损失函数中添加约束项来实现；探索多模态推理，将科学文本、图像和数学公式统一推理框架；开发专门针对科学图像的评估指标，结合科学正确性和视觉美学；研究跨语言科学图像生成，支持非英语母语的科研人员；探索少样本或零样本学习在科学图像生成中的应用，减少对大规模标注数据的依赖。

复现评估

本文的开源情况相对较好，SciIR-82k数据集已在GitHub和Hugging Face公开发布，包含了超过80k的科学图像-文本对和Sci-RCoT注释。SciIR-Bench评测基准也作为项目的一部分发布，包含了800个测试实例和原子检查表。Qwen-Image-SciIR模型的训练代码和权重虽然论文中没有明确说明是否开源，但基于Qwen系列的惯例，预计会部分开源。复现难度中等偏上，主要挑战在于：需要大规模计算资源（在高分辨率1024乘1024图像上训练扩散模型），需要访问Qwen3-VL和Qwen3-Max等大型模型进行数据标注，以及需要仔细实现推理驱动的注释管道。评估复现相对容易，因为SciIR-Bench提供了详细的评估协议和原子检查表，可以使用公开的VLM进行自动化评估。总体而言，论文提供了足够的细节和开源资源，使得其他研究者可以复现主要结果。

SciIR：科学图像推理生成的大规模训练数据集与基准 SciIR: A Large-scale Training Dataset and Benchmark for Scientific Image Reasoning Generation