SciEvalKit：用于科学通用智能评估的开源评估工具包

科学AI评估工具包，覆盖七大核心能力

前置知识

多模态大语言模型

能够同时处理和理解多种模态（如文本、图像、视频等）输入的大语言模型。这类模型通过跨模态对齐技术，学习不同模态之间的语义关联，从而实现图文联合推理。例如CLIP、GPT-4V等模型可以接受图像和文本作为输入，生成跨模态的理解和输出。

SciEvalKit的核心评估对象就是多模态大语言模型在科学任务中的表现，理解其工作机制和限制对于解读评估结果至关重要。

LLM-as-a-judge

使用一个强大的语言模型作为评判者来评估另一个模型的输出的方法。在开放性问题或需要语义等价判断的任务中，传统的基于规则的方法难以准确评分，因此引入评判模型来评估答案的正确性、完整性和质量。评判模型通常基于预定义的评分标准和示例进行提示。

SciEvalKit在处理开放性科学问题（如假设生成、解释性回答）时采用了LLM-as-a-judge策略，这是理解其评估机制的关键。

Chain-of-Thought推理

要求模型显式输出中间推理步骤的一种提示策略。通过引导模型逐步分解复杂问题、展示推理过程，可以提高最终答案的准确性和可解释性。在科学领域，CoT尤为重要，因为科学推理通常涉及多步骤的逻辑推导和知识整合。

SciEvalKit将科学多模态推理作为一个独立的核心能力维度，这个维度特别强调模型能否进行CoT风格的跨模态推理。

代码执行验证

直接运行模型生成的代码，通过单元测试或预期输出来验证代码正确性的一种评估方法。相比传统的语法检查或人工审查，代码执行验证能够更准确地评估代码的功能正确性，常用于代码生成和科学计算任务的评估中。

SciEvalKit在SciCode等基准中采用了代码执行验证，这是其科学代码生成能力评估的核心机制，理解这一点对于解读相关结果很重要。

研究动机

现有的大语言模型评估存在几个关键问题。首先，大多数评估专注于表面层面的正确性或狭窄任务特定指标，无法全面评估LLM在完整科学推理谱系上的表现。例如，传统基准如MMLU或Big-Bench主要测试事实记忆，而科学研究需要概念抽象、符号操作、假设形成、多步骤程序化思维以及解释化学图式、蛋白质结构等结构化视觉表示的能力。其次，通用评估平台如OpenCompass或Helmscore往往忽视科学任务的独特要求，如精确的符号操作、代码执行保真度以及将密集文本论证与高度专业化的图表或实验数据对齐的能力。论文作者通过对比发现，即使是最强的模型Gemini-3 Pro在通用任务上得分接近90分，但在严格的科学场景下所有模型都低于60分，这个系统性差距暴露了现有评估方法的不足。

本文的目标是本文的目标是开发SciEvalKit，一个开源的、统一的科学智能评估工具包和排行榜，用于评估大语言模型和多模态大语言模型在七个核心维度上的科学智能能力。该工具包旨在集成超过15个专家策划的基准测试，覆盖生命科学、化学、地球科学、材料科学、物理学和天文学六大主要科学学科。通过这个统一框架，SciEvalKit希望建立一个透明的、有认知基础的、科学可信的评估范式，用于下一代科学AI系统的评估。工具包支持多模态输入，集成直接文本答案评分和代码执行评分，以及语义LLM-as-a-judge验证和专家对齐标准。

与已有工作不同的是，本文的独特切入角度在于基于认知科学的DSRP理论构建了一个七维度的科学智能能力分类体系。与以往孤立评估单一能力（如事实问答、代码完成、视觉识别）的基准不同，SciEvalKit从认知角度出发，认为科学推理本质上是结构性的、关系性的和多表征的。这个框架将评估维度分为多模态类（科学多模态感知、理解、推理）和纯文本类（科学知识理解、代码生成、符号推理、假设生成），从而能够更系统地评估模型在真实科学工作流程中的表现。此外，SciEvalKit采用专家对齐的基准构建方法，通过多轮领域专家咨询和验证，确保任务反映真实的科学挑战，而不是机械的事实记忆。

核心方法

SciEvalKit的整体架构采用四层协作设计，包括数据层、模型推理层、评估与测试层、报告与存储层。数据层负责数据摄入和任务规范，通过中心化的注册表将数据集标识符映射到相应的数据集类，每个数据集类都实现了统一的接口用于TSV或元数据加载、索引规范化和模态特定数据缓存。模型推理层在结构化提示和模型输出之间进行调解，通过统一的.generate()接口抽象本地推理（通过vLLM或torch.distributed）和基于API的云模型之间的区别。评估与测试层在生成预测后，通过精确匹配、语义检索、数值评分、代码执行和LLM-based judging的组合进行能力对齐的评分。报告与存储层确保可复现性和透明日志记录，所有预测、日志、推理追踪、元数据和评估结果都遵循结构化文件约定。

SciEvalKit的核心创新点在于建立了一个统一的、模态无关的提示构建和预测接口，使得数据集、模型和评估器能够以一致的方式交互。每个数据集类都继承自基础抽象（如TextBaseDataset、ImageBaseDataset或VideoBaseDataset），并暴露一个.build_prompt()方法，将结构化样本转换为标准化的多模态消息表示。多模态消息被表示为类型化内容段的有序列表，每个段明确声明其模态和载荷（如dict(type='text', value=text)或dict(type='image', value=path)）。这种显式规范确保模型能够一致地解释输入。同样，每个数据集都提供一个.evaluate()方法作为标准化的评估器接口，从存储层获取模型预测并应用确定性或judge辅助的评分。

方法步骤详情

SciEvalKit的工作流程包含四个主要步骤。第一步是数据加载和提示构建，通过build_dataset例程将数据集标识符映射到相应的数据集类，每个数据集类实现自定义的build_prompt()方法，将原始任务数据（问题、图像、视频帧路径、代码片段和答案选项）封装成交错的多模态消息。第二步是模型推理，通过build_model_from_config解析模型元数据，每个模型对象暴露统一的.generate(message, dataset)接口，推理工作流通过infer_data()、infer_data_api()和infer_data_job_video()编排，提供批处理、并行token生成、重试或错误容忍以及通过_supp.pkl的部分进度恢复的透明支持。第三步是评估与测试，一旦生成预测，数据集特定的evaluate方法执行能力对齐的评分，结合精确匹配、语义检索、数值评分、代码执行和LLM-based judging函数evaluate()。对于代码执行任务（如SciCode），调用沙箱化的Python环境来验证视觉输出保真度和计算正确性。第四步是报告与存储，所有预测、日志、推理追踪、元数据和评估结果都遵循结构化文件约定，最终评估指标根据基准要求序列化为CSV、JSON或XLSX格式。

技术新颖性

SciEvalKit的技术新颖性体现在多个方面。首先，它建立了第一个基于认知理论（DSRP理论）的科学智能七维度分类体系，将评估维度系统性地分为多模态类和纯文本类，这与以往孤立评估单一能力的工作有本质区别。其次，SciEvalKit采用了专家对齐的基准构建方法，通过多轮领域专家咨询和验证，确保任务反映真实的科学挑战，这在AI4Science评估中是首创。第三，SciEvalKit集成了代码执行验证和LLM-as-a-judge评估策略，这是科学评估中混合评分范式的创新应用，能够适应科学任务中多样化的答案格式和推理模态。第四，SciEvalKit建立在VLMEvalKit代码库之上，保留其模块化抽象同时引入了科学多模态输入、学科感知提示构建和能力导向评估的扩展，这种架构设计使得研究者可以在不影响其他部分的情况下扩展堆栈的一部分。

**Figure 1**: Overview of the SciEvalKit scientific intelligence evaluation framework.

**Figure 3**: Evaluation pipeline used in SciEvalKit.

实验结果

SciEvalKit对当代大语言模型和多模态大语言模型进行了全面评估，揭示了系统性的性能模式。首先，模型在科学知识理解方面得分最高，而代码生成和符号推理能力仍然严重不足。例如，在Scientific Knowledge Understanding维度，GPT-o3达到76.05分，GPT-5达到74.05分，而Scientific Code Generation维度即使最高得分也仅有43.97（Qwen3-Max），大多数模型得分在20-30分之间。这种不平衡强调了当代模型在很大程度上解决了事实回忆，但在可执行逻辑和方程级操作方面仍然存在困难。其次，专有模型Gemini-3-Pro和GPT-5形成了最宽和最均衡的多边形，反映了最高的平均分数和最平衡的性能。值得注意的是，开源模型Qwen3-VL-235B-A22B在多个科学能力上的得分接近领先的专有模型。大多数评估的MLLM在科学多模态感知方面表现出相对较强的性能，反映出视觉特征与文本语义对齐的进展。Gemini-3-Pro在四个维度中排名第一，在假设生成中得分61.51，符号推理得分45.19，代码生成得分29.57。Qwen3-Max在代码生成方面表现突出，得分43.97，明显与其他模型区分开来。总体而言，科学多模态推理显示出最大的模型差异，提供了最强的判别信号，而感知级能力相对饱和且对高级科学能力的指示性较差。

**Table 1**: Taxonomy of Benchmarks for Scientific Intelligence capabilities.

**Table 2**: Evaluation of large language models across four scientific text capability benchmarks.

**Table 3**: Evaluation of LLMs on scientific multimodal capabilities.

**Figure 4**: Large-language-model (LLM) scientific capabilities versus multimodal-language-model (MLLM) scientific capabilities comparing the evaluated models on the SciEval leaderboard.

**Figure 5**: Model scores on four text-only capacities.

**Figure 6**: Model scores on three multimodal competencies.

查看结构化数据

任务	指标	本文	基线	提升
Scientific Knowledge Understanding	Average Score	GPT-o3: 76.05, GPT-5: 74.05	General LLMs average: ~65	GPT-o3提升约17%
Scientific Code Generation	Average Score	Qwen3-Max: 43.97, Gemini-3-Pro: 29.57	Most models: 15-25	Qwen3-Max相对多数模型提升约100%
Scientific Symbolic Reasoning	Average Score	Qwen3-VL-235B-A22B: 49.93, Gemini-3-Pro: 45.19	Average: ~35	顶尖模型相对平均提升约43%
Scientific Hypothesis Generation	Average Score	Gemini-3-Pro: 61.51, Claude 4.5 Sonnet: 56.10	Average: ~42	Gemini-3-Pro相对平均提升约46%
Scientific Multimodal Perception	Average Score	Qwen3-VL-235B-A22B: 72.29, Gemini-3-Pro: 66.54	Average: ~55	Qwen3-VL相对平均提升约31%
Scientific Multimodal Understanding	Average Score	Gemini-3-Pro: 55.62, Claude 4.1 Opus: 45.19	Average: ~38	Gemini-3-Pro相对平均提升约46%
Scientific Multimodal Reasoning	Average Score	Gemini-3-Pro: 66.49, GPT-5: 61.46	Average: ~56	Gemini-3-Pro相对平均提升约19%

局限与改进

SciEvalKit的局限性体现在几个方面。首先，当前的基准池虽然覆盖了六个主要科学学科，但每个学科的代表性基准数量有限，特别是天文学和材料科学的覆盖相对较少。其次，多模态评估主要集中在图像-文本对，尚未涵盖原始光谱、分子图、体积数据等更复杂的科学模态。第三，LLM-as-a-judge评估策略可能引入评判模型的偏见，特别是当评判模型与被评估模型来自同一提供商时。第四，虽然工具包支持本地推理和API推理，但对于超大规模模型（如Qwen3-VL-235B-A22B），评估成本仍然很高，这可能限制一些研究者的参与。第五，当前的评估主要关注静态的单次推理，尚未涵盖科学工作流程中的迭代、验证和错误纠正过程。第六，假设生成能力目前仅通过ResearchBench一个基准来评估，该基准的覆盖面和代表性可能有限。

独立分析的弱点

SciEvalKit的一个主要弱点是它仍然主要依赖静态的、离线的评估方式，而真实的科学工作流程往往是迭代的、工具增强的和验证驱动的。例如，科学家在解决问题时会反复试验、调用专业软件、查阅文献并修正假设，而SciEvalKit的评估模型还不能很好地捕捉这种动态过程。另一个弱点是评估的成本和可及性问题，特别是对于资源有限的研究机构，评估大型多模态模型需要大量的计算资源和API调用费用。第三个弱点是评估指标的设计，虽然工具包采用了多种评分策略，但对于某些科学能力（如创造力、创新性）的评估仍然缺乏可靠的量化方法。改进方向包括引入代理轨道，让模型能够使用工具和验证循环；开发更高效的评估方法，如蒸馏评估或采样评估；以及设计更细粒度的能力评估指标。

未来方向

作者计划的未来工作包括几个重要方向。首先是引入一个代理轨道，包含工具使用和验证循环，这将使评估更接近真实的科学工作流程。其次是扩展多模态任务，涵盖原始光谱、分子图和体积数据等更复杂的科学数据类型。第三是季度社区发布，以纳入新提出的任务和模型，保持评估的前沿性和相关性。基于当前成果，还可以延伸的研究方向包括：开发自适应评估策略，根据模型能力动态调整任务难度；引入学科特定的评估指标，如化学领域的分子性质预测准确性、天文学领域的天体识别准确率等；探索跨学科综合推理能力的评估，考察模型能否整合多个学科的知识解决复杂问题；以及研究评估结果与实际科学应用表现之间的相关性，验证评估的生态效度。

复现评估

SciEvalKit在复现性方面表现良好。工具包完全开源，代码托管在GitHub上（https://github.com/InternScience/SciEvalKit），研究者可以自由下载和使用。基准数据集大多来自公开的学术数据集，如MaScQA（来自Digit Discov 24）、ChemBench（来自Nat Chem 25和arXiv 25）、ProteinLMBench（来自BIBM 24）等。评估框架支持多种推理后端，包括本地推理（通过vLLM或torch.distributed）和API推理（OpenAI、DeepSeek、Gemini、Anthropic等），研究者可以根据自己的计算资源和API访问情况选择合适的方式。评估结果的存储遵循结构化的文件约定，所有预测、日志、推理追踪、元数据和评估结果都保存在Output/{Benchmark}/{Model}目录下，便于结果复现和比较。然而，评估的难度仍然存在，特别是对于超大规模模型如Qwen3-VL-235B-A22B，需要大量的GPU内存和计算资源。对于API模型，评估成本可能较高，因为需要调用大量API请求。此外，某些基准可能需要特定的软件依赖（如SciCode需要Python环境用于代码执行），这增加了一定的设置复杂性。

SciEvalKit：用于科学通用智能评估的开源评估工具包 SciEvalKit: An Open-source Evaluation Toolkit for Scientific General Intelligence