Innovator-VL：用于科学发现的多模态大语言模型 Innovator-VL: A Multimodal Large Language Model for Scientific Discovery
通过透明高效的训练流程，用不到500万科学样本构建竞争性的科学多模态大模型
前置知识
多模态大语言模型（MLLM）
多模态大语言模型是指能够同时处理文本、图像等多种模态信息的大规模语言模型。它通常由视觉编码器（如Vision Transformer）、视觉-语言投影模块和语言模型三个组件构成。视觉编码器将图像转换为token序列，投影模块将视觉token映射到语言模型的嵌入空间，最终由语言模型统一处理视觉和文本信息进行推理和生成。
本文提出的Innovator-VL就是一个专门针对科学领域的MLLM，理解这一架构范式是理解全文的基础。
监督微调（SFT）
监督微调是在预训练模型基础上，使用带有标注的指令-回答对数据进行进一步训练的过程。通过让模型学习如何根据特定格式的指令生成高质量回答，使其从单纯的续写能力转变为遵循指令的能力。SFT阶段的数据质量直接影响模型的最终性能，通常包含通用指令数据、链式思维推理数据和领域特定数据。
Innovator-VL在SFT阶段精心构建了包含化学、材料科学等领域的科学数据，这是其科学能力的关键来源。
强化学习（RL）后训练
强化学习后训练是指在SFT之后，通过让模型生成多个回答样本，根据奖励信号（如答案正确性）来优化模型策略的过程。常用算法包括GRPO、GSPO等。相比SFT的模仿学习，RL能让模型探索更广泛的解空间，找到SFT阶段未充分学到的推理路径，特别适合提升复杂推理任务的性能。
Innovator-VL采用GSPO算法进行RL训练，这是其Thinking版本在数学推理任务上取得显著提升的关键技术。
RICE-ViT
RICE-ViT是一个专门为区域感知表示学习设计的Vision Transformer变体。与传统的CLIP或SigLIP主要关注全局patch交互不同，RICE-ViT通过专门的Region Transformer层整合区域级语义信息，能够同时捕获整体和局部视觉线索。它采用区域感知的聚类判别机制，联合优化物体和OCR区域表示，特别适合处理科学图像中常见的精细结构、密集标签和空间局部模式。
Innovator-VL选择RICE-ViT作为视觉编码器，正是因为科学图像（如分子结构图、电子显微镜图像）对细粒度视觉理解有极高要求。
PatchMerger
PatchMerger是一种学习型token压缩模块，用于将视觉编码器输出的大量视觉token合并为更少的代表性token。它通过学习将较大的输入patch嵌入集合映射到较小的代表性token集合，显著减少下游组件需要处理的token序列长度，从而大幅降低计算复杂度和内存使用。研究表明这种压缩可以在几乎不损失精度的情况下带来显著的效率提升。
PatchMerger是Innovator-VL架构中的关键效率组件，使其能够在有限的科学数据上进行高效训练。
GSPO（Group Sequence Policy Optimization）
GSPO是一种专门为长链式思维推理设计的强化学习优化算法。与GRPO等token级重要性权重方法不同，GSPO在序列级别进行重要性采样和裁剪，消除了token级更新与序列级奖励之间的不匹配。其核心是定义基于长度归一化序列似然的重要性比率 $s_i(\theta) = \left(\frac{\pi_\theta(y_i|x)}{\pi_{\theta_{old}}(y_i|x)}\right)^{\frac{1}{|y_i|}}$，确保优化单元与奖励单元严格对齐，从而实现更稳健的收敛和更高的训练效率。
GSPO是Innovator-VL实现高效推理的关键技术，使其在保持高准确率的同时生成更简洁的推理链。
E-SMILES
E-SMILES（Extended SMILES）是为了解决传统SMILES无法表达Markush结构等复杂化学结构而设计的扩展表示格式。它采用SMILES⟨sep⟩EXTENSION的形式，其中EXTENSION使用紧凑的类XML标记来编码R基团和连接信息，同时保持与RDKit兼容且对序列模型友好。这使得光学化学结构识别（OCSR）系统能够处理专利中常见的复杂分子结构。
Innovator-VL在化学领域的突破（如MolParse 64.9% vs 其他模型低于17%）部分归功于使用E-SMILES格式构建的高质量训练数据。
研究动机
尽管多模态大语言模型在通用视觉任务上取得了显著进展，但科学领域的任务仍然极具挑战性且未被充分探索。科学问题通常需要精确理解、严格的多步骤推理以及跨模态整合领域知识的能力，这比通用多模态任务要困难得多。现有的开源MLLM在科学任务上的性能远低于通用基准，揭示了当前能力与科学推理需求之间的巨大差距。更具体地说，当前方法面临三个主要问题：一是依赖大规模或高度专业化的科学数据集，使得复现成本高昂且难以扩展；二是训练流程部分不透明或与特定任务启发式紧密耦合，限制了可复现性和社区的广泛采用；三是科学基准上的改进往往以通用多模态理解和推理任务性能下降为代价，缺乏平衡的泛化能力。
本文的目标是本文的目标是构建一个完全透明、端到端可复现的科学多模态大语言模型，能够在多种科学领域实现强大的多模态理解和推理能力，同时保持通用视觉任务的优秀性能。具体而言，作者希望通过不到500万个精心策划的科学训练样本，在不依赖大规模科学领域预训练的情况下，实现与同规模模型竞争的性能。这一目标挑战了当前依赖大规模数据的主流范式，探索数据高效、可复现且高性能的科学多模态模型的构建方法。
与已有工作不同的是，Innovator-VL的独特切入角度体现在三个方面：首先，与依赖大规模不透明数据和复杂训练流程的现有方法不同，本文提供了一个完全透明的训练方案，涵盖从数据收集、清洗到预处理、监督微调、强化学习和评估的所有阶段，并附带详细的优化和超参数配方；其次，本文强调数据效率而非数据规模，证明通过原则性的数据选择和训练策略可以实现强大的科学多模态推理；第三，本文将科学对齐能力整合到统一的多模态模型中，避免了科学能力与通用能力之间的权衡。这种小数据、透明流程、平衡性能的方法论是对当前大数据、黑盒、单一性能范式的重要补充。
核心方法
Innovator-VL采用了广泛采用的视觉编码器-投影器-语言模型三阶段架构范式。整体思路是先通过RICE-ViT将科学图像编码为区域感知的视觉表示，再通过PatchMerger将视觉token压缩到语言模型可高效处理的长度，最后由Qwen3-8B-Base语言模型统一处理视觉和文本信息进行推理。训练分为四个阶段：语言-图像对齐预训练、高质量中期训练、监督微调和强化学习。这种设计的直觉是：科学图像需要精细的局部理解（RICE-ViT提供），但过多的视觉token会降低效率（PatchMerger解决），而强大的语言基础模型已经吸收了大量科学知识（Qwen3-8B-Base提供），因此关键在于如何高效地将视觉能力与语言知识对齐。
Innovator-VL的核心创新在于三个方面：第一，数据效率优先于数据规模。与当前主流方法依赖海量科学预训练数据不同，本文证明仅用不到500万个精心策划的科学样本就能实现竞争性性能，关键在于数据质量而非数量。第二，透明可复现的训练方案。本文公开了完整的训练流程，包括数据收集、清洗、预处理、SFT、RL和评估的所有细节，以及具体的优化和超参数配方，这在科学多模态领域是罕见的。第三，差异驱动的RL数据选择。本文不是简单地用RL优化所有数据，而是通过测量Pass@N和Pass@1之间的差距来选择模型有效可学习边界上的样本，确保RL训练专注于模型尚未掌握但有潜力掌握的推理能力。这种设计使RL成为能力激发机制而非知识注入机制。
方法步骤详情
Innovator-VL的训练分为四个阶段：（1）语言-图像对齐阶段：仅训练投影器，使用LLaVA-1.5 558k数据集（约558K样本），目的是将视觉特征与语言模型的词嵌入空间对齐，使模型能够理解视觉token的含义。（2）高质量中期训练阶段：训练所有模块，使用基于LLaVA-OneVision-1.5-Mid-Training-85M构建的Innovator-VL-Mid-Training-85M数据集（约8500万样本），采用特征概念平衡采样策略，通过MetaCLIP-H/14-Full-CC2.5B编码器将图像和50万个概念映射到共享嵌入空间，生成精炼的伪字幕，确保语义多样性。（3）监督微调阶段：训练所有模块，使用Innovator-VL-Instruct-46M数据集（约4600万样本），包含通用多模态指令数据（约2200万）、链式思维推理数据（约1500万，来自Honey-Data-15M）和科学理解数据（包括光学化学结构识别、化学反应理解和电子显微镜图像表征三个子领域）。（4）强化学习阶段：训练所有模块，使用Innovator-VL-RL-172K数据集（约17.2万样本），采用GSPO算法优化，奖励系统包括格式奖励（权重 $\alpha=0.1$）和准确性奖励（采用启发式匹配、符号验证和LLM-as-Judge三级级联验证）。
技术新颖性
Innovator-VL的技术新颖性体现在多个层面：首先，在架构层面，RICE-ViT的区域感知机制专门为科学图像设计，能够同时捕获整体语义和局部精细结构，这在通用视觉编码器中是缺失的。其次，在数据构建层面，本文为每个科学子领域开发了专用的数据构建和质量控制管道。例如，对于光学化学结构识别，采用人在回路数据引擎，从合成数据bootstrap开始，通过主动学习驱动的真实数据扩展，使用E-SMILES格式表示专利中常见的Markush结构。对于化学反应理解，构建了层次化基准，通过对抗性干扰项设计生成化学上合理但依赖视觉的困难负样本。对于电子显微镜图像，引入了九维属性解耦描述架构。第三，在RL优化层面，差异驱动的数据选择方法是前所未有的，它不是用RL教模型新知识，而是激发模型已有的但未被充分激活的推理能力。GSPO算法通过序列级重要性采样消除了token级更新与序列级奖励之间的不匹配，特别适合长链式思维推理。
实验结果
Innovator-VL在37个多样化基准上进行了全面评估，结果令人印象深刻。Innovator-VL-8B-Thinking在整体平均得分上达到了61.83%，超越了所有对比的同规模模型。在通用多模态理解方面，Innovator-VL-8B-Instruct的平均得分为74.50%，与最先进的Qwen3-VL-8B（74.71%）相当，显著优于InternVL3.5-8B和LLaVA-OV-1.5-8B。在多模态推理方面，Innovator-VL-8B-Thinking的平均得分为55.41%，比Instruct版本提升了4.54个百分点，证明了强化学习对复杂推理的有效性。最引人注目的是科学领域的表现，Innovator-VL在化学专业任务上取得了压倒性优势：在OpenRxn基准上达到57.05%，而所有其他基线模型都低于17%；在MolParse基准上达到64.90%，而其他模型都低于6.10%。此外，Innovator-VL在推理效率方面表现突出，与Intern-S1-mini相比，其推理链长度减少62%-66%，与MiMo-VL-7B-RL相比减少18%-48%。在WeMath基准上，Innovator-VL仅需564个token，而Intern-S1-mini需要1640个token。其准确率-效率比比MiMo-VL-7B-RL高1.4-2倍，比Intern-S1-mini高3.9-4.3倍。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 通用多模态理解 | 平均得分 | 74.50%（Instruct）/ 74.33%（Thinking） | Qwen3-VL-8B: 74.71% | 与SOTA持平，显著优于其他模型 |
| 多模态推理 | 平均得分 | 55.41%（Thinking） | Qwen3-VL-8B: 51.36% | +4.05% |
| 科学知识 | 平均得分 | 50.13%（Instruct）/ 49.79%（Thinking） | Qwen3-VL-8B: 42.09% | +8.04% |
| MolParse（分子结构解析） | 准确率 | 64.90% | InternVL3.5-8B: 4.75% | +60.15% |
| OpenRxn（化学反应） | 准确率 | 57.05% | InternVL3.5-8B: 16.15% | +40.90% |
| MathVision（测试集） | 准确率 | 34.64%（Thinking） | Qwen3-VL-8B: 30.56% | +4.08% |
| WeMath | 准确率 | 70.86%（Thinking） | MiMo-VL-7B-RL: 67.01% | +3.85% |
| AI2D | 准确率 | 85.56% | Qwen3-VL-8B: 83.78% | +1.78% |
| RealWorldQA | 准确率 | 71.50% | Qwen3-VL-8B: 69.02% | +2.48% |
局限与改进
尽管Innovator-VL取得了显著成果，但仍存在一些局限性。首先，在某些特定科学任务上，其性能仍有提升空间，例如SuperChem（EN/CN）基准上仅达到12.00%/10.20%，虽然这已是对比模型中的最佳表现，但绝对数值仍然较低。其次，本文的科学领域覆盖虽然广泛（化学、材料科学、生物等），但仍有许多重要的科学子领域未被涵盖，如天文学、地质学、生态学等。第三，尽管作者强调数据效率，但SFT阶段仍使用了约4600万样本，虽然比当前主流方法少一个数量级，但对于资源有限的研究团队来说仍然是不小的投入。第四，本文主要评估了8B规模的模型，其方法论是否能直接扩展到更大规模（如70B、100B）或更小规模（如3B）的模型尚不清楚。第五，虽然作者声称训练流程完全透明可复现，但部分数据集（如Innovator-VL-Instruct-46M）尚未完全开源，且文中提到的一个基于高质量科学语料继续预训练的增强版本因数据合规审查而未公开发布。
独立分析的弱点
从独立分析的角度看，Innovator-VL存在几个可改进的弱点：第一，科学理解数据的构建依赖复杂的人在回路流程，包括合成生成、专家筛选和迭代优化，这虽然保证了数据质量，但规模化成本高昂。可以探索使用更强的LLM（如GPT-4o）进行自动化质量评估，减少人工干预。第二，RL阶段的数据选择依赖Pass@N和Pass@1的差距计算，这需要为每个样本生成多个候选回答，计算成本较高。可以考虑使用不确定性估计方法（如模型置信度）来近似这一差距。第三，奖励系统中的LLM-as-Judge环节可能引入偏好偏差，且不同LLM评判者可能导致不一致的结果。可以探索集成多个评判者或使用专门训练的验证模型。第四，尽管PatchMerger压缩了视觉token，但对于特别复杂的科学图像（如高分辨率电子显微镜图像），信息损失可能影响最终性能。可以探索自适应压缩策略，根据图像复杂度动态调整压缩比。
未来方向
作者提出了多个有前景的未来研究方向：第一，将Innovator-VL扩展到真实科学工作流，如自动化实验设计和跨模态假设生成，这将使模型从理解走向创造。第二，扩展模态支持，包括视频、3D分子结构和时间序列数据，这对于理解动态科学过程（如化学反应、材料相变）至关重要。第三，通过压缩技术开发轻量级变体，扩大模型的可及性，使资源有限的研究团队也能使用。第四，整合外部科学工具和知识库，增强推理能力，这可能涉及工具调用、知识检索等技术。基于当前成果，还可以探索：将差异驱动的RL数据选择方法应用于其他领域（如医学、法律）；研究RICE-ViT的区域感知机制在其他视觉任务（如目标检测、图像分割）中的应用；探索GSPO算法在更长上下文推理任务中的潜力。此外，可以考虑构建一个开源的科学多模态基准套件，系统评估模型在各种科学任务上的能力。
复现评估
从复现性角度看，Innovator-VL的评估相对友好，但也存在一些挑战。开源情况方面，作者已经公开了Instruct模型（InnovatorLab/Innovator-VL-8B-Instruct）、Thinking模型（InnovatorLab/Innovator-VL-8B-Thinking）、SFT数据集（InnovatorLab/Innovator-VL-Instruct-46M）和RL数据集（InnovatorLab/Innovator-VL-RL-172K），以及代码仓库（InnovatorLM/Innovator-VL）。这在科学多模态领域是相当透明的。数据方面，虽然核心数据集已开源，但文中提到的中期训练数据集（Innovator-VL-Mid-Training-85M）基于LLaVA-OneVision-1.5-Mid-Training-85M，需要访问该数据集才能完整复现。算力方面，8B模型的训练需要相当的GPU资源，但论文详细记录了超参数配方，包括学习率、批大小、训练步数等，降低了调参难度。评估方面，作者使用了公开的lmms-eval框架，评估流程可复现。总体而言，对于有足够计算资源的研究团队，按照论文提供的配方复现训练过程是可行的，但完整复现可能需要数周的GPU时间。
论文图表