OceanPile：面向海洋基础模型的大规模多模态语料库 OceanPile: A Large-Scale Multimodal Ocean Corpus for Foundation Models
首个面向海洋科学的统一多模态语料库，含50亿token与14万指令对
前置知识
多模态大语言模型 (MLLM)
在预训练大语言模型基础上集成视觉编码器，通过大规模图文配对数据集进行对齐，从而支持图像理解、视觉问答等跨模态任务。代表性模型如 Qwen3-VL-8B-Instruct 通过视觉指令微调获得图文联合推理能力。
本文的核心目标是构建面向海洋领域的多模态语料库以微调 MLLM，理解 MLLM 的训练范式（预训练 + 指令微调）才能看懂 OceanCorpus / OceanInstruction / OceanBenchmark 三者的对应关系。
海洋声纳 (Sonar) 数据
通过侧扫声纳或多波束测深仪采集的水下声学成像，与光学图像属于根本不同的感知模态。声纳数据通常包含目标边界框标注，可用于水下目标检测任务，但语义信息稀疏、噪声高。
OceanPile 把声纳作为独立模态纳入训练集，并设计专门的 Sonar VQA 子基准（796 题），因为通用 MLLM 在声纳图像上几乎完全失效（如 GPT-5 仅 0.71% 准确率）。
知识图谱 (Knowledge Graph) 引导的指令合成
先用 LLM 从领域语料中抽取分层概念节点（如「海洋化学→藻华→硅藻」），再让 LLM 基于这些概念节点合成 QA 指令，从而保证生成的指令在概念层面覆盖完整、语义结构清晰。本文的 OCG 包含主学科 P_k 与细化子类别 Ŝ_k 两层。
OCG 是 OceanInstruction 与通用合成数据（如 Self-Instruct）的本质区别。理解 Ŝ_k = M(S_k; τ_f) 的两步提炼流程能看清作者如何用阈值过滤长尾噪声节点。
LLM-as-a-Judge 评测
用强 LLM（如 GPT-4o）作为裁判，对比模型输出与标准答案是否语义一致。适用于开放式问答，避免精确字符串匹配带来的偏差，是目前多模态/开放域问答的常用评估方式。
本文 Table 1 中所有数字均由 LLM-as-a-Judge 判定（对应文献 [51]），读者需理解为何 GPT-5 在海洋子任务上得分如此低（0.71%、9.11%）——这是裁判对语义正确性的严苛判断。
研究动机
海洋覆盖地球表面 70% 以上，对全球气候调节和生物多样性至关重要，但 AI 在海洋科学的落地被「数据瓶颈」严重制约。具体来说，海洋数据长期处于高度碎片化状态，散布在科学文献、工程报告和观测仪器中，缺乏统一 schema 与语义对齐机制；数据本身又呈现多模态（声纳、光学、文本）、高噪声、弱标注的特点，使得传统声纳数据集 [9,10,11] 与水下图像数据集 [29,30,31] 无法直接喂给 MLLM。即便已有的海洋专用大模型如 OceanGPT（单文本）、MarineGPT 与 NautData（仅水下场景理解）也只覆盖有限子域，缺少对物理、化学、生物跨学科海洋科学的整体建模能力。更严峻的是，主流闭源 MLLM 在海洋任务上几乎失效——GPT-5 在 Sonar VQA 上仅 0.71%，GPT-4o 在 Marine Organisms VQA 上仅 21.19%，说明通用视觉-语言预训练并没有把海洋知识装进模型。
本文的目标是本文的核心目标是发布 OceanPile——首个面向海洋基础模型的大规模多模态统一语料库，覆盖预训练、监督微调、评测三大环节。具体量化目标包括：构建超过 50 亿 token 的 OceanCorpus 多模态预训练语料，覆盖声纳、水下图像、海洋科普文本、教材与论文；合成约 14 万高质量领域指令对（69,192 文本 + 71,932 多模态）支撑 SFT；建立 1,469 题的 OceanBenchmark 作为标准化评测基准（含 102 题 Ocean Science QA、99 题 Ocean Science VQA、796 题 Sonar VQA、472 题 Marine Organisms VQA）。最终目标是通过这套数据把开源 Qwen3 系列在海洋任务上的能力提升到接近甚至超越 Gemini-3-Flash 等闭源强模型。
与已有工作不同的是，本文的独特切入角度是「领域知识图谱引导 + 多模态异构融合 + 专家闭环质量控制」三者结合。已有工作要么只做单模态（如 OceanGPT 仅文本）、要么仅做水下场景理解（如 MarineGPT）、要么用通用 Self-Instruct 范式合成指令（缺乏海洋领域知识深度）。作者提出分层 Ocean Concept Knowledge Graph（OCG），先由 GPT-4o 从教材语料中按主学科 P_k 抽取候选子类别 S_k，再用阈值 τ_f 过滤合并得到 Ŝ_k，使指令合成在概念层面系统覆盖海洋学全谱系。同时把声纳数据当作与图像、文本并列的第一类模态，并把 AUV 真实海域采集数据纳入训练集，以弥补模拟环境与真实海洋之间的差距，这是已有海洋数据集没有系统尝试的方向。
核心方法
OceanPile 的整体方法可以理解为「自底向上四层堆栈」：最底层是 OceanCorpus 多模态原始语料，向上经过领域适配的预处理流水线；第二层是 Ocean Concept Knowledge Graph（OCG），把碎片化的海洋知识组织成分层概念网络；第三层是 OceanInstruction，在 OCG 引导下用 GPT-4o 统一函数 M 把任意输入 X_i（文本、图像或带标签的检测样本）映射到主学科 P_k 与子类别 Ŝ_k，并拼接外部知识 K_i 生成问答对；最顶层是 OceanBenchmark，由海洋学专家按多数表决机制人工撰写而成。直觉上，这套设计与传统 Self-Instruct 的「随机采样 → 提示 LLM 造题」不同——它先显式建模领域概念边界，再让 LLM 在概念边界内构造问题，因此生成的指令在科学准确性和覆盖度上都有保证。整条流水线还贯穿着多阶段质量控制：先由多个 MLLM 打分（公式 4 中取平均 S_i 过滤掉低于 τ_q 的样本），再由海洋学专家人工抽查，最终在 OCEANINSTRUCTION 上拿到 IAA=0.86 的高一致性。
核心创新点是把「领域知识图谱作为指令合成的结构化先验」。已有的海洋 MLLM 数据集要么是用通用爬虫 + 启发式清洗（如 MarineGPT），要么是直接调用 GPT-4o 在没有结构先验的情况下造题，缺乏对「海洋学」作为一级学科的概念覆盖。本文提出 OCG 显式建模两层结构——主学科 P = {P_k}（如海洋生物、海洋化学、海洋物理、海洋地质）和子类别 Ŝ_k，使得每条生成指令都能锚定到具体的 (P_k, Ŝ_k) 概念位置。第二个创新点是「真实现场数据闭环」：作者部署 AUV 在舟山海域同时采集声纳与光学图像并严格对齐，这在以往公开数据集中几乎是空白的。第三个创新点是质量控制闭环：公式 4 中多 MLLM 平均打分 $S_i = \frac{1}{N}\sum_{j=1}^{N} s_{ij}$ 作为自动过滤、专家人工复核作为精修、IAA=0.86 作为一致性证据，这套机制让 14 万条指令达到可信的研究级标准。
方法步骤详情
方法分四阶段。第一阶段数据采集：从六类来源聚合——海洋学教材（PDF，覆盖化学/生物/地质/物理子学科）、开放获取论文、海洋相关网页、公开声纳数据集、水下光学图像集、以及舟山 AUV 现场采集数据。第二阶段预处理：结构化文档直接转 Markdown，PDF 用专业工具 [41] 保留图注、表格、公式并 LLM 语义去重；声纳数据统一边界框格式 [x1,y1,x2,y2]、合并同义类别，并用 VLM 为实例级标注生成文本描述。第三阶段 OCG 构建（公式 1-2）：先用 $S_k = M(D_{text}|P_k)$ 由 GPT-4o 按主学科抽取候选子类别，再用 $\hat{S}_k = M(S_k;\tau_f)$ 合并相似类别并过滤出现次数低于 $\tau_f$ 的节点，得到层级化概念图谱。第四阶段指令合成与质量控制：指令由 $I_i = M(X_i, P_k, \hat{S}_k, K_i)$ 统一生成（公式 3），按 $S_i \geq \tau_q$ 自动过滤后经专家抽检与共识会议复核，最终保留 69,192 文本与 71,932 多模态指令对。
技术新颖性
技术新颖性体现在四个维度。一是概念层建模的显式化：OCG 把领域知识组织成可计算的层级结构，区别于一般合成数据方法依赖隐式 prompt 的做法。二是真实现场数据的引入：AUV 在舟山海域同步采集声纳与光学图像，且类别比实验室受控数据更丰富。三是质量控制的形式化：作者同时给出自动评分函数 $S_i$（公式 4）、多数表决公式 $\sum_{m=1}^{M} c_m \geq \lfloor M/2 \rfloor + 1$（公式 5）以及 IAA=0.86 的实证指标，把「数据可信度」从工程描述提升到可验证的统计量。四是零样本评测的对比设计：直接拿闭源最强模型 GPT-5、GPT-4o、Gemini-3-Flash 在自家基准上跑零样本，把开源 Qwen3-VL-8B 微调后的相对增益作为卖点，避免了「自建基准自我优待」的常见质疑。
实验结果
Table 1 验证 OceanPile 有效性。文本子任务 Qwen3-30B-A3B-Instruct 在 Ocean Science QA 从 25.49% 提升到 26.47%（+0.98），超过 GPT-5 的 16.67% 与 GPT-4o 的 6.86%，接近 Gemini-3-Flash 的 24.51%。多模态提升更显著：Qwen3-VL-8B 在 Ocean Science VQA 从 21.21% 到 29.29%（+8.08），Sonar VQA 从 8.04% 跃升到 19.97%（+11.93，约 2.5 倍），Marine Organisms VQA 从 9.96% 提升到 48.52%（+38.56，约 5 倍）；整体多模态从 13.07% 提升到 32.59%（+19.52），反超 Gemini-3-Flash（31.21）。Fig. 3 案例佐证：基线 Qwen3 大量答「Unknown」，微调后能正确识别具体珊瑚物种。结论：领域数据对低资源任务边际收益巨大；声纳需专门数据（GPT-5 仅 0.71% 印证）；开源 8B 经领域微调反超闭源大模型。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Ocean Science QA (Textual Benchmark) | 准确率 (%) | 26.47 (Qwen3-30B + OceanPile) | 25.49 (Qwen3-30B 基线) | +0.98，相对提升约 3.8% |
| Ocean Science VQA | 准确率 (%) | 29.29 (Qwen3-VL-8B + OceanPile) | 21.21 (Qwen3-VL-8B 基线) | +8.08，相对提升约 38.1% |
| Sonar VQA | 准确率 (%) | 19.97 (Qwen3-VL-8B + OceanPile) | 8.04 (Qwen3-VL-8B 基线) | +11.93，相对提升约 148.4%（接近翻 2.5 倍） |
| Marine Organisms VQA | 准确率 (%) | 48.52 (Qwen3-VL-8B + OceanPile) | 9.96 (Qwen3-VL-8B 基线) | +38.56，相对提升约 387%（接近翻 5 倍） |
| Overall Multimodal Benchmark | 平均准确率 (%) | 32.59 (Qwen3-VL-8B + OceanPile) | 13.07 (Qwen3-VL-8B 基线) / 31.21 (Gemini-3-Flash) | +19.52 vs 同模型基线；超越 Gemini-3-Flash +1.38 |
局限与改进
局限性需要分两层看。作者公开承认的局限包括：（1）海洋数据的高噪声、弱标签特性使得即便经过多阶段清洗仍会残留质量瑕疵；（2）专家人工核验只对随机抽样进行而非全量；（3）Sonar VQA 的 796 题主要集中在水下目标识别，对更复杂的声纳信号分析（如沉积物分类、洋流反演）覆盖不足。作为审稿人角度还可补充以下观察：（1）评测完全依赖 LLM-as-a-Judge，虽然省时但可能与人类判断存在偏差，尤其在「部分正确」类样本上需要报告一致性指标；（2）基准集规模偏小（Ocean Science QA 仅 102 题、Ocean Science VQA 仅 99 题），统计显著性存疑，置信区间未给出；（3）微调只用 Qwen3 系列，方法在其他基座（如 LLaMA、InternVL）上的迁移性未验证；（4）声纳数据规模与多样性相对光学图像明显不足，Sonar VQA 绝对分数（19.97%）仍较低，说明该方向远未饱和；（5）OCG 是离线一次性构建的，未讨论概念漂移与新增文献的增量更新策略。
独立分析的弱点
独立分析有四个关键弱点。第一，OCG 静态化：当前 OCG 基于固定语料一次性抽取，未考虑海洋新论文与物种分类的更新，建议引入增量构建与版本管理。第二，Sonar 数据规模与多样性不足：声纳数据集中于水下人造目标（飞机、ROV），对沉积物分类、洋流反演等场景覆盖薄弱，应扩大 AUV 部署范围（如深海、极地）并合成多频段声纳数据。第三，基准规模偏小：102 题文本基准与 99 题 VQA 基准统计功效不足，应扩充到千题级并引入开放式生成题；目前完全依赖 LLM-as-a-Judge，建议同步报告 human-eval 一致性。第四，跨基座泛化未验证：实验仅在 Qwen3 系列上验证，应在 LLaMA、InternVL、MiniCPM-V 等不同架构上做迁移实验。第五，跨语言能力缺失：原始语料以英文为主，对中国近海特有物种、海洋经济等中文内容覆盖较弱。
未来方向
作者在 Code Availability 中提到将开源数据、模型与代码，这本身就是一个大型 follow-up 工作。基于成果可延伸的方向包括：一是把 OCG 与外部知识库（如 WoRMS 物种库、NASA 海洋数据库）实时对接，让模型具备时效性推理能力；二是把 Sonar VQA 扩展到真正的多任务（目标检测、语义分割、深度估计），而非局限于 VQA；三是基于 OceanPile 预训练一个海洋基础大模型（而非仅做 SFT），探索 MLLM 在零样本海洋任务上的涌现能力；四是把多模态扩展到第四、第五模态（如 CTD 温盐深剖面、ADCP 海流数据、基因组序列），构建真正的「海洋全模态」基础模型；五是结合强化学习（RLHF/RLAIF）让模型与海洋学家交互式学习，减少幻觉；六是把方法泛化到其他低资源领域（如极地、土壤、考古），验证「领域知识图谱引导合成」的通用范式。
复现评估
复现评估整体较好。数据已开源：OceanPile 在 HuggingFace 公开发布（zjunlp/oceanpile 集合），含 OceanCorpus、OceanInstruction、OceanBenchmark 三个仓库，原始 PDF 超过 30 万份，预处理多模态文档以 CSV 存储。代码已开源：GitHub OceanGPT/OceanPile 提供数据处理与训练流水线。算力需求低：Qwen3-30B-A3B（激活参数仅 3B）与 Qwen3-VL-8B 均可单卡 A100 80G 微调；闭源基线 GPT-5/GPT-4o/Gemini-3-Flash 通过 API 调用。复现难度为「中等」：流程公开，但完整复现 OCG 需调用 GPT-4o API 并自行设定 $\tau_f$、$\tau_q$ 等超参；AUV 现场数据涉及硬件部署难以复制；LLM-as-a-Judge 的裁判选择会影响得分，建议复现时同时报告 GPT-4o 与 Claude 的差异以验证鲁棒性。
论文图表
展示了 OceanPile 的整体架构与数据流。左半部分是输入源：教材（Textbooks）、论文（Papers）、网页（WebPages）、声纳数据（Sonar Data）、水下图像（Underwater Image Data）汇入 OceanCorpus。右半部分是从 OceanCorpus 出发派生的两个子集：经过 Instruction Generator 处理的 OceanInstruction 与 Field-Collected 数据结合的 OceanBench。三大组件用不同颜色方框清晰区分。
这是论文最重要的导览图，让读者一眼看清 OceanPile 由哪三部分组成、各自的数据来源是什么、以及它们之间如何派生。对于理解后续 OceanCorpus / OceanInstruction / OceanBenchmark 三章至关重要。