AdditiveLLM2：面向增材制造的多模态大语言模型

通过领域自适应预训练和视觉指令调优构建增材制造专用多模态大语言模型

前置知识

领域自适应预训练（DAPT）

领域自适应预训练是一种在通用大语言模型基础上，使用特定领域的未标注数据继续训练的方法。通过在目标领域的语料上进行下一词预测任务，模型能够学习该领域的术语、概念和表达方式，从而在下游任务中提供更准确和专业的回答。与从头训练相比，DAPT只需要相对较小的数据集，通常数百万到数十亿tokens就能实现显著的领域专业化效果。这种方法特别适合医学、法律、工程等具有强烈领域特色的垂直领域。

本文的核心方法之一，通过DAPT将通用大语言模型适配到增材制造领域，使模型掌握该领域的专业术语、工艺参数、材料特性等知识，是理解后续技术路线的基础。

视觉指令调优（VIT）

视觉指令调优是指令调优技术在多模态模型中的扩展，旨在训练模型根据图像输入理解和执行各种指令。它通常包含三种类型的训练样本：对话型、详细描述型和复杂推理型。对话型基于图像生成问答对话，详细描述型对图像进行全面描述，复杂推理型需要多步推理回答问题。通过在大量图文对上训练，模型学会将视觉信息与语言理解相结合，能够执行图像问答、物体识别、场景分析等任务。VIT的成功关键在于高质量的数据标注和多样化的指令类型。

本文使用的另一核心技术，使模型能够在增材制造的视觉任务，如缺陷识别、设备识别中表现优异，是实现多模态能力的关键。

低秩适应（LoRA）

低秩适应是一种参数高效的微调方法，通过在预训练模型的权重矩阵旁添加低秩分解矩阵来实现模型适配。具体而言，对于原始权重矩阵，LoRA引入两个较小的矩阵A和B，其中A的维度为r乘k，B的维度为d乘r，r远小于d和k的最小值。训练时只更新A和B的参数，保持原始权重矩阵冻结，从而将可训练参数数量减少数千倍。推理时可将BA与原始权重矩阵合并，不增加推理延迟。这种方法使得在有限计算资源下适配大模型成为可能。

本文采用LoRA进行所有训练阶段，使得在3张Nvidia A6000 GPU上就能训练数十亿参数的模型，是实现资源高效领域适配的关键技术。

研究动机

通用大语言模型在增材制造领域应用面临多重挑战。首先，通用模型缺乏对增材制造专业知识的深度理解，难以准确回答涉及激光功率、扫描速度、熔池尺寸、缺陷类型等具体技术问题。例如，当问及特定工艺参数下的熔池尺寸预测时，通用模型往往无法给出可靠的数值估计。其次，现有的检索增强生成方法虽然能够引入外部知识，但每次查询都需要消耗额外的上下文窗口，对于需要频繁查询的场景效率低下。更重要的是，RAG主要依赖非参数化数据，对于相对稳定的领域知识，如期刊论文、教科书，将其内化到模型参数中会更为高效。此外，在国家安全、患者数据、环境限制等场景下，本地或边缘部署需求迫切，而通用模型的部署成本高昂，难以满足这些场景的隐私和安全要求。

本文的目标是本文的目标是通过领域自适应预训练和视觉指令调优，构建一套专门针对增材制造领域的多模态大语言模型，使其在语言理解和视觉识别两方面都具备专业能力。具体而言，希望模型能够准确回答增材制造领域的专业知识问题，识别打印过程中的缺陷和异常，预测工艺参数对熔池尺寸的影响，并识别不同的增材制造设备。同时，通过使用相对较小的数据集和参数高效的微调方法，使模型能够在有限的计算资源上进行训练和部署，为工业应用提供可访问的解决方案。

与已有工作不同的是，此前关于大语言模型在增材制造领域应用的研究主要集中在上下文学习、检索增强生成、视觉语言模型和智能体系统等方面，但尚未有工作系统地研究如何通过连续预训练和指令调优将大语言模型同时适配到增材制造的语言和视觉空间。例如，AdditiveLLM工作虽然探索了通过微调预测缺陷分类，但仅关注单一任务且未涉及视觉模态。AMGPT和类似工作虽然使用了RAG，但依赖外部检索而非将知识内化到模型中。而基于上下文学习的方法则受限于上下文窗口大小，无法处理大量领域知识。本文填补了这一空白，首次提出了一个完整的领域自适应框架，将通用多模态大语言模型系统性地专业化到增材制造领域。

核心方法

本文提出了一种三阶段的训练流程来构建增材制造专用多模态大语言模型。首先，使用从开放获取的增材制造期刊文章中提取的文本进行领域自适应预训练，让模型掌握该领域的专业术语、概念和表达方式。其次，使用从同一批文章中提取的图像及其对应的标题进行视觉模态的领域自适应预训练，建立图像内容与文本描述之间的关联。最后，使用由图像标题生成的详细描述和多轮对话示例进行视觉指令调优，提升模型在视觉问答和描述任务上的能力。整个训练过程采用低秩适应技术来减少需要训练的参数数量，使得在有限计算资源上适配大模型成为可行。训练完成后，使用自建的Additive-Manufacturing-Benchmark对模型的领域专业能力进行全面评估。

本文的核心创新在于将领域自适应预训练与视觉指令调优相结合，系统性地构建了一个专门针对增材制造领域的多模态大语言模型。与仅依赖通用模型或仅使用检索增强生成的方法不同，本文通过在领域特定数据上直接调整模型参数，将领域知识内化到模型中，从而在不增加推理时上下文消耗的情况下显著提升模型在增材制造任务上的表现。此外，本文还引入了Additive-Manufacturing-Benchmark，这是一个专门针对增材制造领域的多模态评估基准，包含语言和视觉两类任务，为领域模型的评估提供了全面和标准化的工具。与此前工作相比，本文不仅关注单一任务，而是构建了一个能够处理多种增材制造任务的通用多模态智能系统。

方法步骤详情

训练过程分为三个连续阶段，每个阶段使用不同的数据配置和训练目标。第一阶段是文本领域的自适应预训练，使用从1704篇开放获取增材制造期刊文章中提取的约2900万tokens文本数据。输入以2048 tokens为单位进行分块，模型执行下一词预测的自监督学习任务。采用LoRA技术，rank为16，alpha为32，仅更新自注意力块中的查询、键、值和输出投影层的参数，而保持模型的其他参数冻结。训练进行3个epoch，在3张Nvidia A6000 GPU上耗时约36小时。第二阶段是图像模态的领域自适应预训练，使用从同一批文章中提取的超过24000张图像及其对应的约1000万tokens标题文本。在此阶段，第一阶段训练的语言注意力权重被冻结，只训练视觉塔的注意力权重，目标是建立图像与标题文本之间的关联。同样使用LoRA训练3个epoch。第三阶段是视觉指令调优，使用由图像标题生成的详细描述和多轮对话示例，总计约20000个样本，包含约1200万tokens文本和500万tokens图像。这些数据使用本地部署的120B参数GPT-OSS模型自动生成，仅使用图像标题作为输入。指令调优对语言和视觉权重都进行LoRA微调，采用prompt masking技术鼓励模型生成对问题的响应。在多轮对话任务中，使用Gemma 3特定的start of turn标记生成问答对话，每个对话包含3个问题，但损失仅在最后一个问题的响应上计算，允许前两个问题建立上下文。此阶段的最大输出token长度从768增加到1024以适应更长的响应。

技术新颖性

本文的技术新颖性体现在多个方面。首先，这是首次系统地将领域自适应预训练与视觉指令调优相结合，应用于增材制造这一特定领域，构建了能够处理语言和视觉任务的专用多模态大语言模型。其次，本文使用了相对较小的数据集，约5000万tokens，相比之下Gururagan等人的工作使用了约240亿tokens，就实现了显著的性能提升，这表明对于像增材制造这样的相对狭窄领域，通过精心选择和预处理领域数据，可以在有限数据下实现有效的专业化。第三，本文提出的Additive-Manufacturing-Benchmark是一个创新的多模态评估基准，涵盖了增材制造的多种核心任务，为领域模型的评估提供了全面和标准化的工具。最后，本文采用LoRA技术实现了资源高效的训练，使得在消费级硬件上适配数十亿参数的大型模型成为可能，大大降低了领域自适应的技术门槛。

**Figure 1**: General training and evaluation process utilized in the development of various additive manufacturing specific large language models.

**Figure 2**: Original figure by Hu et al. diagrams LoRA for a square pretrained weight matrix.

**Figure 3**: Composition of each dataset configuration by journal for text, images, and visual instruction tuning.

**Figure 4**: Content and figures are extracted from PDF formats from open-access articles from various additive manufacturing journals.

**Figure 5**: Gemma 3 12B variants are adapted to the domain of additive manufacturing using LoRA in a 3 step training process.

**Figure 6**: Additive-Manufacturing-Benchmark is a set of multi-modal tasks compiled from various published resources used to evaluate AM comprehension.

**Figure 10**: Hypothetical comparison of outputs between standard prompting process to that of the chain-of-thought reasoning process.

**Figure 11**: Plot indicates vocabulary similarity between the various open-access articles categorized by their respective journal used in the dataset.

**Figure 12**: Common n-grams ordered by frequency from each journal with common stop words and journal information filtered out.

**Figure 13**: Plot of the top 10 keywords obtained from dataset articles omitting those where none are provided.

实验结果

实验结果表明，经过领域自适应预训练和视觉指令调优的模型在Additive-Manufacturing-Benchmark的各项任务上均优于其对应的基座模型。具体而言，对于基于Gemma 3 12B IT的模型，在通用知识多选题任务中，基座模型的准确率约为88%，经过文本DAPT后提升至约93%，表明领域自适应预训练能够显著增强模型的专业知识掌握。在通用知识简答题任务中，虽然所有模型的绝对得分都不高，Gemma 3系列约为15分满分127分，但Gemma 4 31B IT模型取得了显著更高的分数约75分，说明更大的模型规模在需要生成复杂答案的任务上具有优势。在视觉任务方面，视觉指令调优后的模型在LPBF异常识别和设备识别任务上表现最佳，而FDM缺陷识别任务中基座模型的表现反而更好，这可能表明在该特定任务上过度专业化可能损害性能。一个值得注意的发现是，图像DAPT阶段在多个任务中都导致了性能下降，特别是在语言任务如通用知识和某些视觉任务如LPBF异常识别中，这可能归因于语言权重冻结或灾难性遗忘现象。此外，虽然Gemma 4在语言任务上表现优异，但在视觉任务上与其他模型的表现相当，说明模型规模对视觉能力的影响不如对语言能力明显。

**Figure 7**: The visual instruction tuned version of Gemma-3-12b-it exhibits the best performance in most image based tasks.

**Figure 8**: Domain adapted Qwen3-vl-8b-it performs comparably on general knowledge tasks however under performs on vision based benchmarking tasks.

**Figure 9**: The domain adapted 31 billion parameter Gemma 4 model achieves the best results for general knowledge based tasks but performs comparably to other investigated models for image based tasks.

**Figure 14**: All models adapted upon the Gemma-3-12b-pt variant exhibit comparatively worse performance to their Gemma-3-12b-it variants.

查看结构化数据

任务	指标	本文	基线	提升
通用知识多选题	准确率	0.93 (Gemma 3 12B IT + DAPT Text)	0.88 (Gemma 3 12B IT Base)	提升约5.7个百分点
通用知识简答题	得分（满分127）	75 (Gemma 4 31B IT Base)	15 (Gemma 3 12B IT Base)	提升400%
LPBF异常识别	平均F1分数	0.24 (Gemma 3 12B IT VIT)	0.12 (Gemma 3 12B IT Base)	提升100%
设备识别	平均得分	0.30 (Gemma 3 12B IT VIT)	0.15 (Gemma 3 12B IT Base)	提升100%
FDM缺陷识别	准确率	0.60 (Gemma 4 31B IT Base)	0.45 (Gemma 3 12B IT Base)	提升33%

局限与改进

作者承认了几个局限性。首先，使用的数据集规模相对较小，约5000万tokens，可能限制了模型在更广泛的增材制造任务上的泛化能力。与Gururagan等人的工作使用的约240亿tokens相比，本文的数据集小了三个数量级，虽然对于狭窄领域可能足够，但更大的数据集可能会带来进一步的性能提升。其次，图像DAPT阶段在某些任务中导致了性能下降，其具体原因尚不完全清楚，可能与语言权重冻结、某些图像缺少对应的标题配对或灾难性遗忘有关。此外，虽然模型在语言任务上取得了显著提升，但在视觉任务上的提升相对有限，特别是在FDM缺陷识别任务上，基座模型反而表现更好，说明视觉领域的专业化比语言领域更具挑战性。最后，不同模型在不同任务上的表现不一致，例如Gemma 4在语言任务上表现优异，但在视觉任务上与其他模型相当，这表明模型架构和规模对领域适配效果的影响复杂，需要进一步研究。

独立分析的弱点

独立分析表明，本文工作存在几个可以改进的方面。首先，模型在视觉任务上的性能提升有限，特别是在FDM缺陷识别任务上，基座模型的表现优于经过领域自适应的模型。这可能表明视觉指令调优过度关注了一般视觉特征，而忽略了任务特定的细节。改进方向可以包括增加更精细的缺陷标注数据，或在VIT阶段引入更针对性的负样本和难例。其次，图像DAPT阶段在多个任务中导致性能下降，这可能归因于语言权重冻结导致视觉与语言表达能力脱节。未来的改进可以尝试交替训练语言和视觉权重，或使用渐进式解冻策略，在保持语言能力的同时增强视觉能力。第三，模型在简答题任务上的得分普遍较低，除Gemma 4外，这可能表明模型在生成复杂长文本方面的能力有限。改进方向可以包括增强长文本生成的指令调优数据，或引入专门的奖励模型来指导长文本生成。最后，本文使用的评估基准虽然全面，但样本数量相对有限，特别是在视觉任务上，如FDM缺陷识别仅100个样本，这可能影响评估的可靠性。

未来方向

作者提出了几个有前景的未来研究方向。最直接的应用是将领域自适应的模型集成到智能体系统中，评估其基于领域知识进行适当工具调用的效率。这种系统的性能评估可以类似于LLM-3D Print的工作，其中智能体使用VLM组件评估过程的现场图像，并采取适当行动解决潜在问题。其次，基于关于领域专业化性能的讨论，使用更全面的数据集进行领域自适应预训练和指令调优值得进一步研究。虽然本文使用的数据集足以在许多基准任务中展示性能提升，但更大更全面的增材制造过程数据集可能会带来更大的性能提升。第三，对特定任务如激光粉末床熔融中的异常检测进行更深度的专业化预计会在任务性能上得到体现，但这可能会影响其他任务的表现。为此，将持续学习方法进一步研究并应用于领域自适应过程，以便在后续训练和微调周期中更好地保留训练能力。这将减轻灾难性遗忘的影响，构建一个框架，使智能体系统能够通过微调将其行动的结果集成到LLM中。此外，还可以探索将模型应用于更广泛的增材制造任务，如工艺优化、材料选择、质量控制等，并评估其在这些任务上的表现。

复现评估

本文在可复现性方面表现良好。数据集已在HuggingFace上公开，包含三种配置：文本约2900万tokens、图像超过24000张和视觉指令调优约20000个示例。数据来源于四本开放获取的期刊：Journal of Additive Manufacturing、Additive Manufacturing Letters、Journal of Manufacturing Processes和Rapid Prototyping Journal，涵盖了截至2026年2月的所有1704篇文章。训练代码和模型权重也已公开，使得其他研究者可以复现和扩展本文的工作。训练过程采用LoRA技术，在3张Nvidia A6000 GPU上进行，每个阶段训练3个epoch，耗时约36小时，整体硬件要求相对适中，不会超出大多数研究机构的资源范围。数据提取过程使用PyMuPDF库从PDF文件中提取文本和图像，虽然该方法在早期文章中可能由于格式不一致而导致某些属性如作者姓名、关键词、图像标题解析不完整，但这个问题主要影响少数文章，对整体数据质量影响有限。总体而言，本文工作具有较好的可复现性，为研究社区提供了一个可扩展的领域自适应框架。

AdditiveLLM2：面向增材制造的多模态大语言模型 AdditiveLLM2: A Multi-modal Large Language Model for Additive Manufacturing