FORGE：面向制造场景的细粒度多模态评估基准 FORGE:Fine-grained Multimodal Evaluation for Manufacturing Scenarios
首个覆盖工件级与型号级细粒度语义的制造领域MLLM基准，揭示领域知识才是性能瓶颈。
前置知识
多模态大语言模型 (MLLM)
在大型语言模型基础上接入视觉(图像、视频)甚至音频编码器的统一模型,能够端到端地完成图文问答、视觉推理、文档理解等任务。本文评测的GPT-5、Gemini-3-Flash、Qwen3-VL、Kimi-K2.5等均属此类。
FORGE的核心研究对象就是MLLM在工业制造垂类上的能力,需要先理解MLLM的输入(图像+文本)与输出(自由文本或多选题答案)范式,才能理解后续的多视角渲染、Set-of-Mark提示与In-Context Demonstration评估设置。
三视角投影 (Three-View, 3V) 与点云
三维点云是由大量 $(x,y,z)$ 坐标构成的离散几何表示,常用激光雷达或结构光相机采集。本文的3V投影将点云沿前/侧/顶三个正交方向渲染成2D灰度图,使缺乏原生3D编码器的MLLM也能"看"到3D几何。
FORGE选用3V而非原生点云作为MLLM输入通道,原因正是论文表6的"文本通道瓶颈分析"——将原始坐标序列化喂给MLLM只能取得接近随机的成绩(比如SURFINSP上Gemini-3-Flash仅22.6% vs 20%随机),因此3V是当前通用MLLM处理3D的可行情接口。
Set-of-Mark (SoM) 视觉提示
在图像上对目标物体绘制带字母(A、B、C…)的彩色标记,让模型把"坐标"和"标签"显式对应起来。LLM只需回答"哪一个字母"即可完成空间定位,避免歧义。
FORGE在3V与图像两种模态下都依赖SoM:3V上对工件打字母标,图像上用归一化中心坐标(如[0.70,0.44])作为选项。理解SoM才能看懂表4的视觉定位评测设计(单图L→C正确率97.6%以上)。
In-Context Demonstration (ICD) 评估
在提示中给出完整的"示例问答对",让模型在测试前看到推理过程而非仅参考图。这是大模型评测里一种"少样本思维链"设置,与仅给参考图的Ref-Cond(ref-conditioned)的区别在于前者有完整推理示例。
FORGE的三档评估(Zero-Shot / Ref-Cond / ICD)是论文核心发现B/C的载体:在WORKVERI图像上Ref-Cond不升反降(例如Qwen3-VL-235B从64.08%降至35.41%),而ICD全面优于Zero-Shot——说明模型缺的不是视觉对照,而是任务逻辑示例。
细粒度领域语义 (Fine-grained Domain Semantics)
指区别同一类别不同型号/规格的属性,如M8与M10的螺母、六角螺母与蝶形螺母的功能差异。与之相对的是粗粒度语义(只识别"是螺母")。在工业场景中,细粒度识别直接关系到装配合规性。
FORGE最关键的差异化就是引入"型号级"标注:14个工件类别覆盖90个具体型号(论文3.1节)。理解这点才能体会为什么图4中蓝色(model-number-level)性能普遍低于红色(workpiece-level),以及表5中Flat Washer为何在所有模型上都成为重灾区。
监督微调 (Supervised Fine-Tuning, SFT) 与跨场景泛化
在大模型已预训练的基础上,用任务相关的标注数据继续训练以适配下游场景。跨场景泛化指训练集与测试集来自不同但语义相关的子任务,用于检验"学到的知识是否可迁移"而非简单记忆。
论文4.6节用Qwen2.5-VL-3B在CHS场景训练、NUTS场景评测,得到WORKVERI 3V 90.8%相对提升(28.2%→53.8%),并追平Qwen3-VL-235B(54.4%)。理解SFT与跨场景评估协议,才能判断"小模型加微调≈大模型"这一结论的严谨性。
研究动机
制造业是全球经济支柱,产线每天产生海量异构数据并依赖复杂决策系统,行业普遍寄望多模态大模型(MLLM)从"感知"升级到"自主执行"。但作者调研发现,这一愿景在评测层面几乎无可用工具:既有基准(表1)如MMAD(39,672样本)只覆盖视觉异常检测、MME-Industry(1,050)只问工业安全常识、DesignQA(1,451)只看工程蓝图、EngDesign(1,717)只做设计综合、FailureSensorIQ(8,296)只评故障诊断——这些数据集规模有限,模态单一(以图像为主),且都把工件当成"通用视觉对象"处理。具体来说,作者归纳出三个根本缺口:一是数据稀缺,大量研究只能依赖CAD仿真数据;二是缺乏细粒度领域语义(例如无法区分M8与M16的螺栓),而真实产线的混线装配、柔性制造、产品族设计等场景恰恰依赖这种精度;三是缺乏系统化的推理-理解-决策评测框架。结果是当前MLLM在工业落地时性能差距与失败原因不明,企业难以判断该优化感知模块还是补充知识库。
本文的目标是本文的核心目标是构建FORGE——首个面向真实制造场景的细粒度多模态评测基准,直接回答"MLLM能否在制造领域进行理解、解释与执行决策"这一关键问题。具体包括四件事:第一,搭建同时包含2D图像与3D点云的大规模对齐数据集(约12,000样本),覆盖14类工件、90种型号;第二,设计三个对应制造核心环节的任务——工件核验(WORKVERI)、结构表面缺陷检测(SURFINSP)、装配合规性验证(ASSYVERI);第三,在三档渐进设置(Zero-Shot / Ref-Cond / ICD)下系统评测18个SOTA MLLM,通过瓶颈分析定位失败根因;第四,验证该数据集不仅能"评",还能"训"——通过SFT在跨场景上取得显著增益,确立其作为可落地训练资源的价值。
与已有工作不同的是，FORGE的独特切入角度是把"型号级细粒度"作为评测一等公民,而不是事后补丁。已有基准多停留在"工件级"(workpiece-level,即只识别'是螺母'),而FORGE把数据按"不同工件(different workpiece,粗粒度)"与"不同型号(different model number,细粒度)"分类(图1b、图4),前者要求识别大类错误,后者要求区分同线产品的微妙规格差异。这种切分与"混合装配线、产品族设计、柔性制造系统、刀具管理"等真实范式严丝合缝。同时,FORGE在评测方法上做了三件差异化的事:把3D点云统一通过三视角正交投影(front/side/top)接入2D MLLM,解决了通用MLLM无原生3D编码器的接口难题;把Ref-Cond与ICD的差异显式建模,以分离"视觉对照"和"任务逻辑示例"两类信号;在3D数据上做"纯文本坐标"对照实验(表6)来验证视觉投影是必要的而非可选的。
核心方法
FORGE的设计哲学可以概括为"真实数据 + 任务驱动 + 渐进评测 + 瓶颈定位"。在数据层,作者从真实产线采集了14类工件(M3到M20的螺栓、螺母、铆钉等)在90种型号下的几何与图像样本,并用形态学算法与非刚性形变合成四类典型缺陷(Crack/Cut/Deformation/Dent),最终凑齐约12,000条样本。在任务层,把"从原材料到成品"的产线关键节点抽象成WORKVERI(分拣)、SURFINSP(质检)、ASSYVERI(装配验证)三个多选题任务,通过Set-of-Mark(SoM)字母标或归一化坐标让MLLM"指认"。在评测层,设置Zero-Shot(裸题)、Ref-Cond(加正常参考图)、ICD(加完整问答示例)三档,逐步释放提示信息以诊断模型真正缺什么。在分析层,用视觉定位探测任务(表4)、缺件识别(表5)、文本通道对照(表6)三组实验,把"感知失败"与"知识失败"解耦。最后在应用层,通过对Qwen2.5-VL-3B的SFT,证明该数据集本身是可迁移的训练资源。
FORGE最核心的方法创新是"3D→2D 投影+三档提示+瓶颈分析"的组合拳,本质区别于既有工业基准。具体而言有三个层面:第一,采用三视角正交投影把3D点云无损地接入2D MLLM,既规避了通用MLLM缺乏原生3D编码器的硬伤,又比把坐标直接序列化成文本(表6,准确率仅25%量级)更有效;第二,把评估从单一Zero-Shot升级到Zero-Shot/Ref-Cond/ICD的三档递进,通过观察性能随提示信息量的变化来推断"模型卡在哪里"——例如表3中Ref-Cond在WORKVERI 3V上反而比Zero-Shot差(Qwen3-VL-8B从42.01%降至27.20%),提示多视角空间上下文会因多余参考而"过载";第三,通过表4的视觉定位对照实验(单图L→C 99.6% for Gemini)直接证伪"视觉感知是瓶颈"的常识,从而把研究焦点引导到"补充领域知识"这一可执行方向上。这与Epona/PWM等自动驾驶世界模型把"端到端想象"作为抓手的思路完全不同——FORGE选择了"先诊断、再训练"的更克制路线。
方法步骤详情
方法流程分四步。第一步数据集构建(3.1节):3D点云子集覆盖14类工件90型号,2D图像子集约3,000张涵盖4场景(气动接头PCS、杯头螺栓CHS、螺母NUTS、装配);3D点云在WORKVERI/ASSYVERI中随机拼接4-5个独立点云自动打标,SURFINSP用形态学算法合成四类缺陷;2D图像先自动轮廓+坐标提取,再人工精修。第二步3D→2D渲染:对所有3D点云做三视角正交投影(前/侧/顶),拼接成三张灰度图作为MLLM输入,用Set-of-Mark(字母A-F)标每个部件。第三步三任务设计(3.2节):WORKVERI有3场景要求识别"不属于当前批次"的部件;SURFINSP覆盖14工件要求两步作答(是否缺陷+缺陷类型A-D);ASSYVERI有4场景要求基于装配规则识别不合规部件。第四步渐进评测协议(4.2节):Zero-Shot只给题面,Ref-Cond额外加正常参考图,ICD再加2个完整问答对;每题由模型自由作答,提取首字母与ground truth做exact-match比对,辅以加权随机基线。
技术新颖性
技术新颖性可归纳为四点。第一,把3D点云统一通过三视角正交投影接入2D MLLM,并显式验证这是"当前最佳可行接口"——表6中用纯文本坐标喂给Gemini-3-Flash在SURFINSP上仅取得22.6%(随机20%),证明视觉投影不可被文本通道替代。第二,通过表4的"视觉定位探测实验"把感知与认知解耦:Gemini-3-Flash单图L→C 99.6%、跨图L→L 88.7%,接近天花板,但完整WORKVERI Zero-Shot仅69.56%,说明瓶颈不在看图而在推理。第三,把Ref-Cond与ICD的差异形式化(表3),发现Ref-Cond在3V模式下普遍负增益(Qwen3-VL-235B WORKVERI 3V从52.36%降至35.67%),而ICD稳定正增益,揭示MLLM对"任务逻辑示例"的需求强于"视觉参考"。第四,把SFT作为基准的"闭环验证":Qwen2.5-VL-3B在CHS训练、NUTS测试,WORKVERI 3V从28.2%→53.8%(+90.8%相对),直接追平Qwen3-VL-235B(54.4%),说明数据集的标注承载了可迁移的领域知识。
实验结果
实验在3任务×2模态×3设置下评测18个MLLM。发现A(语义vs形态):宏观识别WORKVERI/ASSYVERI最佳82.26%(Gemini-3-Flash, ICD image),SURFINSP表面缺陷分类所有模型未超44.35%(GLM-4.6V ICD 3V),说明MLLM能"认出螺母"却看不清表面裂纹。发现B(领域知识是瓶颈):WORKVERI image上Ref-Cond常负增益(GPT-5从61.29%降至30.02%),ICD稳定正增益;表4证伪"视觉定位是瓶颈"(Gemini-3-Flash单图L→C 99.6%),表5显示Flat Washer细分仅23.3-60.0%。发现C:3V模式下Ref-Cond/ICD常劣于Zero-Shot,因多视角空间上下文过载。发现D:图4显示Model-No.级任务普遍比Workpiece级低5-15个百分点。SFT(图6):Qwen2.5-VL-3B在WORKVERI 3V跨场景从28.2%→53.8%(+90.8%相对),追平Qwen3-VL-235B(54.4%, 78×参数效率)。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WORKVERI (工件核验) Image ICD | Exact-match 准确率 (%) | 82.26 (Gemini-3-Flash, 全场最高) | GPT-5.2 77.01, GPT-5 82.49 (单点最高), O3 70.29, Seed-1.6 49.66, 随机基线 25.0 | Gemini-3-Flash比同档Seed-1.6高+32.6pp,比随机高+57.3pp;闭源均值~60-80%,开源均值~30-50% |
| WORKVERI 3V Zero-Shot | Exact-match 准确率 (%) | 69.56 (Gemini-3-Flash) | Qwen3-VL-235B 52.36, Kimi-K2.5 50.00, Llama-4-MAV 36.36, Gemma-3-27B 27.62, 随机 25.0 | Gemini-3-Flash比开源最佳Qwen3-VL-235B高+17.2pp,比随机高+44.6pp |
| ASSYVERI Image ICD | Exact-match 准确率 (%) | 71.50 (Gemini-3-Flash) | O3 62.34, GPT-5 62.92, GPT-5.2 52.29, Seed-1.6 48.52, 随机 29.5 | 比随机高+42.0pp;闭源显著领先开源(GLM-4.6V 62.92, Kimi-K2.5 47.72) |
| SURFINSP 3V ICD | 五分类准确率 (%) | 47.12 (Gemini-3-Flash, 全场最高) | 随机 20.0, 开源最高GLM-4.6V 44.35, Qwen3-VL-235B 32.15, Kimi-K2.5 30.06 | 比随机高+27.1pp;该任务全场最弱,即便最佳模型也未过半 |
| 视觉定位探测 Single-Image L→C | 字母→坐标准确率 (%) | 99.6 (Gemini-3-Flash) | Qwen3-VL-235B 97.6, GPT-5.2 98.8, Seed-1.6 99.2, Mistral-3-8B 70.6, 随机~16.7 | 四个模型≥97.6%,证明视觉定位不是瓶颈,与WORKVERI的69.56%形成对照 |
| 缺件识别 Image (表5) Overall | 六/三/五选一准确率 (%) | 90.7 (Gemini-3-Flash, MES场景) | Qwen3-VL-235B 86.2, GPT-5.2 85.0, Seed-1.6 74.9, Mistral-3-8B 27.2, 随机 23.3 | 给定结构化规格后模型可接近天花板,Flat Washer细分仍只36.7%(Gemini),印证"形态相似件的领域知识是瓶颈" |
| SFT跨场景提升 WORKVERI 3V | Zero-shot 准确率 (%) | 53.8 (Qwen2.5-VL-3B + SFT) | Qwen2.5-VL-3B Zero-Shot 28.2, Qwen3-VL-235B 52.36, Gemini-3-Flash 69.56 | +25.6pp绝对,+90.8%相对;3B SFT后超过52.36%的235B基线,与235B持平(78×参数效率) |
局限与改进
作者明确承认的局限有三:一是3D数据用三视角正交投影处理,会损失原始点云的部分细节(如深度遮挡、自遮挡信息),对极复杂空间关系不友好;二是评测主要基于英文prompt,中文等本地化语言下MLLM表现是否一致未验证;三是SFT实验仅在3B模型Qwen2.5-VL-3B上做了一组跨场景训练-评测对(训练CHS评测NUTS、训练MES+PES评测CNC),未在更多模型尺寸、更多训练场景组合下验证。我自己的额外观察包括:第一,18个评测模型中Kimi-K2.5与GLM-4.6V是2025年底-2026年初的较新模型,严格意义上算"SOTA"有时代偏差;第二,评估指标只有exact-match准确率,缺少F1/混淆矩阵等细粒度诊断;第三,SURFINSP只评测了"6个最具代表性"的工件(占60%样本),覆盖面有限,论文也未说明这是否引入选择偏差;第四,基线任务MMAD/MME-Industry/DesignQA/FailureSensorIQ/EngDesign在表1中只是数量对比,未在FORGE上重跑,跨基准性能可比性受限。
独立分析的弱点
独立分析本文弱点,第一是评测协议偏宽松:exact-match只看首字母,无法区分"答对但是瞎猜的"与"理解后选对";建议引入per-class F1和混淆矩阵以诊断型号级误识的分布。第二是数据规模仍偏小:12,972样本覆盖14类工件虽不算少,但分散到3任务×多场景后,每个子集(尤其SURFINSP的6工件子集)可能只有几百到上千样本,统计显著性弱,建议在附录报告每子集样本数与置信区间。第三是3V投影的多视图拼接是简单并列,缺乏视角间空间关系建模,可以尝试Plucker ray-map或RayDiffusion类方法作为对比。第四是SFT实验只做了一组3B模型+一种训练-评测拆分,未与LoRA、全参数微调或RLHF基线对比,也未控制训练数据量,改进方向是固定训练样本数,对比SFT在1B/3B/7B/13B不同尺寸下的迁移曲线。第五是图1c与图3c的定性示例偏少,难以判断模型在什么具体工件上系统失败,改进方向是补充失败案例的归因分类(如混淆矩阵可视化)。
未来方向
作者在5节与附录暗示的延伸方向包括:第一,把FORGE扩展到时序数据(产线视频流),评估MLLM的工艺时序推理能力;第二,把型号级细粒度识别与机器人执行结合,做端到端"看-想-做"的闭环;第三,把基准作为持续评测平台,纳入新发布的MLLM进行年度更新。第三基于结果的延伸方向包括:其一,既然视觉定位不是瓶颈(表4)而Flat Washer细分是,可专门构建"形态相似件"的子基准研究细粒度区分;其二,既然Ref-Cond在3V上负增益(发现C),可研究"3V融合机制"——例如用Plucker坐标或多视角Transformer替代简单拼接;其三,既然3B+SFT可追平235B(发现SFT),可探索"模型蒸馏+领域SFT"组合,让小模型在工业边缘端落地;其四,把FORGE与具体机器人平台(如Franka、UR5)结合,做"工件分拣+装配"的真实物理执行评测。
复现评估
复现评估整体较好。代码完全开源(GitHub: github.com/AI4Manufacturing/FORGE),数据集已上传HuggingFace(datasets/AI4Manufacturing/forge),项目页ai4manufacturing.github.io/forge-web/提供样例展示;18个评测模型均为公开API或开源权重,部分闭源(GPT-5/5.2、Claude-Opus-4.5、Gemini-2.5/3-Flash、Seed-1.6)需付费API。算力门槛方面,SFT实验在Qwen2.5-VL-3B上进行,使用8卡NVIDIA H20(141GB HBM3e),100k步,batch size 32,学习率 $1 \times 10^{-5}$,AdamW优化器,属中度算力(约数十GPU小时)。主要复现门槛在三处:一是3D点云合成与三视角投影的实现细节;二是Set-of-Mark字母标签的精确放置;三是SURFINSP的缺陷形态学合成算法。建议复现者先在2-3个模型上跑小规模验证再扩展。
论文图表
三栏总览图。左栏(a)显示FORGE的数据基础(2D真实图像+3D点云)和三个任务(工件核验/表面检测/装配验证),并标注"任务领域知识与形态学是瓶颈";中栏(b)对比通用基准(粗粒度,仅识别工件)与FORGE(细粒度,要求给出型号如M8);右栏(c)用条形图展示18个模型在三任务上的整体表现,从开源到闭源、从强到弱排列。
这是论文的"门面图",用一张图同时讲清数据来源、任务结构、评测方法与关键发现。读者只需看这一张图就能把握FORGE的全貌,以及它与MMAD等基准的核心差异(细粒度)。