MechVQA：面向机械工程图理解的多模态大语言模型基准与增强方法 MechVQA: Benchmarking and Enhancing Multimodal LLMs on Comprehensive Mechanical Drawing Understanding

方法步骤的完整描述如下：数据构建阶段，首先从公开来源收集工程图并过滤低质量、不完整、扫描质量差的样本，由领域专家人工审查，得到3,281张高质量图纸。接着使用先进OCR模型提取文本内容（如表格条目），并利用强闭源MLLMs推断其他原始元数据字段，机械专业研究生进行二次验证，检查字段包括视图类别定义、工作流程和不确定案例说明。问答生成采用三种来源：VQA自由生成使用闭源MLLMs根据子任务定义生成候选问题，通过迭代交叉模型检查（不同模型作为验证器检查问题是否可回答）和多模型回答多数投票；基于模板的生成（无真值）通过将模板实例化为图纸内容生成问题，如定位多个尺寸标注后绑定符号类型和引用特征；基于模板的生成（有真值）使用经专家验证的元数据生成确定性问题（如查询视图数量）或包含专家编辑的问题（如CAD工具注入不一致性）。所有答案都附带详细解释和最终简短答案格式。最后按8:1:1比例划分训练/验证/测试集，在绘制级别严格分离，同一图纸的所有问答记录分配到同一划分，通过融合CLIP表示计算相似度并进行分层聚类分配，减少近重复重叠。模型训练阶段，首先对Qwen3-VL-4B-Instruct进行全参数SFT，训练实例为（图纸图像x，问题q，目标响应y*）三元组，优化因果语言建模目标损失LSFT = -∑log πθ(y*t | x, q, y*<t)，使模型学习将制图线索锚定到机械语义并遵循要求的响应模式。然后进行两阶段DAPO自我博弈RL：首先在完整MechVQA训练集上RL，然后在增强低表现子任务比例的采样子集上继续训练，保持相同目标和奖励。DAPO每次更新从旧策略πθold采样一组G个候选响应{yi}，每个响应获得奖励Ri = r(u, yi)，计算组归一化优势Âi,t = (Ri - mean{Rj}) / (std{Rj} + εA)，定义token级重要性比率ri,t(θ) = πθ(yi,t | u, yi,<t) / πθold(yi,t | u, yi,<t)，优化PPO风格裁剪代理LDAPO = -E,{yi} (1/G) ∑|yi| (1/|yi|) ∑t min(ri,t(θ)Âi,t, clip(ri,t(θ), 1-εlow, 1+εhigh)Âi,t)。复合奖励R(x, q, y) = λacc racc + λfmt rfmt + λqual rqual，其中racc通过LLM-as-a-Judge评估语义正确性，rfmt为二元格式奖励（响应可解析且包含解释和答案部分为1，否则0），rqual评估逻辑性、专业性、简洁性三个维度。

技术新颖性体现在多个方面：在数据构建方面，采用了半自动化流水线结合专家验证的质量控制机制，通过多轮交叉模型检查、多数投票、专家审计确保问答质量，而不是简单的大规模合成。在任务设计方面，首次提出了涵盖识别、推理、判断三个能力维度的分层分类法，并将每个维度细分为具体子任务（如识别维度包括识别计数、尺寸标注、文本表格、物品定位；推理维度包括结构理解、几何计算、装配关系、投影多视图；判断维度包括异常检测、一致性判断），为工程制图理解提供了系统性的评估框架。在奖励设计方面，采用与分类学对齐的复合奖励，而非简单的字符串匹配，语义容忍的准确率奖励允许表达不同但语义正确的答案获得非零奖励，质量奖励通过LLM-as-a-Judge评估逻辑性、专业性和简洁性，直接针对密集机械图上的失效模式进行优化。在训练策略方面，采用两阶段自我博弈RL，先全数据DAPO再目标子任务上采样DAPO，这种设计减少了能力不平衡，从消融实验可以看到目标RL将推理能力从70.75提升到77.04，识别能力从86.26提升到89.70。

独立分析的弱点包括：数据规模相对较小，虽然经过严格质量控制，但3,281张图纸和20,778个问答对相比通用VQA基准（如VQA有25万张图像、75万个问题）规模有限，可能限制了模型的泛化能力和对罕见工程图类型的覆盖；模型初始化依赖特定基线，MechVL基于Qwen3-VL-4B-Instruct初始化，虽然这是合理的选择，但未探索其他视觉语言架构作为初始化，可能存在架构偏见；评估指标相对单一，主要使用准确率作为评估指标，虽然涵盖10个子任务，但对于工程制图理解的其他重要方面（如可解释性、与人类工程思维的一致性）缺乏更细粒度的评估；训练计算成本较高，两阶段训练（SFT+RL）和DAPO算法需要大量计算资源，尤其是自我博弈RL阶段采样多组候选响应，与仅SFT的方法相比成本显著增加。改进方向：扩大数据规模，纳入更多样化的工程图类型（如不同行业标准、不同年代的图纸、不同复杂度的装配图）；探索多架构初始化，比较不同视觉语言架构（如LLaVA架构、InternVL架构）作为初始基线的效果；引入更全面的评估指标，包括可解释性评估、与人类专家思维路径一致性评估、实际工程场景中的效用评估；优化训练效率，探索参数高效的RL方法（如PEFT结合RL）或减少采样组大小的策略。

作者提出的未来研究方向包括：报告人类专家上限和标注者间一致性统计，更好量化基准难度和模型与领域专家之间的剩余差距；扩展基准以包含遗留蓝图和公司特定制图惯例；开发3D CAD重建能力或直接生成工程文件格式（如STEP或IGES）的能力。基于本文成果可延伸的未来方向：将MechVL集成到实际的机械设计和检验工作流中，作为设计审查和检验流程的决策支持助手；开发针对特定工程领域的专用版本（如汽车、航空航天、模具设计等），每个领域有其独特的制图惯例和符号体系；探索 MechVL在工程教育中的应用，如辅助学生理解复杂工程图、自动生成练习题和解答；研究跨模态知识迁移，将从MechVQA学到的机械制图知识迁移到其他工程图类型（如电路图、液压图、建筑结构图等）；开发实时交互版本，允许工程师在查看图纸时通过自然语言交互获取解释、验证标注、计算尺寸等；结合实际工程数据（如CAD模型、制造数据）构建更全面的工程理解系统，连接图纸理解与下游工程应用。

复现评估：论文提供了相对详细的实现细节，包括训练框架（LLaMA-Factory for SFT、EasyR1 for RL）、模型初始化（Qwen3-VL-4B-Instruct）、奖励设计公式、DAPO算法细节、数据构建流水线、评估协议等。超参数配置在附录C.1和C.2中提供。然而，论文未提供完整的代码仓库、预训练模型或数据集的直接下载链接，这是复现的主要障碍。数据集发布计划说明将遵循底层材料的再分发许可，当直接再分发原始图纸受限时将发布相应注释、元数据、划分信息、提示词和来源引用，但具体发布时间表和数据访问方式未明确。模型方面，论文未说明是否计划发布MechVL的检查点。算力方面，虽然未提供具体的GPU数量和训练时长，但从Qwen3-VL-4B的规模和DAPO的自我博弈特性推断，训练需要相当可观的计算资源（可能需要多个A100或H100 GPU）。总体而言，论文在方法论描述上较为详细，但由于数据集和模型可用性未完全明确，复现难度为中等偏高，如果数据集和模型按计划发布，复现难度将降低。