SketchJudge：面向手绘图评分的多模态大模型诊断基准 SketchJudge: A Diagnostic Benchmark for Grading Hand-drawn Diagrams with Multimodal Large Language Models
用四类 STEM 手绘图诊断 MLLM 评分与错误识别能力的基准与评测。
前置知识
Multimodal Large Language Model (MLLM)
多模态大语言模型是指能同时处理文本与图像等多模态输入的大型模型，通常在大规模图文对齐数据上进行预训练与指令微调，以获得跨模态理解与推理能力。它们在视觉问答、图表理解、文档解析等任务上表现突出，但其能力高度依赖训练数据分布、对齐质量与提示设计。在本文场景中，模型需要把学生手绘图、题干文本与参考图进行联合理解，并输出结构化判定。
本文评估对象就是 MLLM，需要理解其能力边界与跨模态对齐机制，才能解释为什么“看图做题”与“看图判题”表现差异明显。
Evaluation-as-judge（评审范式）
与传统“求解器”范式不同，judge 范式要求模型扮演评估者角色，对输出质量、正确性与错误原因给出系统化判断。这需要更强的结构化输出、任务约束遵守、以及对部分错误的细粒度识别能力。该范式在教育评估、幻觉检测与一致性评估中逐渐兴起。
本文核心不是让模型解题，而是让它当“阅卷老师”。理解 judge 范式有助于把握任务难点：准确性与细粒度诊断是两套不同能力。
Fine-grained error taxonomy（细粒度错误分类体系）
细粒度错误分类体系把错误从“对/错”扩展为可操作的错误类型集合，例如方向极性错误、连接错误、缺失步骤等。它通常通过“自下而上归纳 + 专家精炼 + 标注映射”的流程构建，并用于诊断模型短板与教学反馈。良好分类体系能兼顾覆盖度、可标注性与可解释性。
本文提出跨域错误体系并用 example-based F1 评估识别能力。理解这类设计才能读懂为何模型在某些错误类别上召回率差异极大。
Vision–symbol alignment（视觉-符号对齐）
视觉-符号对齐指模型要从像素级或特征级视觉输入中准确映射到结构化符号语义，例如流程图拓扑、电路连接关系、几何作图步骤与坐标刻度一致性。手绘噪声会放大对齐难度，导致模型偏重表面相似性而忽略任务语义。
文中反复强调这是当前模型的关键瓶颈。理解该概念能解释为何“看起来像”未必“语义上对”，以及为何 CoT 不一定带来提升。
Zero-shot evaluation（零样本评测）
零样本评测指在不针对任务做专门微调或少样本示例优化的情况下直接评估模型能力。它更接近模型通用性，但也更依赖提示设计与模型内在对齐。零样本下结果波动更能暴露模型弱点。
本文采用严格零样本设置，便于比较模型真实通用能力，也更能体现提示策略的边际作用与失效模式。
研究动机
现有 MLLM 评测大多遵循“完美世界”假设，侧重干净、标准化图像输入与“求解式”任务范式，这在实际教育场景中并不能覆盖真实需求。手绘几何作图、物理受力图、统计图与流程图在课堂中极为常见，但会带来笔迹噪声、构造痕迹、风格差异与多种正确表达形式，导致传统评测方法难以迁移到“阅卷场景”。尤其在需要判定“对/错”并进一步给出错误原因时，模型既要抵御视觉噪声，又要理解任务语义，还必须在结构化输出上保持稳定。现有基准如 DocVQA、ChartQA、MathVista、HallusionBench、JudgeBench 等，或聚焦干净图表，或不覆盖手绘图评分与细粒度错误诊断，因此无法充分暴露模型在“阅卷”任务上的脆弱性。作者指出，这一缺口在 STEM 教育评估中尤其关键，因为人工批改成本高且一致性受限，而自动评分系统需要同时具备感知鲁棒性、结构理解与元认知推理能力。
本文的目标是本文目标是构建第一个面向手绘图评分的诊断基准，系统评估 MLLM 在真实课堂风格输入下“当阅卷老师”的能力，不仅要判断正确性，还要识别细粒度错误类型。具体而言，作者希望量化当前最强模型与人类评分者在准确率与错误识别上的差距，揭示模型在不同任务域与错误类别上的稳定性，并通过统一评测框架比较开源与闭源模型、不同提示策略、以及是否提供参考图的效果，为后续研究提供可复现的测试床与改进线索。
与已有工作不同的是，本文独特切入在于把“解题者”与“评审者”彻底分离，并把重点放在“噪声输入 + 结构化诊断”这一被忽视组合上。已有工作多在标准化视觉上验证模型能力，而本文通过真实手绘图、多种正确形式与细粒度标签，迫使模型从表面匹配转向语义与拓扑一致性的判断。更重要的是，作者设计了 WithRef 与 NoRef 两种评估设定，以及多类提示模板，用来区分模型在“借助参考解”与“独立判断”下的能力边界。这种设计能揭示模型到底是“会看图”，还是“只会比对图”，从而指出当前视觉-符号对齐与推理链设计的真实短板。
核心方法
整体思路可以类比为“给 AI 一套标准化阅卷流程与评分细则，再把它放进真实考场”。作者首先构建 SketchJudge 基准，覆盖几何、物理、图表、流程图四类 STEM 图表任务，收集真实学生手绘作答与参考图，并提供正确性标签与错误类别。随后，他们设计零样本评测框架，把 16 个主流 MLLM 放到统一提示下进行对比，评估其“正确性判定”与“错误识别”两类能力。为避免只看单一指标，研究还引入严格性/宽容度、是否提供参考答案、以及提示设计（Baseline、Rubric、CoT）等控制变量。最终目标不是追求单一最高分，而是系统性刻画模型在不同设置下的能力谱与短板分布，帮助后续研究识别关键改进方向。
核心创新点在于“诊断式评审基准 + 细粒度错误分类体系”并用。不同于以往只看对错的 benchmark，SketchJudge 为每个错误作答提供域内错误类型，并用 example-based F1 评估模型识别错误集合的能力。这迫使模型同时完成两件事：在噪声手绘输入下保持正确性判断稳定性，以及在结构语义层面定位错误来源。另一个关键设计是引入 WithRef 与 NoRef 两种设定，把“参考图作为规范解”与“仅凭题干与作答独立判断”进行对比，从而把“阅卷依赖参考图”的程度量化出来。实验显示，这种设计能清晰区分模型在“对齐参考”与“理解任务”之间的能力差异，这是既有评测缺乏的视角。
方法步骤详情
方法分为基准构建与模型评测两阶段。基准构建阶段，作者在四类任务中收集 300 道题与 1015 份学生手绘作答，平均每个问题 3.38 份作答；49% 的题目含题干图，100% 题目提供参考图。正确作答 470 份，错误 545 份。接着采用两阶段标注：第一阶段由标注者为错误作答撰写自然语言描述，并由 GPT-4o 在无图条件下聚类生成初版错误分类；第二阶段由学科专家精炼分类，并把标注描述映射到最终错误类型，形成四域共 23 类错误体系。评测阶段，研究在零样本下评估 16 个 MLLM，主报告 WithRef 结果，并额外比较 NoRef、提示变体与错误类别召回。评估指标包括准确率、FNR/FPR 与 example-based F1，后者仅在金标与模型均判定为错误的实例上计算。
技术新颖性
技术新颖性体现在三方面。第一，明确把“图评分”从“图解题”中独立出来，建立面向阅卷行为的评测范式。第二，构建跨域细粒度错误分类体系，并用自下而上归纳与专家校验结合，保证教育可行性与可标注性。第三，系统设计控制变量：WithRef/NoRef、Baseline/Rubric/CoT、以及对 FNR/FPR 的联合分析，从而暴露模型稳定性与提示鲁棒性。相较以往以正确率为主的 benchmark，本文更关注“判断是否一致”“诊断是否准确”“提示是否可靠”，这对后续研究更具工程与科研参考价值。
实验结果
主实验显示，图评分任务仍未被当前 MLLM 解决。人类评分者在 160 条分层样本上整体准确率 83.33%，而最佳模型 GPT-5 达到 78.42%，Gemini-2.5-Flash 为 77.74%，o3 为 74.58%，说明最强模型与人类仍有约 5 个百分点差距。开源模型普遍落在 53%–69% 区间，且跨域波动更大。除正确性外，作者还用 example-based F1 评估错误识别能力：人类 ebF1 为 66.42，GPT-5 为 61.13，Gemini-2.5-Flash 为 58.30，显示“判断对错”与“指出错在哪”是两套不同能力。FNR/FPR 分析进一步揭示系统性偏差：部分小规模开源模型高度偏严，会大量拒绝正确作答；另一些则偏宽松，接受视觉上合理但语义错误的图。提示实验表明，Rubric 提示只带来微小且模型相关变化，而 Chain-of-Thought 提示在三类代表性模型上反而持续拉低准确率，例如 Gemini-2.5-Flash 的准确率由 77.74% 降至 76.16%，FNR 由 0.263 升至 0.351。作者认为，CoT 会放大早期视觉误判并导致后续推理链失真，这与文本任务中的常见收益相反。最后，NoRef 设定下性能显著下降，多数模型仅在 60% 中低段，说明“没有参考图就难以稳定阅卷”，模型仍高度依赖规范解。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SketchJudge 整体图评分 | Accuracy | GPT-5 78.42% | Human 83.33% | 相比次优模型 Gemini-2.5-Flash 77.74% 高 +0.68pp，但仍低于人类 −4.91pp |
| SketchJudge 整体图评分 | ebF1 | GPT-5 61.13 | Human 66.42 | 较次优 Gemini-2.5-Flash 58.30 提升 +2.83，仍低于人类 −5.29 |
| 无参考图评分 (NoRef) | Accuracy | GPT-5 70.05% | Human (WithRef) 83.33% | 相比 WithRef 下的 78.42% 下降 −8.37pp |
局限与改进
作者承认 SketchJudge 依赖人工撰写错误描述、专家精炼分类与人工校验流程，这虽然提升教育合理性，但会限制数据扩展速度与分类体系更新效率。部分错误类别存在边界模糊情况，需要领域判断，可能引入残余歧义。基准任务仍以受控教育风格图表为主，向更复杂真实场景迁移需额外关注鲁棒性与校准问题。从我的角度看，当前人类基线来自非专家评分员，且样本为分层子集，未必能代表专家阅卷上限；此外，模型输出虽要求严格 JSON，但仍有少量格式偏差，说明结构化指令遵循仍是工程难点。更重要的是，错误识别评估仅在模型判定为错误的实例上计算 ebF1，这意味着模型若整体偏严或偏松，都会影响可比性，需要更细的误差归因框架来解释差异来源。
独立分析的弱点
第一个明显弱点是模型对参考图的高度依赖。NoRef 设置下准确率显著下降，说明模型尚未建立稳定的“任务约束推理”能力，更多是在做参考一致性匹配。改进方向可包括：引入参考图无关的结构化检查表、把任务约束显式转译为可验证规则、以及用工具辅助拓扑与比例校验。第二是提示鲁棒性不足，CoT 会放大早期感知错误。未来可以尝试分阶段评审，先做低层感知校验，再做高层语义判断，并对推理链做早停与一致性回溯。第三是细粒度诊断稳定性差，跨模型类别召回波动大。可引入错误类别对比学习、难度自适应采样与域内课程学习，提升对结构性错误的鲁棒识别。
未来方向
作者建议将 SketchJudge 作为工具增强与智能体推理的测试床，让模型在规划、外部化步骤与工具交互中完成图构建、生成与验证，从而突破单次推理限制。同时可结合课程式 in-context learning，提升复杂推理稳定性。基于当前成果，可进一步拓展到更多教育任务与语言环境，构建“阅卷反馈生成”与“错误归因解释”的端到端流程；也可以把人类专家评分与模型评分混合，形成人机协作评分系统，并在高风险场景中加入校准、可解释性与公平性评估。
复现评估
从复现角度看，作者已公开代码、数据与评测脚本，且所有模型在统一零样本模板与确定性解码下评测，降低实现差异。基准包含 300 题与 1015 份作答，规模适中但标注成本较高；评测使用 16 个模型，涵盖开源与闭源系统，算力与接口成本因模型而异。复现主要难点在于错误分类映射与结构化输出解析：少量模型会出现格式偏差，需要后处理与人工抽检。总体上，重跑排行榜与主实验可行，但要完整复现标注协议与专家校验流程，则需要学科专家参与与较高人力投入。
论文图表
