EDU-CIRCUIT-HW：基于真实大学 STEM 学生手写解答的多模态大语言模型评测基准 EDU-CIRCUIT-HW: Evaluating Multimodal Large Language Models on Real-World University-Level STEM Student Handwritten Solutions

方法具体落地分四步：(1) 数据采集与切分——从 Georgia Tech 一门大三年级电路分析课 (Spring 2025) 收集 29 名学生的 1334 份手写作业，覆盖 62 道来自 Svoboda & Dorf 教材的题目；按学生 ID 切成 observation set (11 人，513 份，含专家校对转写) 和 test set (18 人，821 份，不含校对)，并进行 PII 脱敏和 IRB 审批。(2) 上游识别与金标准——用 Gemini-2.5-Pro 对 observation 全部手写作业做 Markdown 转写，专家逐行核对并人工纠正错误，得到"无错"的 gold text。(3) 自动错误检测与归类——构造 LLM-as-a-Judge：输入 MLLM 的 target recognition 与金标准 label_content，外加一份来自 test set 的 one-shot 样例 (P8.3-10, Student 19)，由 Gemini-2.5-Pro 输出所有"alike/diff"项的差异；再用 Figure 5 的 prompt 让其把每条差异归到四类之一；该流程在 186 份样本、5000+ 条目的人工核对下，样本级准确率达 0.9516-0.9839，项目级 F1 在 0.9073-0.9238 之间，证实了自动化检测器的可靠性。(4) 下游评分与重评分——LLM 评分器 (GPT-5.1) 在两轮对话中先按 E/M/U/C/NC 五维给出扣分报告 {E:-0.04pts, C:-0.01pts}，再对每条扣分给出带证据 (evidence) 的解释；与专家报告比较时按 Binary/Type/Point 三档评估，并统计 EIR = 引起评分偏差的识别错误数 / 项目级错误总数；案例研究中，识别错误模式被蒸馏成 Figures 25-26 的清单，让检测器在 test set 上先预判并给出置信度，置信度低的 3.3%-4.4% 转给助教人工评分，其余交回给 GPT-5.1 重评分。

技术上本文的新颖性集中在评测协议设计而非模型架构。两个最值得指出的点是：第一，Error Impact Rate 的引入把识别质量与下游任务质量第一次用单一标量耦合起来——它直接回答"多少识别错误会真正改变评分"，并被用来系统比较不同 MLLM (Figure 4 揭示了 Symbolic/Character 类错误 EIR 普遍在 ~20% 而 Diagrammatic 类多在 5-15%)；第二，LLM-as-a-Judge 在 STEM 手写评测中具有"对齐判定"能力，作者在项目级做了 5000+ 条目的人工核验，这比一般 LLM 裁判工作中用一两百条打分可信度验证更扎实，且明确指出 false positive/false negative 主要来自"语义模糊项"而非系统性误判，这构成了后续工作中可以"直接复用"的工程基线。第三个隐含新颖性是双层评测：Binary/Type/Point 三档计分把"为什么粗粒度评估会高估 MLLM"这件事首次分解成可量化数据，让"细粒度评分下 Gemini-3-Preview 的扣分一致性 (74.27%) 仍输给人类助教 (81.29%)"这一关键结论有了清晰量化支撑。

独立看这篇工作，几个值得改进的方向：第一，识别错误归类完全靠 Gemini-2.5-Pro 的 LLM-as-a-Judge，缺乏跨模型投票或一致性校验，建议在未来工作中把归类由单 LLM 改成多模型多数投票，并在 Diagrammatic 这种语义最模糊的类别引入专门的小模型先验 (例如检测电路拓扑的 GNN)，可以显著降低边界项的归类噪声。第二，识别评测与评分评测只用了 observation set 的 513 份，相当于"半训练集"，而真正的全集是 test set 821 份但没有 gold text，这导致 EIR 等指标的样本量估计可能在 test set 上不稳定；改进方向是补充一轮对 test set 的抽样人工校对 (例如 10%)，从而给出带置信区间的指标。第三，案例研究的"regrading module"目前只针对 GPT-5.1 和 Gemini-2.5-Pro 两种识别器，且只用 GPT-5.1 当 re-grader，这意味着模块的兼容性没有在更多识别器+评分器组合下做过消融；改进方向是把 re-grader 与识别器解耦并加入对抗性测试 (例如恶意 prompt 注入)。第四，评分 granularity 的五类 (E/M/U/C/NC) 是问题无关的抽象，但 rubric 仍然是逐题手写，这导致数据集的扩展性受限，未来可探索用 LLM 自动生成 rubric 并加专家验证的半自动 pipeline，以扩大题目覆盖。最后，Figure 4 中 Diagrammatic 类错误的 EIR 看起来低，但作者自己也警告它对下游任务可能是灾难性的，这意味着评测协议本身还可以加一类"Diagrammatic-only downstream"的子基准，否则读者很可能误判这类错误的重要性。

作者在 Limitations 中已经把后续方向铺得比较清楚：把分析扩展到更广 STEM 学科、更多下游任务 (VQA、电路图转网表、推荐学习路径) 以及更多元的评分协议。我能从结果上额外想到几条值得探索的方向：(1) 既然 Figure 4 显示 Symbolic & Character 类错误 EIR 普遍 20% 左右，可以专门设计"符号级"纠错器，比如用专门为公式和电路符号做微调的 7B-8B 模型，配合 LLM 裁判做二次验证；(2) 把 EIR 与评分模型对错误类型的敏感度联合建模成一个贝叶斯风险函数，从而在路由 re-grader 时按风险而非阈值调度；(3) 探索"错误模式"是否具有跨学科、跨课程的可迁移性，把 EDU-CIRCUIT-HW 的模式清单向物理、化学、计算机等其他 STEM 作业迁移；(4) 由于 Qwen3-VL-8B-Thinking 这种 thinking 模型 SER 高达 85.43%，可以专门评估"思维链式思考"是否真能帮助它减少识别错误，还是反而引入了更多 hallucination；(5) 引入"学生答题风格归一化"的预处理，把不同人的书写风格差异从 MLLM 输入端消除，看识别错误率是否会系统性下降。

复现性方面本文作者做得相对充分。数据集通过项目网站与 GitHub 仓库公开 (data/papers 数据目录 2602.00095 也有元数据)，observation set 包含 513 份带 gold 校对转写的样本、62 道题及对应参考解与 rubric、若干识别错误分类记录；test set 821 份不公开 gold 校对但公开题目索引 (Table 7) 与评分细则。开源/合规细节：由于教材题目受版权保护，作者不能公开原题原文与图示，但每道题配有 Svoboda & Dorf 原书 ID，可由研究者自行查阅，重实验所需 prompt (Figures 5、16、17、18、22-25 等) 全部以图示形式给出，所有 MLLM 通过官方 API 调用，温度除 GPT-5.1 是官方固定 1 外其余设为 0，推理仅 1 run 因为低温度 + 部署成本约束。算力角度并不算重——评测侧基本是 API 调用 + GPT-5.1 / Gemini-2.5-Pro 评分，本地无需大规模 GPU，仅 Qwen3-VL-8B-Thinking 这一开源模型需要一张消费级 GPU 即可。复现难度中等 (代码与 prompt 都公开，但完整题面需要翻原教材，且 test set 部分评估依赖评分真实标签)，更可能的门槛是 (i) 没有完全相同的师生群体可能引入分布漂移、(ii) GPT-5.1 / Gemini-3-Pro-Preview 等模型版本随时间可能发生能力变化，从而影响跨论文对比。