SciGen-Verifier:面向科学图像生成可解释验证的多模态推理器 SciGen-Verifier: A Multimodal Reasoner for Explainable Verification in Scientific Image Generation
构建科学图像可解释验证基准,用两阶段课程RL训练8B验证器,媲美更大闭源模型
前置知识
GRPO(组相对策略优化)
DeepSeekMath 提出的强化学习算法:对每个查询用当前策略采样一组(本文 $K=8$) rollout,以组内奖励的相对优势代替价值网络计算优势函数,从而省去 critic 模型。它已成为推理模型 RL 训练(如 R1 类后训练)的主流选择,本文两阶段 RL 均基于 GRPO 实现。
SciGen-Verifier 的核心训练手段就是 GRPO,两阶段只改奖励构成、不换算法,理解 GRPO 才能看懂奖励设计如何转化为策略更新。
过程奖励与结果奖励(PRM vs ORM)
结果奖励只看最终答案对错(Outcome Reward),过程奖励则逐步评估推理轨迹是否覆盖关键证据点(Process Reward),典型代表是 VisualPRM 对多模态推理链的步级验证。过程信号更稠密但可能是噪声代理,结果信号更可靠但稀疏且难以在早期驱动探索。
本文第一阶段 RL 用 rubric 引导的过程奖励强化证据探索,第二阶段才切换到结果奖励,这个课程设计正是围绕两类信号的可靠性不对称展开的。
Rubric(评分细则)与检查点分解
Rubric 是把一道科学绘图题的正确性拆成一组可判定的原子检查点,如“曲线是否过原点”“是否标注 $\angle A=45°$”,每个检查点是一个二值问题。它把宏观的“图像对不对”化成类似单元测试的细粒度信号,是本文 SciGen-Rubric 数据集(17,677 实例、77k 准则、471k 检查点)和过程奖励的基础。
不懂 rubric 就无法理解第一阶段奖励 $R_{rubric}$ 如何计算,以及为什么它能解决 SFT 证据探索不完整的问题。
SFT 冷启动与拒绝采样
RL 前先用监督微调让模型学会输出格式和基础能力称为冷启动。拒绝采样指用强模型(本文 Seed-2.0-Pro)批量生成结构化标注,只保留二值判断与真值一致、且解释通过另一模型(Gemini-3-Flash)校验的样本,从而低成本扩产可靠训练数据(本文得到 48,311 条)。
SciGen-Verifier 的整条训练链路从 SFT 冷启动开始,数据质量过滤方式直接决定后续 RL 的起点上限。
LLM-as-a-Judge 与级联评估
用强 LLM 充当裁判给开放文本打分,本文用 GLM-4.7 评解释、Doubao-Seed-2.0-Lite 评编辑指令,并在 300 样本上验证其与人的一致性($\kappa=0.79/0.76$,接近人与人上限 $0.83$)。级联评估指解释只在判断正确时计分、编辑指令只在判断和解释都对时计分,以惩罚瞎猜。
SciGen-Verify 的三层指标 $Acc_a/Acc_e/Acc_i$ 全靠这套裁判体系,它是读懂所有实验表格的前提。
研究动机
在真实教育场景中,一份解答常常不仅要用文字表达,还要用图画出来——画一个电路、一条几何辅助线、一张函数图像,而教师必须像批改文字一样仔细批改这张图。随着统一多模态模型和扩散生成器把文生图从开放域自然场景推向科学图像生成(如 SciIR、GenExam 所代表的“视觉做题”),一个关键瓶颈浮现:谁来批改这些图、怎么批改?科学图像的错误与自然图像的表层伪影有本质区别:它表现为违反物理或几何约束、缺失关键组件、与学科事实的细微错位。例如论文图 1 中的物理题要求画并联电池组点亮小灯泡,生成模型却画成了串联——识别这种错误远超像素级异常检测,需要真正理解电路结构才能发现违规。更麻烦的是,现有验证手段在两个方向上都不够用:一方面,ImageReward、VL-RewardBench、OmniVerifier 等面向自然图像的验证器和基准关注通用的图文对齐与美学偏好,把判断压缩成一个标量分数,既不涉及学科结构保真度,也不解释错在哪;另一方面,GenExam、ProImage-Bench 等科学图像生成基准虽然引入了细粒度评估 rubric,但只是静态离线测试台,无法给出可执行的纠错反馈。实验数据也印证了这一点:即便是 GPT-6-Astra 这样的旗舰模型,判断准确率 $Acc_a$ 为 75.71%,但一旦要求给出可执行的修正指令,$Acc_i$ 骤降到 53.59%,说明“诊断”与“开药方”之间存在巨大鸿沟。
本文的目标是本文的目标可以概括为“一个任务定义、一个基准、一个模型”三位一体。任务定义上,把科学图像验证形式化为可执行推理任务:验证器收到题目陈述(可能带参考图)和候选图像后,必须输出三元组——二值判断(对/错)、逐条证据的解释(为什么对/错)、以及针对错误图像的可执行编辑指令(怎么改),作者称之为可解释科学图像验证。基准方面,构建 SciGen-Verify:首个专门面向该任务的基准,覆盖指令遵循、多学科推理、世界知识三大领域,配三级级联指标 $Acc_a/Acc_e/Acc_i$,共 1,350 条经 AI 辅助标注加 10 位学科专家双审的样本。模型方面,训练 SciGen-Verifier-8B:以 Qwen3-VL-8B-Instruct 为底座,通过 SFT 冷启动加课程式两阶段强化学习,先强化科学推理的证据探索,再对齐输出与真值标注。最终还要求模型能落地为实用组件:作为在线 critic 嵌入迭代测试时扩展(TTS)流程,驱动生成模型逐步修正科学图像。
与已有工作不同的是,本文的独特切入角度有三点。第一,视角转换:此前社区把验证当作“打分器”(输出标量奖励或分数),作者把它重构为“批改作业的推理任务”,要求显式输出判断—解释—修正指令三元组,这使验证结果天然可用于下游纠错,而非仅用于模型选择。第二,训练信号的来源创新:作者通过错误分析发现 SFT 失败主要源于“证据探索不完整”而非推理不连贯,因此不直接上结果奖励,而是专门训练一个 rubric 生成器(基于自建 SciGen-Rubric 数据集),在 RL 时为每道题动态生成实例级检查点,用覆盖率作为过程奖励逼迫模型在思维链里穷尽视觉证据和科学约束——这相当于把静态基准里的评估 rubric 变成了动态 RL 过程监督信号。第三,课程式解耦:作者意识到解释和编辑指令严格依赖正确判断,过早施加全量结果奖励会导致训练不稳,于是设计了由“掌握度”驱动的动态权重调度,先探索后对齐;此外还让验证器反过来充当 rubric 生成器的 RL 奖励源,形成基准—验证器—rubric 的闭环,这是已有工作没有的系统性设计。
核心方法
直觉上,这个方法模拟了一位理科老师批改“画图题”的完整流程:先判断图对不对(判断),再说清楚依据哪些知识点、哪几处证据(解释),最后开出具体的修改处方(编辑指令)。技术路线上,SciGen-Verifier 以 Qwen3-VL-8B-Instruct 为底座,走“SFT 冷启动 → 两阶段课程 RL”的三步流水线(论文图 5)。第一步是全参监督微调:从与基准相同的上游数据源构建 48,311 条训练样本,用 Seed-2.0-Pro 按 XML 风格模板生成结构化回答——推理 二值判断 解释 编辑指令(仅错例),再用拒绝采样保留判断与真值一致且解释通过 Gemini-3-Flash 校验的样本,以标准的下一词预测损失 $\mathcal{L}_{SFT}(\theta) = -\mathbb{E}_{(x,y)\sim\mathcal{D}_{SFT}}[\log \pi_\theta(y|x)]$ 训练两个 epoch。第二步是第一阶段 RL:用 GRPO 优化,奖励由二值判断奖励 $R_{judge}$ 和 rubric 覆盖率 $R_{rubric}(\tau)=\frac{1}{n}\sum_{j=1}^{n} c_j(\tau)$ 按动态系数 $\alpha_t, \beta_t$ 加权融合,促使模型在思维链中覆盖足够多的科学检查点。第三步是第二阶段 RL:在 685 条带完整标注的样本上,用结果奖励 $R_2(\tau)=R_{judge}(\tau)+R_{exp-edit}(\tau)$ 直接对齐解释和编辑指令与真值。整个训练基于 ms-swift 的 fork 实现,支持数据级温度采样和难度感知的 GRPO 采样。
核心创新是“rubric 引导的过程奖励 + 掌握度驱动的课程调度”。作者从 SFT 模型的错误分析出发,发现失败主要不是推理链不连贯,而是思维链没有穷尽实例相关的视觉证据——比如判断电路图时根本没检查电池是串联还是并联。为此他们先构建 SciGen-Rubric 数据集(17,677 实例,含 77k 准则和 471k 检查点,测试集平均每图 4.57 条准则、29.40 个检查点),训练一个同底座的 rubric 生成器,能在 RL 期间为每道题动态产出形如 $R=\{(c_k, P_k, w_k)\}_{k=1}^{K}$ 的层次化检查点集合。每个 rollout 的思维链交给覆盖检查器 $\pi_\phi$ 判定各检查点是否被显式讨论,得到二值指示 $c_j(\tau)\in\{0,1\}$,覆盖率即过程奖励。与以往固定权重的过程/结果奖励混合不同,本文的系数遵循课程式调度:以判断准确率的滑动平均 $m_t$ 度量训练掌握度,令 $\alpha_t=\alpha_{max}m_t^{\rho}$、$\beta_t=\beta_{max}(1-m_t)^{\rho}$,并强制 $\alpha_{max}>\beta_{max}$ 保证判断正确始终是主目标。早期准确率低时 rubric 权重高,鼓励全面探索;随能力提升权重逐渐转向判断本身。作者将其解释为“结果门控过程监督的软松弛”——不用硬性门槛切断过程奖励,而是让过程信号随能力增长平滑退位,实证上比固定权重更稳定。这和 VisualPRM 对通用推理链的步级验证、OmniVerifier 对通用图像的验证有本质区别:检查点是学科定制且动态生成的,监督对象是科学证据覆盖度。
方法步骤详情
完整流程分四步。第一步,SFT 数据构建:从 V-Interaction、MathCanvas、CoSyn、DaTikZ-V3、EMMA、AI2D、Wikipedia 及爬取的教辅试卷等来源收集题目—图像对,在源样本层面与测试基准严格切分(同一题及其所有扰动变体只属于训练或测试之一),用 Seed-2.0-Pro 生成四段式结构化标注并经拒绝采样得 48,311 条(约 true/false 均衡,其中指令遵循 19,678、多学科推理 20,367、世界知识 8,266),按 $q_i\propto n_i^{1/T}$($T=1.5$)做温度采样缓解类别不均衡,随后对 Qwen3-VL-8B-Instruct 做两个 epoch 的全参 SFT。第二步,RL 查询池构建:用 SFT 模型对候选题做 $K=8$ 次 rollout,仅保留判断部分正确($k\in\{1,\dots,7\}$ 次正确)的 15K 个查询——全对样本奖励无差异、全错样本噪声太大,部分成功样本能提供最大的组内奖励对比度。第三步,第一阶段 RL:rubric 生成器为每题产出检查点,覆盖检查器计算 $R_{rubric}$,与规则判定的 $R_{judge}$ 按 $R_1(\tau)=\alpha_t R_{judge}(\tau)+\beta_t R_{rubric}(\tau)$ 融合后用 GRPO 更新,产出强证据探索能力的策略。第四步,第二阶段 RL:换用 685 条带答案、解释、编辑指令全标注的样本,令 $R_{exp-edit}(\tau)=\mathbb{I}(e\simeq e^*)+\mathbb{I}(u\simeq u^*)$,其中语义等价 $\simeq$ 分别由 GLM-4.7(判解释)和 Doubao-Seed-2.0-Lite(结合图像判编辑指令)裁决,总奖励 $R_2(\tau)=R_{judge}(\tau)+R_{exp-edit}(\tau)$;保留判断奖励是为防止第二阶段损害已学到的判断能力。两个阶段算法同为 GRPO,只有奖励构成不同。
技术新颖性
技术新颖性体现在四个层面。其一,任务层面:首个把科学图像验证形式化为“判断+解释+编辑指令”三元组可执行推理任务并配级联指标的工作,此前的多模态验证(VL-RewardBench、VisualPRM、OmniVerifier)要么输出标量、要么只验推理文本步级正确性,从未要求针对图像错误开出可执行修改处方。其二,数据层面:负样本构造刻意模拟“真实学生错误”而非低质量伪影——有渲染代码的用 Claude-Sonnet-5 改代码(如绕过电阻),无代码的让 Gemini-3-Pro 扮演教师提取常见误区再驱动 Qwen-Image-Edit 生成带瑕疵图像,文本扰动则注入反事实条件(把“并联”改成“串联”、篡改角度数值),并经 Gemini-3-Flash 自动过滤明显伪影,最后由横跨数理化生地五个学科、每科两名研究生的 10 位专家双人独立审核,双人通过才保留。其三,训练层面:把 rubric 从静态评估工具改造成 RL 动态过程奖励源,且 rubric 生成器本身也经 SFT+GRPO 训练(在 SciGen-Rubric 测试集上 RR 72.94、NHR 76.11、SF1 73.88,超过 Seed-2.0-Pro 的 64.42 SF1),并用验证器做点级奖励源反向训练 rubric 生成器(奖励含判别项 $\frac{S^+-\bar{S}^-}{10.0}$ 和格式项),形成互促闭环。其四,调度层面:掌握度驱动的 $\alpha_t/\beta_t$ 课程调度是文献中少见的“自适应过程—结果奖励切换”机制,消融证明缺一不可。
实验结果
主实验(Table 1,15 个基线模型)给出三个核心发现。第一,前沿 MLLM 的科学图像验证能力仍然有限:最强闭源基线 Qwen3.8-Max 总体 $Acc_a$ 为 86.03%,但几乎所有模型从判断到解释再到编辑指令逐级跳水——GPT-6-Astra 从 75.71%($Acc_a$)跌到 53.59%($Acc_i$),Gemini-3.5-Flash 从 81.38% 跌到 56.54%,说明细粒度错误定位和修正指令生成是普遍短板;专训通用图像验证的 OmniVerifier-7B 更是全面崩塌(总体 $Acc_i$ 仅 9.39%),证明科学验证远超通用图文对齐。第二,SciGen-Verifier-8B 达到最强的总体 $Acc_a$ 86.28%,超过 Qwen3.8-Max(86.03%)、Gemini-3.5-Flash(+4.90 个百分点)和 GPT-6-Astra(+10.57 个百分点),并在世界知识域创下新 SOTA:$Acc_a$ 94.21%、$Acc_e$ 91.53%、$Acc_i$ 65.48%,分别领先 Qwen3.8-Max 6.45、4.41、5.67 个百分点。第三,纠错显著难于判断:全模型 $Acc_i$ 普遍最低,Qwen3.8-Max 也只到 64.75%,本文模型为 57.42%,可作为迭代纠错的主要瓶颈。消融实验同样关键:Table 2 显示仅 SFT 时总体 80.09/75.32/46.72;单独加 Stage 1(S+R1)提升判断到 83.62;单独加 Stage 2(S+R2)提升编辑到 52.78;两阶段齐上达 86.28/81.79/57.42,验证课程设计的必要性。Figure 3 的 CoT 消融表明无思维链的 SFT 虽有 81.0% 的 $Acc_a$,但 $Acc_e$/$Acc_i$ 仅 65.9%/36.4%,且直接套 RL 几乎无增益——没有中间逻辑锚点,RL 根本无法优化复杂视觉编辑;有 CoT 时 SFT+RL 把总体推到 $Acc_a$ 86.3%、$Acc_i$ 57.4%。此外,rubric 生成器评估(Table 6)中 Ours-SFT+RL 以 72.94 RR/76.11 NHR/73.88 SF1 全面领先;裁判可靠性上(Table 3)两个 LLM 裁判与人类专家的 Cohen's $\kappa$ 分别为 0.79 和 0.76,接近人类间上限 0.83,第三方裁判 GPT-5-mini 复核后模型排名完全不变(Table 4,最大偏差仅 0.65)。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SciGen-Verify 总体二值判断 | Acca (%) | 86.28 | Qwen3.8-Max 86.03;Gemini-3.5-Flash 81.38;GPT-6-Astra 75.71 | 较最强基线 +0.25,较 Gemini-3.5-Flash +4.90,较 GPT-6-Astra +10.57(8B 模型战胜百倍规模闭源旗舰) |
| SciGen-Verify 世界知识域判断/解释/编辑 | Acca / Acce / Acci (%) | 94.21 / 91.53 / 65.48 | Qwen3.8-Max 87.76 / 87.12 / 59.81 | +6.45 / +4.41 / +5.67,三指标全面 SOTA |
| SciGen-Verify 总体编辑指令生成 | Acci (%) | 57.42 | Qwen3.8-Max 64.75;Gemini-3.5-Flash 56.54;GPT-6-Astra 53.59 | 落后最强基线 7.33,但超过 Gemini-3.5-Flash 和 GPT-6-Astra,揭示全领域共同瓶颈 |
| SciGen-Rubric 测试集 rubric 生成 | Overall SF1 (%) | 73.88(RR 72.94,NHR 76.11) | Seed-2.0-Pro 64.42;Qwen3.6-Plus 60.57 | +9.46,覆盖与防幻觉同时最优,支撑其作为过程奖励源 |
| GenExam 迭代测试时扩展(在线 critic,Wan2.6 生成) | Relaxed score(10 步) | 58.7 → 63.5 | Gemini-3.5-Flash 64.9;Qwen3.8-Max 64.4;Seed-2.0-Pro 62.6 | 8B 验证器与旗舰模型差距仅 0.9–1.4 分,推理成本远低,且优于 Seed-2.0-Pro |
| 训练策略消融(SFT / +R1 / +R2 / 全部) | Overall Acca / Acce / Acci (%) | 80.09/75.32/46.72 → 86.28/81.79/57.42 | S+R1 83.62/77.16/50.47;S+R2 82.68/78.46/52.78 | 两阶段课程比任一单独阶段高 2.7–6.2(Acca)和 4.6–6.9(Acci) |
局限与改进
作者明确承认的局限主要有三:一是编辑指令生成($Acc_i$)仍是全领域瓶颈,本文模型 57.42% 甚至落后 Qwen3.8-Max 的 64.75%,说明两阶段 RL 还没完全解决“会诊断不会开方”的问题;二是 TTS 应用中修正得分并非每步单调上升(Table 8 中 Step 2 反而从 58.7 降到 57.7),迭代纠错的稳定性有待改进;三是 $Acc_i$ 是仅对负样本归一化的条件指标,不能与 $Acc_a/Acc_e$ 直接比较。我自己的观察还有几点:其一,模型在指令遵循域($Acc_a$ 75.62)和多学科推理域(89.02)的判断准确率均低于 Qwen3.8-Max(79.33 和 91.01),优势高度集中在世界知识域,所谓“总体最强”部分得益于知识域样本量最大(657 条)带来的宏观平均红利;其二,$Acc_e/Acc_i$ 的裁判是 GLM-4.7 和 Doubao-Seed-2.0-Lite 这两个闭源商业模型,尽管 $\kappa$ 验证充分、第三方复核稳健,但第二阶段 RL 的奖励同样依赖这些裁判,存在 reward hacking 被动适应裁判口味的隐患,且整个数据管线深度绑定 Claude、Gemini、Seed 等特定闭源模型版本,可复现性与长期可维护性存疑;其三,基准只有 1,350 条(推理域仅 287 条),子集上的指标波动会较大,负样本又全部由生成模型构造,可能无法覆盖真实学生或真实生成模型犯错的全分布;其四,rubric 生成器与验证器同为 8B 底座,对高度专业的科学约束(如复杂化学机理图)可能存在系统性盲区,过程奖励会随之失真。
独立分析的弱点
独立分析后我认为有四个值得改进的弱点。第一,编辑指令生成的能力天花板:$R_{exp-edit}$ 用 LLM 裁判做纯文本语义等价判断,模型无法得知“按这条指令改完图是否真的正确”,奖励信号与最终纠错效果脱钩;改进方向是把图像编辑器接进训练回路,构成“生成编辑指令→实际执行编辑→验证器复检”的可执行奖励(类似 execution feedback),让 $Acc_i$ 的优化目标与下游任务一致。第二,评估与训练双重依赖闭源裁判:GLM-4.7、Doubao、Gemini、Seed 全是商业 API,版本迭代随时可能改变裁判行为,使基准分数不可比、RL 奖励不可复现;改进方向是蒸馏一个开源裁判模型并用人工标注锚定,或至少公开全部裁判 prompt、固定版本号与温度。第三,域间不均衡与宏观平均的敏感性:世界知识域 657 条而推理域仅 287 条,且知识域恰是模型优势域,总体指标容易高估真实水平;改进方向是按域报告并加权平衡,或扩充推理域与指令域样本。第四,负样本与真实错误的分布差距:视觉扰动靠 Gemini-3-Pro 想象“学生误区”、编辑靠 Qwen-Image-Edit 执行,两者叠加的瑕疵分布与真实生成模型(如扩散模型的文字乱码、布局崩坏)并不重合,验证器可能对真实生成失败模式欠拟合;改进方向是直接从各生成模型的真实输出中挖掘失败案例(模型自举的难负样本),并用对抗验证检查负样本可区分性。另外,整个系统只处理单图静态验证,未涉及多轮编辑链、多图一致性(如双图对照题)等真实教学场景,这也是明显的能力边界。
未来方向
作者在文中指向的后续方向包括:把 SciGen-Verifier 更深度地嵌入迭代测试时扩展流程,改进再生成与局部编辑之间的路由策略(当前以“编辑指令条数≥3 或含全局关键词”启发式切换),提升多步修正的单调性与收敛速度;以及扩展 rubric 引导的过程奖励范式。基于本文成果还能自然延伸出几条线。其一,验证器与生成器联合训练:用验证器奖励直接优化生成模型策略(reasoning-reward / GRM 路线),或反过来用生成模型的失败样本自动扩充 SciGen-Verify 与 SciGen-Rubric,形成自博弈式数据飞轮。其二,可执行闭环奖励:如弱点分析所述,把编辑指令真正输入图像编辑模型执行并复检,用端到端纠错成功率替代 LLM 裁判,有望突破 $Acc_i$ 瓶颈。其三,过程奖励模型的教育化落地:rubric 检查点天然对应“给分点”,可扩展为自动批改系统——不仅判对错,还能按检查点逐项给分、生成个性化讲评,覆盖更多学科与题型(证明题、实验设计图、工程图纸、医学影像标注)。其四,多模态过程验证的理论化:本文的掌握度调度 $\alpha_t=\alpha_{max}m_t^{\rho}$ 是经验性的,研究过程/结果奖励权重随策略能力的最优调度曲线,可能推广为 RLVR 训练的通用课程准则。其五,开源化:将 rubric 生成、覆盖检查、裁判三个组件替换为开源模型并公开权重,会大幅提升社区的复现与跟进速度。
复现评估
复现评估:中等偏上难度。有利条件是核心底座完全开源——验证器和 rubric 生成器都基于 Qwen3-VL-8B-Instruct 全参微调,训练框架基于 ms-swift 的 fork(需自行补上数据级温度采样与难度感知 GRPO 采样),8B 规模的全参 SFT 加两阶段 GRPO 在 8×A100/ H100 量级即可完成,计算门槛不算高。数据方面,上游来源大多公开:V-Interaction、MathCanvas、CoSyn、DaTikZ-V3、EMMA、AI2D 均可下载,但“爬取教辅试卷”和 Wikipedia 图像部分需要自己重建,且全部标注管线依赖大量闭源商业模型——Claude-Sonnet-5 改代码扰动、Claude-Opus-4.8 合成题面、Gemini-3-Pro 构造扰动与初始标注、Gemini-3-Flash 过滤、Seed-2.0-Pro 生成 SFT 回答、GLM-4.7 与 Doubao-Seed-2.0-Lite 做裁判和奖励——按论文规模(48,311 条 SFT、17,677 条 rubric、15K RL 查询、1,350 条基准)估算 API 成本不菲,且无法保证与论文完全同版本的模型行为。人工环节也难以复制:10 位覆盖五个学科的研究生双人独立审核不可省略,否则标注质量无法对齐。训练侧的超参大多在附录中给出($K=8$、$T=1.5$、$\alpha_{max}>\beta_{max}$、$\rho$ 的课程锐度等),但 Stage 2 仅 685 条全标注样本的来源和部分调度常数的具体取值交代有限。论文正文未明确声明代码与数据集开源链接,若最终不放出 SciGen-Verify 与 SciGen-Rubric 的标注文件,第三方只能复现方法而无法复现评测。总体而言:有开源底座和清晰流程描述,方法层面可复现;基准与训练数据层面受制于闭源 API 和人工审核,属于“可重建但难以逐位对齐”的类型。
论文图表
展示基准三大领域各一个完整样例:化学编辑题(要求给 O-H 键加绿色椭圆、给孤对电子加蓝色圆圈,答案 False 并给出改色指令)、物理推理题(并联电路画成串联,答案 False 附修正指令)、数学题(过电位曲线标注,答案 True)、生物食物网题(答案 True)。每个样例含上下文图、问题、判断、解释和编辑指令。
一图看懂“可解释验证”任务的完整输入输出形态和三大能力域的差异,是理解论文问题定义的最快入口。