科学图像合成：基准评测、方法论与下游应用价值 Scientific Image Synthesis: Benchmarking, Methodologies, and Downstream Utility
提出代码驱动的科学图像生成框架ImgCoder和评测基准SciGenBench，揭示精度-表现力权衡
前置知识
Text-to-Image (T2I) 模型
文本到图像生成模型，根据自然语言描述生成对应图像。现代T2I模型主要基于扩散模型（Diffusion Model）架构，包括基于UNet的潜在扩散模型（LDM）、扩散Transformer（DiT）和自回归Transformer等变体。这些模型通过逐步去噪过程从随机噪声生成图像，在自然图像领域已达到照片级真实感。代表性模型包括Flux、Stable Diffusion、GPT-Image等。
本文的核心对比对象之一就是像素级T2I模型在科学图像生成上的表现，理解其工作原理是理解精度-表现力权衡的基础。
代码驱动图像生成（Programmatic Synthesis）
与直接在像素空间生成图像不同，代码驱动方法先生成可执行代码（如Python matplotlib代码），再通过确定性渲染引擎执行代码生成图像。这种方法将图像的逻辑结构与视觉渲染解耦，利用编程语言的精确计算能力保证几何关系、数值标注等的严格正确性。
这是本文提出ImgCoder的核心范式，理解代码驱动方法的优势和局限是理解论文关键发现的前提。
LMM-as-Judge（大模型作为评判者）
使用大型多模态模型（如Gemini-3-Flash）作为自动化评估器，按照预定义的评分标准对生成结果进行多维度打分。与传统的像素级指标（如FID、PSNR）不同，LMM-as-Judge能够评估语义正确性、逻辑一致性等更高层次的质量维度。每个维度采用0-2分制评分。
本文发现传统像素级指标与科学图像的实际质量严重脱节，LMM-as-Judge是本文评估框架的核心组件，理解其设计才能理解评测结论。
逆向验证率（Inverse Validation Rate, Rinv）
本文提出的核心评估指标。其原理是：为每张生成的图像配对一组事实性问答题（atomic quizzes），然后用强VQA模型（Gemini-3-Flash）回答这些问题。如果一张图像关联的所有问答题都能被正确回答，则该图像通过逆向验证。Rinv是通过验证的图像占总图像数的比例。公式为 $R_{inv} = \frac{1}{|D|}\sum_{I \in D}\mathbb{I}\left[\sum_{q \in Q_I} V(I,q) = |Q_I|\right]$。
这是衡量科学图像信息效用的核心指标，比FID等传统指标更能反映图像是否真正编码了正确的科学信息，是理解全文实验结论的关键。
精度-表现力权衡（Precision-Expressiveness Trade-off）
本文发现的一个核心现象：代码驱动方法在结构精度（几何关系、数值标注、拓扑完整性）上天然优于像素级方法，但在视觉表现力（纹理丰富度、自然感、细节层次）上则不如像素级模型。例如画函数 $y = x \ln x$ 时，代码方法保证数学精确但输出偏'平面'，像素方法视觉丰富但截距和极值点可能不准。
这是贯穿全文的核心发现，理解这个权衡才能理解为什么两种范式各有优劣、以及未来应该走混合路线。
研究动机
在文本领域，大规模合成数据已被证明能有效提升科学推理能力（如数学推理），但在多模态领域，科学图像的合成面临根本性困难。与自然图像不同，科学图像必须满足严格的几何约束、物理定律和拓扑关系。例如，一个电路图中电阻的连接关系、一个分子结构中原子的价键平衡、一个三角形的几何性质，这些都不能有丝毫偏差。然而，现有T2I模型虽然能生成视觉上看似合理的图像，却频繁出现科学错误——论文称之为'视觉-逻辑发散'（visual-logic divergence）。具体来说，开源模型如HunyuanImage-3.0和Qwen-Image的逆向验证率分别仅为30.79%和38.86%，即使是最强的闭源模型Nanobanana-Pro也只达到73.41%。这意味着超过四分之一的生成图像包含科学错误，无法作为可靠的推理依据。这种现状严重制约了利用合成图像数据提升LMM科学推理能力的可能性。
本文的目标是本文的目标是系统性地研究科学图像合成问题，从三个层面展开：第一，提出改进的生成方法，特别是代码驱动的ImgCoder框架，以提升科学图像的结构精度和逻辑正确性；第二，建立专门针对科学图像的评测基准SciGenBench，弥补现有评测指标在评估科学正确性上的不足；第三，验证合成科学图像作为训练数据对下游多模态推理的实际提升效果，并探索数据规模扩展的潜力。论文希望回答一个核心问题：现代T2I模型能否克服科学图像合成的长期局限，为多模态推理解锁可扩展的数据生成路径？
与已有工作不同的是，本文的独特切入角度在于三个方面。首先，现有T2I评测基准（如FID、CLIPScore、T2I-ReasonBench）主要关注视觉保真度或自然场景的语义对齐，完全没有覆盖科学图像所需的严格结构正确性和信息效用评估，本文通过SciGenBench填补了这一空白。其次，已有工作要么只关注像素级生成，要么只关注代码级生成，缺少对两种范式的系统性对比和权衡分析，本文首次揭示了精度-表现力权衡这一核心矛盾。最后，虽然合成数据在文本推理中已有成功应用，但合成科学图像能否为多模态推理提供有效训练信号这一问题尚无系统研究，本文通过下游微调实验首次验证了这一路径的可行性，并观察到类似文本领域的数据规模扩展趋势。
核心方法
本文的方法框架可以用一个类比来理解：想象你要画一幅精确的工程图纸。一种方式是让画家凭直觉直接画（像素级T2I），画出来可能很好看，但尺寸标注可能不对、线条可能不平行；另一种方式是先写CAD代码再让机器精确打印（代码驱动方法），精度有保证但可能缺少艺术感。ImgCoder采用的是后一种思路，但加入了更周密的'思考'过程——先理解题目、再规划布局、最后生成代码。整体框架包含三大组件：（1）科学图像生成，对比像素级和代码驱动两种范式，提出ImgCoder框架；（2）SciGenBench基准构建，通过自动化流程生成1.4K个视觉依赖的问答题，覆盖5个学科、25种图像类型；（3）混合评估框架，结合LMM-as-Judge多维评分、逆向验证、传统指标和下游任务表现四个维度进行评测。
ImgCoder的核心创新在于引入了显式的'理解→规划→代码'（Understand→Plan→Code）工作流，将逻辑推理与代码实现解耦。与直接从文本描述生成可视化代码的传统方法不同，ImgCoder借鉴了'先思考再行动'（Think-before-Act）的策略，要求模型在生成代码之前先构建一个结构化的思维链，完整捕获可视化意图。具体来说，规划阶段明确定义四个方面的信息：（1）图像内容——穷举所有几何实体、物理组件及其逻辑关系；（2）布局——预先规划坐标系和拓扑排列，防止视觉混乱和意外重叠；（3）标签——确定文本标注的语义内容和精确锚点；（4）绘图约束——针对领域特定公理（如几何规则、物理定律）验证计划的正确性，同时严格避免答案泄露。这种设计的本质区别在于：传统方法让模型一次性完成'理解需求+生成代码'两件事，容易顾此失彼；而ImgCoder通过显式规划阶段将复杂任务分解，大幅降低了每一步的认知负荷。
方法步骤详情
ImgCoder的工作流程分为三个明确的阶段。第一步'理解'（Understand）：输入是一段科学描述文本（如'一个5kg的物体从30°无摩擦斜面滑下'），模型需要识别出所有实体（斜面、方块、角度）、属性（质量5kg、角度30°、无摩擦）和关系（方块在斜面上、重力作用）。第二步'规划'（Plan）：模型输出一个结构化的规划文档，包含四个子部分——Content部分列出所有需要绘制的元素及其逻辑关系；Layout部分预先规划坐标系，例如'斜面底边约10单位，高度由 $\tan(30°)$ 决定'；Labels部分确定每个标注的位置和内容；Considerations部分记录绘图约束，如'方块需旋转30°与斜面对齐'、'使用ax.set_aspect("equal")确保角度视觉准确'。第三步'代码'（Code）：基于规划文档生成Python代码（主要使用matplotlib），通过确定性渲染引擎执行生成最终图像。为验证框架的可扩展性，论文实现了两个变体：Qwen3-ImgCoder（基于Qwen3-235B-Instruct）和Gemini-ImgCoder（基于Gemini-3系列模型）。
技术新颖性
ImgCoder的技术新颖性体现在三个层面。第一，与传统代码生成方法（如ChartGPT、Matplotlib-based方法）直接从文本跳到代码不同，ImgCoder引入了显式的多步推理规划阶段，这种'解耦推理与渲染'的设计在科学图像生成领域是首创。第二，规划阶段的四维定义（内容、布局、标签、约束）是针对科学图像特殊需求量身定制的，特别是'绘图约束'这一维度要求模型主动验证规划是否符合领域公理并避免答案泄露，这在通用图像生成中没有先例。第三，论文通过对比实验揭示了像素级方法和代码驱动方法之间的精度-表现力权衡，这一发现本身具有理论价值：它解释了为什么两种范式各有优劣，也为未来的混合方法指明了方向。此外，ImgCoder的性能高度依赖底层LMM的推理能力——当使用Qwen3-235B时Rinv为56.38%，升级到Gemini-3-Pro后跃升至77.87%，这暗示了随着LMM推理能力提升，代码驱动方法的上限远未触及。
实验结果
本文在SciGenBench上的实验揭示了几个关键发现。首先，闭源T2I模型持续优于开源模型，Nanobanana-Pro在像素级方法中取得最高的73.41% Rinv，而开源模型HunyuanImage-3.0和Qwen-Image均低于40%，说明仅靠模型规模不足以解决科学图像生成问题。其次，代码驱动的ImgCoder表现出色：Gemini-3-Pro-ImgCoder达到77.87% Rinv，超越所有像素级方法；即使是完全开源的Qwen3-ImgCoder（56.38%）也大幅超过同源的Qwen-Image（38.86%），证实了代码执行本身而非闭源数据是性能提升的关键驱动力。第三，传统指标与科学评测严重脱节——PSNR和FID得分高的模型在逆向验证率上并不一定好，感知保真度主要与'表现力与丰富度'维度相关，但与'正确性与忠实度'、'布局与精度'这两个对科学图像至关重要的维度弱相关。在失败模式分析中，论文将错误分为五类：组合错误、渲染错误、领域知识错误、结构错误和密集数据错误。传统错误在SOTA模型中已基本解决，但结构错误和密集数据错误仍是最顽固的瓶颈，即使Nanobanana-Pro也会在这类任务上失败，而ImgCoder凭借代码驱动的精确性在这些高精度场景中表现更优。在下游推理实验中，使用Nanobanana-Pro（过滤后）数据微调的模型在GEO3K和MathVision平均分达到58.2，比基线54.5提升3.7个绝对百分点。更重要的是，数据规模从50样本扩展到1.4K样本时，下游准确率从43.9%稳定上升到46.1%，呈现清晰的对数线性增长趋势且未出现饱和迹象，说明高保真合成图像能持续提供有效的训练信号。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SciGenBench 逆向验证率 | Rinv (%) | Gemini-3-Pro-ImgCoder: 77.87% | Nanobanana-Pro (像素级SOTA): 73.41% | +4.46% 绝对提升 |
| SciGenBench LMM-as-Judge 正确性与忠实度 | C&F (0-2分) | Gemini-3-Pro-ImgCoder: 1.82 | Nanobanana-Pro: 1.59 | +0.23 分 |
| SciGenBench LMM-as-Judge 科学合理性 | SP (0-2分) | Gemini-3-Pro-ImgCoder: 1.93 | Nanobanana-Pro: 1.72 | +0.21 分 |
| GEO3K 推理准确率 | Accuracy (%) | Nanobanana-Pro (Filt): 70.1 | Base: 61.9 | +8.2 绝对提升 |
| MathVision 推理准确率 | Accuracy (%) | Nanobanana-Pro (Filt): 47.7 | Base: 39.0 | +8.7 绝对提升 |
| 下游推理平均分 | AVG (%) | Nanobanana-Pro (Filt): 58.2 | Base: 54.5 | +3.7 绝对提升 |
局限与改进
本文的局限性可以从多个角度分析。首先，ImgCoder的性能高度依赖底层LMM的推理能力——Qwen3-ImgCoder仅56.38% Rinv，而Gemini-3-Pro-ImgCoder达77.87%，差距超过21个百分点，这意味着代码驱动方法的有效性在很大程度上受限于当前LMM的能力边界。其次，虽然SciGenBench覆盖了5个学科25种图像类型，但1.4K的样本量相对有限，且评估过程依赖Gemini-3-Flash作为评判者和VQA引擎，存在潜在的模型偏差——即评估结果可能反映了评判模型自身的偏好而非客观质量。第三，论文揭示的精度-表现力权衡目前尚未得到解决：代码驱动方法虽然精度高，但输出往往偏'平面'和示意图风格，在需要丰富视觉表达的场景（如生物细胞结构、化学反应流程图）中不如像素级方法，论文也承认生物学和视觉丰富的化学子领域仍偏好像素级模型。最后，下游微调实验的规模相对较小（最多1.4K样本），虽然观察到对数线性增长趋势，但尚未验证在更大规模（如10K-100K）下是否仍然成立，以及合成数据与真实数据的最佳混合比例。
独立分析的弱点
从独立分析的角度，本文有几个值得关注的弱点。第一，评估框架的自洽性问题：SciGenBench的逆向验证使用Gemini-3-Flash作为VQA引擎，LMM-as-Judge也使用Gemini-3-Flash作为评判者，而Gemini-3-Pro-ImgCoder（基于Gemini-3系列）在评测中表现最好，这可能存在'家族偏好'效应——同一模型系列生成的图像可能更容易被同系列模型理解和评判。建议引入多个独立的评判模型进行交叉验证。第二，代码驱动方法的表达力瓶颈未被充分探索：论文展示了弹簧系统等物理场景中代码输出偏示意图风格，但没有尝试混合方法（如代码生成结构框架+像素模型补充纹理），这本应是一个自然的改进方向。第三，SciGenBench的问答题构建流程虽然有盲测过滤，但最终仍依赖专家人工审查，这个环节的可扩展性存疑，且论文未报告审查者的具体数量和一致性指标。第四，论文声称观察到'类似文本领域的数据扩展趋势'，但实验只在50-1.4K的小范围内验证，远未达到能确认scaling law的规模。
未来方向
基于本文的发现，有几个值得探索的方向。第一是混合生成范式：既然代码方法擅长结构精度、像素方法擅长视觉表达，一个自然的思路是让ImgCoder先生成代码确定骨架结构，再用像素模型在代码输出基础上补充纹理和视觉细节，这可能突破当前的精度-表现力权衡。第二是利用代码生成的精确图像作为像素级T2I模型的训练数据，论文已观察到Nanobanana-Pro和Gemini-3-ImgCoder共享Gemini-3骨干时展现出相似的图构建策略，暗示这种'螺旋共进化'是可行的。第三是将SciGenBench的评测框架扩展到更广泛的科学可视化任务，如三维分子结构、动态物理过程动画等。第四是在更大规模上验证合成数据的扩展趋势，特别是探索合成数据与真实数据的最优配比，以及不同质量过滤策略对下游性能的影响。最后，随着更强LMM（如未来版本的GPT、Gemini）的出现，ImgCoder框架的上限有望进一步提升，值得持续跟踪。
复现评估
从复现角度来看，本文的情况较为复杂。积极的方面：论文提供了详细的Prompt模板（标注为Prompt 14-19），SciGenBench的构建流程描述清晰，项目主页已公开（https://SciGenbench.github.io）。ImgCoder的核心流程是标准的'提示工程+代码执行'，不需要特殊的模型架构或训练过程，只要有强大的LMM API即可复现。挑战方面：实验依赖多个闭源模型API（GPT-Image-1/1.5、Gemini-3系列、Nanobanana-Pro等），这些API的可用性和成本可能构成障碍；SciGenBench的构建使用了MegaScience和WebInstruct-verified等数据源，其中WebInstruct-verified的具体版本和获取方式需要确认；下游微调实验使用了GEO3K和MathVision基准，这些是公开可用的。总体而言，核心方法（ImgCoder）的复现难度较低，但完整的基准评测需要较大的API调用成本和多个模型的访问权限。
论文图表
