Crafter：从多样化输入生成可编辑科学图表的多智能体框架

提出harness编排层概念，通过多智能体协作实现跨类型跨条件科学图表生成与可编辑转换

前置知识

harness（套具）

Harness是一个编排层，它包裹一个执行器（如图像生成器），通过规划、验证和结构化修正来检测和修正执行器的失败模式。它通过四个角色的循环工作：设计器D、执行器E、验证器V和修正器R，围绕一个共享的、不断演进的规范S进行操作。在每轮迭代t中，设计器产生可执行计划$p_t$，执行器渲染成工$a_t$，验证器发出指令性诊断$d_t$，修正器将$d_t$转换为结构化操作并应用到规范S上。这种设计使所有任务特定的行为都驻留在D、V、R的prompt中，执行器E是可插拔的，可以轻松替换为更强的模型而无需修改系统架构。

这是本文的核心概念，理解harness是理解CRAFTER和CRAFTEDITOR两个系统如何工作的基础。harness创新点在于将改进重心从增强生成器本身转移到改进生成过程的编排，通过结构化规范避免prompt矛盾累积，通过指令式批评提供可操作的修正目标，通过多样性计划探索避免陷入局部最优。

类型化编辑

类型化编辑是一种结构化的修正机制，它将自然语言的修正指令转换为规范S上的结构化操作。与传统的自由文本修订不同，类型化编辑通过一组固定的结构化操作词汇来修改规范，例如添加布局约束、禁止特定元素类别、调整命名元素的大小等。修正器R将验证器发出的指令性诊断$d_t$转换为结构化操作集合$\{e_i\}$，每个操作直接在原位修改规范S，而不是将自由文本附加到prompt中。下一轮的prompt从这个一致的记录S组装，而不是从不断增长的修正堆栈中组装，保持规范在跨轮迭代中的内部一致性。

这是解决prompt退化问题的关键。自由文本修订会导致矛盾指令累积（如先放大标题再减少空白），生成器会静默吸收这些矛盾，导致质量下降。类型化编辑通过结构化操作避免了这个问题，是harness机制的核心组件之一。

指令式批评者

指令式批评者是一种发出详细诊断而非单一标量分数的验证器。传统评估使用标量分数（如5/10）提供可操作的修正目标，而指令式批评者发出包含每个维度评分、识别的缺陷、建议修正和修订后图表描述的诊断$d_t = V(a_t, c, q, S_{t-1})$。CRAFTER中的批评者沿着六个质量维度进行评分：内容准确性、布局一致性、文本可读性、角色符合度、美学质量和伪影严重度。验证-然后-精炼循环当首轮输出在关键维度上满足接受阈值时可以绕过，否则运行最多$T=3$轮，并带有最佳迄今为止检查点，在当前回合退化时回退到$a^*$。

这是harness能够进行迭代精炼的基础。标量分数无法提供下一轮的具体修正目标，而指令式批评者通过详细的诊断指导修正器的编辑操作，使精炼过程有针对性而非盲目试错。

研究动机

现有的科学图表生成系统存在两个根本局限性。首先，现有系统的范围狭窄，研究人员实际工作中需要生成多种类型的图表，从学术图表到海报和信息图，而且很少仅从文本开始，而是从粗略草图、部分布局或参考视觉元素或图标开始迭代。现有方法主要关注文本到图像生成，完全忽略了图表类型的多样性和输入条件。评估反映了同样的狭隘范围，仅覆盖文本到图像的方法论图表评估，没有机制来评估系统是否跨图表类型泛化或保留用户的条件输入。其次，输出图像不是实际可编辑的。基于栅格的生成器产生静态图像，无法局部修改，这在研究人员需要调整或修改单个标签、交换配色方案或重新排列组件时是有问题的。代码生成方法产生可编辑输出但缺乏图标和样式布局的视觉丰富性；最近的栅格到矢量尝试仍然受到不可靠的元素提取和脆弱的组合的限制。

本文的目标是本文的目标是提出一个完整的科学图表生成管道，从生成到可编辑输出，解决两个实际差距：图表类型和输入条件的有限泛化，以及无法产生可编辑输出。具体来说，目标是设计一个harness框架，通过CRAFTER实例化用于图表生成，通过CRAFTEDITOR实例化用于栅格到SVG转换，并引入CRAFTBENCH作为跨类型、跨条件评估的第一个基准。

与已有工作不同的是，本文的独特切入角度是认识到生成科学图表的可靠性问题不仅仅需要一个更强大的生成器backbone，而是需要一个harness编排层。科学图表不同于自然图像，它们是离散语义组件的结构化组合：标记的盒子、方向箭头、图标和注释，每个组件在精确的空间关系中承载特定含义。现代生成器在这种结构化布局上表现出高输出方差，产生局部错误，如乱码标签和错位的连接器，这是仅靠重新表述prompt无法修复的。关键insight是：在这两种设置（生成和栅格到矢量转换）中需要的不是一个更好的生成器，而是一个harness：一个编排层，它包裹现有引擎，使用一个不断演进的结构化规范作为其记忆，能够针对单个失败点进行定向修正，并针对原始意图进行闭环验证。

核心方法

本文的方法基于harness抽象，这是一个编排层，它包裹一个执行器（图像生成器或代码生成器），通过规划、验证和结构化修正来检测和修正执行器的失败模式。harness被形式化为四个角色围绕一个共享的、不断演进的规范S的循环：在每轮迭代t中，设计器D产生可执行计划$p_t$，执行器E将其渲染成工$a_t$，验证器V发出指令性诊断$d_t$，修正器R将$d_t$转换为结构化操作并应用到规范S上。循环在V接受$a_t$或达到轮次预算$T$时终止，返回$a^*=\arg\max_{\tau} \text{score}(d_\tau)$。这种设计的两个性质使其对科学图表有效：E是可插拔的，所以所有任务特定的行为都驻留在D、V、R的prompt中；R向共享记录写入类型化编辑而不是向prompt添加自由文本，保持规范在跨轮迭代中的内部一致性。作者将这个harness实例化为两个互补系统：CRAFTER用于科学图表生成，CRAFTEDITOR用于栅格到矢量转换。

核心创新点在于将改进重心从增强生成器backbone本身转移到改进生成过程的编排层。与现有方法（如PaperBanana）针对单一图表类型和输入条件进行优化不同，harness通过三个关键机制实现跨类型、跨条件泛化：多样性驱动的计划探索生成多个候选框架并行搜索，结构化修正层将批评驱动的类型化编辑累积到共享规范中，防止困扰自由文本修订的prompt矛盾；验证-然后-精炼循环通过指令式批评发出定向修正而不是标量分数。因为所有任务特定的行为都驻留在agent的prompt中，同一架构无需结构改变就可以跨图表类型和输入条件泛化。另一个关键insight是harness是执行器不可知的，更强的未来生成器可以无需修改地融入，CRAFTEDITOR将相同的harness模式应用于栅格到矢量转换，首次实现了端到端的生成到编辑工作流。

方法步骤详情

CRAFTER的工作流程包含五个协作agent。意图推理器分析上下文c（如论文、参考图像或草图）和指令q，推断图表的沟通角色和所需视觉元素，初始化规范$S_0$。计划生成器D读取$S_0$并提议K个候选视觉计划，每个指定不同的视觉框架（如横幅布局或多列网格）。图像生成后端E并行渲染所有K个计划。批评者V针对规范S和原始输入$(c, q)$评估每个候选。规范修正器R将类型化编辑写回规范S。收敛判断器在每轮控制循环，决定是接受、继续精炼还是回退到$a^*$。整个过程包括三个机制：多样性驱动的计划探索（D提议K个意图条件候选计划，E并行渲染，收敛判断器选择最佳候选作为后续精炼的起点）、结构化修正层（R将诊断转换为规范S上的结构化操作集合，每个操作原位修改规范而不是将自由文本附加到prompt）、验证-然后-精炼循环（指令式批评者诊断错误，迭代应用修正，每个都独立验证）。CRAFTEDITOR将栅格图表$a^*$转换为可编辑SVG$v$，包括三个阶段：提取阶段（VLM设计器D检查$a^*$并编写每个图表的保留/删除计划，图像编辑器E在像素级别执行计划，验证器V检查结果或返回诊断触发另一轮，最多$T=3$次迭代）、处理阶段（每个元素被captioning、grounding和分类）、组合阶段（D生成两个候选SVG骨架，收敛判断器通过快速视觉比较选择更好的候选，E将提取的资产拼接到选定骨架的占位符，V通过混合批评者评估渲染的SVG，R根据$d_t$修改SVG源代码，循环最多$T=4$轮）。

技术新颖性

技术新颖性体现在三个方面：一是提出了harness编排层概念，将改进重心从生成器本身转移到生成过程的编排，通过结构化规范避免prompt矛盾累积，通过指令式批评提供可操作的修正目标，通过多样性计划探索避免陷入局部最优；二是实现了首个端到端的生成到编辑工作流，CRAFTEDITOR将生成的栅格图表转换为可编辑SVG，解决了实际研究工作流中元素级编辑的需求；三是引入了CRAFTBENCH，这是第一个涵盖三种图表类型（学术图表、海报、信息图）和四种输入条件（文本到图像、mask完成、关键元素组合、草图条件生成）的基准，包含279个人工质量标注的样本，填补了跨类型、跨条件评估的空白。harness的执行器不可知性使得更强的未来生成器可以无需修改地融入，这是一个重要的架构贡献。

**Figure 1**: CRAFTER architecture. Given context and Docs, the intent reasoner seeds S0. The plan generator D proposes K candidate plans; Image-Gen backend E renders each plan; the critic V emits directive diagnostics; the specification refiner R writes typed edits into S; and the convergence judge routes each round to accept, refine, or revert to Final output. (Figure is generated by CRAFTER.)

**Figure 2**: CRAFTEDITOR architecture. Three phases convert a raster $a^*$ into an editable SVG $v$. Extraction: a VLM designer D authors a keep/delete plan, an image editor E executes it, and V verifies the cleaned canvas (§3.3.1). Processing: each element is captioned, grounded, and classified. Composition: D generates SVG skeletons, E injects assets, and a hybrid critic V (VLM + programmatic checkers) drives iterative refinement (§3.3.2). (The Figure was generated by CRAFTER.)

实验结果

实验结果证实了CRAFTER在两个基准上的卓越性能。在PaperBanana-Bench（292个学术方法论图表的文本到图像生成）上，使用Nano Banana 2作为backbone的CRAFTER实现了50.34的整体得分，比最强的agentic基线PaperBanana的33.73高出16.61个百分点，比其独立backbone Nano Banana 2的11.13高出39.21个百分点。在CRAFTBENCH（涵盖三种图表类型和四种输入条件的279个样本）上，CRAFTER的整体得分达到50.20，比PaperBanana的28.00高出22.20个百分点，比其backbone高出30.30个百分点。消融研究验证了每个机制的独立贡献：移除计划探索（限制到$K=1$）导致8.56分的下降，移除修正层导致8.90分的下降，移除精炼循环导致5.48分的下降，移除指令式批评者导致5.04分的下降。CRAFTEDITOR在将生成的栅格输出转换为可编辑SVG方面表现最佳，整体得分为8.04（0-10量表），显著超过AutoFigure-Edit的6.91和Edit-Banana的3.69。在关键的结构轴（文本和箭头）上优势最大，这证实了精确坐标推理和迭代修正的重要性。CRAFTEDITOR的消融表明移除迭代组合导致-2.15分的急剧下降，移除agentic清理导致-0.33分的一致效应。

**Table 1**: Harness role assignments for CRAFTER and CRAFTEDITOR.

**Table 2**: Results (%) on PaperBanana-Bench and CraftBench.

**Table 3**: Mechanism ablation on PaperBanana-Bench.

**Table 4**: Editable-output evaluation on 80 CRAFTER outputs.

**Table A2**: Effect of plan candidates K and refinement rounds T on PaperBanana-Bench.

**Table A3**: Per-figure generation cost.

**Table A1**: Source pools feeding CRAFTBENCH.

**Table A4**: Human study (N=60 blind pairwise comparisons on a random sample, three annotators, spanning all four tasks and three figure types).

**Figure 3**: Representative CRAFTBENCH samples. Each column shows one task.

**Figure 5**: Qualitative comparison across different input conditions.

**Figure A1**: Manual annotation interfaces for the three reference-conditioned task constructions.

**Figure A7**: Qualitative comparison of editable-output systems on five cases.

查看结构化数据

任务	指标	本文	基线	提升
PaperBanana-Bench文本到图像学术图表生成	整体得分（lenient win-rate %）	50.34 (CRAFTER w/ Nano Banana 2)	33.73 (PaperBanana w/ Nano Banana 2)	+16.61个百分点
CRAFTBENCH整体（四种任务平均）	整体得分（lenient win-rate %）	50.20 (CRAFTER w/ Nano Banana 2)	28.00 (PaperBanana w/ Nano Banana 2)	+22.20个百分点
CRAFTBENCH文本到图像任务	整体得分	48.30 (CRAFTER w/ Nano Banana 2)	18.70 (PaperBanana w/ Nano Banana 2)	+29.60个百分点
CRAFTBENCH草图条件生成	整体得分	70.00 (CRAFTER w/ Nano Banana 2)	60.00 (PaperBanana w/ Nano Banana 2)	+10.00个百分点
栅格到SVG转换（80个CRAFTER输出）	整体得分（0-10量表，三个VLM ensemble平均）	8.04 (CRAFTEDITOR)	6.91 (AutoFigure-Edit)	+1.13分
计划探索消融（PaperBanana-Bench）	整体得分差异	50.34 (完整CRAFTER)	41.78 (w/o plan exploration, K=1)	移除导致-8.56分
修正层消融（PaperBanana-Bench）	整体得分差异	50.34 (完整CRAFTER)	41.44 (w/o corrective layer)	移除导致-8.90分
精炼循环消融（PaperBanana-Bench）	整体得分差异	50.34 (完整CRAFTER)	44.86 (w/o refinement loop, T=1)	移除导致-5.48分

局限与改进

作者承认了多个局限性。首先，主要数字依赖于闭源模型作为图像生成backbone（Gemini 3.1 Flash Image，与Gemini 3.0 Pro Image和openai/gpt-image-2比较）和评估judge（PaperBanana-Bench用Gemini 3.1 Pro，CRAFTBENCH用Gemini 3.5 Flash），使得harness贡献取决于专有模型访问和judge偏见；CRAFTER和CRAFTEDITOR进一步依赖被当作黑盒的强大语言模型。其次，每样本延迟和成本不可忽视：单个CRAFTER运行执行多达四个并行图像生成，随后多达三轮精炼，CRAFTEDITOR增加大约四个agentic VLM轮次加一个SVG组合步骤，所以大规模部署harness需要相应的API预算和挂钟时间。第三，CRAFTBENCH的279个样本足以报告的跨风格和跨条件信号，并在每个编辑任务样本上通过人工质量保证，但基准相对于训练语料库仍然很小，并且偏向学术和海报图表，信息图是最小的池；扩大信息图覆盖是自然的下一步。从我们独立观察的角度，还有一些其他局限性：failure cases显示三种模式：意图推理器将多面板caption折叠成单个面板，导致缺失面板从未进入共享规范，验证-然后-精炼循环无法恢复；mask完成中CRAFTER在不匹配的盒子寄存器中重新生成mask区域，不再继续从输入保留的周围图表，打破了mask边界的视觉连续性；草图条件中布局忠实地遵循草图但保持抽象的块图，省略了目标用来传达观点的具体说明性示例（照片和工作问题/答案）。这些模式分别追溯到意图推理、backbone和批评者只评分结构但不评估填充内容是否忠实于输入，都指向具体修复：在批评者中添加面板计数检查和mask边界连续性检查。

独立分析的弱点

CRAFTER的主要弱点是其高昂的计算成本和延迟。根据Table A3，每张图表生成成本约为$0.25，比PaperBanana的$0.11高出约2-3倍，比AutoFigure的$0.06高出约4倍。这是因为harness需要多个并行图像生成和最多三轮迭代精炼。在实际部署中，对于需要生成大量图表的场景（如批量生成论文图表集），这个成本可能不可接受。改进方向包括：优化并行生成的计划数量K，根据输入复杂度自适应调整；实现早期退出机制，在首轮输出质量足够时跳过后续迭代；使用更高效的图像生成backbone；引入缓存机制，对相似输入重用之前的生成结果。另一个弱点是依赖闭源模型，这不仅带来成本问题，还限制了可复现性和部署灵活性。改进方向包括：开发使用开源模型（如Stable Diffusion）的版本；为不同backbone提供统一的接口适配器，使系统可以轻松切换到更强的开源模型。第三个弱点是failure cases中的模式识别问题，特别是多面板caption处理和mask边界连续性。改进方向包括：在意图推理器中添加面板计数检查，确保所有面板都被识别；在批评者中添加mask边界连续性检查，评估填充内容是否与周围视觉风格一致；引入结构一致性验证器，检查输出图表的结构是否与输入草图或关键元素骨架匹配。CRAFTEDITOR的弱点是其高昂的转换成本（每转换$0.85），主要由迭代SVG精炼期间的LLM输出token成本驱动。改进方向包括：减少迭代轮次，使用更高效的SVG编辑模型；引入SVG模板库，对常见图表类型使用预定义模板以减少生成成本。

未来方向

作者提出的未来工作方向包括：扩大CRAFTBENCH的信息图覆盖，这是自然的下一步，因为当前基准偏向学术和海报图表；开发使用开源模型的版本，减少对专有模型的依赖；优化harness的效率，降低每样本延迟和成本；扩展到其他结构化输出领域，作者期望harness模式可以超越科学图表。基于成果可延伸的方向包括：将harness模式应用于其他生成任务，如代码生成、数学公式推导、系统架构设计等，这些任务也涉及结构化组件和精确的空间或逻辑关系；开发更强大的批评者，引入更多维度的评估，如视觉一致性、语义准确性、美学质量等；探索自适应的harness，根据输入复杂度和输出质量动态调整计划数量K和迭代轮次T；研究harness在跨模态任务中的应用，如图表生成对应文本、文本生成对应图表、图表间转换等；开发交互式harness，允许用户在生成过程中提供反馈，动态调整规范S；研究harness在团队协作中的应用，允许多个用户协作编辑同一规范S，实现协同图表创作。

复现评估

复现评估显示，该工作的复现难度中等偏高。开源情况方面，论文提到代码和基准可在GitHub获取，这意味着代码和基准是开源的，这是一个积极因素。然而，系统依赖闭源模型（Gemini 3.1/3.5 Flash Image、Gemini 3.1 Pro Vision、Nano Banana 2/Pro、openai/gpt-image-2、claude-opus-4-6），这些模型需要付费API访问，且价格可能较高，这增加了复现成本。数据方面，CRAFTBENCH包含279个样本，跨四种任务和三种风格（学术140、海报109、信息图30），每个样本都通过人工质量保证，数据质量较高。CRAFTEDITOR评估使用80个从CRAFTER输出随机抽取的子集，平衡跨学术、海报和信息图类型。算力方面，主要成本是API调用，根据Table A3，CRAFTER每张图表约$0.25，CRAFTEDITOR每转换约$0.85，完整复现所有实验需要相当可观的API预算。难度评估：代码结构设计良好，harness的执行器不可知性使得替换backbone相对简单；CRAFTEDITOR使用provider抽象，四个外部服务（LLM、图像编辑器、分割、背景去除）被包装在接口适配器后面，交换backend（如分割模型用于消融）是单个配置更改；然而，依赖闭源模型和API调用增加了不确定性，API稳定性、可用性、价格变化都可能影响复现。总体而言，复现难度中等偏高，主要挑战是API成本和依赖闭源模型。

Crafter：从多样化输入生成可编辑科学图表的多智能体框架 Crafter: A Multi-Agent Harness for Editable Scientific Figure Generation from Diverse Inputs