AutoFigure：从长篇科学文本自动生成可发表的科学插图 AutoFigure: Generating and Refining Publication-Ready Scientific Illustrations

AutoFigure 的完整工作流程包含三个主要阶段，每个阶段包含多个具体步骤。Stage I：概念提取与布局生成。输入为长篇科学文本 T（平均 >10k token），概念提取智能体输出精炼的方法论摘要 $T_{\text{method}}$ 和实体-关系集合，然后将其序列化为 SVG/HTML 格式的符号布局 $S_0$ 和风格描述 $A_0$，同时光栅化为参考图像 $I_0$。Stage II：评审与精炼。初始布局 $(S_0, A_0)$ 被评分得到初始分 $q_0$，设为当前最优；在每次迭代 i 中，评审员 $\Phi_{\text{critic}}$ 评估最优布局的对齐性、平衡性和重叠问题，生成文本反馈 $F_{\text{best}}^{(i)}$；生成器 $\Phi_{\text{gen}}$ 基于反馈重新解释 $T_{\text{method}}$，生成候选布局 $(S_{\text{cand}}^{(i)}, A_{\text{cand}}^{(i)})$ 并评分 $q_{\text{cand}}^{(i)}$；若候选评分更高则替换当前最优；循环持续直到达到预设迭代次数 N 或评分收敛，最终输出 $(S_{\text{final}}, A_{\text{final}})$。Stage III：美学渲染与文本后处理。首先用 LLM 将 $(S_{\text{final}}, A_{\text{final}})$ 转化为详细的文本到图像提示词，配合从 $S_{\text{final}}$ 派生的结构图，输入多模态生成模型渲染图像 $I_{\text{polished}}$；然后进入擦除-修正流程：用非 LLM 擦除器 $\Phi_{\text{erase}}$ 去除所有文字像素得到 $I_{\text{erased}}$，用 OCR 引擎 $\Phi_{\text{ocr}}$ 提取文字和位置 $(T_{\text{ocr}}, C_{\text{ocr}})$，用多模态验证器 $\Phi_{\text{verify}}$ 将 OCR 结果与 $S_{\text{final}}$ 中的真值文本对齐修正得到 $T_{\text{corr}}$，最后将修正后的文字以矢量叠加形式渲染到 $I_{\text{erased}}$ 上得到最终插图 $I_{\text{final}}$。

AutoFigure 的技术新颖性体现在三个层面。第一，范式层面：这是首个提出'Reasoned Rendering'范式的工作，将科学插图生成明确解耦为推理和渲染两个阶段，从根本上解决了结构保真度与视觉美学的矛盾。与之前的端到端方法（如 GPT-Image）和纯代码生成方法（如 TikZ/HTML）相比，这种解耦设计使系统能够同时利用 LLM 的逻辑推理能力和图像生成模型的视觉呈现能力。第二，机制层面：评审-精炼循环是本文的核心机制创新。通过模拟设计师与评审员的对话，系统能够在迭代中不断优化布局质量。实验表明，从 0 次迭代到 5 次迭代，整体性能从 6.28 稳步提升至 7.14，证明了该机制的有效性。第三，工程层面：擦除-修正策略巧妙地解决了 AI 生成图像中文字模糊的普遍问题。通过 OCR 提取 + 真值验证 + 矢量叠加的组合，确保了文字的完美清晰度，这是达到出版标准的关键技术细节。此外，本文还首次构建了 FigureBench 大规模基准数据集（3,300 对），填补了该领域的评测空白。

从独立分析的角度，我识别出以下几个弱点及改进方向。第一，知识局限问题：当准确的结构或标注依赖于输入文本中未明确说明的领域特定惯例或外部知识时，系统可能产生不完整的结构。例如，某些领域有约定俗成的符号系统或缩写，AutoFigure 可能无法正确识别。改进方向是引入检索增强（RAG）机制，在生成布局前检索相关领域的视觉惯例和术语表。第二，细粒度本体区分问题：当输入涉及多分支分类法（如复杂的本体树）时，模型倾向于牺牲精确关系来换取更简洁的视觉组织。改进方向是引入领域验证器（Domain Verifier），在最终渲染前对实体、关系和术语进行约束检查。第三，文字渲染鲁棒性：擦除-修正策略虽然大幅改善了文字清晰度，但在极端情况下（超小字号、艺术字体）仍可能失败。改进方向是探索更紧密的 OCR-布局对齐算法，或直接采用 SVG 内嵌字体的技术方案。第四，风格一致性问题：虽然论文展示了风格可控性，但在同一套图中保持跨图一致性的能力尚未充分验证。对于需要多张配图的论文，这是一个实际痛点。

论文作者和基于成果可延伸的未来方向包括以下几个方面。作者明确提出：(1) 将框架扩展到其他学科（生物学、化学、经济学等），需要引入领域特定知识来生成信号通路图、分子结构等专业图表；(2) 从静态图扩展到动态和交互式图表，利用动画展示随时间变化的过程或允许用户驱动的交互探索；(3) 引入外部知识库（检索增强定位）和领域验证器来解决推理与渲染之间的'最后一公里'问题。基于本文成果，我认为还可以延伸以下方向：(4) 将 AutoFigure 集成到 AI Scientist 系统中，实现从论文写作到插图生成的全自动流水线；(5) 探索端到端的可训练方法，利用 FigureBench 开发集训练专门的科学插图生成模型；(6) 支持多图协同生成，为一篇论文自动生成风格一致、逻辑互补的多张配图；(7) 引入用户反馈机制，允许研究者在迭代过程中提供指导性意见。

本文在可复现性方面做得相当出色。代码、数据集和 HuggingFace Space 均已开源（GitHub: https://github.com/ResearAI/AutoFigure）。FigureBench 测试集 300 个样本、开发集 3,000 个样本均已公开，数据来源于 Research-14K（CC BY 4.0 许可）和其他开放许可资源。算力需求方面，商业 API 部署（Gemini-2.5-Pro）生成一张图约需 17.5 分钟、成本约 $0.20；本地部署（Qwen-3-VL 在 2×H100 GPU 上）约需 9.3 分钟，边际成本接近零。论文附录 M 提供了完整的提示词模板和输入-输出模式，确保 Stage I 和 Stage II 的可复现性。Stage III 的渲染阶段使用了开源工具（EasyOCR、ClipDrop API）。总体而言，复现难度中等：核心框架基于开源模型可运行，但高质量渲染需要商业 API 或高性能 GPU。论文还提供了在开源模型（Qwen3-VL-235B、GLM-4.5V、ERNIE-4.5-VL）上的性能评估，其中 Qwen3-VL-235B 达到 7.08 的 Overall 分，仅比 GPT-5 的 7.48 低 5.3%，证明了开源方案的可行性。