GutenOCR：基于视觉-语言模型的接地式文档OCR前端 GutenOCR: A Grounded Vision-Language Front-End for Documents
将Qwen2.5-VL微调为统一的接地OCR前端，支持检测、阅读、定位等多种任务
前置知识
OCR（光学字符识别）
OCR是将文档图像中的文字转换为机器可编辑文本的技术。传统OCR通常分为多个阶段：文本检测（定位文字区域）、文本识别（将图像转换为字符）、版面分析（理解文档结构）。现代OCR系统如Tesseract、PaddleOCR都遵循这种流水线架构。OCR是文档数字化的基础，也是RAG系统获取文档内容的入口。
GutenOCR的核心目标是用单一视觉-语言模型替代传统OCR流水线，理解传统OCR的各个阶段对理解本文方法至关重要
视觉-语言模型（VLM）
VLM是能够同时处理图像和文本的深度学习模型，通常基于Transformer架构。代表性模型包括Qwen2.5-VL、InternVL、Florence-2等。这些模型通过大规模图文对预训练，能够理解图像内容并生成文本描述。在文档理解领域，VLM可以直接从页面图像生成Markdown或结构化输出，绕过传统OCR流水线。
GutenOCR基于Qwen2.5-VL微调而来，理解VLM的能力和局限是理解本文动机的关键
接地（Grounding）
在计算机视觉和NLP中，接地指的是将文本内容与图像中的具体空间位置关联起来。对于OCR任务，接地意味着每个识别出的文字字符或词都要关联到其在页面图像中的精确边界框坐标。接地输出使得下游系统能够验证识别结果、定位错误、支持人工审核。
GutenOCR的'G'就代表Grounded，接地是本文方法与现有OCR专用VLM的核心区别
课程学习（Curriculum Learning）
课程学习是一种训练策略，按照从易到难的顺序组织训练数据和任务。类似于人类学习先掌握简单概念再学习复杂内容。在GutenOCR中，课程学习体现为从短序列到长序列、从合成数据到真实数据、从简单文档到复杂科学论文的渐进式训练。
GutenOCR采用4阶段课程学习策略，理解这种训练范式有助于理解模型如何逐步获得接地能力
CER（字符错误率）
CER是评估OCR质量的标准指标，基于Levenshtein编辑距离计算。公式为：CER = (S + D + I) / N，其中S是替换数、D是删除数、I是插入数、N是参考文本总字符数。CER越低表示识别越准确，0表示完美识别。与WER（词错误率）相比，CER对字符级错误更敏感。
本文大量使用CER作为评估指标，理解CER的含义对解读实验结果至关重要
研究动机
当前文档OCR领域存在两种主流方案，各有明显缺陷。传统OCR流水线（如Tesseract、PaddleOCR）虽然提供显式的文本检测和坐标输出，但在复杂版面（多栏文章、嵌套表格、旋转文本）上容易出错，且难以适应新领域或新任务。OCR-free的视觉-语言模型（如Donut、Nougat）虽然在文档理解基准测试上表现优异，但它们将文本视为隐变量：页面级转录是隐式的，token级的定位能力有限或不稳定，阅读行为只能通过提示间接控制。在生产环境中，下游系统（如RAG、文档提取）需要同时获得高质量文本和细粒度控制能力，包括精确定位、token与像素的显式关联、可定制的阅读顺序等。当OCR输出缺少接地信息时，人工审核变得非常困难：审核人员必须同时阅读原始页面和生成的转录文本，逐字比对，既慢又容易出错。相比之下，接地输出使错误更容易发现和纠正：幻觉内容会显示为空区域上的边界框，缺失文本表现为边界框覆盖的间隙，误识别的词被定位到特定框中。
本文的目标是本文的具体目标是构建一个基于视觉-语言模型的接地OCR前端系统，使其能够：（1）通过单一模型检查点支持全页阅读、全页检测、条件检测和局部阅读四种任务家族；（2）输出带有行级或段级边界框的结构化结果，而不仅仅是纯文本；（3）提供类似传统OCR流水线的稳定API接口，使下游系统可以灵活组合使用；（4）在10.5K留出的商业和科学文档页面上，将复合接地OCR分数从基线的0.40提升到0.82以上；（5）保持对Qwen2.5-VL基座模型能力的继承，同时大幅增强接地和检测能力。
与已有工作不同的是，本文的独特切入角度在于重新定义了OCR系统的角色定位。现有OCR专用VLM（如olmOCR、Infinity-Parser）通常将OCR视为一个端到端的文档转换问题，目标是生成高质量的Markdown或HTML输出。GutenOCR则将OCR视为一个'接地前端'问题，强调提供稳定的、可组合的OCR原语（检测、阅读、定位、条件搜索），而不是绑定到单一的输出格式。这种定位使得GutenOCR可以作为文档全息图（Document Hologram）的前端模块，为下游系统提供证据溯源能力——每个提取的字段和问答答案都可以追溯到页面上的精确位置，支持人工验证和主动学习工作流。此外，本文还提出了专门的接地OCR评估协议，联合衡量文本准确性、检测质量和页面级保真度，避免了'好的阅读器，差的分页器'的评估陷阱。
核心方法
GutenOCR的方法可以用一个类比来理解：传统OCR系统就像一个由多个独立工人组成的流水线，每个工人只负责一个环节（检测、识别、版面分析），他们之间需要复杂的协调；而GutenOCR像一个全能工人，通过不同的'工作指令'（提示）就能完成所有任务。技术路线是：以Qwen2.5-VL-3B/7B为基座模型，通过在精心策划的混合数据集上进行监督微调，使其获得接地OCR能力。训练数据包括真实文档（OCR-IDL、TabMe++、PubMed-OCR）和合成数据（SynthDoG Grounding、Grounded LaTeX），覆盖商业表格、科学论文、数学公式等多种场景。训练采用4阶段课程学习策略，从短序列到长序列、从合成数据到真实数据逐步推进。推理时，用户通过不同的提示模板指定任务类型和输出格式，模型返回对应的结构化输出（纯文本、带坐标的JSON、边界框数组等）。
GutenOCR的核心创新在于将多种OCR能力统一到单一视觉-语言模型中，并通过提示驱动的接口暴露给下游系统。与现有OCR专用VLM的本质区别有三点：第一，GutenOCR提供四种任务家族（全页阅读、全页检测、条件检测、局部阅读）的统一接口，而不是单一的页面转录功能；第二，GutenOCR的输出是结构化的文本+边界框对，支持行级和段级粒度，而不仅仅是纯文本或Markdown；第三，GutenOCR的训练目标明确优化接地能力，包括检测F1、端到端CER等指标，而不是仅优化页面级转录质量。这种设计使得GutenOCR可以作为传统OCR流水线的直接替代品，下游系统不需要修改就能使用，同时保留了VLM的灵活性和可扩展性。论文将这种角色定位为'文档全息图的前端模块'，强调证据溯源和人工可验证性。
方法步骤详情
GutenOCR的完整流程包括训练和推理两个阶段。训练阶段：（1）数据准备——从OCR-IDL（4.6M文档，26M页面）、TabMe++（44.8K文档，122.5K页面）、PubMed-OCR（209.5K文档，1.5M页面）收集真实文档，同时生成SynthDoG Grounding（1.2M页面）和Grounded LaTeX（3M页面）合成数据；（2）课程学习——分4个阶段训练：Stage 1在短序列（<2K tokens）上混合所有数据源训练20K步，Stage 2在中等序列（2K-8K tokens）上仅用真实数据训练4K步，Stage 3a在中等序列上加入PubMed-OCR训练2K步，Stage 3b在长序列（8K-16K tokens）上仅用PubMed-OCR训练2K步；（3）提示增强——为每个任务维护提示模板库，训练时随机采样，并随机化图像引用方式（如'this/that/the provided document/image/scan'）。推理阶段：（1）输入——用户提供文档图像和任务提示，可选地附加文本查询或边界框；（2）处理——模型根据提示生成对应的输出格式；（3）输出——返回纯文本（text/text2d）、带坐标的JSON（lines/paragraphs）或纯边界框数组（detection）。
技术新颖性
GutenOCR的技术新颖性体现在多个层面。首先，在模型架构层面，GutenOCR没有添加任何新的模块（适配器、检测头等），而是完全通过微调Qwen2.5-VL来实现接地能力，证明了通用VLM可以通过适当的训练数据和课程学习获得专业OCR流水线的能力。其次，在接口设计层面，GutenOCR提出了'接地OCR前端'的概念，将OCR的多种能力（检测、阅读、定位、条件搜索）抽象为可组合的原语，通过统一的提示接口暴露，这种设计比传统的端到端转换更灵活，比模块化的流水线更简洁。第三，在训练策略层面，GutenOCR采用了长度渐进的课程学习，从短序列逐步扩展到长序列（最多16K tokens），使得模型能够处理从简单表格到复杂科学论文的多种文档。第四，在评估协议层面，GutenOCR引入了复合接地OCR分数，联合衡量文本准确性（CER）、检测质量（F1@0.5）和端到端质量（CERe2e），避免了单一指标的误导性。
实验结果
GutenOCR在多个评估场景中展示了显著的性能提升。在10.5K留出的商业和科学文档页面上（OCR-IDL、TabMe++、PubMed-OCR），GutenOCR-7B的复合接地OCR分数从Qwen2.5-VL-7B基线的0.396提升到0.819，提升幅度达107%。具体来看，全页阅读CER从0.333降至0.202（降低39%），局部阅读CER从0.530降至0.129（降低76%），全页检测F1从0.111提升到0.787（提升609%），条件检测F1从0.285提升到0.882（提升210%）。在Fox基准测试上，GutenOCR-7B的区域级OCR CER为0.067，显著优于Qwen2.5-VL-7B的0.163；行级OCR CER为0.211，相比基线的0.701降低70%。但页面级CER为0.164，比基线的0.025更差，这是因为GutenOCR优化的是布局敏感的text2d输出，而不是Fox的规范Markdown顺序。在OmniDocBench v1.5上，文本检测召回率从Qwen2.5-VL-7B的0.020提升到GutenOCR-7B的0.549，提升26倍。然而，公式识别出现负面迁移：3B模型的CDM从0.936降至0.866，CER从0.189升至0.294。训练阶段消融实验显示，Stage 3a在大多数指标上表现最好，Stage 3b（仅在最长序列上训练）略有退化，表明过度专业化会导致性能下降。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 复合接地OCR分数（In-Domain） | Composite Score | 0.819 | Qwen2.5-VL-7B: 0.396 | +107% |
| 全页阅读（In-Domain） | CER | 0.202 | Qwen2.5-VL-7B: 0.333 | -39% |
| 局部阅读（In-Domain） | CER | 0.129 | Qwen2.5-VL-7B: 0.530 | -76% |
| 全页检测（In-Domain） | F1 | 0.787 | Qwen2.5-VL-7B: 0.111 | +609% |
| 条件检测（In-Domain） | F1 | 0.882 | Qwen2.5-VL-7B: 0.285 | +210% |
| 区域级OCR（Fox） | CER | 0.067 | Qwen2.5-VL-7B: 0.163 | -59% |
| 行级OCR（Fox） | CER | 0.211 | Qwen2.5-VL-7B: 0.701 | -70% |
| 文本检测（OmniDocBench） | Recall@0.5 | 0.549 | Qwen2.5-VL-7B: 0.020 | +2645% |
| 公式识别（OmniDocBench） | CDM | 0.927 | Qwen2.5-VL-7B: 0.935 | -0.9% |
局限与改进
GutenOCR虽然在接地OCR能力上取得了显著进展，但存在几个明显的局限性。首先，颜色引导OCR能力严重退化：在Fox的颜色引导任务上，GutenOCR-7B的CER为0.963，而Qwen2.5-VL-7B仅为0.109，这是因为训练数据中完全没有颜色条件提示，导致模型遗忘了基座模型的颜色理解能力。其次，公式识别出现负面迁移：在OmniDocBench上，3B模型的公式CER从0.189升至0.294，CDM从0.936降至0.866，表明当前训练配方本质上是数学无关的。第三，页面级线性化质量下降：在Fox的页面CER指标上，GutenOCR-7B为0.164，比基线的0.025差很多，这是因为模型优化的是布局敏感的text2d输出，而不是规范的阅读顺序。第四，对多样化的视觉布局和背景颜色的鲁棒性不足：在OmniDocBench的多色背景文本上，CER翻倍以上。第五，当前输出主要是文本和行中心的，尚未显式建模表格结构、数学布局、跨页链接等高级文档结构。
独立分析的弱点
从独立分析的角度看，GutenOCR存在几个值得关注的弱点。第一，颜色和背景敏感性缺失是一个明显的训练数据设计缺陷。在实际文档中，颜色经常用于区分不同类型的内容（如表格中的高亮行、标注的重点文字），完全忽略颜色条件会导致模型在这些场景下失效。改进方向是在训练数据中加入颜色条件任务，例如'读取红色框内的文字'或'识别所有高亮文本'。第二，公式识别的负面迁移表明训练配方缺乏数学感知。虽然Grounded LaTeX数据在Stage 1中使用，但在后续阶段被完全丢弃，导致数学能力退化。改进方向是在所有训练阶段保持一定比例的公式数据，或引入公式识别作为辅助任务。第三，页面级线性化与布局敏感输出之间的权衡尚未解决。当前模型被迫在'忠实还原布局'和'生成规范阅读顺序'之间二选一，而实际应用中可能需要两者兼备。改进方向是训练模型同时支持多种线性化模式，通过提示选择输出格式。第四，评估协议虽然比单一CER更全面，但仍缺乏对表格结构、公式布局等高级结构的评估。
未来方向
作者在论文中提出了'文档全息图'（Document Hologram）的概念，这是一个很有前景的研究方向。文档全息图是一种持久的、多视图的文档表示，耦合了三个层次：（1）内容与像素之间的细粒度接地（精确到token或span）；（2）接地内容之上的语义类型和关系学习；（3）支持区域限制检查和可控阅读顺序的可查询视图。GutenOCR作为文档全息图的前端模块，已经实现了第一层次，但第二和第三层次仍需未来工作。具体的研究方向包括：（1）引入表格结构识别和跨页链接能力，使模型能够理解表格的行列结构和文档的逻辑结构；（2）开发数学感知的训练配方，在保持接地能力的同时提升公式识别；（3）设计支持证据溯源的评估协议，直接测试提取结果与原始像素之间的关联质量；（4）探索效率优化，在保持接地能力的同时降低推理延迟和吞吐量开销；（5）将接地能力扩展到多语言文档，特别是中文、日文等非拉丁文字。
复现评估
GutenOCR在复现性方面表现优秀。作者完整开源了训练代码（GitHub: Roots-Automation/GutenOCR）、模型权重（GutenOCR-3B和GutenOCR-7B）和评估协议。训练数据全部来自公开来源：OCR-IDL、TabMe++、PubMed-OCR是公开数据集，SynthDoG Grounding和Grounded LaTeX通过开源工具生成。训练硬件为8×H100 GPU，这对于学术机构来说可能有一定门槛，但对于工业界来说是可接受的。训练流程采用4阶段课程学习，总步数约28K步，每个阶段的超参数和数据混合比例在论文附录中有详细说明。评估代码也已开源，包括JSON解析、指标计算和基准测试协议。总体而言，复现难度为中等：数据和代码都是公开的，但需要一定的GPU资源和对VLM微调的经验。
论文图表
雷达图展示了GutenOCR-3B/7B、它们的Qwen2.5-VL骨干以及Qwen2.5基线OCR模型在九个接地OCR任务上的能力剖面。九个任务分布在内部评估套件和Fox基准测试上，包括域内页面、行和局部阅读任务（以1-CER评分）、全页和条件检测（以F1评分）、以及Fox页面、区域、行和颜色引导OCR（以1-CER评分）。每个辐条显示[0,1]范围内的原始分数，越高越好。
这张图直观展示了GutenOCR相对于基线模型的优势和劣势：在检测、细粒度阅读和Fox区域/行OCR上大幅提升，但在页面级和颜色引导性能上有所牺牲。这是理解论文核心贡献的关键视觉化。
展示了布局敏感的text2d表示示例。长串空格编码水平对齐（如右对齐的页码），空行编码节之间以及主文本和流程图之间的垂直间隙。text2d格式是一种保留空白、感知布局的线性化表示，由行级边界框和转录构建，使用仅空格和换行符编码2D布局，同时保持纯字符串API供下游系统使用。
这张图解释了GutenOCR的text2d输出格式，这是本文提出的一种新型文档表示方式，对于理解模型的输出特性和评估指标至关重要。
展示了Qwen2.5-VL-3B和GutenOCR-3B的四个对比示例：(a)区域级OCR成功案例，GutenOCR的CER为0.004而Qwen为0.987；(b)行指针泛化能力，GutenOCR的CER为0.000而Qwen为0.988；(c)颜色OCR灾难性遗忘，GutenOCR的CER为0.997而Qwen为0.000；(d)内容与结构的权衡，GutenOCR实现更高的内容F1（0.983 vs 0.597）但阅读顺序更差（CER 0.687 vs 0.574）。
这张图通过具体案例直观展示了GutenOCR的优势（区域提取、行指针泛化）和劣势（颜色任务灾难性遗忘、阅读顺序权衡），帮助读者理解模型的实际表现和局限性。
表格详细描述了4个训练阶段：Stage 1使用SDG、GL、IDL、T++数据，序列长度<2K，2.5M样本，20K步；Stage 2仅使用IDL、T++，序列长度2K-8K，0.5M样本，4K步；Stage 3a使用IDL、T++、PMD，序列长度2K-8K，0.3M样本，2K步；Stage 3b仅使用PMD，序列长度8K-16K，0.3M样本，2K步。每个阶段的目标也被注明。
这张表是理解GutenOCR课程学习策略的核心，展示了数据混合、序列长度和训练步数如何随阶段变化，对于复现和理解训练过程至关重要。
表格报告了所有模型在六个任务家族上的性能：阅读任务（text、text2d、lines、local）报告CER（越低越好），检测任务（full、conditional）报告F1（越高越好），复合分数平均任务级值。GutenOCR-3B和GutenOCR-7B（Stage 3a）的复合分数分别从0.348/0.396提升到0.811/0.819，超过翻倍。
这是论文最核心的实验结果表，展示了GutenOCR相对于所有基线模型的优势，是评估论文贡献的主要依据。
表格报告了所有模型在Fox四个英语OCR子任务上的性能：Page F1（阅读顺序无关的软token F1，越高越好）、Page CER、Region CER、Line CER、Color CER（都是CER，越低越好）。GutenOCR在区域和行级OCR上表现优异（CER 0.053/0.211），但在颜色引导OCR上表现极差（CER 0.940/0.963），在页面级CER上也比基线差。
这张表展示了GutenOCR的优势（区域和行级OCR）和劣势（颜色引导和页面线性化），是理解模型权衡的关键。
表格报告了所有模型在OmniDocBench各种页面类型上的文本检测召回率（IoU≥0.5，越高越好）。Qwen2.5-VL骨干几乎不产生与标注对齐的边界框（R@0.5≈0.02），GutenOCR微调后召回率提升一个数量级以上，3B达到0.620，7B达到0.549。
这张表展示了GutenOCR在文本检测能力上的巨大提升，证明接地训练确实使模型学会了输出密集的文本边界框。
表格报告了所有模型在OmniDocBench公式识别任务上的性能：CER（越低越好）和CDM（越高越好，包括Overall和按页面类型的分解）。GutenOCR相对于Qwen2.5-VL基线出现了负面迁移：3B的CDM从0.936降至0.866，7B从0.935降至0.927。
这张表展示了GutenOCR在公式识别上的负面迁移，是理解模型局限性的重要证据，也指出了未来改进的方向。
表格报告了GutenOCR在不同训练阶段的性能，展示了课程学习的效果。Stage 3a在大多数指标上表现最好，Stage 3b略有退化。7B模型在全局阅读任务上更优，3B模型在局部阅读任务上更优。
这张表是训练阶段消融实验的核心结果，帮助理解课程学习各阶段的贡献和权衡。