OCRVerse：面向端到端视觉语言模型的全场景OCR方法 OCRVerse: Towards Holistic OCR in End-to-End Vision-Language Models
首个端到端统一文本OCR与视觉OCR的全场景方法，4B参数媲美70B模型。
前置知识
Vision-Language Model (VLM)
视觉语言模型是一类将视觉编码器（如ViT）与大语言模型（如LLaMA、Qwen）相结合的多模态模型，能够同时理解图像和文本输入。典型的架构包含三个组件：视觉编码器负责将图像转换为视觉token，投影层（projector）将视觉token映射到语言模型的嵌入空间，大语言模型负责生成文本输出。在OCR领域，VLM可以直接从图像端到端地生成结构化文本，无需传统的布局分析+文字识别两阶段流程。
本文的OCRVerse基于Qwen3-VL-4B构建，理解VLM架构是理解本文方法的基础。
Text-centric OCR vs Vision-centric OCR
文本中心OCR（Text-centric OCR）指从文档图像中识别和提取文字内容，如书籍、报纸、论文等传统文档场景。视觉中心OCR（Vision-centric OCR）则关注从视觉信息密集图像（如图表、网页、科学图示、分子结构等）中提取结构化信息，并将其转换为可执行代码（HTML、LaTeX、Python等）。传统OCR方法主要针对前者，而本文首次将两者统一到一个框架中。
这是本文的核心定义和贡献，理解这两类任务的区别和统一是理解全文的关键。
Supervised Fine-Tuning (SFT)
监督微调是指使用标注好的输入-输出对来微调预训练模型的技术。在本文中，SFT阶段将来自8个不同领域的数据（包括文档、表格、公式、图表、网页等）直接混合训练，使模型建立跨域的基础知识，学习不同视觉模式和输出格式。训练时冻结视觉编码器和视觉-语言适配器，仅更新语言模型参数。
SFT是本文两阶段训练方法的第一阶段，为后续RL阶段提供初始化基础。
GRPO (Group Relative Policy Optimization)
GRPO是一种强化学习优化方法。对于每个输入，从当前策略采样G个响应，计算各自的奖励，然后通过组内归一化得到优势值 $A_i = \frac{R_i - \mu_G}{\sigma_G}$。策略通过最大化裁剪目标函数优化，其中概率比 $\rho_i = \frac{\pi_\theta(o_i|x)}{\pi_{\theta_{old}}(o_i|x)}$ 被裁剪在 $[1-\epsilon, 1+\epsilon]$ 范围内以保证训练稳定性。相比PPO，GRPO不需要额外的价值模型，更高效。
GRPO是本文RL阶段的核心优化算法，用于实现域特定的个性化奖励优化。
OmniDocBench v1.5
OmniDocBench v1.5是一个全面的文档解析评估基准，包含1355个文档页面（比前一版本多374页），涵盖中英双语内容，覆盖9种文档类型（学术论文、教科书、财务报告、试卷等）。评估指标包括：编辑距离（文本识别）、CDM（公式识别）、TEDS（表格识别），以及综合分数Overall Score。
这是本文文本中心OCR评估的主要基准，理解其评估维度对理解实验结果至关重要。
DINOv2 与视觉保真度奖励
DINOv2是Meta开发的自监督视觉编码器，能提取高质量的图像特征表示。在本文的RL阶段，DINOv2用于计算视觉保真度奖励：将模型生成的代码渲染为图像后，使用DINOv2编码器提取特征，计算渲染图像与真实图像之间的余弦相似度。采用多尺度机制，结合全局相似度（下缩略图）和局部相似度（图像块），以处理不同分辨率的图像。
这是本文为视觉中心域设计的核心奖励机制，体现了跨模态奖励设计的创新性。
研究动机
现有OCR技术存在严重的任务割裂问题。文本中心OCR方法（包括流水线方法如Marker、MinerU和VLM方法如DeepSeek-OCR、GOT-OCR）专注于从文档图像中提取文字，但忽略了视觉信息密集图像的识别。具体而言，图表（如柱状图、折线图）、网页、科学图示、分子结构等视觉中心场景在互联网上广泛存在，具有巨大的实际应用价值，但传统OCR无法处理这些场景。这些图像具有独特的双重特征：既包含常规印刷文字，又包含箭头、线条、图标等构建语义结构的视觉元素，需要代码级表示（HTML编码网页布局、Python代码表示图表计算逻辑、LaTeX捕捉数学语义）。现有方法要么局限于特定任务（如仅做chart-to-code），要么缺乏统一框架同时处理多种视觉中心任务。
本文的目标是本文的目标是提出OCRVerse，首个端到端的全场景OCR方法，统一文本中心OCR和视觉中心OCR能力。具体而言，OCRVerse需要：（1）覆盖9种文本中心文档场景（自然场景、书籍、杂志、论文、报告、幻灯片、试卷、笔记、报纸）和6种视觉中心场景（图表、网页、图标、几何、电路、分子）；（2）在仅4B参数的轻量级架构下，达到与大规模开源和闭源模型可比的性能；（3）通过两阶段SFT-RL训练方法，解决跨域数据冲突问题。
与已有工作不同的是，本文的独特切入角度是「全场景统一」（holistic OCR）。与现有方法各自为政不同，OCRVerse首次将字符级识别（文本OCR）和代码级表示（视觉OCR）统一到一个端到端框架中。其核心洞察是：（1）文本中心和视觉中心任务在底层视觉理解上有共性，可以通过共享视觉编码器和跨域数据混合学习建立统一表示空间；（2）但不同域的输出格式和质量期望差异巨大，需要个性化的奖励策略来解决域冲突——这正是SFT建立通用知识、RL优化域特定性能的两阶段设计动机。
核心方法
OCRVerse的方法可以直观理解为「先博学后精通」的两阶段训练范式。第一阶段SFT像通识教育，将所有8个领域的数据混合训练，让模型广泛接触各种视觉模式和输出格式，建立跨域的统一表示空间。第二阶段RL像专业深造，针对每个领域的特点设计个性化奖励策略，解决域间冲突并优化域特定性能。技术路线上，OCRVerse基于Qwen3-VL-4B构建，包含视觉编码器、投影层和语言模型三个组件。SFT阶段冻结视觉编码器和投影层，仅微调语言模型；RL阶段使用GRPO算法，对文本中心域采用规则奖励，对视觉中心域采用基于DINOv2的视觉保真度奖励。数据工程方面，文本中心数据经过开源数据收集、真实PDF采集、合成数据构建、清洗和VLM重标注；视觉中心数据经过数据收集、清洗和自举标注。
本文的核心创新点是两阶段SFT-RL多域训练方法中的个性化奖励设计。与传统的统一奖励信号不同，OCRVerse为不同域设计了完全不同的奖励策略。文本中心域使用规则奖励：纯文本用 $r = 1 - \text{EditDistance}_{\text{norm}}$，公式用归一化LaTeX后的BLEU分数，表格用TEDS-S指标。视觉中心域使用视觉保真度奖励：基于DINOv2提取特征，计算全局和局部余弦相似度 $R_{\text{vision}} = \omega_{\text{global}} \cdot s_{\text{global}} + \omega_{\text{local}} \cdot \frac{1}{N}\sum_{i=1}^{N} s_{\text{local}}^{(i)}$。这种设计的本质区别在于：它不是简单地将多任务学习的loss相加，而是让每个域获得针对性的反馈信号，避免了朴素多任务学习中的数据冲突。
方法步骤详情
OCRVerse的完整训练流程分为三个阶段： 数据工程阶段：文本中心数据从开源数据集（LSVT、TextOCR、PDFA等）、真实PDF文档（书籍、杂志、论文等）和合成数据（K12试题、StackExchange公式）三个来源收集，经过通用质量检测（缺失内容、错误阅读顺序、重复段落）、文档拆分、VLM重标注（Qwen2.5-VL-72B和GOT）。视觉中心数据从Chart-to-Code（MCD、MSRL）、Web2HTML（MCD、Web2M、Web2Code）、Image2SVG（UniSVG）、数学图示（DaTikZ-v3、Cosyn-400k）等来源收集，经过质量过滤和自举标注。 SFT阶段：将8个域的数据直接混合，使用标准自回归语言建模损失 $\mathcal{L}_{\text{SFT}}(\theta) = -\mathbb{E}_{(x,y)\sim D_{\text{SFT}}} \sum_{t=1}^{T} \log P_\theta(y_t | x, y_{ 0] \cdot r_c(Pred_c, GT_c)$。
技术新颖性
OCRVerse的技术新颖性体现在三个层面。第一，首次提出全场景（holistic）OCR范式，将文本中心和视觉中心OCR统一到一个端到端框架中，这在OCR领域是全新的研究方向。第二，个性化奖励设计是核心技术创新——不同于大多数多模态RL方法使用统一的奖励函数，OCRVerse为纯文本、公式、表格分别设计规则奖励，为图表、网页、SVG等设计基于DINOv2的视觉保真度奖励，实现了细粒度的域优化。第三，数据工程的创新性在于跨域数据的系统性构建：文本中心数据涵盖9种文档场景，视觉中心数据覆盖6种专业场景，通过VLM重标注和自举标注实现大规模高质量数据生成。这种「统一架构+个性化训练」的设计模式，为多域多任务学习提供了新的范式参考。
实验结果
OCRVerse在文本中心和视觉中心OCR任务上均展现出强大的性能，以仅4B参数达到与70B级别模型可比的效果。 文本中心评估（OmniDocBench v1.5）：OCRVerse获得89.23的综合分数，在端到端专用VLM中排名前列。具体来看，文本编辑距离0.052，公式CDM分数87.13，表格TEDS分数85.77，TEDS-S分数90.35。值得注意的是，OCRVerse超越了通用VLM如Gemini-2.5 Pro（88.03）和Qwen2.5-VL-72B（87.02），尽管参数量少18倍。公式识别方面，OCRVerse（87.13）超过Deepseek-OCR（83.37）和olmOCR-7B（86.04），验证了合成公式数据策略的有效性。 视觉中心评估：在ChartMimic上，OCRVerse达到84.8%执行成功率和72.2低分分数，超过Qwen3-VL-8B（78.3%）和InternVL3-8B（63.3%）。在UniSVG上获得76.3综合分数，仅次于GPT-5（77.3）。在Image2LaTeX-plot上表现最为突出：88.7%渲染成功率和63.1 EMS，大幅超越GPT-5（78.7%, 57.4）。在ChemDraw上达到89.1%执行成功率和54.7 Tanimoto相似度，超过所有开源替代方案。 这些结果表明，OCRVerse的全场景训练范式具有强大的参数效率，SFT-RL两阶段方法有效解决了跨域冲突问题。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OmniDocBench v1.5 文档解析 | Overall Score | 89.23 | Gemini-2.5 Pro: 88.03, Qwen2.5-VL-72B: 87.02 | 超越72B通用VLM约2个百分点，以4B参数实现 |
| OmniDocBench v1.5 公式识别 | Formula CDM | 87.13 | Deepseek-OCR: 83.37, olmOCR-7B: 86.04 | 超过Deepseek-OCR约3.8个百分点 |
| ChartMimic 图表代码生成 | Exec. Rate | 84.8% | Qwen3-VL-8B: 78.3%, InternVL3-8B: 63.3% | 超过同规模模型6.5-21.5个百分点 |
| UniSVG 矢量图形生成 | Composite Score | 76.3 | GPT-5: 77.3, Qwen3-VL-32B: 78.8 | 仅次于GPT-5，超过所有同规模开源模型 |
| Image2LaTeX 科学图示 | EMS / Ren.Succ. | 63.1 / 88.7% | GPT-5: 57.4 / 78.7% | EMS提升5.7，渲染成功率提升10个百分点 |
| ChemDraw 分子结构识别 | Exec. Rate / Tanimoto | 89.1% / 54.7 | Claude-4.5-Sonnet: 95.3% / 41.7 | Tanimoto相似度提升13个百分点 |
局限与改进
本文的局限性主要体现在以下几个方面。首先，OCRVerse在文本识别和阅读顺序方面存在不足：文本编辑距离0.052和阅读顺序编辑距离0.068，与布局感知模型如dots.ocr（0.048和0.053）相比有明显差距。作者承认这是因为OCRVerse没有引入显式的布局感知机制，限制了其在复杂文档结构中捕获细粒度空间关系的能力。其次，表格识别性能相对落后：TEDS分数85.77和TEDS-S分数90.35，落后于Deepseek-OCR2和HunyuanOCR，作者将其归因于表格数据覆盖不足，特别是缺乏多行多列和跨行列合并单元格的复杂表格样本。第三，从个人观察来看，视觉中心评估中OCRVerse在ChartMimic的执行成功率（84.8%）与闭源模型（Gemini-2.5-Pro 97.3%、GPT-5 94.8%）仍有较大差距；在UniSVG上与GPT-5的高分CLIP相似度也有差距（85.2 vs 88.3）。此外，论文未提供训练数据的具体规模、训练所需的计算资源、以及推理速度等实用信息。
独立分析的弱点
OCRVerse存在以下几个值得改进的弱点。第一，缺乏显式布局感知机制导致文本识别和阅读顺序性能不足。改进方向可以借鉴dots.ocr和MonkeyOCR的做法，引入区域级OCR数据和结构感知解析器，在保持端到端架构的同时增强布局建模能力。第二，表格数据覆盖不足导致复杂表格识别性能落后。可以通过收集更多包含多行多列、跨行列合并单元格的复杂表格样本，以及使用合成数据生成更多样的表格变体来改进。第三，视觉中心任务中与闭源模型的差距表明跨域融合仍有优化空间。可以探索更精细的课程学习策略，按难度递进安排训练数据，以及设计更复杂的奖励组合机制。第四，论文未讨论模型的推理效率和部署成本，对于实际应用场景这是关键考量。
未来方向
基于论文内容和实验结果，未来研究可以向以下方向拓展。作者明确提出：（1）深入探索区域级OCR数据的使用以增强布局感知能力，预期可进一步提升文本识别和阅读顺序保持性能；（2）增加表格数据构建的关注度，补充复杂表格结构的训练样本。基于现有成果，还可以延伸以下方向：（3）将全场景OCR范式扩展到更多领域，如手写笔记识别、多语言文档、视频OCR等时序场景；（4）探索更高效的RL训练策略，如基于模型自身判断的自动化奖励设计，减少人工设计奖励函数的工作量；（5）研究模型的few-shot和zero-shot泛化能力，评估其在未见文档类型上的表现；（6）将OCRVerse的输出与下游任务（如问答、摘要、信息检索）端到端连接，构建完整的文档理解流水线。
复现评估
从复现角度来看，OCRVerse的复现存在一定的挑战。有利因素包括：基础模型Qwen3-VL-4B是公开可用的；训练框架使用标准的SFT和GRPO算法，已有成熟的开源实现（如OpenRLHF、veRL）；评估基准OmniDocBench v1.5和各视觉中心基准均为公开数据集。不利因素包括：论文未明确说明训练数据的具体规模和来源细节，特别是自举标注的中间模型训练细节；未提供训练所需的GPU数量和训练时间；数据处理流水线涉及多个VLM（Qwen2.5-VL-72B、GOT）的推理，这些大模型的使用成本较高；RL阶段的超参数（采样数G、裁剪阈值$\epsilon$、学习率等）未详细披露。总体而言，复现该工作需要中等以上的算力资源和较强的数据工程能力。
论文图表