PaddleOCR-VL-1.5：面向野外鲁棒文档解析的多任务0.9B视觉语言模型 PaddleOCR-VL-1.5: Towards a Multi-Task 0.9B VLM for Robust In-the-Wild Document Parsing
0.9B参数VLM在文档解析达到94.5% SOTA，新增印章识别与文本定位能力
前置知识
视觉语言模型（VLM）
视觉语言模型是一种能够同时理解图像和文本的多模态架构。它通常由视觉编码器（如ViT）将图像转换为视觉token，再通过投影层与语言模型连接，最终由语言模型生成文本输出。VLM可以接受图像输入并根据指令生成结构化的文本描述，这使其非常适合文档解析等需要理解视觉布局并输出结构信息的任务。相比传统OCR流水线，VLM能够端到端地完成检测、识别和结构化输出。
本文的核心架构就是VLM，理解VLM的基本原理（视觉编码→投影→语言解码）是理解PaddleOCR-VL-1.5设计决策的基础
文档解析（Document Parsing）
文档解析的目标不仅仅是识别文字，而是重建文档的深层结构和语义布局。这包括区分文本块、解码复杂公式和表格、推断逻辑阅读顺序等。高质量的文档解析是RAG系统和LLM应用的关键前置环节，因为只有准确提取文档结构，才能为下游提供高保真的知识输入。传统方法通常将布局检测、OCR、表格识别等拆分为独立模块串联处理，容易产生级联错误。
这是本文要解决的核心任务，理解文档解析的完整流程（布局分析→元素识别→结构化输出）有助于把握论文的整体技术路线
布局分析（Layout Analysis）
布局分析是文档解析的第一步，目标是检测文档图像中不同语义区域的位置和类别（如标题、正文、表格、图片等），并确定它们的阅读顺序。传统方法使用目标检测模型（如DETR系列）输出轴对齐的矩形框，但在处理倾斜、弯曲等非平面文档时，矩形框会重叠或捕获过多背景噪声。现代方法转向实例分割或多点定位来更精确地界定元素边界。
本文的PP-DocLayoutV3是对布局分析的重大升级，从矩形框检测进化到多点实例分割，理解这一点是理解方法创新的关键
RT-DETR
RT-DETR是百度提出的一种实时目标检测Transformer架构，它将DETR的端到端检测范式与高效的实时推理相结合。RT-DETR使用Transformer编码器-解码器结构，通过匈牙利匹配进行训练，无需NMS后处理。其解码器使用可学习的object query来并行预测所有检测结果。PP-DocLayoutV3就是在RT-DETR基础上构建的，增加了实例分割头和阅读顺序预测头。
PP-DocLayoutV3的架构基础是RT-DETR，理解RT-DETR的query-based检测范式有助于理解论文中的阅读顺序预测机制
Group Relative Policy Optimization（GRPO）
GRPO是一种强化学习算法，通过并行rollout计算组内相对优势来更新策略。与传统的PPO不同，GRPO不需要训练一个单独的价值模型，而是利用同一组采样结果之间的相对排序来估计优势函数。这种方法能够更稳定地进行策略更新，特别适合需要保持输出一致性（如文档格式统一）的场景。本文在后训练阶段引入GRPO来增强模型输出的风格一致性。
论文在post-training阶段使用GRPO来增强模型输出的格式一致性，理解GRPO的基本原理有助于理解为什么它能改善文档解析的风格统一性
研究动机
现有文档解析模型主要针对数字原生或干净扫描的文档进行优化，在真实物理畸变场景下表现显著下降。具体来说，当文档存在大幅倾斜（如手持拍照时的角度偏移）、非刚性弯曲（如书本翻页时的页面曲率）、屏幕拍摄产生的摩尔纹和反光、以及不均匀光照（如阴影或弱光环境）时，即使是当前SOTA方案也难以可靠工作。例如，在Real5-OmniDocBench的Skew场景中，前代PaddleOCR-VL的整体准确率为77.47%，而许多专用VLM如MonkeyOCR-pro-3B仅有64.47%，通用大模型如Qwen2.5-VL-72B也只有86.90%。这些差距表明，现实世界中的物理畸变是文档解析技术落地的主要瓶颈，而现有基准测试（如OmniDocBench）主要基于理想条件构建，无法充分评估模型在真实场景中的鲁棒性。
本文的目标是本文的具体目标是构建一个既保持高精度又具备强鲁棒性的文档解析方案。首先，在标准基准OmniDocBench v1.5上达到新的SOTA水平（目标超过94%）；其次，在新提出的涵盖五种真实物理畸变场景的Real5-OmniDocBench基准上建立可靠的评估体系，并使模型在所有场景下都达到90%以上的准确率；第三，在保持0.9B超紧凑参数规模的前提下，扩展模型能力至印章识别和文本定位（Text Spotting）两个新任务；第四，确保推理效率满足大规模实际部署需求，在单卡A100上实现超过1.4页/秒的处理速度。
与已有工作不同的是，本文的独特切入角度体现在三个方面。第一，提出Real5-OmniDocBench这一全新的鲁棒性评估基准，填补了现有基准对物理畸变评估的空白，涵盖扫描、弯曲、屏幕拍摄、光照变化和倾斜五种真实场景，每种场景都与原始OmniDocBench保持严格的一一对应关系，确保评估的严谨性。第二，将布局分析引擎从标准矩形框检测升级为多点实例分割，直接预测四边形或多边形边界，能够在单次前向传播中同时完成几何定位和阅读顺序推断，避免了传统两阶段方法的级联误差。第三，采用不确定性感知聚类采样（UACS）策略来优化训练数据选择，通过测量模型在不同视觉聚类上的预测不确定性来动态调整采样权重，使训练资源更多分配到困难样本上。
核心方法
PaddleOCR-VL-1.5采用两阶段流水线架构来处理文档解析任务。第一阶段是布局分析引擎PP-DocLayoutV3，它像一个精确的文档地图绘制师，对输入的文档图像进行全面扫描，识别出所有语义区域（文本、表格、公式、图片、印章等）的位置、边界和阅读顺序。与传统方法只能画矩形框不同，PP-DocLayoutV3能够绘制精确的多边形轮廓，就像用描边笔沿着元素的真实边缘勾画一样。第二阶段是PaddleOCR-VL-1.5-0.9B识别模型，它接收第一阶段裁剪出的各个区域，逐一进行高精度的内容识别，包括普通文字、复杂表格、数学公式、图表和印章。最后通过轻量级后处理引擎将所有输出整合为Markdown或JSON等结构化格式。对于文本定位任务，模型则采用端到端方式直接在原始图像上同时完成检测和识别。
本文最核心的创新在于PP-DocLayoutV3将阅读顺序预测直接集成到Transformer解码器中，实现了检测、分割和排序的端到端联合优化。传统方法通常将布局检测和阅读顺序推断作为两个独立步骤，先检测出所有元素再用规则或单独模型确定顺序，这种方式容易因为检测误差累积而导致阅读顺序错误。PP-DocLayoutV3通过扩展RT-DETR框架，在解码器的每一层同时优化几何定位和逻辑排序。具体来说，解码器输出的N个object query不仅编码了每个元素的空间信息，还编码了元素之间的拓扑关系。通过全局指针机制，模型可以计算任意两个元素之间的优先级分数，这种反对称设计确保了排序的一致性。推理时采用投票排序策略，对关系矩阵施加sigmoid后聚合每个元素的总票数，按升序排列得到全局一致的阅读顺序。
方法步骤详情
方法分为三个主要阶段。第一阶段是布局分析（PP-DocLayoutV3）：输入原始文档图像，首先通过RT-DETR的CNN-Transformer骨干网络提取多尺度视觉特征，然后将特征送入Transformer解码器，解码器迭代优化N个可学习的object query。每个query同时预测分类标签、多边形边界坐标、像素级分割掩码和阅读顺序。多边形边界采用多点表示（如四边形），相比传统的两点矩形框能够更紧密地贴合倾斜或弯曲元素的真实轮廓。阅读顺序通过全局指针机制和投票排序策略在单次前向传播中完成。第二阶段是元素级识别（PaddleOCR-VL-1.5-0.9B）：接收第一阶段输出的各区域裁剪图，使用NaViT风格的动态分辨率视觉编码器提取视觉特征，通过自适应MLP投影层将视觉token映射到语言模型空间，最后由ERNIE-4.5-0.3B语言模型根据任务指令生成结构化输出。对于文本定位任务，模型输出文本内容并附带8个定位token表示四边形的四个顶点坐标。第三阶段是后处理：将各区域的识别结果整合为完整的文档结构，支持跨页表格合并和标题层级识别等高级功能。
技术新颖性
本文的技术新颖性体现在多个层面。首先，PP-DocLayoutV3是首个将实例分割和阅读顺序预测统一到单个端到端Transformer模型中的布局分析方法，相比前代PP-DocLayoutV2的两阶段解耦训练，新方法实现了更紧密的特征共享和更好的性能对齐。其次，在阅读顺序预测上采用的全局指针机制和投票排序策略是文档分析领域的新颖设计，它将传统的序列预测问题转化为成对关系预测加全局聚合，避免了自回归解码的延迟问题。第三，不确定性感知聚类采样策略是数据工程上的创新，通过CLIP视觉编码器进行聚类，再用模型预测不确定性来指导采样权重，使训练资源更多分配到困难样本上。第四，在文本定位任务中引入的专用定位token避免了坐标作为普通文本时的tokenization碎片化问题，使模型能够学习空间信息的特定嵌入。
实验结果
PaddleOCR-VL-1.5在多个基准测试上建立了新的SOTA标准。在OmniDocBench v1.5基准上，模型达到94.50%的整体准确率，相比前代PaddleOCR-VL的92.86%提升了1.64个百分点。具体来看，CDM分数（公式识别）从91.22%提升至94.21%（+2.99%），Table-TEDS从90.89%提升至92.76%（+1.87%），文本编辑距离保持在0.035的低水平，阅读顺序编辑距离为0.042。这些改进使其超越了参数量远大于它的通用VLM，如235B参数的Qwen3-VL（89.15%）和Gemini-3 Pro（90.33%）。在新提出的Real5-OmniDocBench上，模型达到92.05%的整体准确率，在所有五个子场景中均排名第一：扫描场景93.43%、弯曲场景91.25%、屏幕拍摄场景91.76%、光照变化场景92.16%、倾斜场景91.66%。特别是倾斜场景相比前代的77.47%提升了14.19个百分点，展现了对极端几何畸变的强大鲁棒性。在文本定位任务上，模型在9个评估维度上均取得最高分，整体准确率0.8621，远超HunyuanOCR的0.6290和Rex-Omni的0.6682。在印章识别任务上，归一化编辑距离（NED）为0.138，大幅优于Qwen3-VL-235B的0.382。推理效率方面，使用FastDeploy后端在单卡A100上达到1.4335页/秒和2016.6 tokens/s，比前代提升约17-19%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文档解析（OmniDocBench v1.5） | Overall | 94.50% | 92.86%（PaddleOCR-VL） | +1.64% |
| 文档解析（OmniDocBench v1.5） | Formula-CDM | 94.21% | 91.22%（PaddleOCR-VL） | +2.99% |
| 文档解析（OmniDocBench v1.5） | Table-TEDS | 92.76% | 90.89%（PaddleOCR-VL） | +1.87% |
| 真实场景文档解析（Real5-OmniDocBench） | Overall | 92.05% | 89.24%（Gemini-3 Pro） | +2.81% |
| 倾斜场景文档解析 | Overall | 91.66% | 77.47%（PaddleOCR-VL） | +14.19% |
| 文本定位（Text Spotting） | Overall | 0.8621 | 0.6682（Rex-Omni） | +0.1939 |
| 印章识别 | NED | 0.138 | 0.382（Qwen3-VL-235B） | -0.244 |
| 推理效率 | Pages/s (A100) | 1.4335 | 1.2261（PaddleOCR-VL） | +16.9% |
局限与改进
尽管PaddleOCR-VL-1.5在文档解析任务上取得了显著进步，但仍存在一些值得探讨的局限性。首先，论文主要评估的是文档结构和内容提取的准确性，但对语义理解层面的评估较为有限——例如模型是否能正确理解复杂公式的数学含义、是否能处理需要跨页推理的长文档逻辑链等。其次，Real5-OmniDocBench虽然提出了五种物理畸变场景，但这些场景的构建方式（基于OmniDocBench施加畸变）可能无法完全代表真实世界的多样性，例如手写笔记的随意性、老旧文档的褪色损坏等情况未被充分覆盖。第三，模型在印章识别任务上的表现虽然优于通用VLM，但NED为0.138意味着仍有约14%的字符级错误率，在对准确性要求极高的法律文书场景中可能不够可靠。第四，论文未充分讨论模型在极端长文档或多页连续处理时的性能退化情况，也未涉及对复杂嵌套布局（如表格内嵌表格、多栏混排图文）的详细分析。最后，作为0.9B参数的紧凑模型，其在需要复杂推理的任务（如理解表格间的数值关系、推断隐含的文档逻辑）上的能力边界尚不清晰。
独立分析的弱点
从独立分析的角度看，PaddleOCR-VL-1.5存在几个可以改进的弱点。第一，在布局分析的阅读顺序预测上，当前方法使用成对关系矩阵和投票排序，这在处理多栏布局时虽然有效，但对于复杂的交错布局（如图文环绕、侧边栏注释与正文的交替出现）可能需要更细粒度的层次化推理，可以考虑引入层次化Transformer或图神经网络来建模更复杂的拓扑关系。第二，不确定性感知聚类采样虽然比随机采样更高效，但其聚类粒度和不确定性估计仍依赖于CLIP特征空间的质量，对于文档领域的特定视觉模式（如公式与表格的细微差异）可能不够敏感，可以考虑使用领域特定的视觉编码器或引入主动学习机制来更精确地识别困难样本。第三，文本定位任务采用的四边形表示虽然比矩形框更灵活，但对于高度弯曲或不规则形状的文本（如圆形印章内的弧形文字）仍然不够精确，可以考虑引入曲线参数化或基于轮廓的表示方法。第四，模型对多语言的支持虽然已扩展到111种语言，但论文未详细说明各语言的性能均衡性，低资源语言的识别质量可能存在较大差异，需要更有针对性的数据增强和微调策略。
未来方向
基于本文的工作成果，可以延伸出几个有前景的研究方向。首先，PP-DocLayoutV3展现的端到端布局分析范式可以进一步扩展到视频文档解析场景，利用时序信息来增强对动态拍摄条件下文档的理解和稳定化。其次，将当前的两阶段流水线（布局分析+元素识别）进一步压缩为单阶段端到端模型是一个有价值的方向，通过设计更高效的跨模态注意力机制，可能实现从原始像素到结构化输出的直接映射。第三，Real5-OmniDocBench的构建思路可以推广到更多文档类型（如手写笔记、老旧历史文档、工程图纸）和更多畸变类型（如折叠痕迹、水渍污损），构建更全面的鲁棒性评估体系。第四，利用模型的紧凑特性探索边缘设备部署场景，如手机端实时文档扫描和理解，这需要进一步的模型压缩和量化优化。第五，将文档解析能力与LLM的推理能力深度集成，实现从提取文档内容到理解文档语义的跃迁，例如自动提取合同条款间的逻辑关系或分析财务报表中的数值趋势。
复现评估
本文在复现方面具有较高可行性。首先，论文明确声明了代码和模型的开源计划：源代码托管在GitHub（https://github.com/PaddlePaddle/PaddleOCR），模型权重发布在HuggingFace（https://huggingface.co/PaddlePaddle），官方文档网站为https://www.paddleocr.com。其次，论文详细列出了训练配置（学习率、batch size、epoch数等）和数据规模（预训练46M样本、后训练5.6M样本），为复现提供了清晰的参考。第三，推理评估使用了公开的OmniDocBench v1.5基准和新构建的Real5-OmniDocBench（也将公开发布），确保了评估的可重复性。然而，完全复现训练过程仍面临一定挑战：布局分析模型需要38k高质量人工标注的文档样本，这些标注包含精确的多边形边界和阅读顺序，标注成本较高；VLM的训练数据中包含大量内部数据，外部研究者难以获取完全相同的数据分布。算力方面，模型可在RTX 3060到H800等多种硬件上运行，推理门槛较低，但完整训练需要大规模GPU集群。总体而言，直接使用预训练模型进行推理或微调相对容易，从头训练的复现难度较高。
论文图表
