← 返回 2026-03-18

千帆OCR：统一的端到端文档智能模型 Qianfan-OCR: A Unified End-to-End Model for Document Intelligence

Daxiang Dong, Mingming Zheng, Dong Xu, Chunhua Luo, Bairong Zhuang, Yuxuan Li, Ruoyun He, Haoran Wang, Wenyu Zhang, Wenbo Wang, Yicheng Wang, Xue Xiong, Ayong Zheng, Xiaoying Zuo, Ziwei Ou, Jingnan Gu, Quanhao Guo, Jianmin Wu, Dawei Yin, Dou Shen 📅 2026-03-11 👍 155 2026-07-13 08:36
OCR 布局分析 文档智能 端到端学习 视觉语言模型
arXiv HuggingFace PDF

4B参数端到端文档智能模型，通过Layout-as-Thought实现布局分析与文本理解统一

前置知识

端到端OCR

端到端OCR是指直接将文档图像映射到结构化输出（如Markdown、LaTeX）的单模型架构，无需分离的检测、识别、理解模块。它通过统一的视觉语言模型学习完整的视觉-文本映射，保留了空间关系和布局信息。例如Nougat、GOT-OCR 2.0等模型直接输出学术论文的LaTeX格式，避免了传统流水线的错误传播问题。

本文提出的Qianfan-OCR就是端到端OCR架构，理解这个概念是理解全文设计选择的基础，包括为什么需要Layout-as-Thought机制以及与流水线系统的性能对比。

布局分析

布局分析是指识别文档中各个元素（文本块、标题、表格、公式、图像等）的位置、类型和阅读顺序。传统流水线系统通过专门的检测模型（如YOLO、Faster R-CNN）完成，输出边界框坐标和类别标签。这是OCR系统的关键模块，因为它决定了如何正确组织和提取文档结构。

端到端OCR的局限性就是丢失显式布局分析功能，本文的核心创新Layout-as-Thought正是为了在端到端架构中恢复这一能力，理解布局分析的重要性有助于把握论文的核心贡献。

视觉语言模型

视觉语言模型是能够同时处理图像和文本的多模态模型，通常由视觉编码器（如ViT）和语言模型（如LLaMA、Qwen）组成，通过投影适配器进行跨模态对齐。它们接受图像和文本作为输入，生成文本输出，支持多种视觉推理任务。代表性的有Qwen-VL、InternVL、Gemini等。

Qianfan-OCR基于Qianfan-VL架构，采用视觉编码器+语言模型背驲+投影适配器的设计，理解VLM的基本架构有助于理解论文的技术路线和训练策略。

研究动机

当前OCR系统面临成本、精度和能力的三方权衡，在工业应用中存在显著痛点。传统流水线OCR系统将文档解析分解为布局检测、元素识别和规则组装三个阶段，虽然推理成本低，但需要复杂的多阶段预处理和后处理，且存在阶段间错误传播问题。专用OCR大模型通过两阶段架构提高精度，但增加了部署复杂度，且在文本提取过程中会不可逆地丢失视觉上下文信息。通用视觉语言模型虽然具备广泛的多模态能力，但在需要精确布局保持的结构化文档解析任务上表现不佳，推理成本更高。在实际工业场景中，文档检索、合同审查、收据票据关键信息提取等应用通常需要串联检测模型、OCR模型和独立的下游理解LLM，这种碎片化方法增加了部署成本，限制了端到端优化。

本文的目标是本文的目标是开发一个统一的端到端文档智能模型，在单一架构中整合布局分析、文本识别和语义理解功能。具体而言，Qianfan-OCR要实现三个核心目标：第一，消除阶段间错误传播，通过端到端设计在整个处理过程中保留完整的视觉上下文，包括空间关系、图表结构和格式信息；第二，恢复端到端OCR中丢失的显式布局分析功能，使用户能够直接获得元素定位、类型分类和空间基础结果；第三，在OCR专业级精度的基础上，支持文档问答、图表理解、关键信息提取等需要精确文本感知和语义推理的认知任务。

与已有工作不同的是，本文的独特切入角度是在端到端架构中重新引入显式布局分析，而不是简单地选择端到端或流水线架构。现有工作要么是纯粹的流水线系统（有布局输出但存在错误传播），要么是纯粹的端到端模型（简洁但丢失布局分析）。本文提出的Layout-as-Thought机制将布局推理作为可选的思维链集成到端到端模型中，用户可以通过标记触发一个思考阶段，模型在生成最终输出前先产生结构化布局表征。这种设计有两个关键优势：对于复杂布局文档，显式结构先验有助于解决识别歧义；对于简单文档，可以跳过思考阶段直接输出，避免不必要开销。

核心方法

Qianfan-OCR的整体思路是构建一个统一的4B参数端到端视觉语言模型，将传统OCR流水线中的多个阶段融合为单模型架构，并通过Layout-as-Thought机制在需要时恢复显式布局分析功能。技术路线基于Qianfan-VL架构，包含三个核心组件：Qianfan-ViT视觉编码器负责灵活的视觉编码，采用AnyResolution设计将输入图像动态分块为448x448的patch，支持最高4K的可变分辨率输入；Qwen3-4B语言模型作为背驲网络，提供文本生成和推理能力，采用分组查询注意力将KV缓存内存减少4倍；轻量级两层MLP投影适配器连接视觉编码器和语言模型。训练采用多阶段渐进式方法，从基本的跨模态对齐开始，逐步建立OCR基础能力，然后进行特定领域增强，最后进行指令微调和推理增强，总共处理超过2.85T tokens。

核心创新点是Layout-as-Thought机制，它在端到端架构中重新引入了显式布局分析功能。传统流水线系统的优势是提供布局分析输出，端到端模型的优势是避免错误传播，Layout-as-Thought将两者结合，将布局推理作为可选的思维链集成到生成过程中。具体实现上，用户可以在查询中附加特殊标记触发思考模式，模型首先生成结构化布局分析，包括每个文档元素的边界框坐标、元素标签和内容摘要，封装在layout标签中，然后基于这个结构化布局推理生成最终响应。布局分析的坐标归一化到0到999范围，并通过专用特殊令牌表示，每个坐标只消耗一个令牌，相比用数字序列编码减少了约50%的思考输出长度。

方法步骤详情

方法步骤包括四个完整的训练阶段：第一阶段是跨模态对齐，处理50B tokens，仅训练投影适配器，使用基本图像-文本对和简单OCR任务确保稳定初始化，适配器使用更高的学习率进行快速对齐。第二阶段是基础OCR训练，处理2T tokens，进行全参数训练，OCR重度数据混合包括文档OCR（45%）、场景OCR（25%）、说明文本（15%）和专用OCR任务（15%），学习率降低。第三阶段是特定领域增强，处理800B tokens，针对企业关键OCR领域进行平衡混合，包括复杂表格（22%）、公式识别（20%）、图表理解（18%）、信息提取（18%）、多语言OCR（12%）和文档理解（10%），保持70%领域特定数据和30%通用数据。第四阶段是指令微调和推理增强，涵盖文档智能的综合任务集，通过公共数据集策展、反向合成和图表数据挖掘三种策略构建指令数据。所有训练在1024个百度昆仑P800芯片上进行，使用3D并行，批次大小从1024到2048不等，最大序列长度32768。

技术新颖性

技术新颖性体现在三个方面：第一，Layout-as-Thought机制是首次在端到端OCR中动态集成显式布局推理，不同于Dolphin v2的固定流程和Logics-Parsing的布局感知强化学习，本文通过用户控制的思维链实现任务自适应的布局分析。第二，坐标特殊令牌表示将归一化坐标编码为专用令牌而非数字序列，每个坐标只消耗一个令牌，相比传统表示方法减少了约50%的思考输出长度。第三，多阶段训练中系统化的OCR中心数据组合设计，与通用VLM训练相比，在所有阶段都强调OCR特定领域，特别是第三阶段的平衡混合策略作为正则化器防止过拟合。大规模数据合成管道覆盖文档解析、关键信息提取、复杂表格、图表理解、公式识别和多语言OCR六个方向，特别是从arXiv LaTeX源代码构建图表理解管道和从HPLT多语言语料库反向合成192种语言。

Architectural comparison between traditional two-stage OCR pipeline and Qianfan-OCR's end-to-end approach. (a) Traditional pipeline systems separate layout analysis and content recognition into independent stages, suffering from error propagation and irreversible loss of visual context. (b) Qianfan-OCR unifies all processing into a single vision-language model, accepting custom prompts for flexible task control and optionally generating intermediate layout reasoning via Layout-as-Thought.
Figure 3: Architectural comparison between traditional two-stage OCR pipeline and Qianfan-OCR's end-to-end approach. (a) Traditional pipeline systems separate layout analysis and content recognition into independent stages, suffering from error propagation and irreversible loss of visual context. (b) Qianfan-OCR unifies all processing into a single vision-language model, accepting custom prompts for flexible task control and optionally generating intermediate layout reasoning via Layout-as-Thought.
Layout-as-Thought example on a math exam paper with mixed content (text, formulas, geometric diagrams, and multi-column layout). Left: Original document image. Right: Visualization of bounding boxes generated during the thinking phase, with element types color-coded (e.g., text, image, paragraph_title, vision_footnote).
Figure 5: Layout-as-Thought example on a math exam paper with mixed content (text, formulas, geometric diagrams, and multi-column layout). Left: Original document image. Right: Visualization of bounding boxes generated during the thinking phase, with element types color-coded (e.g., text, image, paragraph_title, vision_footnote).

实验结果

实验结果在三个维度验证了Qianfan-OCR的有效性。在OCR专用基准测试中，Qianfan-OCR在所有端到端模型中排名第一，OmniDocBench v1.5达到93.12分，超越了DeepSeek-OCR-v2的91.09和Gemini-3 Pro的90.33，甚至超过了部分流水线系统。OlmOCR Bench达到79.8分，在Old scans子类上达到42.0分，Base子类达到99.6分。在通用OCR基准测试中，OCRBench达到880分，超越Qwen3-VL-4B的873，OCRBenchv2中文达到60.77分，CCOCR-multilan达到76.7分。在文档理解基准测试中，Qianfan-OCR在8个基准中取得6个最佳，特别是CharXiv_DQ达到94.0分，CharXiv_RQ达到85.2分，ChartQA达到88.1分。关键信息提取方面，在5个公共KIE基准上达到87.9的平均分，超越相同规模的Qwen3-4B-VL 4.4分，超越规模大50倍的Qwen3-VL-235B-A22B 3.7分。最显著的是两阶段OCR+LLM系统在需要空间和视觉推理的任务上表现糟糕：所有系统在CharXiv上完全失败，图表理解基准和文本密集任务都严重退化，证明空间和布局上下文的价值超越纯文本表示。Layout-as-Thought的实验分析显示，启用思考模式总体得分为92.64 vs 默认模式的93.12，但在表格相关指标上有所提升。推理吞吐量方面，W8A8量化达到1.024 PPS，与PaddleOCR-VL的1.224 PPS相当。

Training hyperparameters for each stage. Stage 1 trains only the adapter with a higher learning rate for fast alignment. Stages 2-4 use full-parameter training with lower learning rates.
Table 1: Training hyperparameters for each stage. Stage 1 trains only the adapter with a higher learning rate for fast alignment. Stages 2-4 use full-parameter training with lower learning rates.
Ablation study on multi-stage training effectiveness using Qianfan-VL-8B.
Table 2: Ablation study on multi-stage training effectiveness using Qianfan-VL-8B.
Detailed performance on OlmOCR Bench across document categories. Models are categorized into Pipeline (two-stage) and End-to-end architectures.
Table 3: Detailed performance on OlmOCR Bench across document categories. Models are categorized into Pipeline (two-stage) and End-to-end architectures.
Performance comparison on OmniDocBench. Models are categorized into Pipeline (two-stage) and End-to-end architectures.
Table 4: Performance comparison on OmniDocBench. Models are categorized into Pipeline (two-stage) and End-to-end architectures.
Performance on general OCR benchmarks. Qianfan-OCR achieves competitive scores while maintaining strong understanding capabilities.
Table 5: Performance on general OCR benchmarks. Qianfan-OCR achieves competitive scores while maintaining strong understanding capabilities.
End-to-end models vs. two-stage OCR+LLM systems on document understanding benchmarks. Two-stage systems use Qwen3-4B as the downstream LLM.
Table 6: End-to-end models vs. two-stage OCR+LLM systems on document understanding benchmarks. Two-stage systems use Qwen3-4B as the downstream LLM.
Performance comparison on Key Information Extraction (KIE) benchmarks (normalized scores).
Table 7: Performance comparison on Key Information Extraction (KIE) benchmarks (normalized scores).
Inference throughput comparison measured in pages per second (PPS) on OmniDocBench v1.5 with a single A100 GPU.
Table 8: Inference throughput comparison measured in pages per second (PPS) on OmniDocBench v1.5 with a single A100 GPU.
Performance on OmniDocBench v1.5 across pipeline (left) and end-to-end (right) models. Qianfan-OCR (red) achieves 93.12, ranking first among all end-to-end models. The red dashed line indicates Qianfan-OCR's score for cross-category comparison.
Figure 1: Performance on OmniDocBench v1.5 across pipeline (left) and end-to-end (right) models. Qianfan-OCR (red) achieves 93.12, ranking first among all end-to-end models. The red dashed line indicates Qianfan-OCR's score for cross-category comparison.
Overall Score on Omni-Doc-Bench-v1.5 by Cumulative Sample Count (Samples Sorted by Layout Label Entropy in Descending Order). In the high-entropy region (left), enabling thinking provides a stable advantage. As lower-entropy samples are included, the gap narrows and eventually reverses, with the no-think mode achieving a higher cumulative total.
Figure 4: Overall Score on Omni-Doc-Bench-v1.5 by Cumulative Sample Count (Samples Sorted by Layout Label Entropy in Descending Order). In the high-entropy region (left), enabling thinking provides a stable advantage. As lower-entropy samples are included, the gap narrows and eventually reverses, with the no-think mode achieving a higher cumulative total.
查看结构化数据
任务指标本文基线提升
OmniDocBench v1.5（PDF文档解析） Overall Score 93.12 DeepSeek-OCR-v2: 91.09, Gemini-3 Pro: 90.33, PaddleOCR-VL 1.5: 94.50 端到端模型中排名第一，超越最强端到端基线+2.03分，接近顶级流水线系统
OlmOCR Bench（端到端文档OCR） Overall Score 79.8 PaddleOCR-VL: 80.0, Qwen3-VL-4B: 79.2, DeepSeek-OCR: 77.2 端到端模型中排名第一，与顶级流水线系统竞争，超越同等规模通用VLM+0.6分
OCRBench（通用OCR） Overall Score 880 Qwen3-VL-4B: 873, Qwen3-VL-2B: 856, PaddleOCR-VL: 549 所有模型中排名第一，超越同等规模通用VLM+7分，显著超越专用流水线系统
CCOCR-multilan（多语言OCR） Overall Score 76.7 Qwen3-VL-4B: 74.2, Qwen3-VL-2B: 73.0, PaddleOCR-VL: 45.5 超越同等规模通用VLM+2.5分，显著超越专用流水线系统
CharXiv_DQ（学术文档问答） Accuracy 94.0 Qwen3-VL-4B: 81.8, Qwen3-VL-2B: 69.7, 两阶段系统: 0.0 超越同等规模通用VLM+12.2分，两阶段系统完全失败
CharXiv_RQ（学术文档推理问答） Accuracy 85.2 Qwen3-VL-4B: 48.5, Qwen3-VL-2B: 41.3, 两阶段系统: 0.0 超越同等规模通用VLM+36.7分，两阶段系统完全失败
ChartQA（图表问答） Accuracy 88.1 Qwen3-VL-4B: 83.3, 两阶段系统: 7.0-56.8 超越同等规模通用VLM+4.8分，两阶段系统严重退化
关键信息提取（5个基准平均） Mean Score 87.9 Qwen3-4B-VL: 83.5, Qwen3-VL-235B-A22B: 84.2, Gemini-3.1-Pro: 79.2 超越同等规模模型+4.4分，超越规模大50倍模型+3.7分，超越商业模型约9分

局限与改进

作者承认的局限性包括：Layout-as-Thought机制仅在OmniDocBench v1.5的文档解析任务上验证，其在其他任务上的有效性尚未探索。当前实现通过监督微调以相对固定的格式生成布局分析，未来工作应该将布局元素更自然地集成到推理过程中。强化学习是一个有前景的方向，通过优化基于下游任务奖励的布局生成。作为端到端OCR的先驱尝试，纯端到端架构的最终性能上限仍然是开放问题。部署效率方面，虽然W8A8量化在GPU上实现竞争吞吐量，但4B参数足迹限制了在边缘设备和仅CPU服务器中的部署。此外，Qianfan-OCR在视频OCR、曲面上的3D文本和高度风格化的艺术手写方面表现出局限性。我观察到的局限性包括：Layout-as-Thought的触发机制需要用户主动添加特殊标记，这在批量处理场景中不够方便。模型参数规模对边缘部署不友好。训练数据合成管道可能引入合成偏差。多阶段训练的算力开销巨大，这对学术研究和小团队来说不现实。Layout-as-Thought在高熵文档上有益但在低熵文档上有害，这意味着用户需要预先判断文档复杂度。

独立分析的弱点

独立分析的弱点包括：Layout-as-Thought的触发机制需要用户主动添加特殊标记，这在批量处理场景中不够方便，改进方向是开发自动文档复杂度评估模块，根据布局标签熵、元素多样性、字体大小变化等指标自动决定是否启用思考模式。模型参数规模（4B）对边缘部署不友好，改进方向是通过知识蒸馏和剪枝开发1B-2B的紧凑变体。训练数据合成管道虽然强大，但可能引入合成偏差，真实世界的文档噪声、印刷质量退化、扫描伪影等可能未完全覆盖，改进方向是增加更多真实世界的负面样本和困难样本挖掘。多阶段训练的算力开销巨大，改进方向是探索更高效的数据组合和训练策略。Layout-as-Thought的输出格式相对固定，缺乏灵活性，改进方向是引入更自然的空间推理表示。模型在视频OCR和3D文本上的局限是架构性的，改进方向是扩展时间维度和3D感知能力。在处理极长文档时，当前4K分辨率上限可能不够，改进方向是引入渐进式处理或多页上下文建模。

未来方向

作者提出的未来工作方向包括：将Layout-as-Thought扩展到其他任务并验证有效性，通过强化学习优化布局生成使模型学习任务自适应的布局推理。探索纯端到端架构的性能上限，系统性地研究架构创新、训练策略和数据扩展定律。通过知识蒸馏和剪枝开发1B-2B参数的紧凑变体，适合边缘设备和CPU部署。扩展到视频OCR、曲面上的3D文本和高度风格化的艺术手写。基于成果可延伸的方向包括：开发自动文档复杂度评估器，根据布局熵、元素多样性、字体大小方差等指标自动决定是否启用Layout-as-Thought，实现完全自动化的端到端文档处理。探索跨模态的布局推理，例如同时利用视觉和文本信号进行布局分析。研究多文档的联合处理，例如跨页的阅读顺序推理、章节标题关联、参考文献解析等。开发更精细的布局标签体系，某些文档类型可能需要更细粒度的标签。探索与下游任务的端到端联合训练。研究Layout-as-Thought在真实世界部署场景中的实用性。

复现评估

模型在Baidu AI Cloud千帆平台上公开可用，GitHub仓库提供使用示例和最佳实践，这为实验复现提供了良好基础。然而，训练数据的获取受限，大规模数据合成管道的完整实现和数据集可能没有完全开源，这对完全复现训练过程构成挑战。算力需求巨大，多阶段训练在1024个百度昆仑P800芯片上进行，处理超过2.85T tokens，这种规模的计算资源对学术研究和小团队来说不现实。实验评估主要基于VLMEvalKit框架，该框架公开可用，便于基准测试的复现。关键超参数在Table 1中详细记录，为复现训练过程提供了具体指导。数据混合比例在各阶段中有明确描述，但这依赖于大规模数据合成管道的可用性。推理部分使用vLLM 0.10.2框架，在单NVIDIA A100 GPU上评估吞吐量，相对容易复现。总体而言，虽然模型本身可以公开访问和使用，但完整复现训练过程需要大量计算资源和数据。开源程度中等偏上，模型和推理代码可用，但训练数据和大算力依赖限制了完全复现。

论文图表

Figure 2: Performance on general OCR and document understanding benchmarks. Top row: OlmOCR Bench, OCRBench, OCRBenchv2 (en), and OCRBenchv2 (zh). Bottom row: CCOCR-multilan, and document understanding tasks (DocVQA, TextVQA, OCRVQA) where two-stage OCR+LLM pipelines (hatched bars) show significant degradation compared to end-to-end models.

这张图展示了Qianfan-OCR在多个通用OCR和文档理解基准测试上的性能。上方一行四个子图分别显示OlmOCR Bench、OCRBench、OCRBenchv2（英文）和OCRBenchv2（中文）的结果，Qianfan-OCR在每个基准上都领先或接近领先。下方一行左侧显示CCOCR-multilan的结果，右侧显示文档理解任务的结果，其中两阶段OCR+LLM流水线显示显著退化。在文档理解任务上，DocVQA达到92.8分，TextVQA达到80.0分，OCRVQA达到66.8分。最显著的是两阶段系统在多个任务上表现糟糕。

这张图对理解论文的重要性在于它展示了Qianfan-OCR的广泛能力范围，不仅在专用OCR基准上表现出色，在通用OCR和文档理解任务上也有强大性能。更重要的是，它直观地展示了两阶段OCR+LLM流水线系统的严重局限性，支持了论文关于保留视觉上下文和端到端处理的重要性的核心论点。