LightOnOCR：面向多语言文档的10亿参数端到端视觉语言OCR模型 LightOnOCR: A 1B End-to-End Multilingual Vision-Language Model for State-of-the-Art OCR
1B参数VLM在OCR基准上超越9B模型，支持图像定位与高效推理
前置知识
端到端OCR模型
传统OCR系统采用多阶段流水线架构，包括版面分析、文本检测、文本识别、表格提取和阅读顺序重建等独立模块。端到端OCR模型则将整个流程统一为一个神经网络，直接从像素输入映射到结构化文本输出。这种方法的优势在于消除了中间表示的误差累积，使得整个系统可以通过梯度下降联合优化，简化了工程复杂度并提升了性能上限。
LightOnOCR的核心设计理念就是端到端建模，理解这一概念有助于把握论文与传统多阶段流水线方法（如PaddleOCR、MinerU）的本质区别。
视觉语言模型（VLM）
视觉语言模型是一类融合视觉编码器和语言解码器的多模态架构。典型结构包含三个组件：视觉编码器（如Vision Transformer）将图像编码为视觉token序列，多模态投影器将视觉特征映射到语言模型的嵌入空间，语言解码器（如Transformer）基于视觉和文本token自回归地生成输出。VLM能够理解图像内容并以自然语言形式表达，广泛应用于图像描述、视觉问答和文档理解等任务。
LightOnOCR-2-1B就是一个基于VLM架构的OCR系统，其视觉编码器来自Mistral-Small-3.1，语言解码器来自Qwen3，理解VLM的工作原理是理解本文方法的基础。
知识蒸馏（Distillation）
知识蒸馏是一种模型压缩和训练技术，通过让小型学生模型学习大型教师模型的输出分布或特征表示来获得更好的性能。在本文的上下文中，蒸馏指的是使用强大的VLM教师模型（如Qwen3-VL-235B）对文档图像生成高质量的转录文本，然后将这些转录作为监督信号来训练小型OCR模型。这种方法可以将大模型的文档理解能力转移到紧凑模型中，而无需人工标注。
论文的核心训练数据是通过蒸馏生成的，教师模型的选择（从Qwen2-VL-72B升级到Qwen3-VL-235B）是性能提升的关键因素之一。
强化学习与可验证奖励（RLVR）
RLVR是一种结合强化学习和自动可验证奖励信号的训练范式。与传统RLHF依赖人类偏好不同，RLVR使用确定性的、可自动计算的奖励函数（如单元测试通过率、数学公式渲染成功率等）。论文中使用GRPO算法进行训练，通过多个rollout采样并计算组内相对奖励来更新策略。这种方法可以直接优化特定的OCR失败模式，如重复循环、数学格式错误等，而无需额外的人工标注数据。
RLVR是LightOnOCR-2的核心创新之一，用于在预训练后进一步提升OCR质量，特别是解决重复循环和数学渲染等难以通过监督学习解决的问题。
任务算术合并（Task Arithmetic Merging）
任务算术合并是一种轻量级的权重空间技术，通过线性组合不同训练阶段的模型权重来获得新能力。其核心公式为 theta_merge = theta_base + alpha(theta_rl - theta_base)，其中 alpha 是插值系数，theta_rl - theta_base 代表RL训练引入的任务向量。通过调整 alpha 值，可以在不同能力之间进行权衡控制，无需额外训练即可获得具有不同特性的模型变体。
论文使用任务算术合并来平衡OCR质量和边界框定位精度，这是一种高效获得多种模型变体的方法，理解其原理对把握论文的模型发布策略很重要。
原生分辨率视觉Transformer
传统视觉Transformer（如ViT）通常将图像调整到固定分辨率（如224x224或384x384），这会导致文档图像中的小字体和细粒度排版信息丢失。原生分辨率视觉Transformer通过支持可变尺寸输入来保留原始图像的空间结构和细节。该技术通常结合2D位置编码和动态分辨率切片机制，能够处理不同纵横比的文档页面，对于保留科学PDF中密集数学符号和扫描文档中微小文字的可读性至关重要。
LightOnOCR采用原生分辨率ViT并支持最大长边1540px的输入，这是其在科学文档和细粒度文字识别上取得突破的关键技术选择。
研究动机
现实世界的文档OCR面临着多方面的挑战，传统方法难以有效应对。多阶段流水线系统（如PaddleOCR和MinerU）将OCR分解为版面分析、文本检测、文本识别、表格提取和阅读顺序重建等多个独立模块，每个模块都有中间表示。这种架构虽然在许多场景下有效，但存在严重的耦合问题：改进新文档分布的性能通常需要为中间任务（版面区域、表格结构、阅读顺序）添加额外标注，并在各阶段之间进行协调修改。以OlmoOCR-Bench为基准，现有最好的端到端模型如Chandra-9B达到81.7分，但需要9B参数；olmOCR-2-8B达到80.4分但需要8B参数；较小的模型如Qwen2.5-VL-8B仅有64.3分。这表明小参数量模型在OCR性能上存在明显差距，如何在保持模型紧凑的同时达到甚至超越大模型的性能，是一个亟待解决的问题。
本文的目标是本文的目标是开发一个紧凑的10亿参数端到端视觉语言模型LightOnOCR-2-1B，实现三个核心目标：首先，在OlmOCR-Bench基准测试上达到最先进的OCR性能，超越包括9B参数在内的更大规模模型；其次，扩展模型能力以支持文档图像中嵌入图像的边界框预测，实现同时进行文本转录和图像定位；第三，通过高效的推理速度使模型适用于大规模文档处理场景。具体而言，模型需要在科学PDF、扫描文档、表格和多栏布局等多样化场景中表现优异，同时支持多语言（尤其是法语）和拉丁文脚本的文档理解。
与已有工作不同的是，本文的独特切入角度体现在三个层面。第一，在架构层面，LightOnOCR-2-1B采用统一的端到端模型而非多阶段流水线，通过单一模型直接从像素映射到结构化文本，消除了中间表示的误差累积。第二，在训练策略层面，论文创新性地将知识蒸馏与强化学习相结合：先用强大的教师模型Qwen3-VL-235B生成高质量监督信号进行预训练，再通过RLVR解决监督学习难以处理的失败模式（如重复循环、数学渲染错误）。第三，在模型融合层面，论文引入任务算术合并技术，通过轻量级的权重空间操作实现OCR质量和边界框精度之间的可控权衡，无需额外训练即可获得多种模型变体。这种从数据（2.5倍扩大预训练混合）、训练（RLVR强化）到部署（权重合并）的全链路优化思路，是本文与现有工作的本质区别。
核心方法
LightOnOCR-2-1B的方法可以概括为「大模型蒸馏预训练、RLVR强化微调、权重空间融合」的三阶段训练流程。直觉上，论文的核心思想是利用大型VLM教师模型的知识来训练紧凑的学生模型，然后通过强化学习修复监督学习难以解决的系统性缺陷，最后通过权重合并技术平衡不同能力。技术路线上，首先构建一个包含43M页面的大规模预训练数据集，使用Qwen3-VL-235B教师模型生成高质量的Markdown转录（包含LaTeX数学公式）；然后以Mistral-Small-3.1的视觉编码器和Qwen3的语言解码器为基础架构，在最大长边1540px的高分辨率下进行预训练；接着应用基于OlmOCR单元测试的RLVR方法，通过GRPO算法优化重复循环、数学渲染等失败模式；最后通过检查点平均和任务算术合并获得多个发布版本，在OCR和边界框定位之间实现可控权衡。
LightOnOCR-2-1B的核心创新在于将知识蒸馏、强化学习与可验证奖励、以及任务算术合并三种技术有机整合到一个紧凑的OCR系统中。与已有方法的本质区别体现在：第一，相比传统多阶段流水线（PaddleOCR、MinerU），LightOnOCR采用端到端架构，单一模型处理所有OCR任务，消除了中间表示的误差传播和模块间协调的工程复杂度。第二，相比直接使用大模型进行OCR（如Qwen2.5-VL-72B），LightOnOCR通过蒸馏将大模型能力转移到1B参数的紧凑模型中，在保持高精度的同时实现5.71 pages/sec的高吞吐量。第三，相比仅使用监督学习的模型（如LightOnOCR-1B），LightOnOCR-2-1B引入RLVR来直接优化监督学习难以解决的失败模式，包括重复循环（通过压缩启发式惩罚低熵输出）、数学渲染错误（通过KaTeX兼容性检查）和格式一致性（通过拒绝HTML标签等工件）。第四，论文创新性地将边界框预测能力引入OCR预训练阶段，通过在预训练中引入坐标监督的恢复策略，避免了朴素监督微调导致的OCR质量退化。
方法步骤详情
LightOnOCR-2-1B的训练分为以下关键步骤：（1）数据准备：构建包含43M页面的预训练混合数据集，来源包括PDFA数据集、扫描文档、arXiv论文（通过nvpdftex管道生成像素对齐标注）、公开OCR数据集以及文档区域裁剪。使用Qwen3-VL-235B教师模型对文档页面生成Markdown转录，包含LaTeX数学公式的结构化输出。（2）数据标准化：应用统一的标准化管道，包括文本清理（去除伪Markdown标记）、特殊情况处理（空白页映射为空字符串、整页嵌入图像映射为标准占位符）、循环和重复过滤、LaTeX转换验证（限制在数学范围内、表格标准化为HTML、KaTeX兼容性检查）。（3）预训练：使用Mistral-Small-3.1视觉编码器和Qwen3语言解码器，最大分辨率1540px，应用文档增强（位图损坏、仿射剪切、旋转等，概率0.22），优化下一个token预测目标（仅在assistant token上计算损失），使用AdamW优化器（无权重衰减）、峰值学习率1e-4、余弦学习率调度、全局批量大小384、最大序列长度6144 token。训练在96块NVIDIA H100 GPU上使用bf16精度和FlashAttention-2。（4）检查点平均：对最后5个检查点进行soup操作，获得基础模型LightOnOCR-2-1B-base。（5）RLVR强化：使用GRPO算法从基础检查点开始训练一个epoch，学习率4e-5，KL正则化强度beta=0.01，每个prompt采样28个rollout。OCR变体使用OlmOCR单元测试扩展奖励（惩罚重复循环、奖励数学渲染成功、检查格式一致性）；bbox变体使用IoU-based奖励。（6）任务算术合并：使用alpha=0.4合并RL模型到基础模型获得ocr-soup，再用alpha=0.1将ocr-soup合并到bbox模型获得bbox-soup。
技术新颖性
LightOnOCR-2-1B的技术新颖性体现在多个层面。首先，在数据构建方面，论文引入了基于nvpdftex的arXiv数据策展管道，该工具直接钩入pdfLaTeX引擎，无需启发式匹配即可生成像素级对齐的（图像、标注）对，包括页面渲染、结构化文本目标、语义类别边界框和页面元数据。这解决了此前Nougat风格管道在大规模训练时遇到的转换错误和阅读顺序问题。其次，在边界框预测方面，论文提出了在预训练阶段引入坐标监督的恢复策略，通过在预训练数据混合中加入带有边界框标注的页面，为后续RLVR提供冷启动。这种方法避免了从零开始训练边界框能力导致的OCR质量退化，实现了OCR和定位的联合优化。第三，在RLVR奖励设计方面，论文扩展了OlmOCR-2的单元测试框架，增加了针对科学文档的奖励信号，包括通过KaTeX渲染验证数学公式正确性、通过压缩启发式惩罚重复循环、以及翻转页眉页脚的测试以奖励而非惩罚可见内容的提取。第四，在权重融合方面，论文展示了检查点平均（对最后5个检查点soup）和任务算术合并的组合应用，通过调整alpha参数实现OCR质量和边界框精度之间的显式权衡控制。这种轻量级技术无需额外训练即可获得具有不同特性的模型变体。
实验结果
LightOnOCR-2-1B在OlmOCR-Bench基准测试上取得了83.2 +/- 0.9的最高总分，超越了所有已评估的系统。与规模大得多的端到端模型相比，LightOnOCR-2-1B仅使用1B参数即实现了显著优势：超越Chandra-9B（81.7分，9B参数）1.5个百分点，超越olmOCR-2-8B（80.4分，8B参数）2.8个百分点，超越DeepSeekOCR（73.1分，3B参数）10.1个百分点。在具体类别上，LightOnOCR-2-1B在ArXiv（89.6分）、旧扫描数学文档（85.6分）和表格文档（42.2分）上表现尤为突出。RLVR的效果验证方面，LightOnOCR-2-1B-base（预训练基础模型）得分为81.8分，经过RLVR强化后LightOnOCR-2-1B提升至83.2分，改进1.4个百分点，同时减少了重复循环等常见生成失败。边界框定位方面，LightOnOCR-2-1B-bbox在OlmOCR子集上F1@0.5达到0.78、IoU为0.70、计数准确率83.8%，在arXiv子集上F1@0.5为0.83、IoU为0.77、计数准确率85.0%，均优于9B基线模型Chandra-9B。推理效率方面，LightOnOCR-2-1B在单块NVIDIA H100上达到5.71 pages/sec，分别是olmOCR-2（3.28 pages/sec）的1.7倍和Chandra（1.70 pages/sec）的3.4倍。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OlmOCR-Bench总体评分 | Overall Score | 83.2 +/- 0.9 | Chandra-9B: 81.7 +/- 0.9 | +1.5分，使用仅1/9参数 |
| ArXiv科学文档OCR | ArXiv Score | 89.6 | Chandra-9B: 82.2 | +7.4分 |
| 旧扫描数学文档 | Old Scans Math Score | 85.6 | olmOCR-2-8B: 82.1 | +3.5分 |
| 表格文档OCR | Tables Score | 42.2 | Chandra-9B: 50.4 | -8.2分（相对劣势） |
| 多栏文档OCR | Multi-column Score | 91.4 | Chandra-9B: 92.3 | -0.9分（接近持平） |
| 边界框定位（OlmOCR子集） | F1@0.5 | 0.78 | Chandra-9B: 0.75 | +0.03 |
| 推理吞吐量 | pages/sec | 5.71 | olmOCR-2-8B: 3.28 | 1.74倍提速 |
局限与改进
论文明确指出了两个重要局限性。首先，在多语言支持方面，LightOnOCR-2-1B的训练混合和标准化管道优先处理拉丁文脚本文档，对于非拉丁文脚本（如CJK中文日文韩文或阿拉伯文）的支持不足，这些语言可能表现出降低的保真度或低效的tokenization。从附录A的数据来看，这种情况在模型剪枝后更加明显。其次，在手写文本识别方面，虽然LightOnOCR-2-1B受益于扫描文档的覆盖，但其监督信号主要来源于印刷或排版源，草书或无约束的手写文本不是发布检查点的目标用例。此外，从Table 1的结果来看，LightOnOCR-2-1B在表格文档类别上的得分（42.2分）明显低于Chandra-9B（50.4分），表明在复杂表格结构理解方面仍有提升空间。在页眉页脚处理方面，由于论文翻转了OlmOCR-Bench的评估逻辑（奖励而非惩罚页眉页脚的提取），按照原始基准定义（奖励抑制）评分时会有所下降。从独立观察来看，论文的评估主要集中在英语和法语文档上，对于中文、日文等CJK语言的实际OCR性能缺乏定量评估，这限制了其在亚洲市场的适用性判断。
独立分析的弱点
LightOnOCR-2-1B存在以下几个值得改进的弱点。首先，表格理解能力相对不足：在OlmOCR-Bench的Tables类别上，LightOnOCR-2-1B得分42.2分，明显落后于Chandra-9B的50.4分和olmOCR-2-8B的48.3分。这可能是因为表格结构的复杂性需要更精细的空间推理能力，而当前1B参数的模型容量限制了这方面的能力。改进方向可以考虑引入专门的表格结构编码模块或在预训练数据中增加更多高质量表格标注样本。其次，CJK语言支持缺失：论文的训练混合和标准化管道主要面向拉丁文脚本，对于中文、日文、韩文等CJK语言的OCR性能未知。考虑到这些语言在全球文档处理市场的重要性，增加CJK文档的训练覆盖是一个明确的改进方向。第三，手写文本识别能力有限：当前模型主要在印刷和排版文档上训练，对于手写文档的处理能力不足。可以通过收集和增强手写文档数据集来扩展这一能力。第四，在边界框预测方面，bbox变体的OCR性能相对于纯OCR模型有所下降（80.2 vs 83.2），虽然任务算术合并可以部分恢复（80.8），但仍存在约2.4分的差距。需要探索更好的多任务学习策略来减少能力之间的干扰。
未来方向
论文作者提出了几个有前景的未来研究方向。首先，非拉丁文脚本支持：通过针对性的数据收集和评估来扩展模型对CJK、阿拉伯文等语言的支持，这需要构建大规模的多语言文档OCR数据集并调整标准化管道以处理不同脚本的特殊格式。其次，手写文本识别：通过收集手写文档数据并进行专门训练来提升草书和无约束手写文本的转录质量。基于论文现有的成果，还可以延伸以下方向：（1）扩展边界框预测到更多文档元素：当前仅支持图像元素的定位，可以将此能力扩展到表格、公式、标题等其他结构化元素，实现更全面的文档版面理解；（2）引入更强的视觉编码器：LightOnOCR-2-1B使用Mistral-Small-3.1的视觉编码器，尝试更大的或专门针对文档理解训练的视觉编码器可能带来性能提升；（3）多模态交互能力：当前模型仅支持单向的文档转录，可以探索支持基于文档内容的问答交互，将OCR能力与文档理解对话相结合；（4）表格结构理解：针对表格理解的弱点，可以引入图神经网络或Transformer变体来显式建模表格的行列结构。
复现评估
论文在可复现性方面提供了良好的支持。模型权重方面，LightOnOCR发布在HuggingFace（lightonai/LightOnOCR-2系列），采用Apache 2.0许可，包括多个变体（base、bbox、ocr-soup、bbox-soup）。数据集方面，训练数据混合lightonai/LightOnOCR-mix-0126和边界框数据lightonai/LightOnOCR-bbox-mix-0126均公开发布，但需遵循PDFA源数据的许可条款。评估基准方面，LightOnOCR-bbox-bench公开发布。训练基础设施方面，论文使用96块NVIDIA H100 GPU（80GB显存）进行预训练，使用bf16精度和FlashAttention-2，这对于大多数研究机构来说算力门槛较高。推理方面，单块H100即可运行，吞吐量5.71 pages/sec。论文的训练细节描述充分，包括学习率、批量大小、训练步数等超参数，以及RLVR的具体配置（GRPO算法、KL正则化强度、rollout数量等）。复现难度中等：虽然论文提供了详细的训练配置和公开了数据，但96块H100的训练资源要求较高，且数据准备过程（包括教师模型标注、标准化管道、nvpdftex管道）涉及多个步骤和外部依赖。
论文图表
