OvisOCR3：统一五大 OCR 任务的 0.8B 紧凑视觉语言模型技术报告 OvisOCR3 Technical Report
0.8B 小模型经四阶段训练统一文档解析、通用OCR、KIE等五大任务，多项基准登顶
前置知识
端到端文档解析 VLM
指用一个视觉语言模型直接把页面图像转换为机器可读内容（Markdown/JSON/LaTeX/HTML），不经过版面检测、文字识别、结构恢复等多个独立模块串联。模型以图像为输入，按指令自回归生成文本；所有涉及定位的任务使用统一坐标约定：边界框由左上、右下角点表示，横纵坐标分别按图像宽高归一化为 0–999 的整数。Ovis2.6、PaddleOCR-VL、MinerU2.5 等均属这一范式。
OvisOCR3 本身就是端到端 VLM，全文的实验对比都在端到端模型与专用 OCR 模型/通用大 VLM 之间展开，理解这一范式才能读懂能力划分与评测设定。
Token 级与样本级损失归一化
训练自回归模型时，token 级归一化把整批所有监督 token 的损失求和后除以总 token 数，即 $\mathcal{L}_{\text{token}}(\theta) = -\frac{\sum_{i\in\mathcal{B}}\sum_{t\in\mathcal{S}_i}\log p_\theta(y_{i,t}\mid x_i, y_{i,<t})}{\sum_{i\in\mathcal{B}}|\mathcal{S}_i|}$，长响应天然获得更大权重；样本级归一化先在每个样本内部对 token 求均值、再对样本取平均（$\mathcal{L}_{\text{sample}}$），每条样本权重相同。多任务混合训练时两者会显著改变各任务的实际监督强度。
这是 Stage 2 双分支训练的核心机制：论文实测样本级损失在通用 OCR、KIE 等短响应任务上更优，双分支融合是全文的关键设计之一。
在线策略蒸馏（On-Policy Distillation）
学生模型自己生成响应（on-policy rollout），教师模型在学生生成的每个前缀上给出 token 级分布监督，避免离线蒸馏中师生数据分布不一致的问题。OvisOCR3 采用 top-K 蒸馏实现：把师生分布都在学生 rollout 的 top-K token 支集上重归一化，然后最小化带逐位置上限 $c$ 的反向 KL 散度，$\mathcal{L}_{\text{MOPD}}$ 为响应 token 平均的 $\min(D_{\text{KL}}(\bar{p}_\theta\,\|\,\bar{q}_{d_i}),\, c)$。上限 $c$ 防止个别位置的巨大散度主导梯度。
Stage 3 的多教师在线策略蒸馏（MOPD）是把五个 4B 领域教师的能力压进一个 0.8B 学生的核心机制，不理解蒸馏就无法理解小模型为何能达到专家级表现。
GRPO（组相对策略优化）
一种无需价值网络的 RLHF 类算法：对同一输入采样一组响应，用组内奖励归一化后的相对优势作为策略梯度信号，配合裁剪策略目标更新 token 生成，并用独立的 KL 正则约束策略漂移。组内归一化使不同来源、量纲不同的奖励（编辑距离、TEDS、F1 等）可以在同一优化过程中共存。
Stage 4 的 MixRL 用 GRPO 加领域专属奖励联合优化五个任务，其组内相对优势归一化正是异构奖励能够统一使用的前提。
TEDS 与 CDM 评测指标
TEDS（Tree-Edit-Distance-based Similarity）把预测和参考的 HTML 表格解析为树，用树编辑距离相似度同时衡量表格结构和单元格内容的还原度；TEDS-S 是只看结构不看内容的变体。CDM（Character Detection Matching）把预测的 LaTeX 公式渲染成图像后与参考渲染图做字符级检测匹配，评估数学表达式的视觉正确性。文档解析的文本质量则用归一化编辑距离（1 减去它即文本准确率）。
论文的 RL 奖励设计和几乎所有解析基准报告（TEDS、TEDS-S、CDM、Text Edit）都建立在这几个指标上，不理解它们就读不懂实验表格和奖励设计。
研究动机
实际应用中的 OCR 远不止把图中文字转成文本：用户可能需要整页的结构化解析（带阅读顺序的 JSON 或 Markdown）、按指定 schema 抽取字段（KIE）、描述文档中承载正文之外信息的插图、以及把分布在连续多页上的表格片段恢复成完整结构。前作 OvisOCR2 已经证明 0.8B 端到端模型能在文档解析这一单项上做到领先，但把这套做法直接扩展到多任务并非堆数据那么简单。第一，不同任务的响应长度差异巨大：整页重建可能包含数千 token，而一次字段抽取只需几个词，论文给出具体数据——即使在刻意均衡了样本数的 Stage 2 中，通用 OCR 占 22.8% 的样本却只贡献 5.2% 的监督 token，KIE 占 16.1% 的样本仅贡献 2.5% 的 token，长响应任务（文档解析、插图描述、跨页表格）天然垄断基于 token 平均损失的梯度。第二，准确的文字转录、有信息量的插图描述、正确的跨页表格关联需要完全不同形式的监督与反馈信号。而现有专用 OCR 模型大多一个模型只做一个任务（或靠多模型流水线），通用 VLM 又动辄数十上百亿参数，部署昂贵。
本文的目标是本文的目标是训练一个 0.8B 参数的单一模型 OvisOCR3，统一覆盖五大家族任务：文档解析（相比 OvisOCR2 新增结构化 JSON 解析和文档版面检测）、通用 OCR（识别、定位、翻译、图表解析、VQA 等 10 种接口）、关键信息抽取（开放式、指定字段、schema 引导三种模式）、文档插图描述（定位加英文描述，流程图输出 Mermaid）、跨页表格重建（续表判定加 HTML 重建），并在公开与内部基准上达到或超过专用模型和通用大 VLM 的水平。可量化的目标包括：OmniDocBench v1.6 Overall 达到 96.74、OCRBench v2 英文 65.9 与中文 61.3 双榜第一、四个 KIE 基准全部第一、CrossTabBench Relation F1 97.07；同时推理时只需部署这一个 0.8B 模型，五个教师模型仅在训练期使用，保持与 OvisOCR2 相当的部署成本。
与已有工作不同的是，本文的独特切入角度是把「多任务统一」明确建模为监督信号平衡问题，而不是简单的数据配比问题。已有紧凑 OCR 模型（PaddleOCR-VL、GLM-OCR、MinerU2.5、HunyuanOCR 等）多聚焦文档解析单一任务，或采用版面模型加识别模型的多阶段流水线；通用 VLM 则用参数量换任务覆盖。OvisOCR3 的差异化路线有三步：其一，显式用 token 级与样本级两种损失归一化并行训练双分支、末端融合权重，直接纠正长响应对梯度的垄断——「样本均衡不等于监督均衡」这一观察被作者用 22.8%/5.2%、16.1%/2.5% 的数据量化，是少有人系统处理的盲点；其二，训练五个领域专属的 4B 教师，通过多教师在线策略蒸馏（MOPD）按样本所属领域各取所长地注入共享学生，规避多任务直接混训的相互干扰；其三，MixRL 为每个领域定制奖励（TEDS、CDM、字段匹配、关系 F1 等），让「每个任务什么叫正确」的定义在联合优化中被完整保留。
核心方法
直觉上，这像把一位全科医生培养出来：先修通识课（继续预训练打五域共同底座），再调整课表让每门课的课时和权重均衡（领域均衡中期训练），然后请五位专科老师各自带教（多教师蒸馏），最后用五套评分标准同时考核并针对性补弱（混合任务 RL）。技术路线：模型从 Qwen3.5-0.8B 初始化，视觉编码器、多模态连接器与语言模型全程联合更新，是单一自回归模型，靠任务指令区分输出形式。Stage 1 用约 7200 万真实加合成样本继续预训练，文档解析约占采样预算 57%、通用 OCR 约 29%，其余三家分摊剩余部分；Stage 2 用约 880 万重平衡样本（每域约 16–23%）并行训练 token 级与样本级两个损失分支，阶段末融合权重；Stage 3 用五个分别在各自领域做过 SFT 加 RL 的 Qwen3.5-4B 教师，通过 top-K 反向 KL 在线蒸馏把专家能力转入 0.8B 学生；Stage 4 用 GRPO 加五套领域奖励做 MixRL 联合精调。教师只在训练期存在，推理只保留这一个共享模型。
核心创新在于回答「如何让一个小模型同时吸收五种异构监督」。第一，领域均衡中期训练把任务均衡从样本层面推进到 token 层面：同时训练 token 级归一化（长响应权重高）与样本级归一化（样本等权，实测对通用 OCR、KIE 等短响应任务更优）两个分支，末端融合权重，兼顾两类任务——这是对「样本均衡不等于监督均衡」这一盲点的直接解法。第二，多教师在线策略蒸馏（MOPD）：每个样本只由其所属领域的 4B 教师在学生自生成前缀上提供 token 级监督，共享学生同时接收五路专家信号而互不稀释；对比策略梯度与 top-K 蒸馏两种实现后采用后者——在学生 rollout 的 top-K token 支集上对齐师生分布、最小化带上限 $c$ 的反向 KL，作者推测对多候选的相对偏好帮助小容量学生吸收协同的文本与结构生成知识。第三，MixRL 用 GRPO 让异构奖励共存，跨页表格还设计「关系优先」奖励：只有组内候选全部答对跨页关系才计 TEDS，否则奖励只反映关系正确性，把任务结构依赖显式编码进 RL 信号。
方法步骤详情
Stage 1（继续预训练）：输入约 7200 万真实与合成样本（文档解析约 57%、通用 OCR 约 29%，其余三域分摊约 14%），保留各任务指令与目标表示，在监督响应 token 上做下一 token 预测（token 级平均损失），序列打包提高利用率；输出五域共同底座。Stage 2（领域均衡中期训练）：输入约 880 万重平衡样本（各域 16–23%，含多语种拍摄页、空字段抽取、跨页硬负例等难例），并行训练两个分支——分别按式 1 的 token 级损失与式 2 的样本级损失更新（打包下样本级仍按原样本边界归一化），阶段末融合两分支权重作为后训练初始化。Stage 3（MOPD）：先为每域训练一个 Qwen3.5-4B 教师（域内 SFT 加 RL）；学生从融合权重初始化，对输入 $x_i$ 自 rollout 出 $y_i$，仅由对应域教师 $q_{d_i}$ 在学生前缀上提供分布监督，按式 3 最小化带 cap 的响应 token 平均反向 KL（top-K 实现）。Stage 4（MixRL）：GRPO 联合优化，组内归一化优势经裁剪目标指导生成，KL 正则防漂移；奖励按域定制——解析用编辑距离+表格 TEDS+公式 CDM，OCR 按子任务用编辑相似度/精确匹配/IoU 等，KIE 用字段值匹配加路径覆盖并惩罚误填漏抽，插图描述用 F1+几何 IoU，跨页表格用关系 F1 或关系优先门控 TEDS。
技术新颖性
与已有工作的具体区别：（1）相对前作 OvisOCR2（仅 Markdown 解析、单域 OPD），OvisOCR3 扩展到五域、新增结构化解析与版面检测、教师从单一扩展到五个，且 MDPBench 上拉丁/非拉丁差距从 23.7 收窄到 1.5 分证明多语种能力来自刻意的数据与损失设计而非模型变大；（2）相对 PaddleOCR-VL、MinerU2.5 等依赖版面检测加识别流水线或专家路由的方案，OvisOCR3 坚持 0.8B 单模型覆盖全任务，推理路径无额外组件；（3）双分支损失归一化再融合是对多任务 OCR 数据长度长尾的新解法，作者用 22.8%/5.2%、16.1%/2.5% 的量化数据支撑动机，这类分析在同类技术报告中少见；（4）top-K 反向 KL 蒸馏继承自 OPD 文献，但与「域内专属教师、共享学生」的多教师结构结合，并实证 top-K 优于策略梯度实现，是本报告的实证贡献；（5）MixRL 的关系优先奖励把「先判对关系才谈得上重建好」的任务结构编码进奖励，区别于对各指标简单加权平均的做法。
实验结果
文档解析：OmniDocBench v1.6（1651 页）Overall 96.74，超 OvisOCR2（96.58）与 PaddleOCR-VL-1.6（96.34），略低于 Xiaomi-OCR-0（96.83），但表格 TEDS 95.16、TEDS-S 97.46 全场第一，五项单项指标均列前二。鲁棒性：PureDocBench（4425 图）Overall 82.31 全场最高，超 Qwen3.8-Max 1.75 分，Clean→Real 掉分仅 7.84（OvisOCR2 掉 15.04）；Real5-OmniDocBench（6775 图）93.63 第一，五条件极差仅 0.90。多语种：MDPBench 88.8 第一，超 Gemini 3 Pro 与 Qwen3.8-Max 2.4 分，拉丁/非拉丁差距从 OvisOCR2 的 23.7 收窄到 1.5。通用 OCR：OCRBench 88.8 第一（文本识别 94.7、文档 VQA 90.0、手写公式 76.0）；OCRBench v2 英文 65.9、中文 61.3 双第一，英文超 Qwen3.5-4B 11.8 分而参数仅 1/5，但英文数学计算仅 34.6。KIE：四基准全第一——90.50（+9.50）、83.01（+8.35）、CC-OCR 88.69（+0.26）、内部 KIE Bench 77.73（+1.77）。插图描述：DocFigCapBench 定位 F1 90.97 全场最高（超 Qwen3.8-Max 4.30），Caption Score 6.93 仅次于其 7.30。跨页表格：CrossTabBench Relation F1 97.07（超 Qwen3.8-Max 2.60），Reconstruction TEDS 89.66（低于 Qwen3.8-Max 的 91.71 但远超专用解析器的 24–41），MPDocBench-Parse 截断表 TEDS 92.04 第一。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文档解析 | OmniDocBench v1.6 Overall | 96.74 | Xiaomi-OCR-0 96.83 / OvisOCR2 96.58 | 较 OvisOCR2 +0.16；表格 TEDS 95.16、TEDS-S 97.46 全场第一 |
| 抗图像退化解析 | PureDocBench Overall | 82.31 | Qwen3.8-Max 80.56 / WeVisDoc-4B 75.57 | +1.75；Clean→Real 掉分 7.84（OvisOCR2 为 15.04） |
| 真实采集条件解析 | Real5-OmniDocBench Overall | 93.63 | PaddleOCR-VL-1.6 93.19 / GLM-5.3-Flash 90.76 | +0.44；五条件最大分差仅 0.90 |
| 多语种文档解析 | MDPBench Overall | 88.8 | Gemini 3 Pro / Qwen3.8-Max 86.4 | +2.4；拉丁/非拉丁差距 23.7→1.5 |
| 通用 OCR | OCRBench | 88.8 | HunyuanOCR-1.5 86.1 / Xiaomi-OCR-0 84.6 | +2.7 |
| 通用 OCR（英文） | OCRBench v2 English | 65.9 | Qwen3.5-4B 54.1 | +11.8（参数仅 1/5） |
| 通用 OCR（中文） | OCRBench v2 Chinese | 61.3 | Qwen3.5-4B 61.0 / HunyuanOCR-1.5 57.7 | +0.3 |
| 关键信息抽取 | OCRBench KIE | 90.50 | HunyuanOCR-1.5 81.00 | +9.50 |
| 关键信息抽取 | OCRBench v2 KIE | 83.01 | Xiaomi-OCR-0 74.66 | +8.35 |
| 关键信息抽取 | CC-OCR KIE（schema 式） | 88.69 | Qwen3.5-OCR 88.43 | +0.26 |
| 文档插图定位与描述 | DocFigCapBench Localization F1 | 90.97 | Qwen3.8-Max 86.67 / PaddleOCR-VL-1.6 85.32 | +4.30（专用模型中 +5.65） |
| 文档插图描述 | DocFigCapBench Caption Score | 6.93 | Qwen3.8-Max 7.30 | -0.37（专用模型中领先 +2.19） |
| 跨页表格续表判定 | CrossTabBench Relation F1 | 97.07（P 96.20 / R 97.96） | Qwen3.8-Max 94.47 / MinerU2.5-Pro 59.14 | +2.60 |
| 跨页表格重建 | MPDocBench-Parse 截断表 TEDS | 92.04 | MinerU2.5-Pro+PoPo 91.87 / Qwen3.8-Max 89.57 | +0.17 |
局限与改进
从数据可见的局限：一是数学与推理类任务明显偏弱——OCRBench v2 英文数学计算仅 34.6、中文知识推理 40.4、手写数学表达式 76.0，0.8B 容量在符号推理上是硬瓶颈；二是插图描述语义质量未追平通用大模型，Caption Score 6.93 落后 Qwen3.8-Max 的 7.30；三是 OmniDocBench Overall 略逊于 Xiaomi-OCR-0（96.74 vs 96.83），文本编辑距离 0.0261 也不及 OvisOCR2 的 0.0250，多任务统一存在单项权衡。我的独立观察：其一，DocFigCapBench、CrossTabBench、内部 KIE Bench 三个基准为作者自建自评，Caption Score 还由对比基线 Qwen3.8-Max 打分，存在利益关联，外部可信度待第三方复核；其二，部分基线分数取自官方榜单或模型卡而非统一本地复评（仅 † 标注本地评测），跨来源可比性存疑；其三，未报告推理吞吐、延迟与显存数据，0.8B 的部署优势缺乏量化支撑；其四，训练依赖五个 4B 教师加四阶段流程，总成本不低但未披露算力开销。
独立分析的弱点
第一，符号与数值推理薄弱：OCRBench v2 英文数学计算 34.6、中文知识推理 40.4，0.8B 学生在蒸馏中只模仿教师分布、缺乏真正的推理链训练；改进方向是在蒸馏或 RL 中引入思维链数据与工具调用（计算器/解释器）奖励。第二，图描述质量受制于裁判模型：Caption Score 由 Qwen3.8-Max 打分，学生上限被教师与裁判双重封顶；可改用基于事实抽取（对象/属性三元组覆盖率）的可验证奖励。第三，跨页重建误差传播：递归流程每步依赖上一页重渲染的 Markdown，首阶段解析错误沿链累积，成对贪心合并缺少全局一致性；可改为序列级关系联合预测或图上全局解码。第四，自建基准公信力不足：CrossTabBench 仅 890 页对、DocFigCapBench 仅 182 页，协议自定；应公开标注与评测代码、接受第三方复测。第五，缺效率数据：0.8B 卖点是部署便宜，却无吞吐/延迟/显存对比，业务选型缺依据。第六，小语种覆盖不明：MDPBench 17 个语种未分语种披露，非拉丁语内部差异被均值掩盖。
未来方向
作者方向（从结论与框架推断）：继续沿「统一多任务紧凑 OCR 模型」路线扩展任务家族（如完整文档级多页解析、公式密集文档、印章与手写混排），深化教师数量与奖励设计。可延伸的研究方向：（1）把 MOPD 推广为教师动态加权，按学生在各域的薄弱程度自适应分配蒸馏预算，而非每个样本固定由其域教师监督；（2）双分支损失融合可推广到多套归一化方案的凸组合，或用不确定性加权自动学习各域损失权重；（3）跨页表格可从成对递归改为基于图的关系预测加全局一致性解码，消除误差累积；（4）数学弱项可结合程序化思维奖励（生成可执行计算表达式并用结果对答案）做 RL；（5）把 OvisOCR3 用作数据引擎，为 agent 的文档读取、历史档案数字化等场景自动标注与蒸馏更小模型；（6）探索事实一致性奖励以缩小插图描述与通用大模型的语义差距，并公开自建基准推动社区共建 OCR 多任务评测体系。
复现评估
推理复现门槛低：模型权重已在 HuggingFace 开源（ATH-MaaS/OvisOCR3），0.8B 参数量单张消费级 GPU 即可部署，坐标与提示词协议在论文中完整给出（24 类区域类别、0–999 归一化、各任务的 prompt 全文都附在正文），落地友好。但训练复现难度很高：其一，训练数据（Stage 1 约 7200 万、Stage 2 约 880 万样本）与合成数据管线未公开；其二，需先训练五个 Qwen3.5-4B 教师（各含域内 SFT 与 RL），再执行四阶段学生训练，估算需要多卡集群数周量级，论文未披露 GPU 时数与成本；其三，MixRL 奖励实现细节多（TEDS、CDM、字段匹配、关系优先门控、IoU 匹配惩罚），依赖第三方评测库的正确复刻；其四，DocFigCapBench、CrossTabBench、内部 KIE Bench 三个基准未开源，相关指标无法独立验证。总体判断：适合拿权重做推理、二次微调或蒸馏的团队；想完整复现训练流程的团队需自备数据与可观算力，建议参考其四阶段配方在自有领域数据上训练领域教师再蒸馏。
论文图表