OvisOCR2 技术报告：0.8B 端到端文档解析模型 OvisOCR2 Technical Report
0.8B端到端文档解析模型，靠数据引擎+多组件RL奖励+策略蒸馏刷新多项OCR榜单
前置知识
文档解析（Document Parsing）
把视觉丰富的文档页面图像转换为结构化、机器可读表示的任务，通常用 Markdown 作为目标格式，以便被下游检索、问答、RAG 等应用索引。它超越普通 OCR：不仅要保留文本内容，还要保留页面组织、阅读顺序、表格、公式、插图、页眉页脚等版面相关元素。本文研究的是页面级 image-to-Markdown 设定，即模型输入一张文档页面图像，一次性输出整页统一的 Markdown 表示。
理解文档解析与普通 OCR 的区别（结构化 vs 纯文本）、以及 pipeline 与 end-to-end 两条技术路线的差异，是把握本文动机和贡献的前提。
流水线 vs 端到端方法（Pipeline vs End-to-end）
Pipeline 方法把页面分解为版面分析、区域内容识别、页面级合并三个阶段，通常用不同模型分别部署，在 OmniDocBench v1.6 等榜单上长期占前三（PaddleOCR-VL-1.6、MinerU2.5-Pro、GLM-OCR）。它的部署复杂、误差会跨阶段累积（表格边界漏检、公式裁剪不准、阅读顺序错误无法被下游纠正）。End-to-end 方法用单一模型一次性读图生成 Markdown，部署简单且能利用页面级上下文，但此前在性能上始终落后于 pipeline。本文目标是让端到端首次登顶。
本文的全部动机都建立在『端到端更优雅但落后』这一矛盾上，理解两条路线的优劣才能看懂作者为何投入大量工程去追赶并超越流水线。
GRPO（Group Relative Policy Optimization）
一种强化学习算法，对每个 prompt 从当前策略采样多个响应，用组相对优势计算梯度，无需额外训练价值模型。损失大致形式为对组内奖励做归一化后的策略梯度，配合 KL 正则约束策略漂移。本文用它做文档解析 RL，因为响应长、结构化、可由文本/公式/表格分析器验证，天然适合『在多个输出中偏好更好的候选』。
RL 阶段是 4B 教师分支吸收奖励信号的核心，奖励函数 $R(y,y^*)$ 的多组件设计与 GRPO 的组相对性质直接决定了 OvisOCR2 的表格/公式质量提升。
On-Policy 蒸馏（On-Policy Distillation, OPD）
知识蒸馏的一种：学生模型用自身当前策略采样完整轨迹，教师模型仅在这些学生访问的状态上提供 token 级分布监督，因此训练分布始终与学生一致（on-policy）。本文用学生 top-k 反向 KL，损失为 $\mathcal{L}_{\text{OPD}}=\frac{1}{|I|}\sum_{t\in I} D_{\mathrm{KL}}(\bar p_t \| \bar q_t)$，其中支撑集 $S_t=\mathrm{TopK}_k(\pi_\theta(\cdot|c_t))$ 由学生分布决定，教师只在 $S_t$ 上返回 log 概率。反向 KL 赋予模式寻求行为。
两分支训练的核心：直接对 0.8B 做 RL 会 KL 漂移大、表格质量下降，作者改用 4B 教师做 RL 再 OPD 迁移到 0.8B，理解 OPD 才能看懂为何小模型能稳健获得奖励对齐行为。
评测指标 CDM / TEDS / TEDS-S / 归一化编辑距离
CDM（Character Detection Matching）是图像级公式解析指标，把预测与真值公式分别渲染成图再比对；TEDS（Tree-Edit-Distance-based Similarity）基于树编辑距离衡量表格内容与拓扑相似度，TEDS-S 是其结构变体；归一化编辑距离衡量文本转录错误；阅读顺序用块序列的编辑距离衡量。OmniDocBench v1.6 总分由文本分、公式 CDM、表格 TEDS 平均得到。本文 RL 奖励把这三类组件分别归一化到 $[0,1]$。
全文所有数字（96.58、97.53、94.76 等）都建立在这些指标上，读表格时必须先理解 CDM/TEDS 才能判断提升幅度与意义。
研究动机
文档解析需要把视觉丰富的文档页面图像转换为结构化、机器可读的 Markdown 表示，同时保留文本内容、阅读顺序、表格、公式、插图、页眉页脚等版面相关元素。当前主流方法分为两类：流水线方法（pipeline）把页面分解为版面分析、区域内容识别、页面级合并三个阶段，在 OmniDocBench v1.6 等主流榜单上长期占据前三名（如 PaddleOCR-VL-1.6、MinerU2.5-Pro、GLM-OCR）。但流水线方法存在两大问题：一是部署复杂，版面解析与内容识别常作为独立模型分别加载，运行时开销不一；二是误差跨阶段累积，表格边界漏检、公式裁剪不准、阅读顺序指派错误等无法被下游识别器完全纠正。端到端方法（end-to-end）用单一模型一次性读图生成 Markdown，部署简单且能在生成过程中持续利用页面级上下文，但已有端到端方法在解析性能上始终落后于流水线方法，难以登顶主流榜单。
本文的目标是本文的具体目标是构建一个紧凑的端到端文档解析模型：用单一一次前向就把文档页面图像转换为覆盖文本、公式、表格与视觉区域的 Markdown 表示，并以最小的部署开销在主流公开榜单上超越当前领先的流水线方法。具体而言，作者基于 Qwen3.5 家族中最小的 0.8B 模型进行后训练，既要保证页面级输出的高保真（文本转录准确、公式可渲染、表格结构正确、阅读顺序连贯），又要让端到端范式首次登顶此前由流水线方法主导的 OmniDocBench v1.6 榜单，并在自建的覆盖真实工作流异质性的千页级内部基准上验证泛化性与鲁棒性，从而证明端到端文档解析的潜力。
与已有工作不同的是，本文的独特切入角度是把『数据工程』和『训练配方』同时作为系统级设计目标，而不只改模型架构。作者指出：用紧凑骨干做到 SOTA，既需要精心设计的数据引擎，也需要适合长输出的训练配方。数据上，他们用真实文档管线（OCR 解析器 + 规则归一化 + 子集级人工抽检）与合成数据管线（同一 HTML 同时渲染图像与 Markdown 真值，从根本上避免解析噪声）互补，扩展长尾覆盖。训练上采用两分支设计——4B 分支先做 GRPO 强化学习稳定吸收奖励信号，再通过 on-policy 蒸馏把奖励对齐的解析偏好迁移到 0.8B 学生，最后模型融合，从而解决直接对小模型做 RL 时 KL 漂移大、表格质量不稳定的问题。这套组合让端到端首次超过流水线。
核心方法
OvisOCR2 的整体思路是『以数据为根基、以训练配方为放大器』来训练紧凑的端到端解析器。直觉上：先把 Qwen3.5-0.8B 视为一个能读图写 Markdown 的通用策略，用真实+合成混合数据做监督微调建立基础策略；然后用奖励驱动的强化学习在结构化、长输出场景上进一步打磨，但 RL 只在容量更大的 4B 教师分支上做（小模型直接做 RL 不稳定）；再通过 on-policy 蒸馏把教师的解析偏好注入 0.8B 学生；最后对多个候选变体做加权参数平均得到最终模型。技术路线上，奖励不退化为单一文本相似度，而是由文本（$1-$归一化编辑距离）、公式（CDM 渲染匹配）、表格（TEDS）三类组件按页面中实际存在的组件可用性指示加权平均，公式为 $R(y,y^*)=\frac{\sum_{c\in C} a_c(y^*) s_c(y,y^*)}{\sum_{c\in C} a_c(y^*)}$，其中 $C=\{\text{text, table, formula}\}$，所有 SFT 使用 16K 最大序列长度与动态图像分辨率预算。
核心创新点是把『端到端文档解析超越流水线』这一历史难题分解为三个互相支撑的工程创新，而非单一算法突破。与已有方法的本质区别在于：第一，合成数据遵循『单一真值来源』原则——图像和 Markdown 真值都从同一份 HTML 派生，彻底消除合成标签中的解析噪声，让长尾困难样本（表格拓扑、公式与文本密集交错、极端多栏、长输出）获得干净监督；第二，奖励是『多组件结构感知』的，针对表格、公式这类结构性错误用 TEDS、CDM 等可程序化验证的指标而非 token 级模仿来衡量，因为这些错误在 token 损失中表达很弱；第三，两分支训练把『RL 不稳定』与『小模型部署』解耦——4B 教师吸收高方差奖励，0.8B 学生通过 top-k 反向 KL 蒸馏 $\mathcal{L}_{\text{OPD}}=\frac{1}{|I|}\sum_{t\in I} D_{\mathrm{KL}}(\bar p_t \| \bar q_t)$ 稳健迁移，从而以 0.8B 体量登顶榜单。
方法步骤详情
方法分两大模块。模块一数据引擎两条互补管线：(1) 真实数据管线用 PaddleOCR-VL-1.5 或 MinerU2.5-Pro 解析图像为结构化 JSON，按来源规则归一化为统一 Markdown（严格类别校验、文本块合并与标题层级推断、公式分隔符 $…$/$$…$$ 统一、表格 HTML 校验、视觉区域归一化为 标签），再经规则预过滤与子集级人工抽检（文本/公式/表格/视觉区域/阅读顺序）取舍；(2) 合成数据管线把困难样本（表格密集、不规则结构、手写、复杂阅读顺序）用多模态模型转为 HTML 模板，再由 agent 受约束多样化，从同一 HTML 既生成 Markdown 真值又用 Playwright 渲染图像，最后抽检放行。模块二训练分两分支：教师分支 4B SFT(20% epoch) → 4B GRPO RL(合成数据为主、on-policy 过滤、多组件奖励、分级并行奖励计算、object-store 引用传递大张量、common-prefix mask 优化长响应)；学生分支 0.8B SFT(2 epoch) → on-policy 蒸馏(学生采样完整响应，教师只在学生 top-k 支撑 $S_t=\mathrm{TopK}_k(\pi_\theta(\cdot|c_t))$ 上返回 log 概率，反向 KL) → 多变体加权参数平均得 OvisOCR2。SFT 均用 16K 序列长度与动态图像分辨率预算。
技术新颖性
技术新颖性体现在三处。其一，合成数据的单一真值来源设计：传统合成 OCR 数据往往先渲染图像再用解析器反推标签，标签本身带解析噪声；本文让图像与 Markdown 共享同一 HTML 源，使监督标签确定性且干净，并通过 agent 化、模板化的多样化把『一类失败模式』扩成『一族合成样本』而非过拟合单页。其二，多组件结构感知奖励 + GRPO：把文档解析质量拆为文本/公式/表格三类组件，用 CDM（图像级公式匹配）、TEDS（树编辑距离表格相似度）等结构可验证指标，按可用性指示加权，避免了单一文本相似度无法识别『文本几乎对但表格拓扑错』的结构性错误；并配以归一化精确匹配短路、超时回退等可扩展工程。其三，学生 top-k 反向 KL 蒸馏：把全词表蒸馏的张量规模从 $O(TV)$ 降到 $O(Tk)$，且反向 KL 方向赋予模式寻求行为，使学生不盲目分散概率到教师分布，而是抑制教师低概率 token。这套组合让 0.8B 端到端模型首次超越 0.9B~1.2B 流水线方法登顶 OmniDocBench v1.6。
实验结果
核心发现：OmniDocBench v1.6(1651 页、10 类文档)上，OvisOCR2 以 0.8B 取 96.58 总分刷新 SOTA，超越流水线 PaddleOCR-VL-1.6(96.33)、MinerU2.5-Pro(95.75)、GLM-OCR(95.22)，比最佳端到端 HunyuanOCR-1.5(94.74) 提升 1.84；各子项均最佳——文本编辑 0.025、公式 CDM 97.53、表格 TEDS 94.76(并列最高)、TEDS-S 97.16、阅读顺序编辑 0.111。PureDocBench 上 Avg3 75.06 居首，Clean 81.55、Digital 77.09 第一，但 Real 66.56 低于 Gemini-3.1-Pro(71.98)等大型通用 VLM。自建 1000+ 页内部基准总分 85.54，领先 PaddleOCR-VL-1.6(82.88)与 GLM-OCR(82.80)，且易/中/难三档全领先；手写子集 72.28、复杂表格子集 83.97 均最佳，复杂表格缺失率仅 0.0796(流水线 13%–17%)，证明端到端可避免版面阶段漏检表格这一不可恢复错误。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OmniDocBench v1.6 整体解析 | Overall | 96.58 (0.8B) | 最佳流水线 PaddleOCR-VL-1.6 96.33；最佳端到端 HunyuanOCR-1.5 94.74 | 超最佳流水线 +0.25，超最佳端到端 +1.84，登顶榜单 |
| OmniDocBench 公式识别 | Formula CDM | 97.53 | MinerU2.5-Pro 97.45 / GLM-OCR 97.18 | 全场最高 |
| OmniDocBench 表格还原 | Table TEDS-S | 97.16 | PaddleOCR-VL-1.6 97.11 | 全场最高 |
| PureDocBench 综合鲁棒性 | Avg3 (Clean/Digital/Real 均值) | 75.06 | FD-RL 73.92 / Logics-Parsing-v2 72.61 | +1.14 居首，Clean/Digital 单轨均第一 |
| 内部基准复杂表格缺失率 | Missing Rate (越低越好) | 0.0796 | 流水线方法 0.1327–0.1726 | 大幅降低约一半，避免版面阶段漏检 |
局限与改进
作者明确承认两点局限。第一，对退化真实图像的鲁棒性不足：在 PureDocBench 的 Real 轨（手机翻拍、影印件、屏幕摄影、压缩截图）上 OvisOCR2 得分 66.56，仍低于 Gemini-3.1-Pro（71.98）和 Qwen3.5-122B-A10B（69.85）等大型通用 VLM，说明在退化、噪声大的真实图像上与大体量模型仍有差距，这也是作者指出的未来重点方向。第二，手写密集与复杂表格场景仍需加强：在手写子集上，虽然 OvisOCR2 总分 72.28 第一、文本编辑距离最低、公式 CDM 最高，但表格 TEDS（50.95）不及 GLM-OCR（57.31）。我的额外观察：作者未披露数据规模、训练算力与超参细节（仅提 16K 序列长度、0.8B 训练 2 epoch、4B 训练 20% epoch），且模型融合的权重选择缺乏消融；合成数据依赖多模态模型生成 HTML 模板与 agent 扩写，质量上限受底层模型制约，可能存在风格偏置。
独立分析的弱点
独立分析几点弱点及改进方向。其一，真实图像鲁棒性是最大短板：Real 轨落后通用大 VLM 约 5 分，改进方向是引入更强的退化/噪声增强（扫描畸变、压缩伪影、屏幕摩尔纹）训练，或在真实数据管线中加入更多翻拍/影印样本做难例挖掘。其二，手写场景的表格还原偏弱（TEDS 50.95 vs GLM-OCR 57.31），可针对性扩充手写表格合成模板并提高表格奖励权重。其三，奖励组件只覆盖文本/公式/表格三类，未显式建模阅读顺序（RO Edit 仅作为评测指标而非奖励项），可考虑把阅读顺序编辑距离纳入 GRPO 奖励以直接优化该维度。其四，方法依赖大规模高质量合成数据与 4B 教师分支，对算力有限的复现者门槛高，且合成数据的内容池是领域随机化的，跨域（如医疗、法律专用表单）泛化未充分验证。其五，两分支训练增加工程复杂度，是否可用单一 0.8B 直接 RL + 更强奖励整形替代 OPD 仍待探索。
未来方向
作者提出的未来方向集中在两条线：一是提升对退化真实图像的鲁棒性，缩小与大型通用 VLM 在 PureDocBench Real 轨上的差距；二是进一步加强手写密集和复杂表格场景的解析能力。基于本文成果可延伸的研究方向包括：把阅读顺序显式纳入多组件奖励以端到端优化 RO 指标；将『单一真值来源』合成管线推广到更多模态（PDF 表单、票据、幻灯片）与跨语言场景；探索更轻量的蒸馏替代（如直接对 0.8B 做 reward shaping 良好的 GRPO，省去 4B 教师）；把文档解析与下游检索/RAG/版面问答联合训练，让 Markdown 输出直接服务于下游任务指标；以及将 on-policy 蒸馏的 top-k 反向 KL 框架推广到其他长输出结构化生成任务（代码、HTML、化学分子式）。
复现评估
复现评估中等偏上。模型权重已在 HuggingFace 公开（ATH-MaaS/OvisOCR2），评测基准 OmniDocBench v1.6、PureDocBench 均为公开数据集，指标定义（CDM、TEDS、TEDS-S、归一化编辑距离）清晰可复现，多数对比方法分数来自公开榜单或技术报告。但复现完整训练流程较困难：论文未披露训练数据的具体规模与配比、合成数据的 HTML 模板与 agent 提示、GRPO 的具体超参（采样数、学习率、KL 系数）、4B RL 与 OPD 的算力消耗与硬件配置，仅给出 0.8B SFT 训练 2 个 epoch、4B SFT 训练 20% epoch、最大序列长度 16K 等少量信息。数据引擎涉及的 PaddleOCR-VL-1.5、MinerU2.5-Pro、多模态模板生成器、Playwright 渲染等组件均需独立搭建。整体而言，复现『推理+评测』可行，复现『完整训练』需要相当的工程与算力投入。
论文图表