← 返回 2026-04-28

TexOCR:面向可编译页面到 LaTeX 重建的文档 OCR 模型 TexOCR: Advancing Document OCR Models for Compilable Page-to-LaTeX Reconstruction

Chengye Wang, Lin Fu, Zexi Kuang, Yilun Zhao 📅 2026-04-24 👍 10 2026-07-13 08:36
LaTeX 重建 RLVR 多模态大模型 强化学习 文档 OCR 科学文档理解 页面级重建

提出 TEXOCR-Bench 基准与 2B 模型 TEXOCR,用 SFT+RLVR 把 PDF 页面恢复成可编译、结构一致的 LaTeX 源码。

前置知识

多模态大语言模型 (MLLM)

能够同时接收图像和文本输入并联合推理的大语言模型,典型架构是视觉编码器 + 投影层 + 语言模型解码器。代表性工作如 Qwen3-VL、GPT-5、InternVL3 等,可以直接对图像生成结构化文本,近年成为文档 OCR 的主流方案。

本文的 TEXOCR 是基于 Qwen3-VL-2B 继续微调的 MLLM,且基准对比的 21 个模型几乎全部是 MLLM,理解其视觉-语言对齐机制是看懂训练和评测的前提。

监督微调 (SFT)

在预训练好的模型上,使用高质量的 (输入, 输出) 配对数据进行下一词预测的监督学习,目标是让模型学会模仿特定任务的输出分布。损失函数为 $\mathcal{L}_{SFT} = -\mathbb{E}_{(x,y)\sim\mathcal{D}}\sum_{t=1}^{|y|}\log\pi_\theta(y_t\mid x,p,y_{<t})$,通过全参数或 LoRA 更新权重。

TEXOCR 的第一阶段就是 SFT,在 404K 页面-源码对上训练 1 个 epoch,学习率 $1\!\times\!10^{-5}$,这是后续 RLVR 优化的起点,也是大多数 OCR 模型的标准做法。

RLVR (RL with Verifiable Rewards)

用可被确定性规则验证的二元奖励(通过/不通过)替代偏好学习的 RL 范式,典型算法是 GRPO:对每个 prompt 采样 $K$ 个回答,奖励归一化后用组内相对优势更新策略 $\max_\theta \mathbb{E}_x[\frac{1}{K}\sum_k \hat A^{(k)}\log\pi_\theta(y^{(k)}\mid x,p)]-\beta\mathbb{E}_x[\mathrm{KL}(\pi_\theta\Vert\pi_{\mathrm{ref}})]$。

这是 TEXOCR 第二阶段的关键技术,把 LaTeX 编译、单位测试等变成二元奖励,直接优化『能否编译』『引用能否解析』等结构性指标,是相对 SFT 的核心改进。

LaTeX 编译与文档不变量

LaTeX 项目依赖大量全局约束:大括号成对、环境正确闭合、\cite/\ref 的 label 必须存在、float(图/表)放置需与正文一致、交叉引用计数正确。违反任一约束都会让 .tex 文件无法编译或静默错乱。

本文的核心论点是:在 Markdown/纯文本 OCR 任务中能容忍的小错(漏一个 $、错一个 label)在 LaTeX 重建里就是『整篇不能编译』,因此把编译性作为最终可用性指标是合理且必要的。

研究动机

现有的文档 OCR 系统——包括 READoc、OmniDocBench、olmOCR-Bench 等——以及大多数多模态大模型(MLLM)在做 PDF 重建时,主要输出线性化的纯文本或 Markdown,即便生成 LaTeX 也往往局限于数学公式、表格等局部片段。这类方案有一个根本盲区:它们只能保证『字符级转写准确』,却无法保证生成的 LaTeX 项目真的可以编译,更无法保证 \section 层级、\ref/\cite 对应关系、float 放置等全局结构正确。论文用 TEXOCR-Bench 评估了 21 个前沿模型,暴露出大量失败模式:段落被截断、公式分隔符缺失或错配、表格缺少列分隔符导致 tabular 环境崩溃、引用 key 与 bibtex 不匹配、跨页 label 与 ref 计数不一致等。例如 DeepSeek-OCR 始终输出 Markdown 风格而不是 LaTeX,在 SA/CC/RV/TA 上几乎全部接近 0 分;olmOCR-2-7B 虽然在通用 OCR 上表现出色,在这里 RV 只有 0.2、CC 0.5。这些错误对表面相似度影响不大,但让整个项目无法通过 LaTeX 编译器,直接卡死了下游的检索、复用和可复现发布流程。

本文的目标是本文的核心目标是把『页面级 PDF → 可编译 LaTeX』变成一项可被严格评测和训练的任务,具体包括三件事:(1) 推出 TEXOCR-Bench 这一全新基准,用 2,135 条专家标注样例覆盖 transcription fidelity、structural faithfulness、end-to-end usability 三大维度的 9 个指标,并用『零人工干预的 LaTeX 编译成功率(CSR)』作为最严格的可执行性度量;(2) 释放 TEXOCR-Train 训练集,通过 arXiv 自动化对齐管线把 57K 篇论文、404K 页面-源码对整理成可直接喂给 MLLM 的训练数据;(3) 在 Qwen3-VL-2B 上用 SFT + RLVR 两阶段训练,推出 2B 参数的 TEXOCR 模型,使开源模型在结构与可编译性上首次大幅逼近 GPT-5.3。

与已有工作不同的是,本文最独特的切入角度是把『编译正确性』和『引用/章节的全局一致性』直接当成可验证奖励放进训练回路,而不是像 olmOCR2 那样只把 unit-test 用在评测,或像 nougat/olmOCR 那样仅依赖 next-token 的 SFT。第二个独特之处是数据侧:面对渲染后 PDF 与 LaTeX 源文件顺序不一致(float 跨页、参考文献分离)这一公开难题,作者用 pdf2figure 做全局 float 检测,再用 GPT5-mini 做页面起止边界识别,最后用 BibTeX/LaTeX 混合监督第一页参考文献,让模型能学到『在论文末尾由正文 LaTeX 切换到 BibTeX 条目』这种结构化转换。第三个独特之处是把 9 个评测指标同时改写成单页可验证的二元 unit-test,从而让 RLVR 训练和 benchmark 评估共享同一套 reward/evaluation schema,做到训练-评测一致性。

核心方法

TEXOCR 的整体思路是把『页面 PDF → LaTeX 』建模成单页图像到 LaTeX 序列的条件生成问题,先用 SFT 让模型学会忠实抄录页面内容,再用 RLVR 把模型推向『生成能编译、结构一致』的最优策略。直觉上,SFT 教的是『每个像素对应的 token 长什么样』,解决『看得准』的问题;RLVR 教的是『什么样的 token 序列在工程上是合法的 LaTeX 』,解决『写得对』的问题。作者把评测基准的 9 个指标全部改写成页面级二元 unit-test,既作为 TEXOCR-Bench 的评测脚本,又作为 RLVR 阶段的奖励函数,使训练和评测口径完全一致。技术路线分两条线并行:数据侧,TEXOCR-Train 通过 arXiv 自动化对齐管线产出 404K 页面-源码对;模型侧,先在 Qwen3-VL-2B 上做全参数 SFT,再用 GRPO 风格的组内相对优势算法和 KL 约束做 RLVR,最终得到 2B 参数的 TEXOCR。

TEXOCR 与已有 PDF-OCR 模型(olmOCR2、DeepSeek-OCR、Nanonets-OCR2 等)的本质区别在于:它把『LaTeX 项目级的全局约束』显式建模进训练目标。已有方法只在 SFT 损失里优化 token-level 似然,即便 caption 写得像 LaTeX,如果 \section 缺一个反括号、\ref 指向不存在的 label,损失也察觉不到。TEXOCR 则把 9 个评测指标(文本保留、公式匹配、表格数值重合、章节标题、双向引用覆盖、figure/table ref 合法性、Baseline 健全检查、文档级相似度、零干预编译成功)实例化为每页的一组二元 unit-test,用『通过率』做 group-level 标量奖励,通过 $\hat A^{(k)}$ 的组内相对优势估计去推动策略梯度。这种『可验证奖励 + 任务对齐评测』的设计让模型不仅抄对字符,还学到了 LaTeX 不变量(balanced delimiters、well-formed environments、stable label–reference alignment),从根上缓解了『看着像 LaTeX 但编不过』这一根本痛点。

方法步骤详情

数据构建阶段(TEXOCR-Train):从 arXiv 抓取 2022-01 到 2025-10 之间所有公开 .tar.gz 源码包和 PDF,用确定性规则解析器把多文件 .tex 合并成单一规范化源,并恢复章节层级与 figure/table 结构;然后对每篇论文用 pdf2figure 在整本 PDF 上做全局 float 检测,把 figure/table 重新分配到最合理的页面;再以 GPT5-mini 检测页面正文 begin/end 边界,把单页截图与对应的 LaTeX(或第一页参考文献区域的 BibTeX)配对,得到 57K 篇论文、404K (page, LaTeX) 训练对。模型训练阶段(Stage I SFT):以 Qwen3-VL-2B-Instruct 为起点,在 TEXOCR-Train 上做全参数 SFT,训练 1 epoch,学习率 $1\!\times\!10^{-5}$,对每个单页图像 $x$ 与指令 prompt $p$,最大化目标 token $y_t$ 的对数似然;对第一页参考文献区域,采用 LaTeX 与 BibTeX 混合监督,鼓励模型在论文末尾自动切换格式。模型训练阶段(Stage II RLVR):对每页 $x$ 采样 $K$ 个候选 $\{y^{(k)}\}_{k=1}^K$,用 9 个二元 unit-test 的通过率定义页面级奖励 $R(x,y)=\frac{1}{|T(x)|}\sum_{\tau\in T(x)}\mathbf{1}[\tau(y)=\text{pass}]\in[0,1]$;用 GRPO 风格的组内相对优势 $\hat A^{(k)}$ 做策略梯度,同时加 KL 散度惩罚 $\beta\,\mathrm{KL}(\pi_\theta\Vert\pi_{\mathrm{ref}})$ 防止偏离 SFT 起点太多。评测阶段:对每个模型的输出,在 TEXOCR-Bench 上计算 9 维指标,page-level 输出按原始顺序拼接为 doc-level 后计算分数。

技术新颖性

本文的技术新颖性体现在三处:(1) 数据侧,提出了一套将多文件 LaTeX 源码与多页 PDF 自动对齐、并解决 float 跨页错位的工程管线,其中第一页参考文献的 LaTeX/BibTeX 混合监督是 OCR 训练集设计里少见的细节,直接弥补了多数现有 OCR 模型『只会抄正文、不会抄 bib』的缺陷。(2) 算法侧,把 RLVR 的可验证奖励设计成与最终评测同源的二元 unit-test 套件,这一 trick 让训练-评测一致,作者在消融里证明去掉任何一类 unit-test 都会让对应指标明显下降(去掉 Transcription Fidelity 套件 Overall 75.0→71.3,去掉 End-to-End Usability 75.0→70.5),说明这些奖励是『针对性的』而不是冗余的。(3) 评测侧,首次把『零人工干预编译成功率(CSR)』纳入 PDF-OCR 评测,并实证证明它是一个比识别类指标更严格的可执行性度量——很多模型在 token-level 上看起来不错,CSR 却在 30%–60% 之间,这种『表面正确但实际不可用』的失败模式在此之前几乎没有公开数据。

Overview of our work, covering data synthesis, model training, and multi-dimensional evaluation.
Figure 1: Overview of our work, covering data synthesis, model training, and multi-dimensional evaluation.

实验结果

论文在 TEXOCR-Bench 上对 21 个前沿模型做了系统评测,核心发现可归纳为三点。第一,即使是表现最好的 GPT-5.3,Overall 也只有 78.5,CC 86.0、RV 65.2、CSR 82.7,意味着『闭源最强模型依然会在结构与编译上翻车』。具体来看,GPT-5.3 在 SA 上得 83.4、CTP 69.2、FA 57.9、TA 91.1、Baseline 98.8、DS 72.4。第二,开源模型里 TEXOCR(SFT+RLVR)以 Overall 75.0 拿下第一,比第二名 Qwen3-VL-32B(68.8)高 6.2 分;比其基座 Qwen3-VL-2B(52.2)整整高 22.8 分。逐指标看,TEXOCR 在 RV 上拿到 86.8(全场最高,超过 GPT-5.3 的 65.2)、CC 85.9(仅次于 GPT-5.3 的 86.0)、SA 76.7、TA 89.2、FA 58.4、CTP 72.8,显示出 SFT+RLVR 在引用/章节合法性上甚至优于闭源最强模型。第三,RLVR 比纯 SFT 带来稳定提升:SFT-only 的 TEXOCR Overall 70.0,SFT+RLVR 提升到 75.0,其中 RV 从 74.1→86.8(+12.7)、SA 从 73.5→76.7、CC 从 74.5→85.9、CSR 从 44.3→45.2,结构性与可执行性维度全面受益,而 CTP/FA/TA 仅小幅波动,说明 RLVR 主要修复的是 SFT 看不见的全局约束。补充消融显示:在 RLVR 里去掉 Transcription Fidelity / Structural Faithfulness / End-to-End Usability 三类 unit-test,Overall 分别掉到 71.3 / 70.3 / 70.5,验证了三类奖励各司其职;组大小 $K$ 从 4 增到 24 时,平均得分从约 68 单调上升到 74.5 附近,且方差显著缩小;单页推理(75.0)优于多图(70.7 量级)和合并多页(36.9)推理;DeepSeek-OCR 由于始终输出 Markdown,在 SA 4.1、CC 0.3、RV 0.0、TA 2.0 上几乎归零,反衬出『格式对齐』是结构化重建的硬门槛。

Dataset statistics for TEXOCR-Train and TEXOCR-Bench.
Table 1: Dataset statistics for TEXOCR-Train and TEXOCR-Bench.
Main results on TEXOCR-Bench.
Table 2: Main results on TEXOCR-Bench.
Common error types observed in PDF-to-LaTeX generation and their typical manifestations.
Table 3: Common error types observed in PDF-to-LaTeX generation and their typical manifestations.
Overall score on TEXOCR-Bench under single-image, multi-image, and merged inference strategies.
Table 4: Overall score on TEXOCR-Bench under single-image, multi-image, and merged inference strategies.
Ablation of verifiable unit tests in RLVR.
Table 5: Ablation of verifiable unit tests in RLVR.
Information of annotators engaged in dataset construction.
Table 6: Information of annotators engaged in dataset construction.
Details of the multimodal foundation models evaluated in our study.
Table 7: Details of the multimodal foundation models evaluated in our study.
Effect of group size K in RLVR.
Figure 2: Effect of group size K in RLVR.
查看结构化数据
任务指标本文基线提升
TEXOCR-Bench 整体(Overall, 9 维加权) Overall Score (%) TEXOCR (SFT+RLVR): 75.0 GPT-5.3: 78.5; Qwen3-VL-32B: 68.8; Qwen3-VL-2B(基座): 52.2 比开源最强 Qwen3-VL-32B 高 +6.2,比基座高 +22.8,逼近闭源 GPT-5.3(差距 -3.5)
Section Accuracy(章节标题恢复与层级) SA (%) 76.7 GPT-5.3: 83.4; SFT-only TEXOCR: 73.5; 基座: 49.6 RLVR 相对 SFT +3.2,相对基座 +27.1
Citation Coverage(引文键与位置覆盖率) CC (%) 85.9 GPT-5.3: 86.0; SFT-only TEXOCR: 74.5; 基座: 21.8 RLVR 相对 SFT +11.4,相对基座 +64.1
Figure/Table Reference Validity(ref 标签合法性) RV (%) 86.8(全场最高) GPT-5.3: 65.2; SFT-only TEXOCR: 74.1; 基座: 1.5 比 GPT-5.3 还高 +21.6,相对基座 +85.3
Document-Level Similarity(归一化字符编辑距离倒数) DS (%) 64.7 GPT-5.3: 72.4; SFT-only TEXOCR: 61.8; 基座: 50.3 RLVR 相对 SFT +2.9,相对基座 +14.4
Baseline 健全性(非空、含 alnum、无 CJK/emoji、无退化重复) Baseline (%) 95.2 GPT-5.3: 98.8; SFT-only TEXOCR: 91.8; 基座: 97.9 略低于 GPT-5.3 但显著优于 SFT-only
Compilation Success Rate(零干预编译成功率) CSR (%) 45.2 GPT-5.3: 82.7; SFT-only TEXOCR: 44.3; 基座: 57.4 RLVR 微弱 +0.9,绝对值仍低于 GPT-5.3 -37.5,这是开源模型的硬伤
Complex Text Preservation(复杂正文句子级精确匹配) CTP (%) 72.8 GPT-5.3: 69.2; SFT-only TEXOCR: 69.0; 基座: 67.3 TEXOCR 反而比 GPT-5.3 高 +3.6,说明 SFT 训练数据对齐做得不错
Formula Accuracy(显示公式 token 级等价匹配) FA (%) 58.4 GPT-5.3: 57.9; SFT-only TEXOCR: 53.3; 基座: 55.2 略优于 GPT-5.3,显著优于多数开源模型(olmOCR-2-7B: 60.5,Infinity-Parser-7B: 66.1 更高但 RV 仅 17.6)
Table Accuracy(数值条目重合率与唯一数值命中率) TA (%) 89.2 GPT-5.3: 91.1; SFT-only TEXOCR: 88.0; 基座: 68.8 逼近 GPT-5.3,相对基座 +20.4,证明 SFT 已大幅修复表格结构

局限与改进

作者明确承认的最大局限是:本文采用 page-level 单图推理,虽然避开了多图跨页干扰和合并多页的分辨率损失,但本质上把『文档级一致性』拆成了独立页面的局部问题,无法保证跨页章节衔接、连续编号与全局引用图谱,这是未来工作必须解决的方向(已在 Limitation 一节直接列出)。从数据上看,TEXOCR-Bench 的 2,135 篇文档和 39.1K 平均 LaTeX 长度虽然远超已有基准,但与 TEXOCR-Train 的 57K 篇、31.8K 平均长度相比覆盖仍有限;且来源以 arXiv 英文论文为主,对中文/历史扫描件/手写教材等长尾场景的代表性不足。从模型能力上看,虽然 SFT+RLVR 把 RV 拉到 86.8(超过 GPT-5.3),但 CSR 只有 45.2,远低于 GPT-5.3 的 82.7,说明『引用合法』并不等于『整本编过』——环境未闭合、float 误置、宏包冲突等错误仍能让 LaTeX 编译失败。从我自己观察,RLVR 的 group size $K$ 越大效果越好,但显存和训练成本呈线性增长,作者没有给出 K=24 时的具体算力开销,实际部署门槛不低;另外 unit-test 的 binary 化阈值是手工设定的,对连续指标(如 DS、CTP)丢失了部分梯度信息,可能限制了潜在上限。

独立分析的弱点

(1) 编译成功率仍是痛点:TEXOCR 的 CSR 仅 45.2,虽然 unit-test 提高了 RV、CC 等局部合法性,但公式/表格的细粒度错误仍能让整篇 .tex 编译失败。可改进方向:在 RLVR 奖励里加入整本文档级编译探针(而非每页的 probe),或让模型生成完整 preamble/usepackage,而不是只输出片段。(2) 跨页一致性缺失:目前 page-level 推理让 \section 编号、equation 编号、连续图表 caption 在跨页时容易错位;Section Accuracy 只检查单页标题,不能捕捉跨页编号跳变。可改进方向:引入轻量文档级上下文(如前一页尾段 + 当前页)做上下文条件化,或者在 RLVR 里加入『跨页等式编号连续性』『figure 序号单调性』unit-test。(3) 长尾结构覆盖不足:对带 multirow、multicolumn、subfigure、tikz 等复杂结构的页面,Table Accuracy 只用数值重合率评估,无法捕捉列分隔符、跨行单元格错误。改进方向:在 Table Accuracy 里加入 tabular 环境的语法解析检查,并在训练数据中显式提升复杂表格的比例。(4) 训练-评测分布偏移:unit-test 的二元阈值在某些样本上可能过严或过松,导致奖励信号噪声大。改进方向:引入软标签或带 margin 的连续奖励,或者在 RLVR 里加 reward shaping。(5) 推理算力不透明:作者没给出 TEXOCR 训练的总 GPU 小时、显存峰值,2B 模型在 RLVR 阶段采样 $K$ 个候选的开销并不小,实际复现门槛有待披露。

未来方向

作者在 Limitation 一节明确指出未来最重要的方向是『超越 page-level 重建,发展能捕捉跨页结构、全局一致性和长程依赖的文档级方法』。基于 TEXOCR 的成果,可延伸的方向至少包括:(1) 文档级多页条件生成:让模型同时接收相邻几页图像,在跨页上下文里生成 LaTeX,目标是把 CSR 从 45.2 推到接近 GPT-5.3 的 82.7。(2) 引入整本编译端到端信号:把 doc-level 编译探针作为稀疏奖励,搭配 unit-test 密集奖励做两阶段 RLVR,直接优化最终可执行性。(3) 扩展到中文/历史扫描/手写体:训练集中 arXiv 英文 PDF 占主导,可以借助 LoRA 或多语种数据混合,让 TEXOCR 适配 KITAB-bench 等多语种 OCR 场景。(4) 与 RAG/Agent 结合:把 TEXOCR 当成 page-level 解析器,上层 Agent 负责整合多页 LaTeX、补全 preamble、解决 \ref 冲突,形成『OCR + 编译 Agent』的两阶段系统。(5) 与公式/表格专用 OCR 模型级联:TEXOCR 负责主体,公式交给 Math-LLaVA 类模型,表格交给 Table2LaTeX-RL,再用一个轻量对齐模型拼接,可进一步压低 Table Accuracy 的误差。

复现评估

TEXOCR 团队明确承诺开源数据和模型,论文 Figure 1 标注了『Data & Models § Code』,TEXOCR-Bench 与 TEXOCR-Train 都将公开,TEXOCR-2B 模型权重也会发布,这一点显著优于只放论文不放代码的同类工作。训练数据来自 arXiv 2022-01 到 2025-10 公开 .tar.gz 包,可重复爬取;评测管线在 Appendix A 给出每个 metric 的完整定义,在 Appendix C 给出推理 prompt 全文,在 Appendix D 列出 21 个模型的具体版本与 vLLM/API 配置,在 Appendix B 给出标注指南和 15 位标注者的学科背景与时薪(平均 13 美元/小时)。算法方面,SFT 阶段在 Qwen3-VL-2B 上做全参数微调,学习率 $1\!\times\!10^{-5}$、1 epoch,步骤简洁;RLVR 用 GRPO 风格算法,组大小 $K\in\{4,8,12,16,20,24\}$ 都有消融,实现上接近开源 verl/openrlhf 框架。复现难点在于:(1) RLVR 阶段需要为每页实时运行 9 类 unit-test,工程量大;(2) 第一作者训练时大概率使用了 8+ 张 H100/A100 量级 GPU,小实验室门槛不低;(3) pdf2figure 和 GPT5-mini 页面边界检测依赖外部 API,可能引入不可复现的随机性。综合来看,可复现性在 7/10 左右——数据/评测/算法三件套都齐,但算力与外部 API 仍是现实障碍。