TeleOCR：贯通数字文档与相机拍摄文档的统一文档解析框架 NaviDC-OCR: Navigating Document Parsing Across Digital and Camera-Captured Documents

完整流程分数据工程与四阶段训练。数据工程三步：（1）MCV：$N$ 个异构模型对同一样本预测得 $Y(x)=\{y_1,\dots,y_N\}$，按任务定义一致性函数 $S(y_i,y_j)$（布局用 IoU、文本用编辑相似度、表格用 TEDS、公式用 CDM），共识分 $C_i = \frac{1}{N-1}\sum_{j \neq i} S(y_i, y_j)$，取分数最高者为伪标签，超过阈值 $\tau$ 才入库，否则转自动校正或人工核查。（2）形变合成：从 Doc3D 后向映射 $BM$ 推导前向映射 $FM$，作用于无畸变图像、CGDP 采样的边界点 $R$ 与 $M \times M$ 控制点 $P$，得到畸变样本及标签 $R^w$、$P^w$。（3）Self-Judgement VLM：把布局、文本、表格、公式四类预测渲染成图像，用规则扰动与 LLM 引导扰动合成错误版本，构成『原图-正确渲染』正对与『原图-错误渲染』负对，SFT Qwen2.5-VL-7B 得到判别器 $J_\theta$，按检查标准逐项分析 $r_k = M(I(x), \hat{I}_y, e_k)$ 后裁决一致性。训练四阶段：Stage 1 视觉-语言对齐预训练，仅训 Patch Merger 两层 MLP 与视觉编码器（学习率 $1\times10^{-3}$ 与 $1\times10^{-4}$，LM 冻结，batch 256）；Stage 2 形变感知全参数微调，数据含 4M 数字布局样本、2M 合成拍摄样本（1.2M 区域级 + 0.8M 点级）与 120K 相机风格增强样本（LM lr $1\times10^{-5}$、视觉编码器 $1\times10^{-6}$，batch 128）；Stage 3 内容-结构解耦学习；Stage 4 GRPO 强化学习，奖励为文本 $1-\text{NED}$、表格 TEDS、公式 CDM，归一化到 $[0,1]$。

技术新颖性可以从五个对比维度看清。（1）对比专用 Dewarping 模型：DDCP、DocGeoNet、ForCenNet 依赖 CNN 显式几何建模并输出稠密后向映射场（ForCenNet 用 82,944 个控制点），TeleOCR 把矫正变成 VLM 内部能力，仅用 1,024 个下采样控制点建模形变，表示复杂度降低约 80 倍，还省去独立预处理模块的部署成本。（2）对比 MLLM 分割方法：SAM 系方法（SAM4MLLM、SAM3）需外挂分割模型带来额外参数与开销；VistaLLM 等序列预测方法用梯度动态采样转化掩码；TeleOCR 针对文档场景设计 CGDP，用曲率-尺度联合度量 $S_i = d_i(1+\lambda\hat{\kappa}_i)$ 自适应分配采样点，专门解决折痕这类『DP 误差小但结构关键』的局部不连续问题。（3）对比伪标签构造：MinerU2.5-Pro 的多模型交叉验证与 PaddleOCR-VL-1.5 的多轮推理一致性最终都受限于单一模型的能力上限，一旦模型有系统性错误就会污染训练集；MCV 用异构模型间共识突破单模型偏置，并给出可计算的一致性分数与阈值机制。（4）对比伪标签校验：作者实测通用 VLM Qwen3-VL-235B 直接做零样本校验的召回率不足 40%，TeleOCR 把四种模态统一渲染成图像、把跨模态图文比对转化为更稳定的图-图一致性判断，并用规则+LLM 双通道扰动合成可控错误来训练专用 7B 判别器。（5）结构化解耦：把 OTSL 结构预测作为 中的中间推理，是对 OTSL 表示在 VLM 训练策略层面的新用法，直接成就了 Sci-ImageMiner 挑战赛的夺冠。

独立分析五个弱点，每个附改进方向。第一，重复生成崩溃：PureDocBench 上 6 个样本产生无效输出，说明内容-结构解耦与 GRPO 之后模型在长尾退化样本上的稳定性仍不足；可在 RL 阶段加入针对重复与退化的惩罚奖励（如 n-gram 重复率、长度异常检测），或在推理端引入回退解码与最大长度熔断策略。第二，MCV 的成本与盲区：$N$ 个异构大模型的共识投票在百万级样本上开销巨大，且共识高不代表正确，模型间可能共享系统性偏误；可用轻量代理模型初筛、只在分歧大的样本上唤起大模型投票，或把已有的 Self-Judgement 图-图一致性校验前置到投票环节降低成本。第三，两阶段推理延迟：解耦范式先全页布局分割再逐区域识别，密集页面（如金融台账）的区域数线性推高推理次数；可引入区域批处理与视觉特征缓存，或对简单数字文档自适应切换单阶段直出 Markdown 的快速路径。第四，公式粒度失配：公式 CDM 落后于 OvisOCR2，根源是布局切分粒度与标注不一致；可设计公式感知的细粒度布局头，或在内容解析前增加公式区域的合并/拆分后处理。第五，结构先验可能成为束缚：OTSL 骨架先行意味着结构预测错误会直接传导到内容填充，多级表头加深度合并单元格的复杂表格一旦骨架出错难以恢复；可引入结构-内容双向校验，把填充内容渲染回图像与原图局部比对，自适应修正骨架后重新填充。此外，Benchmark 覆盖上仍缺少多语言（论文评测集中在中英文）与手写体、票据等垂直文档的系统评测。

作者在结论与局限中隐含的方向包括：更细粒度的布局建模以解决公式评测粒度不一致问题；继续扩展支持元素（当前已支持文本、表格、公式、代码块、印章，以及 5 大类 19 小类科学图表）。基于本文成果可自然延伸的方向：其一，把点级/区域级形变感知从静态图像推广到视频文档场景（翻页、手持拍摄抖动），建立时空形变建模；其二，把 Self-Judgement 升级为在线自校验闭环——推理时模型自渲染预测结果与原图比对，自动重解析低置信区域，形成无需人工的推理时修正；其三，MCV 与强化学习结合，用多模型共识分数直接充当 RL 奖励的组成部分，替代或补充静态标注的 TEDS/CDM，实现对无标注真实数据的持续自举学习；其四，科学图表转表格 TEDS 66.39 仍有很大空间，可引入数值一致性约束（如图表数据满足单调性、总量守恒、坐标轴刻度对齐等先验）作为额外奖励或解码约束；其五，端侧化：1.2B 模型对手机部署仍偏重，可对 0.6B 语言模型进一步剪枝或蒸馏，并结合视觉 token 压缩（DeepSeek-OCR 方向）实现实时文档解析；其六，跨语言扩展：OmniDocBench 覆盖 5 种语言，但形变感知与文字结构（如阿拉伯语连写、泰文元音符号）的联合建模值得系统研究；其七，与下游 RAG 管线联合优化，让解析模型直接为检索分块输出语义边界与阅读顺序置信度。

开源情况较好：模型权重发布在 HuggingFace（StarDoc-AI/TeleOCR），代码发布在 GitHub（caipeng328/TeleOCR），论文明确声明『为促进复现，提供完整实现与基于社区模型的配置』。有利因素：基座全部是公开社区模型（Qwen2.5-VL 视觉编码器、Qwen3-0.6B 语言模型），架构是标准三件套（编码器 + MLP Aligner + LM），1.2B 参数推理在单张消费级 GPU（如 RTX 4090 级别）即可流畅运行；评测全部基于公开基准（OmniDocBench v1.5/v1.6、Wild-OmniDocBench、PureDocBench），附录 D 还详细给出了评测协议（quick_match、1,200 秒超时、fallback 参数、Overall 计算公式），诚意较高。困难因素：从零完整复现训练需要相当资源——Stage 2 需要 4M 数字布局样本、2M 合成拍摄样本与 120K 风格增强样本，Stage 1 需要大规模 VQA 语料；MCV 需要部署多个异构大模型（论文未公布具体是哪几个、$N$ 取多少），这是最大的信息缺口；Self-Judgement 需要 Qwen2.5-VL-7B 级别的 SFT 与渲染扰动管线；Stage 4 需要 GRPO 训练设施；CGDP 与 Doc3D 形变合成虽已给出公式但工程实现量不小。总体评估：推理复现与轻量微调难度低，四阶段全流程复现难度中高；实用建议是直接采用开源权重，在自有数据上仿照 Stage 3/4 做继续训练。