MDPBench：面向真实场景的多语言文档解析基准 MDPBench: A Benchmark for Multilingual Document Parsing in Real-World Scenarios

完整方法流程如下。Step 1 数据收集：从开放获取的学术论文、商业报告、教学材料、手写笔记、历史档案、报纸、教科书、漫画等渠道，按17种语言系统性收集850张数字文档，经人工审核过滤低质量或结构简单的样本。Step 2 拍照文档生成：将数字文档打印在纸上或显示在屏幕上，在室内（含桌面、地板、背景文字、复杂光照、屏幕摩尔纹、反射、眩光、轻微模糊）和室外（低光、阴影、光照不均、复杂自然背景）两类场景下拍摄；对打印件额外施加内弯、外弯、不规则褶皱等物理形变；并从左、右、倒置、倾斜四种相机角度采集；每张原文档生成3张拍照图。Step 3 专家模型标注：先用dots.ocr与PaddleOCR-VL分别做版面检测，手工比对后取错漏更少者作为初始版面；按版面坐标裁剪出文本块、表格块、公式块；然后用PaddleOCR-VL、dots.ocr、Qwen3VL三个识别模型独立识别每个元素；对文本/公式计算两两1-NED相似度、对表格计算TEDS相似度，取与其他两个模型平均相似度最高的结果作为初稿；若最高平均相似度<0.7则改用Gemini-3-Pro识别。Step 4 人工修正：先对标注员进行统一培训与小样本试点；修正时先校版面坐标和元素类型，再校阅读顺序，最后逐元素精修识别结果。Step 5 独立审核：每份修正后文档由独立审核员验证，通过则"Pass"进入最终交付，未通过则带详细反馈返回原标注员修订，循环直至达标。Step 6 评测：对每张图像沿用OmniDocBench的数据预处理、元素抽取、纯文本抽取、元素匹配流程，忽略页眉页脚和脚注；匹配后文本用 $\text{Score} = 1 - \frac{\text{Levenshtein}(P,G)}{\max(|P|,|G|)}$、公式用CDM、表格用 $\text{TEDS} = 1 - \frac{\text{TED}(T_p,T_g)}{\max(|T_p|,|T_g|)}$；最终按页面级聚合得到整图分数。

技术新颖性体现在三方面。第一，物理驱动的真实拍照数据生成流程，把数字文档系统性地变成5类拍照条件下的图像，且明确量化了每种条件（如每个文档固定2张室内+1张室外），这种"受控的真实退化"比单纯从网上爬取拍照文档更可控、更有诊断价值。第二，多模型共识投票+阈值降级策略的半自动标注范式，比纯人工标注高效数倍，又比纯模型标注可靠得多；其巧妙之处在于利用了"识别错误的低一致性"这一经验规律。第三，页面级聚合指标直接回应了多语言场景下元素分布不均衡的痛点——例如英语论文公式多而阿拉伯语几乎无公式，元素级评测会被少量公式拉分，而页面级更公平。这些设计让MDPBench在评测设计上明显区别于OmniDocBench等前作。

基于实验结果，可以独立分析出以下弱点及改进方向。第一，专用VLM（如dots.mocr、MinerU-2.5-VLM）在阿拉伯语、印地语等非拉丁脚本上整体得分低于10%，但版面检测PageIoU仍>85%——这暴露出"版面模块在多语种上已经过拟合到形状特征，但识别模块对字符级线索严重欠拟合"的不平衡。改进方向：把多语种字符级合成数据（如字形渲染、字体扩增）显式加入训练pipeline，而不仅仅依赖真实文档。第二，拍照文档平均下降17.8%，但具体退化来源（光照、模糊、形变、背景、角度）未做消融。改进方向：作者应按5类拍照条件分别报告性能，并对应到具体的物理退化类型。第三，Thai/Hindi/Russian等出现明显语言特异错误（元音变音丢失、西里尔-拉丁混淆、错误分词），说明这些模型的字符级语言模型训练数据偏少或质量差。改进方向：在训练集中显式构建针对非拉丁脚本的字符-词-句多级监督，并加入拼写/分词等语言学约束。第四，dots.mocr在越南语上出现"language drift"（误识别为中文），反映出端到端VLM的语言判别能力弱。改进方向：在输出前显式做语言判别（如先预测语言再识别），或训练时加入对抗式跨语言正则。第五，Pipeline工具（PP-StructureV3、MinerU-2.5-pipeline）总分仅33-45%，是误差累积的典型样本。改进方向：要么彻底改用端到端VLM，要么在pipeline各模块间引入跨模块验证机制。第六，表格识别在拍照条件下从75.9%跌到69.2%，且所有模型共享该下降趋势，说明表格结构的视觉理解对图像质量极敏感。改进方向：专门构建拍照条件下的表格合成数据，并在表格识别模块中加入结构先验（如行列网格）。

作者在结论中暗示的未来方向：构建更鲁棒、可泛化、真正可部署的文档解析系统。论文虽未列详细future work清单，但可从数据集和模型两侧延伸。基于数据集可延伸：（1）扩充更多低资源语言（如Bengali、Tamil、Swahili），并加入方言、混合语言文档；（2）纳入手写文档、表格票据、屏幕截图等更多形态；（3）建立动态评测机制（持续更新私有集、追踪模型进步）。基于模型可延伸：（1）针对非拉丁脚本的字符级预训练，如大字符表的多语种OCR预训练；（2）拍照文档的物理退化不变性建模，可借鉴域自适应、扩散式数据增广；（3）阅读顺序的多向性建模（RTL、TTB、混合方向）；（4）幻觉抑制与多语种语种判别的联合优化；（5）表格/公式的结构化输出与LaTeX/Markdown对齐训练；（6）探索agent式文档解析（先理解再识别）以提升长文档鲁棒性。

复现评估整体良好但有门槛。开源情况：作者明确在GitHub（https://github.com/Yuliang-Liu/MultimodalOCR）公开了MDPBench的代码和部分数据，并提供了官方评测网站支持私有集提交评测。数据：2720张公开集可直接下载；680张私有集需通过官方评测网站提交模型预测后获得反馈，这一机制防止数据泄漏但也意味着研究者无法离线完成完整评测。算力：评测本身只需对18个模型做inference（每个模型3400张图），但部分大模型（如Gemini-3-Pro）需API调用或昂贵算力，开源专用VLM（如dots.mocr、PaddleOCR-VL-1.5）多在A100/H100上即可复现。复现难度：中等偏难——标注流程（共识投票+人工修正+独立审核）门槛极高，复现整套数据集成本巨大；但对模型评测者而言，只需按论文说明调用各模型API、运行评测脚本即可。论文Tab.1-Tab.4均给出详尽数字与切分，便于交叉验证。综合来看，复现MDPBench评测的可行性高，复现MDPBench数据集本身的可行性低。