RaV-IDP：以重建为校验的忠实文档处理框架 RaV-IDP: A Reconstruction-as-Validation Framework for Faithful Intelligent Document Processing

运行时分六步。第一步是布局检测：用 Docling 对页面做一次转化得到区域集合 $R_{ij}=(b_{ij}, \tau_{ij}, c_{ij})$，其中 $c_{ij}$ 是从原始未修改页面截下来的像素 crop 并被冻结保存——这张裁切就是后续所有 $\sigma$ 的 ground-truth anchor；检测后用一个空间区域过滤器把被表格/图像 bbox 完整包含（containment ≥ 0.85）的文本区域剔除，DocLayNet 上清掉 65.4% 的图内文字 false positive。第二步是质量分类：当前版本用基于 skew 角度的规则把页面分成 clean / scanned-clean / scanned-degraded / photographed / handwritten / overlapping；clean 直接跳过预处理器，其他类别走 deskew、二值化、CLAHE、TrOCR、频域分离等不同通道——但预处理器只对布局检测的输入页施加，绝不改写原始裁切。第三步是实体抽取：表格用 Docling 表格记录反构 DataFrame（评测时改用 TATR），图像用 PyMuPDF 在 2× 分辨率下按 Docling/PyMuPDF 坐标原点（左下 vs 左上）做修正裁切并附类型与置信度，文本取 Docling 字符串 + URL 正则 + 公式 LaTeX；handwritten 内容路由到 TrOCR。第四步是重建器：表格把 DataFrame → HTML → 匹配原裁切尺寸的栅格图（视觉通道）+ 行/列计数、header、单元格串的结构签名（结构通道）；图像计算 pHash / Laplacian sharpness / 邻近 caption 匹配；文本对原裁切重做 OCR（原生 PDF 直接取内嵌文本流避免重复引入 OCR 错）。第五步是 comparator 与 fidelity：表格 $f_{table}=0.4 SSIM_{binarized}+0.6 f_{struct}$，其中 $f_{struct}=0.2(row\!-\!col\ match)+0.8(1-CER_{cells})$；图像 $f_{image}=0.6\ pHash+0.3\ sharpness+0.1\ caption$；文本 $f_{text}=\max(0,1-CER)$。默认阈值 $\tau$ 表格 0.75、图像 0.70、文本 0.85，全部以原裁切为锚，bootstrap 约束在接口层实施。第六步是兜底与输出：$f<\tau$ 时调 GPT-4.1 vision 走结构化 JSON schema（表格给 headers+rows+notes、图像给 type+desc+text+chart 结构、文本给 verbatim 转写）再抽一次，重建-比对循环重跑；至多 2 轮，取高分版本加 low-confidence 标识。图像在第六步后还会无差别过一次 GPT-4.1 vision enrichment 写入 image_type/description/extracted_text/structured_data 四个字段，使图像成为可被 RAG 检索的一等实体。

技术新颖性可以归结为四点。第一，把 bootstrap 约束在接口层硬性实施：comparator 拿不到抽取结果，从根本上消除"自信地错"被自评通过的路径，这是所有 model-internal 置信度估计都做不到的。第二，按实体类型分别设计独立的 fidelity 公式，并把结构信号（行/列匹配、CER）与感知信号（SSIM、pHash、sharpness）正交化，使得即便 SSIM 在裁切独立评测下被排除，整套 fidelity 仍能维持 0.800 的 Spearman $\rho$ 与 ground truth CER 对齐。第三，"GPT-4.1 vision 选择性兜底"取代"always-on 全量 GPT"，把每 500 张表的估算成本从 $10\text{total}$ 压到约 $2.9\text{partial}$（145 次 API 调用），70% 成本下降，且兜底仍用同一个 comparator 不换参考系。第四，加入无差别 image semantic enrichment，使 RAG 系统对图像不仅得到像素 crop 还得到可嵌入的描述 / 文本 / 结构化数据——这是传统 Docling-style pipeline 没有的输出契约。

独立看至少有五处可改进的方向。第一，bootstrap 约束在 extractor / reconstructor 共用错误模式时失效，建议在补偿路径上再加一条"完全独立的 OCR 引擎"——例如把 EasyOCR 或 PaddleOCR 与 Docling 文本抽取并行跑一次，若 $f_{text}$ 高、但两个独立 OCR 间一致性低，则可怀疑是 Docling 的系统性问题而非文档质量。第二，TATR 的列合并与末行遗漏是 Stage 3a 上 65.6% 表格失败的主因，可改用 GraphTSR 或带 span-aware cell merging 的 TATR-v2，并加 padding-aware 检测头专门应对边界表。第三，DocVQA gate_only 把 ANLS 从 0.4224 砸到 0.1408 揭示的关键问题是"fidelity 高分 ≠ 可用"，建议在 gate_only 模式下保留一个最小化 fallback (例如仅当 99% 区域都为 low-confidence 才报警)，而不是硬性剔除。第四，公式类别完全缺席（Docling 公式 F1=0.000），建议补一个独立的 formula detector（如 Nougat）或在 LayoutLMv3 fine-tune 时加 formula head。第五，阈值 $\tau$ 默认值文档级不变，应该按质量分级（clean / scanned-clean / scanned-degraded / photographed）分桶校准，否则 FUNSD 等扫描集上根本不会触发通过；同时 $\tau^*=0.43$ 是数据自学习的，应做成在线校准接口。

作者明确提出的方向有四：(1) Stage 1 文档质量分类器学得化，用 SmartDoc-QA 等数据集训练一个把页面打 clean / scanned / photographed / handwritten 概率分布的小网络；(2) 把 fidelity reliability 推广到图像质量多样化基准上，脱离 GT bbox 的"trivial-perfect"设定；(3) 用在线或离线分布数据动态校准 $\tau$，让 gate_only 模式塌缩问题得到控制；(4) 在 native-PDF QA 基准上验证 end-to-end 收益，弥补 DocVQA 是扫描件带来的盲区。在此基础上可进一步延伸：(5) 把 RaV 推广到多模态（PDF 中的图嵌入 / 视频帧 / 音轨转写），把«重建为 ground truth 的另一份视图»作为通用一致性约束；(6) 把 selective fallback 概念产品化为一个 token-budget-aware 调度器，按 LLM 调用成本动态调整 $\tau$；(7) 用 RaV 思路重做 RAG 评测——把"chunk 是否与原文匹配"当成检索得分的旁路信号；(8) 训练一个 native fidelity predictor 学习从原裁切直接估计 $\hat f$，跳过显式重建步骤以加速。

复现条件较为友好但并非零代价：算法代码与 pipeline 公开在 https://github.com/pritesh-2711/RaV-IDP；官方给出六个数据集的标准评估脚本——DocLayNet 500 页、PubTabNet 500 张表、ScanBank 500 页、FUNSD 100 张扫描件、25 篇 arXiv（10,028 区域）、DocVQA 300 题。选用的模型边界明确：布局用 Docling、表格结构用 TATR、文本 OCR 在扫描件走 TrOCR 在原生走 PDF 内嵌文本流、兜底与图像 enrichment 用 GPT-4.1 vision（需 API key 且图像 enrichment 在无 key 时 graceful 跳过）。算力上约等于一个中规模 OCR + 一个 GPT-4.1 vision API 账户；PubTabNet Stage 3a 单卡 GPU 可跑，Stage 6 DocVQA 300 题的 LLM 部分约对应 26 个 GPT-4.1-mini 调用 + 约 6.6% 概率的 GPT-4.1 vision 兜底，整体可在 1–2 张 GPU + API 流量内完成。难度集中点：（a）GT bbox 设定下能达到 0.980 图像保真度，不等于产品条件也能达到；（b）失败模式分析（FP shared OCR 错）非平凡，需要同时配 OCR 与 GPT-4.1 才能复现 Section 7 / Figure 8；（c）Stage 5 的恢复率统计需要在 PubTabNet 上重新切出 fails 子集，对应脚本依赖作者提供的 run_with_traces() 输出——这部分代码可见，但接口稳定性需要校验。