MinerU-Diffusion：通过扩散解码将文档OCR重新建模为逆渲染问题 MinerU-Diffusion: Rethinking Document OCR as Inverse Rendering via Diffusion Decoding

MinerU-Diffusion的方法包含以下关键步骤。第一步，问题形式化：将文档OCR建模为通过扩散过程进行后验推断，目标token序列为y=(y^(1),...,y^(L))属于V^L，其中V是包含文本符号、布局标记、表格分隔符和数学算子的共享词汇表。第二步，块分解：将输出序列划分为B个连续块y=(y^(1),...,y^(B))，每个块y^(b)属于V^(L')，长度L=BL'。条件后验因式分解为p_theta(y|x)=乘积(b=1到B)p_theta(y^(b)|y^(<b),x)。第三步，块注意力扩散解码：在每个去噪步骤中应用结构化注意力掩码，token可以完全attend同一块内的token，因果地attend前面块的token，不attend未来块的token。第四步，置信度动态调度：设定阈值T=0.95，当token的预测置信度超过阈值时确认该token，否则在下一步继续去噪，实现自适应的并行度控制。第五步，两阶段课程学习训练：Stage 1在Dbase（约6.9M样本，高熵数据分布）上建立基础OCR能力，序列长度12288，学习率4e-5，训练9个epoch；Stage 2在Dhard（约630K样本）上进行困难样本精调，序列长度增加到16384，学习率降低到2e-5，训练4个epoch。困难样本通过多次随机推理的一致性度量C(x)来定义。第六步，推理：在推理时使用系统提示配合任务特定提示（如Layout Detection、Text Recognition等），在置信度阈值T=0.95、top-k=0、temperature=1.0、top-p=1.0的设置下进行动态解码。

本文的技术新颖性体现在以下几个方面。首先，将文档OCR从序列生成范式重新定义为逆渲染范式，这一视角转换具有深刻的理论意义：它指出自回归因果生成是序列化的产物而非OCR任务的内在属性，为非自回归方法在OCR领域的应用提供了理论基础。其次，块注意力扩散架构是一种精心设计的混合方案，它不是简单的将全注意力扩散应用到OCR，而是通过块结构引入了跨块自回归、块内扩散的分解策略，这既保留了扩散的并行性，又通过因果结构防止了长距离漂移，同时支持KV-cache复用——这是全注意力扩散所不具备的。再次，基于推理一致性的困难样本挖掘方法是针对扩散模型训练特点的创新：由于扩散模型可以从任意位置开始去噪，多次随机推理的结果一致性可以直接反映模型对样本的确定性程度，这为课程学习提供了一种无需人工标注的自动化样本难度评估机制。最后，置信度动态调度机制提供了一个连续可调的效率-精度旋钮，在T=0.5到T=0.99的范围内实现了从3.2倍加速到接近token级解码的平滑过渡。

从独立分析的角度，本文存在以下可改进的弱点。第一，块大小的选择是一个重要的超参数，论文固定使用块大小32，但未提供块大小对性能影响的系统性消融研究。不同文档类型（如短文本vs长表格）可能需要不同的块大小，自适应块大小策略可能是更好的选择。第二，置信度阈值的动态调度虽然提供了效率-精度的连续调节，但目前采用的是全局统一阈值，未来可以考虑根据文档区域的复杂度（如文本密集区vs空白区）动态调整局部阈值，实现更精细的并行度控制。第三，两阶段课程学习中困难样本的定义依赖于多次随机推理的一致性度量，这本身需要额外的推理开销，可以探索更轻量的困难样本评估方法。第四，模型在表格识别上的TEDS分数与最先进AR方法差距较大（81.18 vs 87.13），这可能是因为表格结构具有更强的行列间依赖关系，而块注意力的块内条件独立性假设在表格场景下不够合理，可以考虑引入表格感知的注意力机制。第五，论文未提供与其他扩散语言模型（如LLaDA、MDLM）的直接对比，难以准确评估块注意力扩散架构相对于全注意力扩散在OCR场景下的具体优势。

基于本文的成果，未来研究可以从以下几个方向展开。第一，布局感知的扩散解码：既然布局理解是当前的主要瓶颈，可以将布局检测与内容识别在扩散框架内进行联合优化，让布局信息更早地参与去噪过程。第二，多模态扩散预训练：当前模型的Stage 0初始化使用的是LLaVA数据集的VQA任务，可以探索专门为OCR任务设计的扩散预训练目标，进一步提升视觉-文本对齐质量。第三，自适应块粒度：根据文档的局部结构复杂度（如文本区、表格区、公式区）动态调整块大小和注意力模式，而不是使用统一的块大小。第四，扩展到更多语言和文档类型：当前评估集中在中英文，可以将框架扩展到多语言OCR、手写文档识别、古籍文档解析等场景。第五，与其他模态的统一：将扩散解码的思想扩展到文档理解的其他任务，如文档问答、信息提取、版面分析等，构建统一的文档理解扩散框架。第六，探索更高效的扩散采样策略：当前使用的是基本的掩码扩散采样，可以引入更多先进的采样加速技术（如一致性模型、蒸馏方法）进一步提升推理效率。

本文的复现条件相对友好。在开源方面，论文提供了完整的代码仓库（GitHub: https://github.com/opendatalab/MinerU-Diffusion）和预训练模型（HuggingFace: opendatalab/MinerU-Diffusion-V1-0320-2.5B），降低了复现门槛。在数据方面，训练数据来自MinerU2.5数据集，约7.5M样本，主要聚焦中英文文档，论文提供了详细的三阶段训练设置（包括数据集划分、序列长度、学习率、batch size、epoch数等），但原始数据集的获取和预处理可能需要额外工作。在算力方面，模型参数量为2.5B，使用了视觉编码器（初始化自Qwen2-VL-7B）、扩散解码器（初始化自SDAR-1.7B-Chat-b32）和抽象器（随机初始化），三阶段训练（Stage 0: 模态对齐, Stage 1: 6.9M样本9个epoch, Stage 2: 630K样本4个epoch）需要相当大的计算资源。论文未明确报告训练所需的GPU小时数，但从数据规模和模型大小推断，完整复现训练过程可能需要多卡多天的计算。在评估方面，论文使用了OmniDocBench v1.5、CC-OCR、OCRBench v2、UniMER-Test等多个公开基准，评估协议明确，复现评估相对容易。总体而言，复现推理和评估较为容易，但完整复现训练过程需要较大的算力投入。