VAREX：文档多模态结构化提取基准 VAREX: A Benchmark for Multi-Modal Structured Extraction from Documents
提出反向标注流水线构建多模态文档提取基准，评估20个模型在小规模参数下的结构化输出能力
前置知识
结构化数据提取
结构化数据提取是指将表单、发票等非结构化文档转换为机器可读的格式（如 JSON）的过程。给定一个文档和预定义的 JSON Schema，模型需要识别文档中的字段值并将其映射到正确的字段路径。例如，从政府申请表中提取申请人姓名、地址、电话号码等信息，组织成嵌套的 JSON 对象。这涉及文档布局理解、光学字符识别（OCR）、语义映射等多个子任务。
本文提出的 VAREX 基准完全围绕这个任务构建，评估模型在不同模态输入下的结构化输出能力。理解这个任务的概念对于解读论文的实验设计和结果分析至关重要。
JSON Schema 和 $defs/$ref
JSON Schema 是一种声明性格式，用于定义 JSON 数据的结构和验证规则。$defs 是一个关键字，用于在 Schema 内部定义可重用的类型定义，通过 $ref 引用这些定义可以避免重复并创建复杂的嵌套结构。例如，定义一个 Address 类型并在多个字段中引用它：{"$defs": {"Address": {...}}, "properties": {"shipping": {"$ref": "#/$defs/Address"}, "billing": {"$ref": "#/$defs/Address"}}}。这种结构广泛应用于实际应用中（如 Pydantic 等库）。
论文发现 $defs/$ref 结构会触发小模型的 '模式回声' 失败模式，这是本文最重要的发现之一。理解 JSON Schema 的这种机制对于解释为什么某些模型会失败以及如何修复（内联 $defs）非常关键。
布局保留文本序列化
布局保留文本是一种将文档转换为文本表示的方法，通过使用空白字符（空格、制表符）来保持文档中元素的空间排列关系。与传统纯文本按阅读顺序输出不同，布局保留文本会根据原始文档的坐标信息，对齐表格中的列、对齐表单中的字段标签和输入框。例如，一个表格会被序列化为行对齐的文本，使得同一行的值出现在同一行文本中，而非按列序列化。
论文发现从纯文本升级到布局保留文本带来了最大的准确度提升（+3-18 pp），这表明空间布局信息对提取性能至关重要。理解这个概念有助于解释为什么某些模型在视觉模态上表现不佳但在文本模态上表现良好。
精确匹配（EM）和 ANLS
精确匹配（Exact Match, EM）是一种严格的评估指标，要求预测值与真实值在归一化后完全一致，得分为 1 或 0。ANLS（Average Normalized Levenshtein Similarity）是平均归一化编辑距离相似度，通过计算字符串之间的 Levenshtein 距离来给出部分信用。ANLS 值在 0 到 1 之间，越接近 1 表示越相似。对于数组字段，VAREX 使用匈牙利算法进行顺序无关匹配，通过最大化字段重叠度来分配预测元素到真实元素，确保模型不会因为按不同遍历顺序读取表格行而受到惩罚。
论文使用 EM 作为主要指标，ANLS 作为辅助指标来区分完全错误和接近错误。理解这些指标的计算方式和数组匹配策略对于准确解读实验结果非常重要。
研究动机
现有的文档理解基准测试存在显著局限性。FUNSD（199 个表单）、CORD（11K 收据）、SROIE 等早期基准测试使用固定模式评估小规模模板，限制了模型适应新文档类型能力的评估。VRDU 引入了模板多样化提取但只有两个固定模式，DocILE 提供了 6,680 个标注的商业文档但只有一个固定模式。这些基准测试都依赖人工标注，未量化残留错误率，且不会改变提取模式。更重要的是，现有基准测试缺乏对小型模型（≤4B 参数）的系统性评估，而这些模型对成本敏感和延迟受限的部署至关重要。现实世界中许多提取任务涉及简单的表单，前沿 API 成本过高，延迟要求需要设备端推理。
本文的目标是本文的目标是构建一个能够系统性评估多模态基础模型在结构化数据提取任务上的基准测试，特别关注小型模型（≤4B 参数）的性能表现。该基准测试需要具备以下几个特点：使用反向标注流水线生成具有确定性值级真实值的合成文档，覆盖大量独特的提取模式，提供多种受控的输入模态以研究输入格式如何影响提取准确度，并通过三阶段质量保证确保标注质量。通过这样的基准测试，识别小型模型的失败模式（是根本能力差距还是可解决的指令遵循缺陷），为高效模型开发提供指导。
与已有工作不同的是，本文的独特切入角度是采用反向标注原则：不是标注现有文档，而是从可填充 PDF 模板开始，用确定性占位符填充它们，使用 LLM 发现语义模式映射占位符到字段名称，然后将逼真的合成值注入表单小部件。这种方法的关键洞察是解耦值级真实值（确定性）和模式级映射（需要 LLM 推理和验证）。因为每个字段值都是以编程方式写入已知小部件的，值级真实值是确定性的。通过占位符追踪，任何模式映射错误都可以被审计和纠正。这与现有依赖人工标注且残留错误率未量化的基准测试形成鲜明对比。
核心方法
VAREX 基准通过四阶段反向标注流水线从结构化数据生成文档，而不是标注现有文档。整体思路是先收集可填充 PDF 模板，用确定性占位符填充，让 LLM 分析表单布局并生成语义模式，最后用逼真的合成值替换占位符并注入 PDF 小部件。这样产生的值级真实值是完全确定的，因为每个值都是程序化写入特定小部件的。模式级映射虽然由 LLM 生成并可能引入错误，但通过三阶段质量保证（自动化检查、前沿模型审计、专家人工审查）达到约 98.5% 的字段级准确度。最后，每个填充的文档以四种模态导出：纯文本（P）、布局保留文本（S）、图像（V）和空间文本+图像（S+V）， enabling 对输入格式如何影响提取性能的系统性研究。
核心创新点在于反向标注流水线的设计，它将值级真实值的生成（确定性、可追踪）与模式级映射（需要 LLM 推理、可能出错）完全解耦。这与传统的前向标注（从文档到模式）形成对比。另一个关键创新是使用确定性占位符（如 TXT_001、TXT_002）作为可追踪标记：当下游 LLM 读取填充的表单时，它报告的任何占位符都可以追溯到包含该占位符的确切 PDF 小部件。这使得模式映射错误可以被精确定位和纠正。此外，提供四种受控输入模态，所有表示都从同一个填充的 PDF 派生，因此模态之间的任何性能差异反映的是模型的处理能力，而非信息不对称。
方法步骤详情
反向标注流水线包含四个阶段。阶段 1：模板收集和种子填充。从美国政府来源收集 3,300 个可填充 PDF 表单模板，使用 PyMuPDF 分析表单字段的小部件元数据（字段类型、边界框、字体、数组分组模式），用确定性占位符值填充每个模板的唯一标识小部件（文本字段接收顺序标识符 TXT_001、TXT_002 等，日期字段接收顺序日期 2099-01-01、2099-01-02 等，数字字段接收顺序值）。阶段 2：模式发现。将种子填充的 PDF 渲染为图像并提取其空间文本，两者都传递给 24B 指令调优模型（Mistral-Small-Instruct-2506），提示它分析表单的视觉布局和字段标签并生成结构化 JSON Schema。模型被指示分配语义字段名称、将相关字段分组到嵌套对象中、检测重复或表格部分并将它们表示为对象数组。后处理强制执行一对一字段到小部件映射，移除布尔字段（复选框渲染不可靠），并将小部件元数据中的物理约束（最大视觉字符数、选择列表）注入模式。阶段 3：数据重新换肤。给定具有可追踪字段到小部件映射的模式，使用 Python Faker 库的基于人设的生成（使用加权多区域分布生成多样化的人名、地址、电话号码、识别号）和 LLM 辅助生成（用于领域特定内容，如合规性叙述，约束到字段的模式类型和从边界框和字体大小估计的最大视觉字符数）替换占位符为逼真的合成值。值通过 PyMuPDF 以编程方式写入特定的 PDF 小部件 ID，填充后验证检测写入失败和视觉截断。阶段 4：多模态导出。每个填充的文档以四种模态导出：纯文本（P）：通过 PyMuPDF 的 get_text() 按阅读顺序获取原始文本，没有空间信息；空间文本（S）：使用空白字符保留列对齐和字段分组的布局保留序列化，近似布局感知解析器的输出；图像（V）：200 DPI 渲染的 PNG（以及用于鲁棒性评估的 50 DPI）；空间文本+图像（S+V）：同时提供两个通道。
技术新颖性
技术新颖性体现在多个方面。首先，反向标注流水线将传统的前向标注（从文档到模式）反转为从结构化数据生成文档，确保了值级真实值的确定性。其次，使用确定性占位符作为可追踪标记，使得任何模式映射错误都可以追溯到确切的 PDF 小部件，这是人工标注无法实现的。第三，提供四种受控输入模态，所有表示都从同一个填充的 PDF 派生，使得模态之间的性能差异纯粹反映模型的处理能力。第四，评估协议使用结构感知报告（VAREX-FLAT、VAREX-NESTED、VAREX-TABLE，由模式结构定义：无嵌套、嵌套对象或对象数组）来 enable 有意义的比较。第五，对数组字段使用匈牙利算法进行顺序无关匹配，确保模型不会因为按不同遍历顺序读取表格行而受到惩罚。与 SO-Bench 和 ExtractBench（从单一输入表示评估）相比，VAREX 结合了每个文档变量模式、四种受控模态和 1,777 个文档的确定性真实值。
实验结果
主要发现包括：在 4B 参数以下，结构化输出合规性（而非提取能力）是主要瓶颈。特别地，模式回声（模型产生符合模式的结构而非提取的值）使受影响模型的分数下降 45-65 个百分点。提取特定微调在 2B 参数时产生 +81 个百分点的增益，证明指令遵循缺陷可以在不扩展规模的情况下解决。布局保留文本提供最大的准确度增益（+3-18 pp），超过像素级视觉提示。该基准在 60-95% 准确度带中最有效地区分模型。即使在 90% 以上的模型中，VAREX-TABLE 分割也显示出最广泛的分布：Gemini 2.5 Pro 在表单文档上达到 97.7%，而 Qwen3-VL 8B 下降到 95.0%，2.7 pp 的差距在很大程度上被聚合分数掩盖了。准确度按语义类别显著变化：格式敏感类型显示最广泛的交叉尺度差距，货币值从 97%（Gemini 2.5 Pro）下降到 82%（InternVL3.5 2B），电子邮件地址从 99% 下降到 82%。简单的类型如邮政编码和州缩写显示较窄的交叉尺度差距（<10 pp）。模态分析显示，最大的准确度增益来自将原始文本升级到布局保留文本，跨所有模型 P → S 增益在 90% EM 以上为 +3 到 +8 pp，在较小规模时高达 +18 pp，超过任何其他单一模态变化。分辨率鲁棒性测试显示 API 和开源模型之间的急剧划分：Gemini 模型优雅降级（-1.7 到 -3.5 pp），而 8-17B 范围内的开源模型遭受灾难性下降 38-40 pp，从 93% 以上下降到 50 多。InternVL3.5 2B 是开源模型中的一个值得注意的例外，仅下降 4.7 pp。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 结构化数据提取（图像模态 V） | EM%（ANLS%） | Gemini 2.5 Pro: 98.0% (98.5%) | Qwen3-VL 2B: 34.2% (34.7%) | +63.8 pp |
| 结构化数据提取（图像模态 V） | EM%（ANLS%） | NuExtract 2.0（2B 微调）: 90.8% (92.1%) | Qwen2-VL 2B 基础: 9.7% (10.0%) | +81.1 pp |
| 结构化数据提取（图像模态 V） | 完美文档率 | Gemini 2.5 Pro: 82.8% | Qwen2-VL 2B: 4.3% | +78.5 pp |
| 模态比较（S+V vs P） | EM% 提升 | Qwen3-VL 8B: +9.1 pp (88.0% → 97.1%) | 纯文本 P: 88.0% | +9.1 pp |
| 分辨率鲁棒性（200 DPI → 50 DPI） | EM% 下降 | Gemini 2.5 Pro: -1.7 pp (98.0% → 96.3%) | Qwen3-VL 8B: -39.7 pp (96.6% → 56.9%) | Gemini 鲁棒性强 38.0 pp |
局限与改进
作者承认的局限性包括：VAREX 的复杂性上限由模式发现模型（Mistral-Small 24B）设置，嵌套很少超过两级，约 1.5% 的评分字段可能包含残留标注错误。因为模式是 LLM 发现的，基准测试可能低估了 LLM 难以表达为 JSON Schema 的结构，可能偏向于 LLM 友好的文档结构。所有文档都是英文、单页的美国政府表单，包含从数字 PDF 渲染的打字值，缺乏手写、扫描伪影和多语言内容。Faker 生成的值（如 555 前缀电话号码）不匹配真实世界分布，尽管这对提取准确度无关紧要。表格行很少（中位数 3），远低于企业规模。顺序无关匹配消除了行排序歧义，但剩余的表单错误反映真正的结构理解失败，不惩罚行内字段错误归属，这是需要行内对应的应用的局限性。使用顺序无关匹配不惩罚行内字段错误归属。该基准在 60-95% 范围内最有效地区分模型；在 95% 以上，残留真实值噪声限制了模型到模型比较的精确性。作者还提到 VAREX 评估公开可用的表单模板和合成生成的值，没有隐私问题。我的观察包括：h2oVL Mississippi 模型接收具有空值的 JSON 模板而非模式，在两个规模上都显示零回声，表明类模式结构触发失败，但这个模板格式在实际应用中可能不常见。三阶段质量保证虽然在作者估计中达到 98.5% 的字段级准确度，但 5% 的文档（91 个）从所有 18 个视觉模型接收不完美分数，主要归因于残留标注噪声，这表明基准测试在高准确度范围（>95%）的区分能力可能有限。
独立分析的弱点
独立分析的弱点包括：模式回声问题虽然可以通过内联 $defs 来缓解，但当嵌套定义在结构上需要时，这种解决方法不适用。这意味着对于某些复杂的模式结构，小模型可能仍然无法正常工作，需要其他解决方案如模式预训练或更好的指令调优。布局保留文本虽然提供了最大的准确度增益，但从数字化原生 PDF 精确小部件元数据派生，而现实世界中的扫描文档需要高质量的 OCR 引擎提供词级边界框才能产生可比较的布局保留文本，这在计算上可能昂贵且不准确。分辨率鲁棒性测试显示开源模型在低分辨率下性能灾难性下降，这限制了它们在现实世界中的实用性，因为扫描文档的质量可能变化很大。基准测试的文档都是单页的，而实际企业中的文档可能跨越多页，这增加了布局理解的复杂性。合成生成的值虽然避免了隐私问题，但可能无法捕捉真实世界数据的分布和噪声，导致模型在真实数据上的性能下降。表格行中位数仅为 3，远低于企业规模，这可能高估了模型在实际大规模表格提取任务上的性能。
未来方向
作者提出的未来工作方向包括扩展 VAREX 以覆盖更多样化的文档类型（如多页文档、手写内容、多语言内容）和更复杂的模式结构（如更深层次的嵌套、更复杂的数组结构）。另一个方向是探索解决小模型模式回声问题的方法，如模式感知预训练、更好的指令调优技术或后处理修复。基于成果可延伸的方向包括研究如何从扫描文档生成高质量的布局保留文本，以及如何提高模型在低分辨率图像上的鲁棒性。还可以探索将 VAREX 与其他基准测试（如 SO-Bench、ExtractBench）结合，以获得更全面的模型评估。另一个有趣的方向是研究如何将反向标注流水线应用于其他领域（如发票、合同、医疗记录），以及如何自动化质量保证过程以减少人工审查的需要。此外，可以研究如何将 VAREX 的评估协议应用于实际的模型开发和部署中，例如使用 VAREX 的结构感知报告来指导模型选择和调优。
复现评估
复现评估：论文声明数据集和评估代码公开可用（https://huggingface.co/datasets/ibm-research/VAREX 和 https://github.com/udibarzi/varex-bench），这使得其他研究者可以复现实验结果。所有评估都是在零样本设置下进行的，没有针对任何模型进行提示调优或优化，这确保了基线指令遵循能力的公平比较。模型通过 vLLM 服务，除了 h2oVL Mississippi 模型仅在图像上评估。评估协议使用精确匹配（EM）作为主要指标，ANLS 作为辅助指标，对数组字段使用匈牙利算法进行顺序无关匹配，这些都是标准且可复现的方法。三阶段质量保证过程（自动化检查、前沿模型审计、专家人工审查）在论文中有详细描述，这提供了透明度。然而，复现可能需要一些计算资源，因为需要服务多个大型模型（如 17B×128E 的 Llama 4 Maverick）和评估 1,777 个文档上的 21,084 个评估字段。此外，模式发现模型（Mistral-Small-Instruct-2506，24B）可能需要访问特定的 API 或计算资源。总体而言，论文提供了足够的细节和公开资源，使得复现应该是可行的，但可能需要一些计算资源和技术专长。
论文图表
这个图展示了 ALJ 表单（图 6）的纯文本（P）表示，通过 PyMuPDF get_text() 按阅读顺序产生。表单标题被裁剪以节省空间。注意表格列被垂直序列化，所有“开始”日期按顺序出现，然后所有“结束”日期，然后所有标题。大型模型可以解决这个排序，但小模型难以处理：P → S 增益范围从前沿模型的 +3 pp 到较小规模的 +18 pp。图显示了字段按列序列化，使得同一行的值出现在不同的行中，增加了理解表格结构的难度。
这个图对理解论文非常重要，因为它展示了纯文本表示的具体格式，帮助读者理解为什么小模型在纯文本上表现不佳。它与图 11（空间文本表示）结合，直观地展示了布局保留文本如何保留列对齐，从而提高提取性能。
这个图展示了同一 ALJ 表单的空间文本（S）表示。空白字符保留列对齐，允许模型将同一表格行内的值关联起来（例如，01/15/2005、06/15/2023、Administrativ、Departmen 在同一行）。与图 10 中的纯文本对比，这些值在单独的列运行中序列化。这种空间结构解释了第 4.3 节和表 3 中报告的 +3-18 pp 准确度增益。图显示了字段按行对齐，使得同一行的值出现在同一行中，大大简化了表格结构的理解。
这个图对理解论文非常重要，因为它展示了空间文本表示的具体格式，帮助读者理解为什么布局保留文本提供最大的准确度增益。它与图 10（纯文本表示）结合，直观地展示了空白字符如何保留列对齐，从而提高提取性能。