EXSTRUCTINY：面向文档图像的模式可变结构化信息抽取基准 ExStrucTiny: A Benchmark for Schema-Variable Structured Information Extraction from Document Images
提出EXSTRUCTINY基准，评估VLM在多文档类型上的结构化信息抽取能力
前置知识
视觉语言模型（VLM）
视觉语言模型是一类能够同时处理图像和文本输入的多模态深度学习模型。它通过视觉编码器（如ViT）将图像转换为视觉token，再与文本token一起输入大型语言模型进行联合推理。在文档理解领域，VLM可以直接看文档图像并回答问题，无需依赖OCR预处理。代表模型包括Gemini、Qwen2.5-VL、Gemma-3等。这类模型的核心能力在于将视觉信息（布局、字体、图表等）与语义理解相结合。
本文的核心实验对象就是各类VLM，理解VLM的工作原理和能力边界是评估本文实验结论的前提
文档信息抽取（Document IE）
文档信息抽取是指从非结构化或半结构化文档中自动识别和提取结构化信息的任务。在视觉丰富的文档理解（VRDU）领域，IE通常包括三个子任务：关键实体抽取（KEE，提取预定义实体如发票号、日期）、关系抽取（RE，识别实体间关系）、以及视觉问答（VQA，根据文档回答自然语言问题）。传统方法依赖OCR加序列标注的流水线，而现代方法倾向于端到端的生成式抽取。
本文试图统一KEE、RE和VQA三个子任务的评估范式，理解这些任务的传统定义和边界对把握本文的创新点至关重要
闭集IE vs 开放IE vs 按需IE
这是信息抽取的三种范式，按查询的具体程度划分。闭集IE（Closed IE）要求使用预定义的模式（schema）来填充特定实体值，如提取发票号。开放IE（Open IE）不依赖预定义模式，而是自动发现文档中的结构。按需IE（On-demand IE）处理欠规格化的查询，要求模型根据隐含的上下文推断需要抽取什么信息，例如提取所有签字人的详细信息——模型需要自行判断哪些字段属于详细信息。
本文的基准数据集覆盖了这三种IE范式，且实验表明按需IE是最具挑战性的场景，理解这三种范式的差异是理解本文实验设计的关键
ANLS（Average Normalized Levenshtein Similarity）
ANLS是一种用于评估文本抽取质量的指标，基于编辑距离（Levenshtein Distance）计算预测文本与真实文本之间的相似度。具体计算方式为：对每个抽取的文本值，计算 $1 - \frac{LD(pred, gt)}{len(gt)}$，其中 $LD$ 是编辑距离，$len(gt)$ 是真实文本长度。ANLS的优势在于对轻微的拼写错误或格式差异有一定容忍度，同时当相似度低于阈值（通常0.5）时直接置零，避免低质量匹配获得非零分数。该指标在DocVQA等文档理解基准中被广泛使用。
ANLS是本文评估文本抽取质量的主要指标，理解其计算方式和特性有助于解读实验结果中各模型的性能差异
语义模式映射（Semantic Schema Mapping）
由于VLM生成的结构化输出可能存在多种等价的JSON组织方式（如不同的键名、嵌套层级、字段顺序），简单的字符串匹配无法公平评估。语义模式映射是本文提出的一种评估方法：将预测输出和真实答案分别展平为键值对，然后使用文本LLM（如gpt-oss-20b）进行语义对齐，建立从真实键名到预测键名的映射关系。这个映射过程考虑了值的语义相似性、键名的含义关联以及结构层级的一致性。
这是本文评估框架的核心创新之一，解决了结构化输出评估中同一语义多种JSON表示的难题，直接影响实验结果的公平性和可靠性
研究动机
当前文档信息抽取领域存在一个根本性的评估缺口。现有的KEE数据集（如CORD、FUNSD、VRDU Ad-buy）专注于单一文档类型的预定义实体抽取，每个数据集只覆盖一种文档格式（如餐厅收据、表单），且实体本体论高度绑定于特定领域。这意味着它们只能评估模型在数据丰富的特定领域内的抽取能力，无法评估模型对新领域、新实体和新用户需求的零样本泛化能力。VQA数据集（如DocVQA、DUDE）虽然覆盖了更广泛的实体类型，但其问题通常是简单的单跨度闭集查询，且问题文本与文档文本存在高度词汇重叠（平均56%-68%），模型可能通过简单的字符串匹配而非真正的语义理解来正确回答。此外，VQA数据集很少要求在单个问题中抽取多个相关实体，也很少包含不可回答的问题，而这在实际应用中是常见场景。表格和图表解析数据集虽然与开放IE有相似之处，但仅关注孤立的布局元素，缺乏更广泛的文档上下文。
本文的目标是本文旨在创建一个统一的基准数据集EXSTRUCTINY，用于全面评估视觉语言模型在文档图像上进行结构化信息抽取的能力。具体目标包括：覆盖闭集、按需两种IE范式；支持多种文档类型（表单、财务报告、幻灯片、网页截图）；包含多实体查询、低词汇重叠查询和不可回答查询等真实场景；要求模型输出JSON格式的结构化结果，包含文本值、页码和边界框三重信息；通过人工标注与LLM生成相结合的流水线，实现大规模、多样化的数据构建。最终目标是为VLM在结构化IE任务上的能力评估提供一个更全面、更贴近实际应用的测试平台。
与已有工作不同的是，本文的独特切入角度在于抓住了现有基准数据集在模式可变性（schema variability）方面的根本缺陷。传统KEE数据集的实体本体论是固定的，VQA数据集的查询虽然多样但缺乏结构化输出要求。EXSTRUCTINY则允许用户以任意模式（schema）指定需要抽取的信息，模型不仅要理解文档内容，还要理解用户指定的模式并按照该模式组织输出。这模拟了真实企业场景中，不同用户可能需要从同一份文档中抽取不同结构化信息的需求。此外，本文还发现了现有评估框架的不足——简单字符串匹配无法公平评估结构化输出的语义正确性，因此提出了基于语义模式映射的评估方法，这也是一个重要的方法论贡献。
核心方法
EXSTRUCTINY的构建可以类比为建造一座信息抽取能力测试塔——底部是人工精心标注的基础数据（102个QA对），中部是LLM大规模生成的合成数据，顶部是经过人工验证和修复的最终数据集（共304个QA对）。整个方法论的核心思想是：既要有足够多的数据来覆盖多样化的抽取场景，又要保证每个数据点的质量和真实性。技术路线上，本文采用手工标注加合成生成加人工验证的三阶段流水线。第一阶段，四位标注人员从四个源数据集（FUNSD、TAT-DQA、SlideVQA、VisualMRC）中各选三个文档，按严格指南生成三种类型的QA对（闭集纯文本、闭集模式、按需），并经过交叉审核确保质量。第二阶段，利用Gemini-2.5-Flash-Thinking大规模生成合成QA对，通过链式思维提示和增强流（重述、缺失实体注入、完全不可回答）丰富数据多样性。第三阶段，使用基于目标引导的重要性采样算法优先验证高价值的合成样本，三位专家验证员对202个合成QA对进行人工修复。
本文的核心创新在于提出了模式可变的结构化信息抽取这一新的评估范式，以及配套的数据集构建和评估方法。与已有方法最本质的区别体现在三个层面。第一，在任务定义上，EXSTRUCTINY不再将信息抽取视为填充预定义实体槽位的任务，而是允许用户以自然语言或JSON模式的形式自由指定需要抽取的信息结构，模型需要同时理解文档内容和用户意图。第二，在数据构建上，本文没有采用从已有KEE数据集转换查询的传统做法（这种做法受限于源数据集的固定本体论），而是直接在文档图像上设计多样化的查询，覆盖了闭集、按需两种IE范式，且支持多种文档类型。第三，在评估框架上，本文提出了语义模式映射方法来解决结构化输出评估中同一语义多种JSON表示的难题，使用文本LLM建立预测输出与真实答案之间的语义对齐，而非简单的字符串匹配。
方法步骤详情
EXSTRUCTINY的构建流程包含五个主要步骤。步骤一：数据源选择与文档收集。从四个现有数据集（FUNSD表单、TAT-DQA财务报告、SlideVQA幻灯片、VisualMRC网页截图）的测试集中选取文档，覆盖四种文档类型，共110个多页文档。步骤二：小规模手工标注。四位标注员各从每个源数据集随机选取三个文档，为每个文档生成约3个QA对（覆盖三种查询类型），遵循严格指南（多实体查询、包含缺失实体、低词汇重叠、跨页目标、非常见布局元素）。随后由独立审核员进行交叉审核，最终得到102个高质量手工标注QA对。步骤三：大规模合成数据生成。使用Gemini-2.5-Flash-Thinking作为生成模型，为每个源数据集提供详细指令和少样本示例，迭代生成约3000个合成QA对。采用链式思维提示、高温度（0.8）和大推理预算（4096 tokens）来平衡多样性和质量。步骤四：数据增强。通过三个增强流丰富合成数据：重述流（改写查询中的实体名称以降低词汇重叠）、缺失实体注入流（模拟实体缺失场景）、完全不可回答流（生成所有实体都缺失的查询）。最终按比例采样：55%基础、25%重述、15%部分不可回答、5%完全不可回答。步骤五：人工验证与修复。使用基于目标引导的重要性采样算法（Algorithm 1）优先验证高价值样本。三位专家验证员通过自定义UI审查每个QA对的五个方面：查询文本、提取文本、页码引用、边界框、输出结构规则。验证过程中只丢弃了2个无法修复的样本，其余都进行了修复。验证后通过交叉验证评估了验证员间的一致性，达到96.2%。
技术新颖性
EXSTRUCTINY在技术新颖性方面有四个显著贡献。第一，它是首个同时覆盖闭集纯文本、闭集模式和按需三种IE范式的VRDU基准数据集，打破了以往KEE和VQA数据集各自为政的局面。按需查询要求模型解析隐含的父子实体关系，这种能力在以往基准中从未被评估过。第二，本文提出的手工标注加LLM生成加人工验证流水线是一种可扩展的数据集构建方法论。与从KEE数据集转换查询的做法不同，这种流水线不受源数据集本体论的限制，能够生成更多样化的查询。第三，语义模式映射评估方法是一个重要的方法论创新，它使用文本LLM来建立预测输出与真实答案之间的语义对齐，解决了结构化输出评估中的核心难题。第四，本文的数据增强策略（重述、缺失注入、不可回答生成）直接针对真实应用场景中的常见挑战，确保了基准的现实性和难度。
实验结果
本文对12个VLM进行了全面评估，得出以下核心发现。首先，闭源模型在文本抽取质量上明显领先于开源模型，Gemini-2.5-Pro达到79.5%的平均ANLS，比最佳开源模型Qwen2.5-VL-72B-FP8（61.4%）高出18.1个百分点。在四种文档类型中，Gemini-2.5-Pro在所有查询类型上都表现最佳，尤其在按需查询上优势明显（幻灯片文档上达到80.4%，而开源最佳仅42.4%）。其次，模型规模与性能呈正相关。以Qwen2.5-VL系列为例，从3B到72B参数，ANLS从38.6%提升到61.4%；Gemma-3系列从4B到27B，ANLS从25.0%提升到52.9%。这种趋势在12B以上参数的模型中尤为明显，表明更大规模的模型在结构化IE任务上具有显著优势。第三，查询类型对性能影响显著。按需查询是最具挑战性的场景，多数模型在按需查询上的得分比闭集纯文本查询低20-40个百分点。这反映了模型在理解隐含意图、推断父子实体关系方面的不足。闭集模式查询也比闭集纯文本查询更难，因为前者平均请求的实体数量（约14个）是后者（约5个）的近三倍。第四，合成数据与手工数据的难度差异。模型在手工标注数据上的ANLS平均比合成数据低13.6%，表明手工数据仍然是更具挑战性的测试集。值得注意的是，用于生成合成数据的Gemini-2.5-Flash在手工数据上也没有表现出特殊优势，说明人工验证有效消除了合成数据的偏差。第五，数据增强的效果。重述查询上的ANLS比基础查询下降约27%，在不可回答查询上也有明显下降，表明模型对同义替换和缺失实体识别存在困难。第六，文本消融实验表明视觉信息对结构化IE有重要贡献。使用OCR提取的文本token输入Qwen2.5-VL-32B，比使用图像输入低约10%的ANLS，尤其在按需查询上差距更大。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本抽取-平均ANLS | ANLS | Gemini-2.5-Pro: 79.5% | Qwen2.5-VL-72B-FP8: 61.4% | +18.1pp |
| 按需查询-幻灯片 | ANLS | Gemini-2.5-Pro: 80.4% | Qwen2.5-VL-72B-FP8: 42.4% | +38.0pp |
| 页码定位 | Page Accuracy | Gemini-2.5-Pro: 84.3% | Mistral-Small-3.2-24B: 60.7% | +23.6pp |
| 边界框定位 | IoU | Gemini-2.5-Pro: 14.4% | Qwen2.5-VL-32B: 11.2% | +3.2pp |
| 模式映射-F1 | Map. F1 | Gemini-2.5-Pro: 83.1% | Qwen2.5-VL-72B-FP8: 79.5% | +3.6pp |
| 结构预测-树编辑相似度 | Tree Sim. | Gemini-2.5-Pro: 78.3% | Gemma-3-27B: 77.1% | +1.2pp |
局限与改进
作者在论文中明确指出了EXSTRUCTINY的几个局限性。首先，当前使用ANLS作为文本评估指标对某些数据类型（如数字和日期）是次优的，因为基于字符的相似度可能无法准确反映抽取质量，而这部分数据占所有标注值的26%。未来工作需要探索针对这些情况的替代指标。其次，EXSTRUCTINY目前仅支持英语，不评估其他语言文档上的IE性能。第三，评估框架中的模式映射阶段依赖文本LLM来对齐预测输出与真实答案，虽然有效，但比程序化解决方案更慢，且可能无法产生完美的映射。从独立观察来看，还有几个值得关注的问题：基准数据集的规模相对较小（304个QA对、110个文档），与DocVQA的4733个QA对相比，统计显著性可能不足；四种文档类型虽然覆盖了常见场景，但缺少医疗记录、法律文书等专业领域的文档；按需查询的定义依赖于标注员的主观判断，可能存在标注一致性问题；此外，实验中所有开源模型都使用相同的推理设置（温度0.2、vLLM），没有进行超参数调优，可能低估了某些模型的真实能力。
独立分析的弱点
基于对论文的深入分析，我认为EXSTRUCTINY存在以下几个需要改进的弱点。第一，边界框定位评估的实用性存疑。实验显示所有模型的IoU都在15%以下（最佳14.4%），这说明当前VLM在精确空间定位方面能力严重不足。然而，这种低IoU可能部分源于标注本身的质量问题——在复杂布局的文档中，人工标注的边界框也存在主观性。建议未来工作引入更鲁棒的定位评估指标（如基于关键点的匹配），并考虑对不同文档类型的定位难度进行区分评估。第二，按需查询的评估标准不够明确。按需查询要求模型自行判断需要抽取哪些子实体，但不同模型可能选择不同粒度的子实体，这使得跨模型的公平比较变得困难。建议引入更明确的评估框架，例如定义必须抽取和可选抽取两个层级，或者使用人类偏好评分来评估抽取结果的完整性。第三，合成数据的多样性可能受到生成模型（Gemini-2.5-Flash-Thinking）的限制。尽管有数据增强策略，但所有合成查询的思维方式可能都带有Gemini的偏见，无法代表所有可能的查询模式。建议引入多个不同架构的生成模型来增加查询多样性。
未来方向
基于EXSTRUCTINY的实验结果和局限性，未来研究可以从以下几个方向展开。首先，提升VLM的按需IE能力是一个重要方向。当前模型在按需查询上的表现远不如闭集查询，这表明模型在隐含意图理解和父子实体关系推断方面存在明显不足。可以通过引入层次化注意力机制或显式的实体关系建模来改进。其次，开发更鲁棒的结构化输出评估框架。当前的语义模式映射方法虽然有效，但依赖文本LLM且速度较慢。可以探索基于图匹配或学习型对齐的方法来提高效率和准确性。第三，将基准扩展到多语言和更多文档类型。当前仅支持英语，且缺少医疗、法律等专业领域的文档。第四，探索端到端的定位增强训练。当前模型的IoU极低，可能需要在训练过程中引入更强的空间定位监督信号。第五，研究小模型通过知识蒸馏或领域适配来缩小与大模型差距的可能性，这对于资源受限的企业应用场景尤为重要。
复现评估
从复现性角度来看，EXSTRUCTINY的数据集构建流程具有一定的复现难度，但也提供了足够的细节。数据集本身可以通过邮件向J.P. Morgan申请获取（仅限研究用途），这意味着数据获取存在一定的访问限制。四个源数据集（FUNSD、TAT-DQA、SlideVQA、VisualMRC）都是公开可用的，便于复现数据收集阶段。合成数据生成使用Gemini-2.5-Flash-Thinking，这是一个闭源模型，但可以替换为其他VLM进行类似生成。评估框架中使用gpt-oss-20b进行模式映射，这是一个开源模型（虽然较大），论文提供了详细的提示模板和超参数设置（温度0.95、top-K=10、中等推理努力），有助于复现评估流程。算力需求方面，实验使用四块NVIDIA L40S GPU，对开源模型的推理是可行的，但验证304个QA对的人工标注工作量较大（三位验证员平均每个QA对花费25.5次编辑）。总体而言，复现评估流程相对容易，但复现数据集构建流程需要较大的人工投入。
论文图表
