VERSE：面向富视觉文档理解的视觉嵌入降维与空间探索及聚类引导训练数据增强 VERSE: Visual Embedding Reduction and Space Exploration. Clustering-Guided Insights for Training Data Enhancement in Visually-Rich Document Understanding
通过降维可视化VLM视觉嵌入空间，聚类定位性能瓶颈并针对性增强训练数据
前置知识
Vision-Language Model (VLM)
视觉-语言模型是一类能够同时处理图像和文本输入的多模态深度学习架构。这类模型通常由视觉编码器（如ViT、Swin Transformer）将图像转换为嵌入向量，再通过投影模块与文本编码器对齐，最终由语言模型（如LLM decoder）生成文本输出。在文档理解领域，VLM能够同时利用文档的布局结构、视觉特征和文本内容进行推理。本文涉及的VLM包括Donut、Idefics2、PaliGemma和LLaVA等。
理解VLM的基本架构是理解VERSE方法的前提，因为VERSE的核心操作对象就是VLM视觉编码器产生的嵌入向量。
Visual Embedding（视觉嵌入）
视觉嵌入是视觉编码器将输入图像处理后得到的高维向量表示。具体而言，图像被划分为 $[n \times m]$ 个patch，每个patch经过编码器处理后得到 $L$ 维向量，形成 $[n \times m \times L]$ 的张量。VERSE通过平均池化操作将此张量压缩为 $[1 \times L]$ 的单向量表示，使得每张图像对应一个模型特定的嵌入向量。不同模型的嵌入维度不同：Donut为1024维，Idefics2为1152→4096维，PaliGemma为1152维，LLaVA为1024维。
VERSE方法的全部分析都建立在对视觉嵌入的提取、降维和聚类之上，理解嵌入的获取过程是读懂本文的关键。
PCA（主成分分析）
主成分分析是一种经典的线性降维方法，通过正交变换将高维数据投影到方差最大的方向上（即主成分）。在VERSE中，PCA被用于将模型产生的高维视觉嵌入（数千维）降至2维（PC1和PC2），以便在二维平面上可视化嵌入空间的结构。降维后保留的主成分能够捕获数据中最重要的变异方向，使得不同视觉特征的样本在低维空间中形成可辨识的聚类。
PCA是VERSE实现嵌入空间可视化的关键技术手段，论文中的大量分析（如聚类识别、特征叠加）都依赖于PCA降维后的结果。
Silhouette Score（轮廓系数）
轮廓系数是衡量聚类质量的指标，取值范围为 $[-1, 1]$。对于每个样本，轮廓系数综合考虑其与同簇其他样本的紧密度（intra-cluster cohesion）和与其他簇样本的分离度（inter-cluster separation）。值越接近1表示样本很好地归属于自己的簇且远离其他簇，值接近0表示样本处于两个簇的边界，负值表示样本可能被分配到了错误的簇。论文中Idefics2的轮廓系数为0.63，Donut为0.50，PaliGemma为0.38，LLaVA为0.35。
轮廓系数是VERSE判断模型是否适合目标任务的核心定量指标，高轮廓系数意味着模型的视觉嵌入空间具有良好的结构化特征，从而预示更强的下游任务性能。
Visually-rich Document Understanding (VrDU)
视觉丰富文档理解是指利用AI模型解析和理解包含复杂视觉元素（如表格、图表、印章、手写签名等）的文档。与纯文本理解不同，VrDU需要同时处理文档的布局结构、视觉特征和文本语义。典型任务包括关键信息提取（如从成绩单中提取姓名、课程、成绩等字段）、文档分类、表格识别等。本文聚焦于西班牙语成绩单的关键信息提取任务，以序列生成方式实现。
这是本文研究的核心应用领域，理解VrDU任务的特点（文档结构多样性、视觉特征重要性）有助于理解VERSE方法的设计动机。
MERIT Dataset
MERIT Dataset是一个用于文档理解的多模态数据集，本文使用其西班牙语子集作为训练数据。该数据集包含来自不同学校的数字化成绩单文档，有多个版本：Digital Paragraph（纯文本无结构）、Digital Line（带换行的基础结构）、Digital（完整结构含标题和印章）、Digital Rotation（旋转样本）、Digital Zoom（缩放样本）和Rendered（Blender渲染的3D逼真版本）。这些版本按视觉丰富度递增排列，用于分析模型对不同视觉信息量的敏感性。
MERIT Dataset的多个版本构成了VERSE方法中训练扫描实验的基础，通过对比不同版本训练的模型性能，VERSE能够识别影响模型表现的关键视觉特征。
SaaS解决方案
SaaS（Software as a Service）解决方案指通过API调用的云端AI服务，如GPT-4和Pixtral。这些模型由大型科技公司训练和托管，用户通过API接口提交请求获取结果。与之相对的是on-premise（本地部署）模型，如Donut和Idefics2，用户可以在自己的服务器上运行和微调。本文的核心成果之一就是证明经过VERSE优化的本地部署模型能够达到甚至超越SaaS解决方案的性能水平。
理解SaaS与on-premise模型的区别对于评估VERSE的实际应用价值至关重要，因为本地部署模型具有数据隐私和治理方面的优势。
研究动机
在视觉语言模型（VLM）应用于视觉丰富文档理解（VrDU）的研究中，合成训练数据的质量评估一直采用人类视角的标准——即判断合成图像是否看起来逼真（photorealistic）。然而，这种以人为中心的评估方式存在根本性问题：视觉逼真度并不等同于对模型的有用性。从模型的角度来看，真正重要的是合成样本是否位于真实样本在同一视觉-语义嵌入空间中的分布范围内。此外，当模型在某些类型的文档上表现不佳时，研究者缺乏有效的方法来诊断问题的根源——是训练数据不足、数据质量问题，还是模型本身的架构限制。现有方法无法系统性地揭示模型内部的视觉表征结构，也无法将性能瓶颈与特定的文档视觉特征关联起来。例如，论文发现某些模型在处理低缩放比例、双表格布局或字母数字混合成绩表示的文档时表现显著下降，但这些问题的识别和解决在传统方法框架下难以实现。
本文的目标是本文提出VERSE（Visual Embedding Reduction and Space Exploration）方法论，旨在建立一套系统化的工作流程，通过分析和可视化VLM的视觉嵌入空间来实现三个目标：第一，模型可解释性——通过检查视觉嵌入是否形成与目标任务一致的连贯模式，评估模型处理VrDU任务的可行性；第二，可解释性与模型增强——识别嵌入空间中的低性能区域，提取这些区域对应的视觉特征，并通过针对性的数据增强策略改善模型在这些区域的表现；第三，以人为中心的可解释性——揭示驱动模型行为和任务性能的视觉和结构特征，帮助人类理解模型的决策依据。最终目标是使本地部署的模型（如Donut和Idefics2）在经过VERSE优化后，能够达到甚至超越商业SaaS解决方案（如GPT-4和Pixtral）的性能水平。
与已有工作不同的是，VERSE的独特切入角度在于提出了一种从模型内部视角评估训练数据质量的范式转变。传统方法从人类视觉感知出发判断合成数据质量，而VERSE从模型的嵌入空间结构出发，通过分析嵌入的聚类模式来判断数据是否对模型有用。这种方法论上的创新体现在：首先，VERSE能够在不依赖外部性能指标的情况下，仅通过观察嵌入空间的结构（如轮廓系数、聚类分离度）就预判模型对目标任务的适用性；其次，VERSE能够将嵌入空间中的低性能聚类区域与具体的文档视觉特征（如表格布局、缩放比例、成绩表示方式）关联起来，从而实现精准的问题诊断；最后，VERSE提供了一个闭环的改进流程——识别问题特征→生成包含这些特征的增强数据→训练模型→验证改进效果。这种从嵌入空间结构到训练数据设计的直接映射，是此前文档理解领域未曾探索过的方向。
核心方法
VERSE方法论的整体思路可以用一个比喻来理解：想象你在黑暗中观察一群萤火虫（模型的视觉嵌入），VERSE就像一台热成像仪，先把高维的萤火虫位置投影到二维地图上（PCA降维），然后通过颜色标注每只萤火虫的亮度（F1性能）和种类（视觉特征），最后发现某些区域的萤火虫特别暗（低性能聚类），并分析这些区域的萤火虫有什么共同特征（如都是来自低缩放文档的样本）。技术路线分为五个阶段：（A）准备验证数据集（MERIT Secret，152张真实成绩单图像）；（B）使用四个预训练VLM模型（Donut、Idefics2、PaliGemma、LLaVA）提取视觉嵌入；（C）使用不同版本的MERIT数据集进行微调并计算每个样本的F1分数；（D）通过PCA将高维嵌入降至2维形成降维嵌入空间（RES）；（E）在RES上叠加F1分数和视觉特征标签进行聚类分析，识别低性能区域并提取其特征。
VERSE的核心创新点在于提出了一种模型内部视角的训练数据评估和优化范式。与已有方法的本质区别体现在三个层面：第一，评估标准的转变——传统方法从人类视觉感知出发评估合成数据质量（是否逼真），VERSE从模型的嵌入空间分布出发评估数据是否对模型有用。论文用Figure 1清晰地展示了这一范式转变：人类观察者问的是图像是否逼真，而模型观察者问的是图像是否在目标分布内。第二，诊断粒度的细化——VERSE不仅能判断模型整体性能，还能定位到嵌入空间中的特定低性能聚类，并精确识别这些聚类对应的文档特征（如双表格布局、字母数字混合成绩、低缩放比例），实现从模型性能差到模型在处理某些特定视觉特征的文档时性能差的精确归因。第三，改进的针对性——基于聚类分析的结果，VERSE能够设计针对性的训练数据增强策略，只在需要改进的区域补充训练样本，而不是盲目增加数据量。这种诊断→归因→靶向治疗的闭环方法论是前所未有的。
方法步骤详情
VERSE方法的完整步骤如下：第一步，验证数据准备。使用MERIT Secret数据集作为验证集，该数据集包含152张来自10所不同学校的真实成绩单图像（受NDA保护），每张图像标注了可观察的视觉特征（如列数、布局类型、表格位置、缩放比例等）。第二步，模型视觉嵌入提取。将验证集图像输入四个预训练VLM的视觉编码器（不经过微调的off-the-shelf版本），对每个模型提取最后一层隐藏状态的输出，得到 $[n \times m \times L]$ 张量，然后通过平均池化压缩为 $[1 \times L]$ 向量。所有模型的视觉骨干网络保持冻结状态，确保嵌入空间结构的一致性。第三步，模型微调与F1计算。使用MERIT数据集的六个不同版本（从Digital Paragraph到Rendered，视觉丰富度递增）分别微调每个模型（视觉编码器冻结），然后在MERIT Secret上计算每个样本的F1分数。第四步，嵌入降维。对每个模型的152个高维嵌入向量应用PCA，投影到前两个主成分（PC1和PC2）构成的二维空间，形成降维嵌入空间（RES）。降维过程使用Trustworthiness和Proximity指标验证局部邻域结构的保留程度。第五步，聚类分析与特征叠加。在RES上使用K-Means自动检测聚类，计算轮廓系数评估聚类质量，然后叠加每个样本的F1分数和视觉特征标签（如列数、表格复杂度、缩放比例），识别低性能聚类区域并分析其共同特征。第六步，针对性数据增强。根据识别出的低性能特征，从MERIT数据集中提取或生成包含这些特征的booster子集，与基础训练集组合后重新微调模型，验证性能改进效果。
技术新颖性
VERSE的技术新颖性体现在多个方面：首先，提出了从模型嵌入空间结构预判模型任务可行性的方法。通过计算轮廓系数（Silhouette score），VERSE发现Idefics2（0.63）和Donut（0.50）具有结构化的嵌入空间，而PaliGemma（0.38）和LLaVA（0.35）的嵌入空间混乱，这一预判与后续微调结果高度一致——Idefics2达到0.8101的F1，Donut达到0.7607，而PaliGemma仅为0.3028，LLaVA为0.0000。其次，发现了视觉特征在嵌入空间中的层次化组织模式：宏观文档结构特征（如列数、表格位置、布局类型）主导了聚类的形成和定位，而低层细节（如印章、签名的存在）对嵌入空间组织的影响较小。第三，提出了zoom水平的最优区间概念——论文发现存在一个最优的缩放范围（约0.625），过低（0.25-0.50）导致模型无法提取文本信息，过高（0.75）使训练任务过于简单，而使用0.3-1.0的均匀分布缩放训练效果最佳。第四，揭示了不同模型共享相同视觉编码器但嵌入空间质量差异巨大的现象——Idefics2和PaliGemma都使用SigLIP-So400M编码器，但Idefics2的嵌入空间远优于PaliGemma，原因是Idefics2的预训练数据更贴近文档任务且其视觉模块包含更复杂的投影机制（MLP + Perceiver）。
实验结果
VERSE方法论的实验结果揭示了多个重要发现。首先，关于模型可行性评估：通过分析降维嵌入空间的结构质量，VERSE成功预判了四个模型对VrDU任务的适用性。Idefics2的轮廓系数最高（0.63），其降维嵌入空间呈现出7个清晰的K-Means聚类，平均聚类半径为0.30，密度为243，这些指标表明其视觉表征对文档结构具有强区分能力；Donut次之（轮廓系数0.50，4个聚类）。而PaliGemma（0.38）和LLaVA（0.35）的嵌入空间分离度较差，被判定为不适合该任务。这一预判与微调后的F1结果完全吻合：Idefics2达到0.8101，Donut为0.7607，PaliGemma仅0.3028，LLaVA为0.0000。其次，关于训练数据版本的影响：论文发现模型不需要视觉上逼真的合成数据就能获得良好的性能。Donut在使用Digital版本（含基本结构）训练时F1已达0.6712，而Rendered版本（Blender渲染的3D逼真样本）虽然F1更高，但提升主要来自渲染过程中引入的缩放变化，而非视觉逼真度本身。第三，关于低性能聚类的诊断：VERSE在Donut的降维嵌入空间中识别出两个低性能区域——Cluster A受外部因素（低缩放水平）影响，Cluster B受内在文档特征（双表格布局和字母数字混合成绩表示）和低缩放共同影响。针对性分析显示，Cluster A在0.625缩放水平下表现最佳，而使用0.3-1.0的均匀分布缩放训练对两个聚类区域都有显著改善。第四，关于booster数据集的效果：将包含Cluster B特征的booster子集与Rendered训练集组合后，Donut的整体F1从0.6712提升至0.7607（+0.09），Cluster B区域的F1从0.4325提升至0.5849（+0.17）。对Idefics2，整体F1从0.7556提升至0.8101（+0.06），三个低性能聚类区域分别提升了0.17、0.15和0.24。最终，经VERSE优化的Idefics2（F1=0.8101）超越了GPT4-O（F1=0.7821），Donut（F1=0.7607）超越了Pixtral（F1=0.7267），证明本地部署模型在合理优化下可以达到甚至超越商业SaaS解决方案的性能。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 关键信息提取（西班牙语成绩单） | F1 Score | Idefics2 + VERSE: 0.8101 | GPT4-O API: 0.7821 | +0.028（3.6%相对提升） |
| 关键信息提取（西班牙语成绩单） | F1 Score | Donut + VERSE: 0.7607 | Pixtral API: 0.7267 | +0.034（4.7%相对提升） |
| 模型可行性预判 | Silhouette Score vs F1相关性 | Idefics2: Silhouette 0.63 → F1 0.8101 | LLaVA: Silhouette 0.35 → F1 0.0000 | Silhouette分数与F1正相关，验证了VERSE预判方法的有效性 |
| 低性能区域增强（Donut Cluster B） | F1 Score（区域级） | Booster + Rendered: 0.5849 | Digital基线: 0.4325 | +0.1524（35.2%相对提升） |
| 低性能区域增强（Idefics2 Cluster C） | F1 Score（区域级） | VERSE增强: 0.7432 | Digital基线: 0.5040 | +0.2392（47.5%相对提升） |
局限与改进
本文存在多个值得关注的局限性。首先，验证数据集MERIT Secret仅包含152张来自10所学校的西班牙语成绩单图像，数据规模较小且领域单一，这限制了VERSE方法的泛化性验证——我们无法确定该方法在其他语言、其他文档类型（如发票、合同、医疗记录）上的表现是否同样有效。其次，验证数据集受NDA保护无法公开，这严重影响了研究的可复现性，其他研究者无法在相同条件下验证论文的结果。第三，主成分分析（PCA）作为线性降维方法，存在固有的信息损失和特征纠缠问题——沿单一主成分移动并不对应单一特征的变化，而是多个特征的组合变化。论文承认虽然定性分析能够揭示主导模式，但主成分的多义性（polysemanticity）使得精确的特征归因变得困难。第四，论文仅评估了四个VLM模型，且其中两个（PaliGemma和LLaVA）在初步筛选后即被排除，实际进行深度分析的仅有Donut和Idefics2两个模型，样本量不足以得出关于VERSE方法有效性的普遍性结论。第五，论文聚焦于序列生成任务（关键信息提取），未验证VERSE在其他VrDU任务（如文档分类、表格识别、视觉问答）上的适用性。第六，booster数据集的设计需要人工分析聚类特征并提取相应样本，这一过程的自动化程度不足，限制了方法的可扩展性。
独立分析的弱点
本文存在几个值得深入分析的弱点。第一，降维方法的选择过于保守——论文仅使用PCA进行线性降维，而现代降维技术如t-SNE、UMAP或自编码器能够更好地保留高维空间中的非线性结构。PCA的线性假设可能丢失了嵌入空间中有意义的非线性聚类模式，导致某些低性能区域未被识别。改进方向是尝试非线性降维方法并与PCA结果进行对比分析。第二，聚类分析的自动化程度不足——论文使用K-Means进行聚类检测，但未讨论最优聚类数的选择方法（如肘部法则、轮廓系数优化），也未考虑DBSCAN等密度聚类方法在处理不规则形状聚类时的优势。改进方向是引入多种聚类算法的集成方法，并使用自动化聚类数选择策略。第三，特征叠加分析主要依赖人工观察——论文通过在RES上叠加不同视觉特征标签来进行可解释性分析，但这种定性方法缺乏统计显著性检验。改进方向是引入特征重要性量化指标（如互信息、相关系数）来客观评估每个特征对聚类形成的贡献度。第四，booster数据集的构建缺乏系统性——论文仅针对Donut的Cluster B构建了booster子集，且该子集基于人工识别的两个特征（双表格和字母数字混合成绩）。改进方向是建立自动化的聚类特征提取和booster数据生成流程。第五，缺乏对嵌入空间随训练演化过程的动态分析——论文仅分析了预训练模型的嵌入空间，未追踪微调过程中嵌入空间结构的变化，这限制了对VERSE机制的深入理解。
未来方向
论文作者提出了一个令人兴奋的未来方向：反转VERSE流程。具体而言，一旦在降维嵌入空间中识别出低性能区域，可以直接从这些区域采样，并使用生成模型从其潜在表示重建图像。这将实现一种从嵌入空间到图像的逆向合成过程，生成的训练样本将天然地与模型的潜在空间对齐，包含最能提升模型性能的视觉特征。这一方向如果成功，将彻底改变合成训练数据的生成范式——不再需要人类判断合成数据的质量，而是让模型自己设计最需要的训练样本。基于现有成果，还可以延伸以下研究方向：第一，将VERSE应用于更多文档类型和语言，验证其泛化能力；第二，探索VERSE在其他多模态任务（如视觉问答、文档分类）中的适用性；第三，开发自动化的聚类特征识别和booster数据生成工具，降低VERSE的使用门槛；第四，研究VERSE与主动学习（Active Learning）的结合，利用嵌入空间结构指导样本选择策略；第五，将VERSE应用于模型压缩和知识蒸馏场景，通过分析不同规模模型的嵌入空间结构来指导模型设计。
复现评估
本文的复现性评估呈现两面性。有利方面：MERIT训练数据集已在Hugging Face上公开发布，模型训练和测试的代码仓库在GitHub上可用，训练过程的详细日志通过WandB平台记录（Donut、Idefics2、PaliGemma、LLaVA各有独立的训练项目链接）。所有使用的模型都是公开可用的预训练模型（naver-clova-ix/donut-base、HuggingFaceM4/idefics2-8b、google/paligemma-3b-pt-224、LLaVA-hf/LLaVA-1.5-7b-hf）。不利方面：最关键的验证数据集MERIT Secret受NDA保护无法公开，这意味着其他研究者无法在完全相同的条件下复现实验结果。此外，论文未提供详细的超参数设置（如学习率、批大小、训练轮数）、计算资源需求（GPU型号和数量、训练时间）以及完整的环境配置（Python版本、依赖库版本），这些信息的缺失增加了复现的难度。总体而言，训练数据和代码的开源部分有助于方法框架的复现，但验证数据的缺失使得核心结果的精确复现变得困难。建议研究者在类似的数据集上验证VERSE方法的有效性，而非试图完全复现论文中的具体数字。
论文图表
该图对比了两种合成数据质量评估视角：左侧是人类观察者，询问图像是否逼真；右侧是模型观察者，询问图像是否在目标分布内。人类观察者通过判断合成图像的视觉逼真度来评估质量，而模型观察者通过分析视觉嵌入来判断合成图像是否位于真实样本的分布范围内。图中还展示了人类帮助识别有助于模型学习和表现更好的数据特征的过程。
这张图是理解VERSE核心思想的关键——它清晰地展示了从人类视角到模型视角的范式转变，这是整篇论文的哲学基础和方法论出发点。