VISTA-Bench：视觉语言模型真的能像理解纯文本一样理解图像中的文字吗？ VISTA-Bench: Do Vision-Language Models Really Understand Visualized Text as Well as Pure Text?
首个系统评估VLM在图像化文本与纯文本间性能差距的基准测试
前置知识
视觉语言模型（VLM）
视觉语言模型是将大语言模型扩展到视觉模态的架构，通过视觉编码器将图像转换为token序列，与文本token一起输入到语言模型中进行联合推理。典型的VLM包括InternVL、Qwen-VL、LLaVA等系列，它们通过在大规模图文对数据上训练，实现了跨模态理解能力。VLM能够同时处理文本查询和视觉输入，在多模态推理、视觉问答等任务上展现出强大能力。
本文的核心问题就是评估这些VLM在面对不同形式的文本输入（纯token vs 图像像素）时是否能保持一致的理解能力，因此理解VLM的基本架构是前提。
Text-as-Pixels范式
Text-as-Pixels是一种将文本内容渲染为图像像素的新兴范式，代表工作如DeepSeek-OCR和Glyph。这种方法将文本从离散的token序列转换为连续的视觉像素表示，可以减少长上下文中的token开销，并建立跨模态的统一感知接口。在这种范式下，所有信息都通过视觉编码器处理，而非传统的文本分词器。
Text-as-Pixels是本文研究的核心场景，论文探讨的正是当文本以这种形式呈现时，VLM是否能保持与纯文本输入相当的理解能力。
模态差距（Modality Gap）
模态差距指同一语义内容在不同模态表示下模型性能的差异。在本文中特指纯文本输入（文本token）与图像化文本输入（文本渲染为像素）之间的准确率差异。这种差距反映了模型在跨模态表示一致性上的不足，可能源于视觉编码器的识别能力、跨模态对齐的不充分、或训练数据中对图像化文本覆盖不足等因素。
模态差距是本文发现的核心现象和主要研究对象，理解这个概念对于把握论文的核心贡献至关重要。
OCR基准测试
OCR（光学字符识别）基准测试评估模型从图像中提取和识别文字的能力，代表性的有DocVQA、OCRBench等。这些测试主要衡量视觉文本识别的准确性，是评估VLM处理图像化文本能力的重要参考。较强的OCR能力通常意味着模型能更准确地从像素中恢复文本语义。
论文发现OCR能力与模态差距密切相关，OCR能力更强的模型（如Qwen3-VL）在处理图像化文本时表现更好，模态差距更小。
多模态感知与推理
多模态感知指模型从视觉输入中提取和定位信息的能力，包括全局场景理解、实例识别和属性感知等维度。多模态推理则指在视觉和文本线索基础上进行逻辑推理、空间关系理解和跨实例推理的能力。这两个能力维度是VLM评估的核心组成部分，也是VISTA-Bench覆盖的主要任务类型。
VISTA-Bench的四大任务类别中有三个属于多模态领域，理解这些能力维度有助于把握基准测试的设计逻辑和评估范围。
研究动机
当前视觉语言模型的评估范式存在一个根本性的盲点：几乎所有主流基准测试都假设查询是以纯文本形式提供的。然而在现实场景中，语言经常以视觉化形式出现在图像中，比如街景中的路标文字、文档扫描件中的内容、社交媒体图片中的文字说明等。现有基准测试如MMBench、Seed-Bench、MMMU等都采用纯文本查询方式，这忽略了从像素中阅读语言所带来的感知挑战。即使像VTCBench这样的并行工作也主要局限于单模态设置，未能覆盖多模态任务中从感知到推理的多样能力。更具体地说，初步实验显示，在单模态任务MMLU上，Qwen3-VL-8B-Instruct的准确率从纯文本的75.99%下降到图像化文本的68.46%，降幅达7.53个百分点。这种性能下降在不同模型和任务间普遍存在，但现有评估框架完全无法捕捉这一现象。
本文的目标是本文的具体目标是构建一个系统化的基准测试VISTA-Bench，用于严格评估VLM在图像化文本输入条件下的理解能力。该基准测试需要满足三个核心要求：第一，提供纯文本和图像化文本两种格式的严格对照评估，确保语义内容完全一致，仅输入形式不同；第二，覆盖从多模态感知、多模态推理到多模态知识、单模态知识的完整能力谱系；第三，包含足够的样本量（最终为1,500个精心筛选的实例）以确保评估结果的稳定性和可靠性。通过这个基准测试，论文旨在量化模态差距的大小、分析其影响因素、并为未来研究提供诊断工具。
与已有工作不同的是，本文的独特切入角度在于它首次将图像化文本理解提升为一个独立的、系统化的评估维度。与已有工作相比，VISTA-Bench抓住了三个被忽视的关键点。第一，已有基准测试只关注纯文本查询，而VISTA-Bench首次在多模态任务中引入图像化文本对照评估，覆盖感知、推理、知识三个认知层次。第二，已有工作如VTCBench仅在单模态设置中研究模态差距，而VISTA-Bench揭示了模态差距在多模态场景中同样存在且在推理和知识任务中被放大。第三，VISTA-Bench不仅发现了问题，还通过OCR基线实验诊断了问题的根源，指出感知鲁棒性是核心瓶颈，而不仅仅是OCR识别失败。这种从发现问题到诊断根因的完整分析链条是前所未有的。
核心方法
VISTA-Bench的核心思路可以用一个简单的比喻来理解：就像测试一个人是否既能听懂口头语言也能读懂书面文字一样，VISTA-Bench测试VLM是否既能理解纯文本token也能理解渲染为像素的文本。技术路线上，研究团队采用了一个精心设计的三阶段流水线：首先从现有基准测试中收集多样化的高质量问题，然后通过LaTeX渲染引擎将文本转换为多样化的图像化文本，最后使用VLM作为过滤器验证渲染质量。整个基准测试包含1,500个实例，每个实例都提供纯文本和图像化文本两种格式，确保在完全相同的语义内容下进行严格的对照评估。评估框架按照能力维度分为四个主要任务：多模态感知（300实例）、多模态推理（300实例）、多模态知识（400实例）和单模态知识（500实例），共覆盖10个子任务和27个细粒度维度。
VISTA-Bench的核心创新在于它的解耦式评估设计。与已有工作将问题和图像合并为单一视觉输入的all-in-one设计不同，VISTA-Bench采用解耦方案：原始问题图像与渲染后的问题图像分开提供。这种设计带来了两个关键优势。第一，它允许精确控制变量——每个问题的语义内容完全相同，唯一的差异是文本是作为token还是作为像素输入，从而能够准确归因性能差异到模态表示本身。第二，它提供了更高的灵活性——对于文本密集的图像，解耦设计避免了叠加查询可能引入的视觉干扰。更本质地说，VISTA-Bench将图像化文本理解从一个附带的OCR问题提升为一个独立的评估维度，揭示了文本-as-pixels范式下的核心挑战：模型不仅要能识别文字，还要能将像素级的文本语义与纯文本推理表示对齐。
方法步骤详情
VISTA-Bench的构建分为三个主要步骤。第一步是数据构建：研究团队从MMBench、Seed-Bench、MMMU、MMLU等现有基准测试中收集多样化的样本，按照底层类别进行初始数据提取，然后通过严格的人工审查确保准确性，只保留正确的样本进入渲染流程。第二步是渲染流水线：由于数据集包含结构化代码和LaTeX公式，直接渲染会产生不可读的文本和视觉伪影，因此团队提出基于LaTeX的渲染流水线。预处理阶段对文本、代码和公式进行专门处理以保留语义准确性；生成阶段通过宽度锚定和字体映射保持视觉和谐和字体多样性；后处理阶段进行保真光栅化、内容定位和自适应裁剪，得到精确提取的图像化文本区域。默认配置为800像素宽度、72.27 DPI、左右边距60像素、上下边距40像素。第三步是VLM作为过滤器：使用Qwen3-VL-32B-Instruct作为渲染质量审核器，采用三级对齐状态（0-2分）评估渲染保真度，低于2分的样本进一步送人工验证。
技术新颖性
VISTA-Bench的技术新颖性体现在三个层面。第一，在评估理念上，它首次将图像化文本理解确立为一个独立的评估维度，而非仅仅是OCR能力的延伸。论文通过实验证明，即使OCR系统能完美提取文本，模型仍然存在模态差距，这表明问题不仅仅是文字识别，而是跨模态表示对齐。第二，在基准构建上，它采用了严格的LaTeX渲染流水线和VLM-as-Judge质量验证机制，确保了渲染的高保真度和多样性。第三，在分析方法上，它通过OCR基线实验、渲染因子消融、模态差距分解等多层次分析，不仅发现了模态差距的存在，还诊断了其根源（感知鲁棒性不足）和影响因素（字体大小、字体样式、提示词设计）。这种从发现到诊断的完整分析链条是前所未有的。
实验结果
论文通过评估超过30个代表性VLM，揭示了几个关键发现。首先，模态差距普遍存在但因模型而异：大多数VLM在从纯文本切换到图像化文本时准确率下降，确认模态差距仍是普遍挑战。差距最严重的模型包括NEO-9B-SFT（-31.0个百分点）、LLaVA-OneVision-7B（-25.5个百分点）和NEO-2B-SFT（-20.7个百分点），而表现最好的模型包括MiMo-VL-7B-RL（仅-0.3个百分点）、MiMo-VL-7B-SFT（-2.3个百分点）和Qwen2.5-VL-7B-Instruct（-2.7个百分点）。闭源模型也存在显著异质性：Gemini-3.1-Pro-Preview仅下降1.6个百分点，而GPT-5.2仍下降11.7个百分点。其次，在多模态任务内部，推理和知识子任务的模态差距被放大：Ovis2.5-9B在感知任务上仅下降1.0个百分点，但在推理和多模态知识任务上分别下降9.4和15.7个百分点。第三，单模态知识任务直接暴露了图像化文本处理的瓶颈：Qwen2.5-VL-7B-Instruct在单模态知识上仅下降0.4个百分点，而NEO-9B-SFT下降了40.6个百分点。第四，OCR基线实验表明文本提取质量至关重要：Tesseract OCR仅能达到33.2%的总体准确率，而PaddleOCR-VL-1.5可提升到56.0%，但仍低于纯文本的59.1%，说明模态差距不仅是OCR识别问题。第五，多模态上下文可以减弱模态差距：平均单模态差距为15.2%，而多模态差距为10.5%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多模态感知 | 准确率 | MiMo-VL-7B-RL: 70.7% (VT) | 纯文本: 69.3% | +1.4% (超越纯文本) |
| 多模态推理 | 准确率 | Gemini-3.1-Pro-Preview: 73.3% (VT) | 纯文本: 76.0% | -2.7% |
| 多模态知识 | 准确率 | Gemini-3.1-Pro-Preview: 80.5% (VT) | 纯文本: 82.3% | -1.8% |
| 单模态知识 | 准确率 | Qwen2.5-VL-7B-Instruct: 62.4% (VT) | 纯文本: 62.0% | +0.4% (超越纯文本) |
| 总体性能 | 准确率 | Gemini-3.1-Pro-Preview: 80.3% (VT) | 纯文本: 81.9% | -1.6% |
| 总体性能 | 准确率 | MiMo-VL-7B-RL: 61.6% (VT) | 纯文本: 61.9% | -0.3% |
| OCR基线对比 | 准确率 | PaddleOCR-VL-1.5: 56.0% | 纯文本: 59.1% | -3.1% (残差差距) |
| 字体大小敏感性 | 准确率 | GLM-4.1V-9B-Thinking (9pt): 62.8% | 纯文本: 67.2% | -4.4% (最大差距) |
局限与改进
论文承认了几个重要局限性。首先，前沿模型持续快速演进，评估结果可能随模型版本更新、API变化、解码设置或预处理流水线的改变而变化，因此VISTA-Bench需要持续更新以跟踪最新模型。其次，当前评估仅针对判别式VLM，尚未充分探索生成式和统一多模态模型在图像化文本理解上的潜力，虽然论文在附录中对Qwen-Image-Edit进行了初步探索，但生成式评估范式仍需进一步发展。第三，VISTA-Bench的1,500个样本虽然在规模敏感性分析中表现稳定，但仍可能无法完全代表真实世界中图像化文本的全部多样性。从我的观察来看，论文的一个潜在局限是渲染配置的选择可能偏向于对某些模型有利的设置，虽然论文进行了渲染因子消融实验，但最优配置可能因模型而异。此外，论文主要关注选择题形式，开放性问题的评估相对有限，这可能低估了某些模型在实际应用中的能力。
独立分析的弱点
基于对论文的独立分析，我识别出几个值得关注的弱点。第一，渲染多样性不足：虽然VISTA-Bench采用了多种字体和字号，但现实世界中的图像化文本还包括手写体、艺术字体、倾斜文字、模糊文字、部分遮挡等更复杂的场景，当前基准测试可能高估了模型在真实场景中的表现。改进方向是引入更多样的渲染条件，包括噪声、模糊、倾斜、部分遮挡等增强。第二，任务类型局限：VISTA-Bench主要覆盖选择题，而现实中的图像化文本理解往往需要更复杂的推理和生成能力，如文档摘要、信息抽取、视觉问答等。改进方向是扩展任务类型，加入更多开放性任务和生成式评估。第三，模型评估的公平性问题：不同模型的默认解码设置和预处理策略可能对图像化文本有不同的优化程度，这可能影响比较的公平性。改进方向是进行更细致的控制变量实验，或统一所有模型的推理配置。
未来方向
论文作者提出了几个有前景的未来方向。第一，持续更新VISTA-Bench以跟踪快速演进的前沿模型，研究模态差距是否在更广泛的真实部署场景中持续存在。第二，通过智能体流水线评估LLM，使用外部工具将图像化文本和视觉信息转换为文本输入，从而分离视觉识别、工具使用和语言推理的失败原因。第三，探索生成式和统一多模态模型在图像化文本理解上的潜力，这可能提供不同于判别式VLM的跨模态表示学习路径。基于论文成果，还可以延伸几个方向：一是研究如何通过训练策略（如对比学习、模态对齐）来缩小模态差距；二是探索更高效的图像化文本编码方法，减少视觉token的数量同时保持语义保真度；三是将VISTA-Bench的评估框架扩展到其他模态转换场景，如语音到文本、视频到文本等。
复现评估
从复现性评估来看，VISTA-Bench具有良好的可复现性。论文提供了详细的渲染配置参数（宽度800像素、DPI 72.27、边距设置等），以及完整的VLM-as-Judge系统提示词和用户提示词。数据集包含1,500个样本，规模适中，便于复现。所有开源模型的评估使用VLMEvalKit工具包进行，遵循默认解码设置，确保了一致性。算力需求方面，论文在NVIDIA A800 GPU上运行开源模型评估，使用BF16精度，这对大多数研究团队是可承受的。复现难度适中，主要挑战在于渲染流水线的实现和VLM-as-Judge的配置。论文的代码和数据预计会开源（基于arxiv页面信息），这将大大降低复现门槛。总体而言，VISTA-Bench是一个设计良好、文档详尽、易于部署的基准测试，适合用于模型诊断和比较研究。
论文图表
图1(a)展示了人类如何将视觉上下文与嵌入的文本整合处理，而标准VLM评估通常将语言作为离散token提供。图1(b)展示了当语言以图像化文本形式呈现时，VLM的行为可能与纯文本不同，产生模态差距。
这张图直观地展示了本文研究的核心问题：VLM在处理不同形式的文本输入时存在能力差异，是理解全文动机的关键。