阅读而非思考：理解并弥合多模态大语言模型中文本变为像素时的模态鸿沟 Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs
诊断MLLM图文模态鸿沟根因，提出自蒸馏方法弥合差距
前置知识
多模态大语言模型（MLLM）
多模态大语言模型是指能够同时处理文本、图像等多种模态输入的大型语言模型。典型架构包括一个基于ViT的视觉编码器将图像压缩为视觉token，然后与文本token一起送入自回归LLM解码器。代表模型包括Qwen-VL系列、InternVL系列、Pixtral等。这些模型通过视觉编码器和语言模型的融合实现了跨模态理解能力，但在处理文本图像时与纯文本输入存在性能差距。
本文研究的核心对象就是MLLM在处理文本图像时的性能退化问题，理解MLLM的基本架构和工作原理是理解本文研究问题的前提。
模态鸿沟（Modality Gap）
模态鸿沟是指当相同的文本内容以图像形式呈现（如截图、PDF页面）而非以文本token形式输入时，MLLM的预测结果出现差异且通常性能下降的现象。这种差距在数学推理、代码生成、知识问答等多种任务中均有记录。模态鸿沟的存在意味着模型对视觉文本的理解能力与其文本理解能力之间存在显著差距。
模态鸿沟是本文研究的核心问题，论文的目标就是系统性地诊断这一现象的成因并提出弥合方法。
自蒸馏（Self-Distillation）
自蒸馏是一种模型训练技术，指模型使用自身的输出作为训练信号来改进自身。在本文中，自蒸馏特指让模型在文本模式下生成推理轨迹（reasoning traces），然后用这些推理轨迹作为监督信号，配合图像输入来训练同一模型的图像模式。与传统蒸馏使用软标签不同，本文的自蒸馏传递的是多步推理过程。
自蒸馏是本文提出的核心解决方案，通过这种轻量级方法成功弥合了模态鸿沟，理解这一概念对把握论文贡献至关重要。
推理崩溃（Reasoning Collapse）
推理崩溃是指当MLLM接收图像输入时，模型大幅缩短输出长度、跳过逐步推理过程的现象。具体表现为模型在文本模式下平均输出618个字符，在图像模式下骤降至32个字符（Qwen3-VL-8B）。这种推理能力的主动抑制导致计算错误和格式错误增加，是模态鸿沟的主要成因。
推理崩溃是本文通过错误分析得出的核心发现，这一发现直接指导了自蒸馏解决方案的设计。
LoRA（低秩适配）
LoRA是一种参数高效的微调方法，通过在预训练模型的权重矩阵旁添加低秩分解的旁路矩阵来实现微调，而不修改原始权重。形式上，对于权重矩阵W0，LoRA添加增量权重矩阵Delta_W = BA，其中B和A是低秩矩阵，秩远小于原始维度。本文使用秩r=64的LoRA进行微调。
本文使用LoRA作为自蒸馏的微调策略，理解LoRA的原理有助于理解实验设置和计算成本。
扎根理论（Grounded Theory）
扎根理论是一种广泛采用的质性研究方法论，在社会学、医疗和教育领域已有五十年以上的应用历史。与假设驱动的方法不同，扎根理论通过迭代编码阶段从数据中归纳推导理论框架：开放编码将原始观察分割为初始描述性标签，恒定比较通过将新数据与现有类别进行分类来精炼代码，主轴编码将相关代码分组为更高层次的类别。
本文采用扎根理论进行错误分析，理解这一方法论有助于理解错误分类体系的构建过程和科学性。
研究动机
多模态大语言模型在处理视觉呈现的文本时存在显著的性能退化问题。现有研究主要集中于记录这种模态鸿沟或构建新系统来绕过它，但缺乏对鸿沟产生原因的系统性解释。具体而言，现有评估几乎完全依赖于合成渲染的文本图像，可能将渲染伪影与真正的感知缺陷混为一谈。在合成基准测试中，数学任务的模态鸿沟超过60个百分点，而知识密集型任务的下降相对较小。渲染参数如字体和分辨率是关键混杂因素，仅字体选择就能导致准确率波动高达47个百分点。此外，当图像输入来自自然文档（如arXiv PDF、Wikipedia页面）时，MLLMs的性能差异要小得多，有时甚至超越文本模式的性能。这表明现有评估方法可能夸大了模态鸿沟的实际程度。
本文的目标是本文的目标是三方面的：首先，系统性地诊断模态鸿沟的成因，通过评估七个MLLMs在七个基准测试和五种输入模式下的表现，包括合成渲染文本和真实文档图像；其次，通过超过4000个错误样本的扎根理论错误分析，确定模态鸿沟的根本原因；最后，提出一种简单有效的解决方案来弥合这一鸿沟，而无需架构更改或外部数据。研究旨在提供对模态鸿沟的全面理解，并为实践者和模型开发者提供具体的指导。
与已有工作不同的是，本文的独特切入角度体现在三个层面。第一，评估覆盖范围的差异：本文不仅评估合成渲染图像，还评估来自arXiv PDF和Wikipedia页面的真实文档图像，这是以往工作未曾系统进行的。第二，诊断方法的创新：本文通过OCR-1P和OCR-2P两种设置将视觉管道分解为阅读和推理两个阶段，隔离各自对模态鸿沟的贡献，并采用扎根理论进行深入的错误分析。第三，解决方案的独特性：本文提出的自蒸馏方法使用同一模型同时作为教师（文本模式）和学生（图像模式），这是跨模态蒸馏的一种独特应用，不需要架构修改或外部数据。
核心方法
本文的研究方法分为三个主要阶段：诊断、分析和解决。首先，研究团队在七个MLLMs（包括Qwen2.5-VL 7B/32B、Qwen3-VL-8B、InternVL3-8B、InternVL3.5-8B、Pixtral-12B和GPT-5.2）上评估七个基准测试（MMLU、ARC、GPQA、GSM8K、HumanEval、QASPER、SQuAD v2），涵盖五种输入模式（纯文本、纯图像、指令+图像、单次OCR、两次OCR）。这一全面评估揭示了模态鸿沟的任务依赖性和渲染敏感性。随后，通过扎根理论对超过4000个错误进行系统分析，识别出推理崩溃是主要成因。最后，基于这一诊断，提出自蒸馏方法：使用模型自身的文本模式推理轨迹配合图像输入进行训练，成功弥合了模态鸿沟。
本文的核心创新点在于发现了模态鸿沟的根本原因不是视觉感知或知识检索的失败，而是推理崩溃。当输入为图像时，模型产生大幅缩短的输出（5-19倍），跳过逐步推理过程。具体而言，Qwen3-VL-8B在文本模式下平均输出618个字符，在图像模式下仅输出32个字符；Pixtral在文本模式下平均115个字符，图像模式下仅23个字符。这种推理能力的主动抑制导致计算错误增加1.5倍（16.7% vs 11.1%），格式错误从5.9%升至8.0%，而概念/事实召回错误和推理错误几乎不变。基于这一发现，本文提出自蒸馏方法，通过训练模型恢复图像输入下的推理过程来弥合鸿沟。
方法步骤详情
本文的方法包含以下具体步骤：第一，数据准备阶段，为每个模型在纯文本模式下运行推理，收集推理轨迹，仅保留最终答案正确的轨迹作为监督目标。每个轨迹与对应的纯图像输入配对。第二，训练阶段，使用LoRA对语言模型进行微调（冻结视觉编码器），秩r=64，训练2个epoch，学习率2乘以10的负4次方，有效批量大小16。损失函数为标准的自回归语言建模损失。第三，评估阶段，在训练集内和训练集外的基准测试上评估，检验是否发生灾难性遗忘。第四，消融实验，比较过滤轨迹（仅正确答案）与未过滤轨迹、ViT+LM/仅ViT/仅LM三种适配策略的效果。
技术新颖性
本文的技术新颖性体现在多个方面。首先，在评估设置上，引入了OCR-1P和OCR-2P两种诊断设置，将视觉管道分解为阅读和推理两个阶段，这是以往工作未曾采用的方法。其次，在错误分析上，采用扎根理论这一社会学研究方法对MLLM错误进行系统分类，结合GPT-5.2进行开放编码和恒定比较，人类专家进行主轴编码，产出了包含7个主要错误类别的分类体系。第三，在解决方案上，自蒸馏方法使用同一模型同时作为教师和学生，这是跨模态蒸馏的独特应用；消融实验表明，仅适配语言模型（LM-only）就能达到92.72%的图像模式准确率，与ViT+LM的92.57%相当，揭示了语言模型适配是关键因素。
实验结果
本文的核心发现可以归纳为三个方面。第一，模态鸿沟的任务依赖性和渲染敏感性：在合成基准测试中，GSM8K展现出最大的模态鸿沟，多个模型的准确率下降超过60个百分点；而在自然文档图像上，趋势反转，QASPER上几乎所有模型在图像模式下表现优于文本模式，这可能源于真实PDF图像与现代MLLMs文档密集型预训练数据的对齐。字体选择可导致准确率波动高达47个百分点，手写字体造成最大退化；分辨率方面，大多数模型在0.50倍到1.0倍分辨率下保持准确，但低于此阈值时急剧下降。第二，推理崩溃是根本原因：错误分析显示，图像模式触发推理崩溃，模型产生大幅缩短的输出。Qwen3-VL-8B在文本模式下平均输出618个字符，图像模式下仅32个字符；计算错误在图像输入下增加1.5倍（16.7% vs 11.1%），格式错误从5.9%升至8.0%，而概念/事实召回错误和推理错误几乎不变。第三，自蒸馏成功弥合鸿沟：Qwen3-VL-8B加GSM8K配置下，图像模式准确率从30.71%跃升至92.72%，与文本模式匹配；InternVL3-8B加GSM8K配置下，图像模式准确率从42.53%提升至90.14%，模态鸿沟从35.48缩小至0.16个百分点。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GSM8K（数学推理） | 准确率（Accuracy） | 自蒸馏后Qwen3-VL-8B图像模式92.72%，InternVL3-8B图像模式90.14% | 原始Qwen3-VL-8B图像模式30.71%，原始InternVL3-8B图像模式42.53% | Qwen3-VL-8B提升62.01个百分点，InternVL3-8B提升47.61个百分点 |
| MMLU（知识理解） | 准确率（Accuracy） | 自蒸馏后Qwen3-VL-8B图像模式72.70%，InternVL3-8B图像模式68.00% | 原始Qwen3-VL-8B图像模式71.01%，原始InternVL3-8B图像模式33.93% | Qwen3-VL-8B提升1.69个百分点，InternVL3-8B提升34.07个百分点 |
| ARC（科学推理） | 准确率（Accuracy） | 自蒸馏后Qwen3-VL-8B图像模式91.89%，InternVL3-8B图像模式89.33% | 原始Qwen3-VL-8B图像模式91.04%，原始InternVL3-8B图像模式90.27% | Qwen3-VL-8B提升0.85个百分点，InternVL3-8B下降0.94个百分点（保持稳定） |
| QASPER（长文档QA） | 准确率（Accuracy，LLM-as-judge） | GPT-5.2图像模式77.25%，Qwen2.5-7B-VL图像模式64.38% | GPT-5.2文本模式51.92%，Qwen2.5-7B-VL文本模式30.49% | GPT-5.2提升25.33个百分点，Qwen2.5-7B-VL提升33.89个百分点（图像优于文本） |
| MMMU-Pro（综合多模态） | 准确率（Accuracy） | 自蒸馏后Qwen3-VL-8B图像模式26.47%，InternVL3-8B图像模式19.54% | 原始Qwen3-VL-8B图像模式25.95%，原始InternVL3-8B图像模式20.69% | Qwen3-VL-8B提升0.52个百分点，InternVL3-8B下降1.15个百分点（保持稳定，无灾难性遗忘） |
局限与改进
本文存在几个明显的局限性。首先，自蒸馏方法的验证仅在两个开源架构（Qwen3-VL-8B和InternVL3-8B）上进行，且模型规模相对较小（8B参数），对于更大规模模型或专有模型的适用性尚未验证。其次，自蒸馏需要预先收集正确的文本模式推理轨迹，这增加了一定的准备工作量，虽然消融实验表明未过滤轨迹也能达到类似效果（差距仅1.29%），但具体机制仍需进一步研究。第三，错误分析中的扎根理论编码虽然采用了人机协作方式，但GPT-5.2作为编码工具可能引入系统性偏差，人类专家的审查可能无法完全消除这些偏差。第四，本文主要关注英文基准测试，对于其他语言或跨语言场景的适用性未知。第五，OCR-2P设置在代码生成任务上表现不佳，多个模型在HumanEval上得分为零，表明OCR会剥离缩进、对齐等对代码理解至关重要的结构线索，这限制了该诊断方法在代码任务上的应用。
独立分析的弱点
本文存在几个值得深入分析的弱点。首先，自蒸馏方法的可扩展性存在疑问：实验仅在8B参数规模的模型上验证，对于70B甚至更大规模的模型，自蒸馏的效果可能不同，因为大模型可能具有更强的内在推理能力，模态鸿沟本身可能更小。改进方向是在更大规模模型上进行验证，并研究模型规模与模态鸿沟的关系。其次，训练数据的选择存在局限：仅使用GSM8K和MMLU作为训练集，虽然展示了向其他基准的迁移能力，但可能存在数据分布偏置。改进方向是探索更多样化的训练数据组合，或研究课程学习策略。第三，对渲染参数的敏感性分析虽然详尽，但缺乏实用的渲染优化建议：实践中用户无法控制PDF或网页的渲染方式，如何构建对渲染变化鲁棒的模型仍是一个开放问题。改进方向是研究数据增强策略或模型架构改进来提高渲染鲁棒性。
未来方向
基于本文的发现，未来研究可以向多个方向延伸。首先，推理崩溃现象值得更深入的理论分析：为什么图像输入会触发推理崩溃？这与模型的预训练目标、注意力机制还是视觉编码器的信息压缩有关？理解根本原因可能带来更根本的解决方案。其次，自蒸馏方法可以扩展到更多模态组合：例如，音频输入是否也会触发类似的推理崩溃？视频输入呢？跨模态的推理崩溃是否是一个普遍现象？第三，渲染鲁棒性研究：开发对字体、分辨率、压缩等渲染参数不变的视觉文本理解能力，可能需要新的视觉编码器架构或训练策略。第四，实时应用优化：当前自蒸馏需要离线收集推理轨迹，能否开发在线自蒸馏方法，在推理过程中动态调整模型行为？第五，错误分类体系的应用：本文建立的错误分类体系可以用于其他多模态任务的诊断，帮助识别模型失败的根本原因。
复现评估
本文的复现性评估总体较好。在开源方面，论文使用了6个开源模型（Qwen2.5-VL 7B/32B、Qwen3-VL-8B、InternVL3-8B、InternVL3.5-8B、Pixtral-12B）和1个专有模型（GPT-5.2），开源模型的权重和代码均可获取。在数据方面，使用的基准测试（MMLU、ARC、GPQA、GSM8K、HumanEval、QASPER、SQuAD v2）均为公开数据集，自然图像数据集（QASPER的arXiv PDF、SQuAD的Wikipedia页面）也可公开获取。在算力方面，自蒸馏使用LoRA进行参数高效微调，秩r=64，训练2个epoch，计算成本相对较低，可在单张消费级GPU上复现。主要挑战在于：第一，错误分析涉及4000多个样本的人工审查，工作量较大；第二，GPT-5.2作为LLM-as-judge和错误编码工具，其使用可能受限于API访问和成本；第三，论文未提供完整的训练代码和超参数配置，可能需要根据论文描述进行实现。
论文图表
图1展示了人类和MLLMs处理文本方式的对比。人类通过视觉阅读各种来源的文本（书籍、网页、文档），而MLLMs对于相同内容在不同格式下可能产生不同的预测结果。图中可能展示了同一文本内容在文本模式和图像模式下模型输出的差异示例。
这张图直观地展示了模态鸿沟的核心问题：相同的文本内容，仅因呈现方式不同就导致模型表现差异，为整篇论文的研究动机提供了视觉化说明。