多模态大语言模型在离散符号理解中的认知错配 Cognitive Mismatch in Multimodal Large Language Models for Discrete Symbol Understanding
MLLMs在离散符号理解中存在识别-推理倒置的认知错配现象
前置知识
多模态大语言模型 (MLLM)
多模态大语言模型是能够同时处理文本、图像等多种模态输入的大规模语言模型。代表性模型包括GPT-4o、Claude-sonnet-4、Gemini-2.5-pro等。这些模型通常采用视觉编码器（如ViT）将图像转换为视觉token，再与文本token一起送入大型语言模型进行联合推理。MLLM的目标是赋予人工智能系统看、感知和推理物理世界的能力，被认为是通往通用人工智能（AGI）的关键步骤。
本文研究的核心对象就是MLLM在离散符号理解方面的能力缺陷，理解MLLM的基本架构和工作原理是阅读本文的基础。
连续语义空间与离散语义空间
连续语义空间指的是自然图像中视觉输入映射到相对整体的语义叙事，如图像描述、视觉问答等任务，允许一定程度的近似匹配。离散语义空间则是指图像由语义独立的符号单元组成，其意义依赖于精确识别和结构化组合，如手写字符、公式图、电路图和化学结构。在离散空间中，单个笔画、键或关系的误读可能导致整个解释的颠覆。
本文的核心论点之一是当前MLLM主要在连续语义空间上训练，导致其在离散语义空间上的理解能力存在根本性缺陷，理解这一区别是理解论文动机的关键。
认知错配 (Cognitive Mismatch)
认知错配是指模型在基础符号识别任务上表现不佳，但在更复杂的推理任务上却表现出相对较好的能力这一反直觉现象。这种'识别-推理倒置'表明当前系统经常通过语言先验知识、模板检索或程序性推理来补偿视觉理解的不足，而不是依赖于稳健的视觉接地。人类认知遵循从感知到推理的渐进路径，而MLLM则表现出相反的趋势。
这是本文提出的最核心概念和主要实证发现，贯穿整个论文的分析和讨论，是理解本文贡献的关键。
认知层次架构 (Cognitive Hierarchy)
本文采用三层认知层次来组织评估任务：L1感知与识别（测试模型能否从视觉形式识别单个符号单元的含义）、L2组合与推理（测试多个符号能否被整合为连贯的结构化解释）、L3关联与批判性思维（评估模型能否检测异常、纠正错误或从符号上下文中推断非常规含义）。这一层次遵循人类处理符号的渐进路径。
这一层次架构是本文基准测试设计的理论基础，也是发现认知错配现象的分析框架，理解它有助于把握论文的实验设计逻辑。
视觉接地 (Visual Grounding)
视觉接地是指模型的推理输出真正基于对视觉输入的准确感知和理解，而不是依赖语言先验知识或记忆的模板。在离散符号理解中，视觉接地意味着模型必须精确识别符号的局部视觉结构，如手写字符的笔画、化学分子的键合关系、电路图的连接方式等。缺乏视觉接地的模型可能产生看似正确但实际基于错误感知的答案。
本文发现当前MLLM普遍缺乏有效的视觉接地机制，这是导致认知错配的根本原因之一，也是未来模型改进的关键方向。
研究动机
当前多模态大语言模型在自然图像理解上表现出色，但在离散视觉符号理解方面的能力仍然不明确。现有评估套件覆盖了广泛的多模态理解、OCR感知、专家推理和科学问题求解等领域，但这些方法在不同特定领域之间是碎片化的，很少深入分析模型是否真正识别了它们所操纵的符号。具体而言，在手写字符识别任务中，模型经常无法区分无效手写字符与其最近的合法对应字符，主要失败模式是强制规范化——模型静默地将异常字形修复为最接近的熟悉字符，从而擦除了它被要求检测的证据。在数学符号任务中，模型可能在基础函数类型、图形形状或局部几何属性的识别上频繁出错，因为这些任务需要精确定位且错误容忍度极低。在化学领域，模型经常忽略骨架公式的隐式拓扑规则，碳氢计数被遗漏或错误推断，芳香结构被简化为更简单的键类别。这些失败表明，离散符号理解仍是多模态智能的主要瓶颈。
本文的目标是本文旨在构建一个统一的基准测试，跨越五个符号领域（语言、文化、数学、物理、化学），每个领域按照三个认知层次组织：感知与识别、组合与推理、关联与批判性思维。该基准包含超过13,000个精心策划的图像-问题-答案实例和38个子任务。研究的核心目标是诊断性的而非竞争性的——不仅要比较当前模型的表现，更要揭示模型在离散符号理解中的认知机制缺陷，为未来多模态系统的训练和评估提供更清晰的目标，即优先考虑在离散语义空间中的接地感知能力。
与已有工作不同的是，本文的独特切入角度在于将离散符号理解从一般的多模态理解中分离出来，专门设计了一个跨越社会-科学和自然-科学符号系统的统一评估框架。与以往研究不同，本文不仅关注模型能否回答问题，更关注支持该答案的认知路线是什么。通过三层认知层次的设计，本文能够区分视觉接地与补偿性推理之间的差异。此外，本文发现了一个反直觉的模式：模型在基础符号识别上表现不佳，但在更复杂的推理任务上却表现出相对较好的能力——这种'识别-推理倒置'是本文最核心的实证发现，揭示了当前MLLM遵循的是与人类符号认知质性不同的路线，其中语言先验经常主导视觉接地。
核心方法
本文的方法论可以概括为：构建一个跨领域、多层次的离散符号理解基准测试，并通过系统性评估揭示当前MLLM的认知缺陷。直觉上，如果模型真正理解了离散符号，那么它应该遵循与人类相似的认知轨迹——在基础感知任务上表现最好，随着推理复杂度的增加而逐渐下降。然而，如果模型主要依赖语言先验和模式匹配，那么它可能在感知任务上表现不佳，却在需要语言知识补偿的推理任务上表现出反常的优势。技术路线包括：（1）设计跨五个符号领域的分层任务体系；（2）收集和标注大规模评估数据集；（3）对代表性MLLM进行系统评估；（4）与人类基准进行对比分析，以识别认知错配的具体模式。
本文的核心创新点在于提出了'认知错配'这一概念框架，并设计了能够诊断这一现象的评估体系。与已有方法的本质区别在于：以往的基准测试通常只关注最终答案的正确性，而本文的基准测试通过分离识别、推理和批判性符号判断来揭示模型答案背后的认知机制。在连续自然图像中，近似语义对齐通常就足够了；但在离散符号图像中，一个小的局部错误可能完全改变全局答案。本文的任务设计强调精确性、组合结构和跨层次诊断，而不是只关注表面的端到端成功。这种方法使得补偿性推理所掩盖的视觉理解缺陷变得可见——一个模型可能因为先验知识、语义合理性或模式完成而达到正确答案，即使底层的视觉解析是错误的。
方法步骤详情
本文的方法包括以下关键步骤：第一步，基准设计——构建涵盖语言、文化、数学、物理和化学五个基础领域的综合基准，采用严格的三层认知层次架构。第二步，任务构建——对于语言符号，评估伪造字符检测、拼写错误检测和视觉语义纠正；对于文化符号，使用emoji序列测试词汇基础和习语组合；对于数学符号，覆盖函数图和几何图形；对于物理符号，设计力学和电磁学任务；对于化学符号，评估分子结构式和反应方程式。第三步，数据收集——基准包含超过13,000个精心策划的实例，部分数据集来自现有资源的重新标注，部分为专门构建。第四步，模型评估——对GPT-4o、Claude-sonnet-4、Gemini-2.5-pro、o3、Qwen-max、Qwen2.5-VL、InternVL3-8B、Deepseek-vl2-tiny和LLaMA3-LLaVA-Next-8B等模型进行评估。第五步，人类基准——在1,000个分层样本实例上建立人类基准，由五名受过高等教育的双语标注者完成。第六步，结果分析——通过比较模型和人类在不同认知层次上的表现模式，识别认知错配的具体形式。
技术新颖性
本文的技术新颖性体现在多个方面。首先，这是首次系统性地将离散符号理解从一般多模态理解中分离出来进行专门研究，填补了现有评估体系的空白。其次，三层认知层次的设计借鉴了人类符号处理的认知科学原理，使得评估不仅关注结果正确性，更关注认知过程的合理性。第三，跨五个符号领域的统一框架设计使得研究能够发现跨领域的共性认知缺陷模式，而非局限于特定领域的问题。第四，'识别-推理倒置'的发现具有重要的理论意义——它表明当前MLLM的认知机制与人类符号认知存在质性差异，而非仅仅是程度上的不足。第五，本文的评估方法论强调区分视觉接地与补偿性推理，为未来模型评估提供了新的范式。
实验结果
本文通过对多个领先MLLM的系统评估，发现了跨五个符号领域的一致性认知错配模式。在语言符号任务中，伪造字符检测的整体表现极差，模型经常无法区分无效手写字符与合法字符，主要失败模式是强制规范化和不稳定定位。在文化符号任务中，emoji相关任务的基础表现较好，尤其是常见英语表达，但一旦需要保留否定算子、话语约束或文化约定解读，许多系统就会退回到统计上最易获得的短语。在数学符号任务中，Level 1任务的模型表现频繁出错，如遗漏函数类型、图形形状或局部几何属性，但有时在Level 2和3任务上表现更好，因为语言规则和熟悉的数学模板可以部分补偿视觉不确定性。在物理符号任务中，大多数模型在公式、图形和电路关系的基础识别上表现不佳，尽管许多响应能正确背诵相关定律的文字描述，但在符号映射步骤上仍然失败。在化学符号任务中，模型经常忽略骨架公式的隐式拓扑规则，碳氢计数被遗漏或错误推断，芳香结构被简化为更简单的键类别。人类参与者不显示相同的倒置模式，而是遵循更直观的认知轨迹：感知接地任务表现良好，随着关联、纠正和多步推理变得更加苛刻，表现逐渐下降。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 语言符号 - 伪造字符检测 | Precision/Recall/F1 | 大多数模型表现极差 | 人类基准表现良好 | 存在显著差距，模型与人类表现倒置 |
| 文化符号 - 英语emoji组合 | Exact Match | 常见表达表现较好 | 人类基准稳定 | 简单场景下差距较小，复杂语境下差距扩大 |
| 数学符号 - 函数图识别 | Accuracy | Level 1表现频繁出错 | 人类Level 1表现良好 | 基础识别任务存在显著差距 |
| 物理符号 - 电路图理解 | Accuracy | 基础识别表现不佳 | 人类表现稳定 | 稀疏符号识别存在根本性缺陷 |
| 化学符号 - 分子结构识别 | Accuracy | 骨架公式识别错误频发 | 人类表现良好 | 拓扑规则理解存在显著差距 |
局限与改进
本文的局限性主要体现在以下几个方面。首先，虽然基准测试覆盖了五个符号领域，但每个领域内的任务设计可能无法完全代表该领域符号理解的全部复杂性，特别是对于更高级或更专业化的符号系统。其次，人类基准的建立基于五名标注者的1,000个样本，样本量相对有限，可能无法完全捕捉人类符号认知的全部变异性。第三，本文的评估主要关注静态图像理解，未涉及动态符号交互或时序符号序列的理解。第四，虽然本文发现了认知错配现象，但对于导致这一现象的具体模型架构因素（如视觉编码器设计、注意力机制等）的分析还不够深入。第五，本文提出的认知层次框架虽然是基于认知科学原理，但将复杂的人类认知过程简化为三个层次可能忽略了某些中间或交叉的认知机制。此外，评估中的提示设计虽然尽可能直接，但不同模型对提示的敏感性可能影响了结果的可比性。
独立分析的弱点
本文的主要弱点包括：第一，虽然发现了认知错配现象，但对于如何具体改进模型架构或训练方法以解决这一问题的指导性建议相对有限，更多停留在诊断层面而非解决方案层面。第二，基准测试中的任务设计可能偏向于特定类型的符号理解挑战，如手写字符的视觉复杂性、化学结构的拓扑复杂性等，这些挑战可能不完全代表所有离散符号理解任务的共性。第三，对于模型内部机制的分析（如注意力分布、特征表示等）不够深入，难以从技术层面解释认知错配的具体成因。第四，评估指标的设计虽然考虑了不同领域的特性，但对于'部分正确'或'方向性正确'的评估可能过于粗糙，无法捕捉更细粒度的认知过程差异。改进方向包括：引入更多模型内部机制的分析工具，设计更具代表性的跨领域任务集，开发更精细的认知过程评估指标，以及提出基于发现的具体模型改进建议。
未来方向
作者提出和基于成果可延伸的未来研究方向包括：第一，开发更强的离散符号监督信号，要求训练目标和架构偏好明确鼓励稳定符号视觉基元的形成，并强制推理模块保持与视觉证据的锚定。第二，设计新的训练范式，将符号感知与符号推理更紧密地耦合，而不是允许语言先验过度补偿视觉理解的不足。第三，构建更大规模、更多样化的离散符号理解基准，特别是涵盖更多专业领域和更复杂的符号系统。第四，研究如何将人类符号认知的渐进式处理机制融入模型架构设计，使模型能够像人类一样从基础感知逐步发展到高级推理。第五，探索视觉编码器的专门优化，使其能够更好地保留离散符号的拓扑和局部结构信息，而非仅优化于连续自然场景。第六，开发新的评估协议，能够更准确地区分真正的视觉接地理解与补偿性推理，避免将基于先验知识的成功误认为是视觉理解的进步。
复现评估
本文在可复现性方面表现良好。研究团队已将数据集公开发布在HuggingFace（https://huggingface.co/datasets/Eternity-gaga/SymbolBench），源代码也已在GitHub公开（https://github.com/THUKElab/SymbolBench）。基准测试包含超过13,000个实例和38个子任务，数据规模足以支撑研究结论。评估的模型包括开源和闭源两类，开源模型如Qwen2.5-VL、InternVL3-8B、Deepseek-vl2-tiny和LLaMA3-LLaVA-Next-8B可以直接复现，闭源模型如GPT-4o、Claude-sonnet-4、Gemini-2.5-pro和o3的复现依赖于API访问。人类基准基于五名标注者的1,000个样本，标注协议已在论文中描述。总体而言，数据和代码的公开使得研究结果可以被独立验证和扩展，但完全复现所有实验结果可能需要大量的计算资源和API访问权限。
论文图表
