心灵之眼：面向多模态大语言模型的视觉抽象、变换与组合基准 Mind's Eye: A Benchmark of Visual Abstraction, Transformation and Composition for Multimodal LLMs
首个基于ART认知分类法评估MLLM视觉空间推理能力的合成基准，揭示人类与模型间30+个百分点的能力鸿沟。
前置知识
多模态大语言模型 (MLLM)
将大语言模型(LLM)与视觉编码器(通常是ViT)结合的架构,能同时处理图像和文本输入并生成自然语言输出。代表模型包括GPT-4o、Gemini-2.5、LLaVA、Qwen2.5-VL等,通过视觉-语言对齐训练使LLM能够理解图像内容。
本文的核心评估对象就是当前最强的18个MLLM,读者需要了解这些模型的工作原理(视觉编码→投影→LLM推理)才能理解为什么它们在视觉空间推理上与人类差距巨大。
流体智能 (Fluid Intelligence, Gf)
Carroll三层智力理论中的关键概念,指个体在不依赖先验知识的情况下解决新颖问题的能力,与晶体智能(知识积累)相对。在视觉领域表现为识别抽象规律、进行心理操作(如心理旋转、折叠)等能力,Raven's Progressive Matrices是其经典测量工具。
本文整个ART分类法的理论基础就是Carroll的流体智能理论,所有8个任务都对应流体智能的某个子维度,理解这一点才能理解为何该基准选择心理旋转、纸张折叠等'老式'测试题。
心理旋转 (Mental Rotation)
Shepard和Metzler(1971)提出的经典认知实验范式,要求被试在脑海中将一个二维或三维图形旋转某个角度,判断它是否与目标图形匹配。涉及空间工作记忆、视空间表象转换等认知过程,是测量流体视觉推理能力的核心工具。
本文的Mental Transformation任务直接改编自心理旋转测试,需要理解人类完成这类任务的认知机制(视觉表象转换)才能理解模型为何失败(没有内部视觉表象)。
心理测量学 (Psychometrics)
研究心理测量(如智商测试)的设计、实施和解释的科学,关键概念包括构念效度(测试是否真的测量了它声称测量的东西)、项目反应理论(IRT)、Q矩阵(题目-技能映射表)等。强调通过因子分析、难度校准、干扰项设计等方法确保测量的科学性。
本文声称是与传统心理测量学对接的基准,使用了Q矩阵(表12)、难度校准(基于人类一致性)、诊断性干扰项等专业设计,理解这些概念才能评估该基准的科学严谨性。
研究动机
现有的多模态大语言模型评测体系存在两个关键缺陷:首先,主流基准如MMBench、SEED-Bench、MathVista、MMMU等虽然规模庞大,但主要评估表面感知能力(物体识别、OCR、场景描述),无法隔离和研究视觉空间变换(visuospatial transformation)这一人类自然具备的能力——即在脑海中旋转、折叠、重组形状的能力(Shepard & Metzler 1971, Vandenberg & Kuse 1978)。其次,大多数研究将视觉证据与语言先验混在一起,使得无法判断模型究竟是在'看图推理'还是利用语言捷径。认知类基准如ARC、Bongard-LOGO、SVRT主要关注规则发现和模式类比,而非逐步的几何模拟;VisFactor将FRCT数字化评估基本感知因素,但缺乏对复杂变换的覆盖;SpatialVisBench、VisualPuzzles、AlgoPuzzleVQA虽然涉及空间推理,但缺乏对几何变换角度、折叠奇偶性等参数的控制,也无法在题目中植入诊断性干扰项。
本文的目标是本文的核心目标是构建一个认知上严谨、可参数化控制、且能精细诊断失败原因的视觉空间推理基准,称为Mind's Eye。具体目标包括:(1)提出A-R-T(Abstraction-Relation-Transformation)三层分类法,将视觉推理分解为抽象归纳、关系映射、变换操作三个互补的认知过程,基于Carroll的流体智能理论;(2)开发8个程序化生成的多选题任务,每个任务对应特定的视觉认知子维度,题目使用SVG矢量图形生成以保证感知一致性;(3)招募30名人类被试(20-40岁,无相关专业知识)建立人类基线,通过反频率加权方式让每人完成40题以获得稳定的难度校准;(4)评估18个MLLM并与人类对比,通过诊断性干扰项和注意力分析揭示模型失败的具体认知机制。
与已有工作不同的是，本文的独特切入角度是'认知驱动的诊断性评估':与现有基准相比,Mind's Eye是首个同时满足六项诊断标准的基准——(1)正式的心理测量学分类框架(ART);(2)任务源自已建立的心理评估工具(Vandenberg MRT、CogAT纸张折叠等);(3)干扰项与混淆因素明确对应(如镜像vs旋转、奇偶折叠错误、off-by-θ角度错误);(4)不依赖世界知识或语言先验;(5)参数化控制(旋转角度、折叠数、层级深度等独立变化);(6)可程序化扩展。文章特别强调'诊断'而非'排名'——通过干扰项揭示模型在哪个具体认知环节失败,例如Qwen-7B在Mental Transformation任务中61.1%的推理链能正确描述变换但最终选错,这是'推理-答案失绑定'错误,这种细粒度分析在现有基准中完全缺失。
核心方法
Mind's Eye的整体设计思路是'先理论后实现':先基于Carroll流体智能理论构建ART分类骨架,再通过程序化合成刺激物实例化每个任务,最后用诊断性干扰项+注意力分析两层手段解析失败原因。技术上,所有题目以SVG矢量图形生成(1024×1024px, 300 DPI),并采用因子设计将结构参数(如旋转角度、折叠数)与干扰参数(如颜色、布局、纹理)正交分离,既可控制难度又可避免模型走捷径。8个任务分为三层:抽象层(Visual Relation Abstraction、Hierarchical Pattern Equivalence)测试模式归纳能力;关系层(Dynamic Structural Correspondence、Visual Conceptual Slippage、Symmetric Structures)测试类比映射能力;变换层(Mental Transformation、Paper Folding、Mental Composition)测试心理操作能力。评估流程采用统一的LLM评判三阶段:输入呈现→Gemma-3答案提取→标签标准化,并使用反偏置的位置随机化确保公平性。
本文的核心创新在于'诊断性干扰项+注意-推理解耦分析'这一组合方法。传统基准将正确/错误视为二元结果,本文则设计专门的干扰项来反映具体的认知错误类型:在Mental Transformation中干扰项包括镜像误识别为旋转的形状、off-by-θ角度错误、parity错误的折叠等;在Abstraction任务中干扰项匹配表面特征但违反潜在规则。这种设计使得从'模型选错了'升级到'模型错在哪个具体认知环节'。更进一步的创新是提出了Option-Specific Attention Score(OAScorrect)指标,通过计算模型对正确选项空间区域的归一化注意力权重来分析'看'与'想'的关系,发现了一个惊人的现象:即使在最正确的注意力分位,模型准确率仍远低于人类(>80%),且正确答案时OAScorrect显著高于OASdistractors(0.24 vs 0.16, t(86)=4.32, p<0.001),错误答案时两者无显著差异(0.18 vs 0.17, p=0.40)——这说明模型能定位但不能推理(identify where to look but not how to reason)。
方法步骤详情
Mind's Eye的构建分为四个核心步骤。第一步是ART分类法设计:基于Carroll流体智能理论,将视觉空间推理分解为Abstraction(模式归纳)、Relation(类比映射)、Transformation(心理操作)三个维度,每个维度对应流体智能的某个子构念。第二步是程序化刺激物生成:8个任务家族分别实现,例如Mental Transformation使用polycube组件,通过控制形状身份、难度(单轴vs多轴旋转)、着色(单色vs多色)生成题目;Paper Folding通过递归展开算法模拟方形/六边形纸张的两次折叠和打孔过程,生成候选展开图;Mental Composition输入2D展开网(立方体、四面体、棱锥、圆锥等)与4个3D候选体进行匹配。因子设计原则将结构性参数(影响难度)与干扰性参数(应被忽略)正交分离。第三步是诊断性干扰项构造:每个题目在正确答案之外,设计1个与特定混淆因素对应的干扰项(用于诊断错误类型)和若干通用错误选项,干扰项模板按ART维度分类。第四步是评估协议:采用LLM评判(Gemma-3)解析自由形式输出,配合反偏置的位置随机化和4种提示策略(CoT、Meta-Task、Step-by-Step、Hint)的对比实验。难度校准采用5人一致性方案(Easy=5人正确, Hard=≤1人正确, Medium=其他,Fleiss κ=0.71)。
技术新颖性
本文的技术新颖性体现在三个层面。首先是认知理论与工程实现的对接:首次将Carroll流体智能理论系统性地落地为可计算的视觉推理基准,使用Q矩阵(表12)将每个任务映射到ART潜变量,这种'心理测量学驱动的基准设计'在MLLM评估领域是首创。其次是细粒度错误诊断的范式创新:通过精心设计的干扰项模板(按混淆因素分类)将分类准确率问题升级为错误归因问题,例如'模型在MT任务中35.7%正确,28.2% Y轴,32.4% X轴,35.7% Z轴'这种轴向异质性分析直接揭示了模型内部表征的不对称性,这是仅报告总体准确率无法获得的洞察。第三是注意-推理解耦分析方法:提出OAScorrect(选项特定注意力分数)与RAA(区域对齐注意力)两个量化指标,并通过相对注意力归一化(Darcet register-token artifacts的处理)增强分析稳健性,发现rpb从0.34提升到0.41,效应量Cohen's d从1.15提升到1.41,这种'通过认知科学的指标设计'来分析模型内部机制的做法具有方法论创新性。
实验结果
主要发现可总结为'三个鸿沟'。第一是绝对性能鸿沟:人类在8个任务上平均准确率约80%(具体:VRA 68%, HPE 88%, DSC 81.2%, VCS 87%, SS 78%, MT 81%, PF 80.1%, MC 82%),而表现最好的MLLM(Gemini-2.5在MC上51.8%, GPT-4o在DSC上30.3%, InternVL3在MT上37%)几乎所有任务都低于50%,平均差距约30个百分点。第二是难度不变失败鸿沟:图3显示人类准确率随难度从>0.80(简单)单调下降到0.25(困难),而MLLM在所有三个难度档位上保持平坦曲线(0.20-0.45),这种'难度不变失败'模式在ART三维上均成立,作者认为这表明模型缺乏基础的视觉认知操作能力,只是处理复杂度的能力受限。第三是提示效果不对称:图2显示提示策略对ART三维的影响是分化的——Abstraction任务受益于结构化脚手架(Meta-task和Step-by-step提升约+1.3分),而Transformation任务在所有替代提示策略下都退化(Hint提示下降约-0.9分),Relation任务居中。规模分析(图4, Pearson r≈0.62)显示性能与参数规模呈中等正相关但非单调,Qwen-2.5-VL在不同规模下表现差异显著,InternVL3-8B在某些任务上优于32B模型,说明架构和训练选择可能比参数规模更关键。注意力分析(200题,25题/任务)发现OAScorrect与准确率正相关(rpb=0.34, p<0.001),但即使最高注意力分位的准确率也远低于人类,配对分析显示正确答案时注意力正确选项>干扰项(0.24 vs 0.16, d=1.15),错误答案时无差异(0.18 vs 0.17, p=0.40)——'定位充分但推理不足'。在Mental Transformation的CoT质量分析中,Qwen-7B整体准确率仅32.2%,但61.1%的推理链正确描述了变换却选错答案,呈现典型的'推理-答案失绑定'错误,且Y轴旋转表现最差(28.2%)。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Visual Relation Abstraction (VRA, 抽象) | 准确率 | InternVL3-8B: 22.0%, Gemini-2.5: 29.0%, GPT-4o: 28.4%, Qwen-2.5-VL-32B: 25.1% | 人类: 68%, 随机猜测: 16% | 最佳MLLM(Gemini-2.5)比随机基线提升约13分,但比人类低39分 |
| Hierarchical Pattern Equivalence (HPE, 抽象) | 准确率 | InternVL3-8B: 29.1%, Qwen-2.5-VL-3B: 26.2%, Phi3.5: 29.1% | 人类: 88%, 随机猜测: 25% | 最佳MLLM仅29.1%,人类基线88%,差距约59分,所有模型均显著低于人类 |
| Dynamic Structural Correspondence (DSC, 关系) | 准确率 | Paligemma-3B: 34.7%, Llava-1.6: 32.4%, Idefics-8B: 32.3%, GPT-4o: 30.3% | 人类: 81.2%, 随机猜测: 25% | 最佳模型(Paligemma)比随机提升约10分,人类基线是模型的2-3倍 |
| Visual Conceptual Slippage (VCS, 关系) | 准确率 | Gemini-2.5: 35.3%, Paligemma-3B: 34.7%, Llava-1.6: 30.6%, InternVL3: 23.7% | 人类: 87%, 随机猜测: 16% | 最佳MLLM(Gemini-2.5)与人类差距约52分,模型提升有限 |
| Symmetric Structures (SS, 关系) | 准确率 | Gemini-2.5: 31.4%, Phi3.5: 29.7%, LLaMa-3.2-11B: 29.3%, InternVL3-8B: 29.1% | 人类: 78%, 随机猜测: 25% | 最佳MLLM比随机仅高6分,人类是模型的2.5倍 |
| Mental Transformation (MT, 变换) | 准确率 | InternVL3-8B: 29.1% (单色), Llava-1.6: 35.8%, Qwen-2.5-VL-7B: 25.7%, Gemini-2.5: 35.6% | 人类: 81%, 随机猜测: 25% | 最佳MLLM(Llava/Gemini)比随机高约11分,比人类低约45分 |
| Paper Folding (PF, 变换) | 准确率 | Idefics-8B: 41.5%, Qwen-2.5-VL-32B: 32.0%, V-Thinker-8B: 29.2% | 人类: 80.1%, 随机猜测: 25% | 最佳MLLM(Idefics)41.5% < 50%,人类是其1.9倍,涉及双向心理操作(折叠+展开) |
| Mental Composition (MC, 变换) | 准确率 | Gemini-2.5: 51.8%, Qwen-2.5-VL-32B: 49.5%, GPT-o3: 43.1%, GT-Thinker-7B: 39.6% | 人类: 82%, 随机猜测: 25% | 最佳MLLM(Gemini-2.5)达51.8%为唯一突破50%的任务,但仍比人类低30分 |
局限与改进
作者明确承认的局限性包括:(1)本文使用多选题评分以保证客观比较,但开放式生成可能带来独特洞察;(2)任务集中于具有3D含义的2D渲染,完整的3D输入和交互仍是未来工作;(3)人类基线使用单一语言背景的非专家成人,跨语言和专家队列可能改变绝对水平但相对差距预计不变。研究者自身的观察进一步指出:(a)基准依赖程序化生成虽然保证了可扩展性(扩展集2,500题/任务),但与真实图像的迁移性未知,作者在表1中将其列为'外部效度'风险并发布生成器以支持域偏移实验;(b)注意力的OAScorrect指标虽然在不同归一化方法(相对注意力vs softmax)下结果稳健,但仍可能受视觉tokenization和register-token artifacts影响;(c)难度校准基于5人一致性,虽然Fleiss κ=0.71达到substantial agreement,但对于边界样本的划分仍有噪声;(d)因果干预实验(附录B.7)未能在Qwen-7B中隔离出针对Mental Composition任务的功能电路,负结果表明模型可能没有专门的'空间推理电路'而是分布式表征,这本身是一个重要发现但也限制了机制层面的解释力;(e)多选题格式可能引入位置偏置,虽然作者使用了随机化但未在论文中详细报告位置分析。
独立分析的弱点
独立分析的主要弱点及改进方向:(1)评估协议中的LLM裁判(Gemma-3)虽然简化了自由形式输出解析,但引入了第三方模型偏置风险,改进方向是使用规则化答案提取结合人类抽检,或对裁判模型进行校准分析;(2)任务集中在2D渲染图形的3D含义,缺乏真正的3D体素或多视角输入,改进方向是扩展到3D点云或多视图任务的子集,以测试模型的多视角整合能力;(3)干扰项虽然设计精巧但其设计空间是手动的(基于混淆因素模板),改进方向是用程序化算法根据正确答案自动生成错误候选,以扩大干扰项多样性并降低人工偏置;(4)提示策略的实验虽然展示了差异但缺乏交互效应分析(例如CoT+Hint的组合),改进方向是采用因子设计探索提示组合空间;(5)基线MLLM的覆盖面虽广(18个)但缺乏专门针对空间推理的微调实验对比(虽然提到了fine-tuning和RL alignment作为贡献但缺乏详细结果),改进方向是在Mind's Eye的训练分区(2,500题/任务)上系统比较SFT、RLHF、DPO等对齐方法对空间推理的影响;(6)人类被试(30人,N人5题/任务)虽然覆盖8个任务但每个被试每任务仅5题,统计效力有限,改进方向是扩大样本量和每被试题数,或采用自适应测试提高精度。
未来方向
作者明确提出的未来方向包括:(a)开放式生成响应的评估范式,以摆脱多选题的位置偏置并捕捉模型的内在不确定性;(b)3D感知任务的扩展,包括真正的3D输入和多视角交互;(c)跨不同专业水平的人群研究,因为非专家在简单题上仍有0.85-0.95的准确率,专家基线可能会进一步拉开与MLLM的差距。基于本文成果可延伸的方向还包括:(d)将ART分类法与具体架构组件对应,例如测试不同视觉编码器(DINOv2、SAM等)对Abstraction层的影响,因为本文发现Qwen2.5-VL在不同规模下表现差异显著(3B在DSC上21.0%, 32B在MC上49.5%),暗示架构选择比规模更关键;(e)结合神经科学中的空间表征研究(如网格细胞表征),探索是否可以通过辅助损失函数让视觉编码器学习类似的旋转等变性表征;(f)开发'基础认知模块'显式增强MLLM的内部视觉工作记忆,例如在LLM中集成可微分的3D变换模块;(g)扩展到视频时序推理,因为本文的DSC任务已经涉及跨时间步的形状变换追踪,完整视频输入可能揭示运动一致性的额外能力差异。
复现评估
复现性评估整体良好但有部分障碍。开源情况:代码和基准将在接收后发布在github.com/microsoft/Mind-s-Eye,目前匿名仓库在anonymous.4open.science可见,作者明确承诺公开诊断版(800题)和扩展版(2,500题/任务,共20,000题)并提供生成器、随机种子和评分代码,数据集无重叠可分别用于测试和训练。数据情况:800题评估集按8任务平衡分配,每任务100题,难度分布Easy 32%、Medium 45%、Hard 23%,题目使用SVG矢量图在1024×1024px 300 DPI下渲染(分辨率消融表3显示100 DPI vs 300 DPI对Qwen-2.5-VL-7B无统计显著差异),所有刺激为合成且knowledge-minimal,降低了隐私和内容风险。算力需求:评估使用4块NVIDIA RTX A6000(48GB),主要是推理负载,闭源模型通过API调用(GPT-o3使用OpenAI API, reasoning effort=medium, max_output_tokens=500),复现门槛适中。复现难度:中等偏低——主要工作量在重跑18个MLLM的评估,关键技术细节(LLM裁判、4种提示模板、位置随机化、注意力提取)都在附录E-H中详细描述。但有几处可能影响精确复现:(i)人类基线的30人数据虽可获取但本地面试难以批量复制;(ii)LLM评判使用Gemma-3且其版本可能更新影响一致性;(iii)文章提到了'fine-tuning and reinforcement learning-based alignment on a strong open-source model'作为贡献但论文正文中并未给出详细训练结果,需要等待代码发布或附录进一步信息。综合而言,基准本身的可复现性高,但完整对比所有18个模型+4种提示策略+人类基线需要相当的算力和工程投入。
论文图表
