BabyVision：超越语言的视觉推理 BabyVision: Visual Reasoning Beyond Language
揭示当前MLLMs在人类幼儿就能解决的基础视觉任务上存在巨大缺陷
前置知识
多模态大语言模型（MLLMs）
多模态大语言模型是指能够同时处理文本、图像等多种模态输入的大型语言模型。这类模型通常采用视觉编码器（如ViT）提取图像特征，再通过投影层将视觉特征映射到语言模型的嵌入空间，最后利用LLM的强大推理能力进行理解和生成。代表性模型包括GPT-5.2、Gemini3-Pro、Qwen3VL等。这些模型在知识密集型基准测试（如MMMU、HLE）上表现优异，但本文揭示了它们在基础视觉能力上的根本性缺陷。
理解MLLMs的基本架构和现有能力边界，是理解本文核心发现——这些模型在基础视觉任务上失败——的前提
语言化瓶颈（Verbalization Bottleneck）
语言化瓶颈是指当前MLLMs处理视觉输入时，必须将连续的视觉信息压缩为离散的语言token，这一过程不可避免地丢失无法用语言精确描述的几何细节、拓扑关系和微小差异。本文将此概念化为四个具体的失败模式：细粒度细节丢失、流形一致性丢失、空间想象失败和视觉模式归纳失败。这一瓶颈解释了为什么在知识密集型任务上表现出色的模型，在需要精确视觉感知的任务上却表现不佳。
这是本文的核心理论贡献，解释了MLLMs在基础视觉任务上失败的根本原因
发展心理学中的早期视觉能力
发展心理学研究表明，人类的核心视觉能力远早于语言能力发展。婴儿在3-4个月就能追踪被遮挡的物体，3-6岁儿童就能进行复杂的视觉辨别、理解空间变换和识别模式。核心知识假说（Core Knowledge Hypothesis）认为人类天生具备表示物体、空间、数量和主体的系统，这些能力独立于语言中介。本文正是基于这些发展心理学理论设计基准测试。
这是设计BabyVision基准测试的理论基础，解释了为什么选择幼儿可以解决的任务来评估AI
GRPO（Group Relative Policy Optimization）
GRPO是一种强化学习算法，用于微调大型语言模型。它通过在组内进行相对比较来优化策略，避免了传统PPO中需要训练价值函数的复杂性。在本文中，GRPO被用于对Qwen3-VL-8B-Thinking进行视觉推理能力的强化学习微调（RLVR），使用LLM judge来判断模型答案与标准答案的一致性作为奖励信号。
理解GRPO是理解本文训练实验的关键，该实验展示了通过强化学习提升视觉推理能力的可能性
视觉外化（Visual Externalization）
视觉外化是指人类在解决视觉问题时，倾向于通过画图、标记、描线等视觉方式表达推理过程，而非语言描述。发展心理学研究表明，儿童在能够语言表达之前就通过绘画来展示视觉推理。本文基于这一观察提出了BabyVision-Gen，通过评估模型生成视觉输出（而非文本答案）的能力来测试视觉推理。
这一概念是BabyVision-Gen设计的核心动机，代表了超越语言输出的评估新范式
研究动机
当前最先进的多模态大语言模型（MLLMs）在知识密集型基准测试上表现出惊人的能力，Gemini 3 Pro在MMMU上达到92.8%，GPT-5.2在HLE上也表现优异。然而，本文发现了一个令人震惊的反转：这些模型在人类幼儿（甚至3岁儿童）就能轻松解决的基础视觉任务上表现极差。例如，在'找出相同图案'任务上，人类基准为80%，而最好的模型Doubao-1.8仅达到26.5%；在'数3D积木'任务上，人类准确率为100%，而最好的模型Gemini3-Pro-Preview仅为20.5%。现有的评估基准如MMMU、MathVista、MME等主要针对需要专业知识或大量教育的任务，几乎没有系统性地评估这些与语言无关的基础视觉能力。BLINK和MMVP等研究虽然指出了模型的视觉局限，但缺乏发展心理学视角的系统性评估。
本文的目标是本文的核心目标是创建一个科学、严谨的基准测试，专门评估MLLMs在人类语言获得之前就发展出的早期视觉能力。具体而言，作者希望：（1）建立一个最小化语言依赖、强调感知和模式规律的评估框架；（2）涵盖发展心理学确定的四大核心视觉能力领域；（3）提供人类不同年龄组（3岁、6岁、10岁、12岁和成人）的基准数据，使模型能力可以与人类发展阶段进行直接比较；（4）探索视觉生成模型作为评估视觉推理的新途径。
与已有工作不同的是，本文的独特切入角度在于将发展心理学理论与AI评估相结合。现有基准测试大多从成人专家视角设计任务，需要领域知识或大量教育背景。本文反其道而行之，选择人类幼儿在语言能力有限时就能解决的视觉任务。这种设计哲学揭示了一个被忽视的事实：模型在专家级任务上的成功并不意味着具备基础视觉能力。此外，本文还创新性地提出了'视觉外化'评估范式——通过评估模型生成视觉输出（而非文本答案）的能力来测试视觉推理，这绕过了语言化瓶颈，可能更准确地衡量模型的视觉能力。
核心方法
本文的方法体系可以概括为'评估-理解-改进'的三阶段路线。首先是BabyVision基准构建：基于发展心理学确定早期视觉能力的四大领域（细粒度辨别、视觉追踪、空间感知、视觉模式识别），通过多阶段数据策展流程（种子选择、数据扩增、标注与质量保证）构建388个高质量问题。然后是系统性评估：对11个前沿MLLMs（5个闭源、6个开源）进行全面测试，并与人类不同年龄组进行对比。接着是失败模式分析：通过细粒度错误分析识别出四种系统性失败模式，并提出'语言化瓶颈'这一统一解释框架。最后是改进探索：（1）提出BabyVision-Gen，通过视觉生成评估视觉推理；（2）使用GRPO进行强化学习微调实验，探索提升视觉推理能力的训练方法。
本文的核心创新点在于两个维度的突破。第一个是评估维度的创新：提出'超越语言的视觉推理'这一概念，将评估焦点从'需要语言知识的任务'转向'语言获得前就能掌握的视觉原语'。这与现有基准形成鲜明对比——MMMU测试大学水平知识，MathVista测试数学推理，而BabyVision测试的是3岁儿童就能解决的基础视觉任务。第二个是评估方式的创新：提出BabyVision-Gen，通过视觉生成而非文本来评估视觉推理。这基于一个关键观察：人类在解决迷宫、线条追踪等任务时，倾向于画图而非语言描述。这种'视觉外化'范式绕过了语言化瓶颈，可能更真实地反映模型的视觉能力。
方法步骤详情
数据策展流程分为三个主要步骤。第一步是分类定义与种子收集：基于发展心理学文献和儿童视觉测试教材，确定四大类别和22个子类别，人工选择约100张种子图像。第二步是数据收集与过滤：通过反向图像搜索和关键词检索扩展数据集，严格遵守版权规定，过滤掉包含大量文本、需要文化知识或不当内容的图像，产生约4000张候选图像。第三步是标注与质量保证：由训练有素的标注员为每张图像编写问题、答案和详细的'解决过程'，然后进行双盲评审——两位独立专家验证答案的明确性和可从视觉分析推导性，仅当两位专家都同意时才收录问题。评估流程使用统一的提示模板，采用LLM-as-judge方法（Qwen3-Max），与人类评估者100%一致。
技术新颖性
本文的技术新颖性体现在多个层面。首先是基准设计理念的创新：将发展心理学的'核心知识假说'应用于AI评估，这是前所未有的。现有的视觉基准如BLINK、MMVP主要测试成人的视觉能力，而BabyVision直接与人类发展阶段对标。其次是评估方法的创新：BabyVision-Gen首次提出通过视觉生成来评估视觉推理，这开创了一个全新的评估范式。自动评估工具使用Gemini-3-Flash作为判断器，通过比较输入图像、标准答案图像和模型生成图像进行评估，与人类判断达到96.1%的一致率。最后是失败模式分析的创新：将模型的视觉失败归纳为四种系统性模式（细节丢失、流形一致性丢失、空间想象失败、模式归纳失败），并提出'语言化瓶颈'这一统一解释框架。
实验结果
实验结果揭示了当前MLLMs与人类之间令人震惊的视觉能力差距。在388个问题的完整基准测试中，最好的模型Gemini3-Pro-Preview仅达到49.7%准确率，而人类成人基准为94.1%，存在44.4%的绝对差距。在人类年龄对比实验中，Gemini3-Pro-Preview是唯一稳定超过3岁儿童水平的模型，但仍落后6岁儿童约20个百分点。闭源模型中，GPT-5.2得分为34.4%，Doubao-1.8为30.2%，而Claude-4.5-Opus仅为14.2%。开源模型表现更差，最好的Qwen3VL-235B-Thinking仅为22.2%。细粒度分析显示，模型在不同任务类型上的表现差异巨大：在逻辑模式识别上，Gemini3-Pro-Preview达到67.9%；但在数3D积木上，所有模型都低于20.5%；在'找出相同'任务上，最好的模型仅26.5%。模型规模的影响并非单调：Qwen3VL-4B-Thinking（14.6%）竟然略高于8B-Thinking（13.1%）。RLVR训练实验显示，使用GRPO微调Qwen3VL-8B-Thinking可获得4.8个百分点的整体提升，从13.1%提高到17.9%，但视觉追踪任务几乎没有改善甚至略有下降。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 完整BabyVision基准（388题） | 准确率（Avg@3） | 人类成人：94.1% | Gemini3-Pro-Preview：49.7% | 人类领先44.4个百分点 |
| 细粒度视觉辨别 | 子类型平均准确率 | 人类：92.3% | Gemini3-Pro-Preview：46.2% | 人类领先46.1个百分点 |
| 视觉追踪 | 子类型平均准确率 | 人类：94.6% | Gemini3-Pro-Preview：43.4% | 人类领先51.2个百分点 |
| 空间感知 | 子类型平均准确率 | 人类：94.7% | Gemini3-Pro-Preview：53.7% | 人类领先41.0个百分点 |
| 视觉模式识别 | 子类型平均准确率 | 人类：97.8% | Gemini3-Pro-Preview：53.9% | 人类领先43.9个百分点 |
| 数3D积木 | 准确率 | 人类：100% | Gemini3-Pro-Preview：20.5% | 人类领先79.5个百分点 |
| 找出相同 | 准确率 | 人类：80% | Doubao-1.8：26.5% | 人类领先53.5个百分点 |
| BabyVision-Gen（280题） | 准确率 | NanoBanana-Pro：18.3% | GPT-Image-1.5：9.8% | 领先8.5个百分点 |
| RLVR训练效果 | 准确率提升 | GRPO后：17.9% | 原始：13.1% | +4.8个百分点 |
局限与改进
本文存在多个层面的局限性。首先是数据集规模限制：BabyVision仅包含388个问题，虽然覆盖22个子类别，但每个子类别的样本量有限（最少9个，最多35个），这可能影响评估的统计显著性和对模型能力的全面刻画。其次是人类评估的局限性：3-12岁儿童测试者来自单一学校群体，结果可能因不同的群体、教育背景或文化背景而有所变化；成人测试者仅有16人。第三是任务选择的偏见：虽然作者试图最小化语言依赖，但某些任务（如识别数字和字母）仍然需要一定的符号知识，不能完全代表'纯视觉'能力。第四是评估方法的局限：LLM-as-judge方法虽然与人类评估100%一致，但在某些边界情况下可能存在系统性偏差。最后是BabyVision-Gen的评估复杂性：虽然自动评估与人类判断达到96.1%一致率，但仍有3.9%的不一致，且不同子类型的一致率差异较大。
独立分析的弱点
本文存在几个值得深入探讨的弱点。第一，基准测试的生态效度问题：388个问题虽然精心策展，但可能无法完全代表人类早期视觉能力的完整谱系。某些重要的视觉能力（如物体恒常性、因果推理）可能未被充分覆盖。改进方向是扩展任务类型，纳入更多发展心理学研究确认的早期视觉能力。第二，评估的时间维度缺失：当前评估只关注最终答案的正确性，忽略了推理过程和响应时间。人类解决视觉任务的速度和策略可能比简单的对错更有信息量。改进方向是引入过程指标，如推理步骤、响应时间、错误模式等。第三，跨文化验证不足：人类测试者主要来自中国学校，而模型训练数据可能偏向西方文化。改进方向是在不同文化背景下进行人类基准测试，验证基准的文化普适性。第四，生成模型评估的局限性：BabyVision-Gen仅评估了图像生成模型，未探索视频生成模型的视觉推理能力，且评估仅关注结果正确性，忽略了生成过程中的'视觉思考'质量。
未来方向
基于本文的发现，有多个有前景的未来研究方向。首先是架构创新：作者指出语言化瓶颈是核心问题，未来需要开发能够保持视觉信息保真度的架构，如原生多模态模型（如Bagel）或统一理解-生成架构。其次是训练方法改进：虽然RLVR在视觉追踪任务上效果有限，但可能有其他强化学习或自监督方法能更好地提升视觉能力。第三是评估范式扩展：BabyVision-Gen代表了视觉生成评估的新方向，未来可以探索更多'视觉外化'的评估形式，如3D重建、视频生成等。第四是认知科学融合：更深入地整合发展心理学、认知科学的发现，设计更符合人类视觉发展轨迹的评估体系。第五是跨模态迁移研究：探索视觉基础能力的提升是否能迁移到需要视觉推理的下游任务（如机器人导航、医学图像分析）。
复现评估
本文的复现性评估相对积极。作者在论文中明确声明代码和基准数据已开源在UniPat-AI/BabyVision仓库。数据集包含388个标注问题，每个问题都有详细的'解决过程'证明答案正确性，这有助于理解和验证。评估流程使用统一的提示模板和LLM-as-judge方法，并公开了评估提示。RLVR训练实验使用了EasyR1框架，配置参数（学习率、批量大小、rollout n等）都有详细说明。然而，完全复现仍面临一些挑战：（1）闭源模型的评估依赖官方API，结果可能因API版本变化而有所不同；（2）人类评估涉及3-12岁儿童，复现需要学校和家长的配合；（3）GRPO训练需要8块H800 GPU训练约3天，算力成本较高。总体而言，开源数据、代码和详细的实验设置使得复现主要结果是可行的。
论文图表
该图展示了Gemini3-Pro-Preview在四种不同类型任务上的代表性失败案例：（a）非语言细粒度感知失败：模型过度语言化几何描述，忽略了精确轮廓匹配；（b）流形一致性追踪失败：在交叉点追踪错误导致终点错误；（c）3D空间想象失败：语言化的高度逻辑忽略了真实3D结构和遮挡；（d）抽象视觉模式归纳失败：关注颜色放置而非实际结构变换。
这张图是理解本文核心理论贡献——四种失败模式和语言化瓶颈——的关键，通过具体案例展示了模型为什么会在'简单'任务上失败。