面向多模态大语言模型的认知超感知 Toward Cognitive Supersensing in Multimodal Large Language Model
用视觉想象链增强MLLM的认知推理能力
前置知识
Chain-of-Thought (CoT) 推理
Chain-of-Thought 是一种提示和训练技术，让语言模型生成显式的中间推理步骤，而非直接输出最终答案。在视觉推理场景中，CoT 通常将推理过程外化为自然语言序列，例如先描述图像内容，再逐步分析规律，最后给出结论。然而，对于涉及空间变换、几何操作等非语言性的推理任务，纯文本的中间表示可能存在信息压缩和结构丢失的问题。
本文的核心动机之一就是指出纯文本 CoT 在视觉认知任务中的局限性，因此理解 CoT 的工作方式和缺陷是理解本文创新点的基础。
多模态大语言模型 (MLLM/VLM)
多模态大语言模型是将视觉编码器（如 CLIP）与预训练语言模型通过跨模态连接器对齐的架构。典型流程是：视觉输入经过编码器提取特征，通过投影层映射到语言嵌入空间，与文本 token 拼接后送入 LLM 主干网络。代表模型包括 Qwen-VL、LLaVA、InternVL 等。这类模型在开放词汇的感知任务上表现出色，但在需要深层认知推理的任务上仍有明显不足。
CogSense-8B 是基于 Qwen3-VL-8B 架构构建的，理解 MLLM 的基本架构和训练范式对于理解本文的方法设计至关重要。
潜在空间推理 (Latent Visual Reasoning)
这是一种新兴的推理范式，核心思想是在生成最终答案之前，模型先在压缩的潜在空间中进行中间推理步骤，而非完全依赖离散的文本 token。类似于世界模型（World Models）的概念，系统在潜在空间中'思考'，通过预测未来状态或操纵视觉抽象来完成推理。代表性工作包括视觉草稿本（visual scratchpad）和隐式推理 token 等。
本文提出的 LVIP 头就是潜在空间推理的一种实现方式，通过预测答案选项图像的潜在表示来形成基于视觉的内部推理链。
强化学习与 GFlowNet
强化学习（RL）通过奖励信号优化策略，而生成流网络（GFlowNet）是一种特殊的 RL 框架，其核心特点是通过流匹配目标训练策略，使其能按比例采样到不同质量的推理轨迹，而非仅仅优化单一最优路径。GFlowNet 使用非归一化的轨迹分数作为目标后验，鼓励模型探索多样化的推理路径，这对于推理问题可能存在多种有效解的场景尤为重要。
本文第三阶段使用 GFlowNet 进行强化学习，不同于传统的 GRPO 等方法，其多样性探索特性对优化长推理链至关重要。
视觉认知的五个维度
根据认知科学理论，本文将视觉认知分为五个维度：流体智力（Gf）评估解决未见推理问题的能力，不依赖先验知识；晶体智力（Gc）评估利用已学习世界知识的能力；视觉空间认知评估3D空间理解和结构关系重建；心理模拟评估模型作为'模拟引擎'推断隐藏动态的能力；视觉常规操作评估视觉搜索效率和注意力控制能力。
这五个维度构成了 CogSense-Bench 的理论基础，理解这些认知维度有助于理解论文的评估框架和实验设计。
研究动机
当前多模态大语言模型在开放词汇的感知任务上取得了显著成功，但在复杂认知推理任务上仍然存在严重不足。论文通过系统评估发现，即使是 GPT-5.2 这样的强模型在 CogSense-Bench 上的平均准确率也仅为 40.3%，远低于人类的 88.4%。具体来看，GPT-5.2 在流体智力维度仅达到 29.4%，而人类为 82.7%；GPT-o3 在流体智力上更是低至 4.7%。现有方法主要通过扩展文本空间中的 Chain-of-Thought 推理来尝试解决这个问题，但论文指出，许多视觉认知子程序（如心理旋转形状、模拟动力学、诱导模式矩阵中的规则）本质上是几何变换、连续状态或结构化视觉关系，最自然的表达方式并非离散 token 序列。将这些中间状态完全压缩到线性文本中会造成表示瓶颈，增加信息丢失和脆弱推理的风险。
本文的目标是本文的具体目标是提出一种新的训练范式——认知超感知（Cognitive Supersensing），使 MLLM 具备类人的视觉想象能力，能够在潜在空间中构建基于视觉的内部推理链。同时，作者构建了 CogSense-Bench 基准测试，系统评估 MLLM 在五个认知维度上的能力。最终目标是缩小现有 MLLM 与人类在视觉认知任务上的性能差距，从实验结果看，CogSense-8B 将平均准确率从基线的 35.5% 提升到 73.8%，将与人类的差距从 52.9 个百分点缩小到 14.6 个百分点。
与已有工作不同的是，本文的独特切入角度在于认知科学中的'视觉空间草稿本'（visuospatial sketchpad）概念——人类心智中支持在问题解决过程中维持和变换内部视觉表征的机制。与现有方法将推理完全外化为文本不同，本文探索将部分中间推理从离散 token 转移到能更好保留几何、连续性和结构化视觉关系的表示空间。具体而言，论文引入了潜在视觉想象预测（LVIP）头，通过预测答案选项图像的潜在表示来形成'想象'状态，并将其与语义推理链对齐。这种方法本质上是将视觉世界建模与语义推理耦合，而非简单地扩展文本推理能力。
核心方法
本文的方法整体思路可以概括为：让模型像人类一样在'心智之眼'中进行视觉推理。直觉上，人类在解决视觉认知问题时，并非将所有视觉信息转化为语言描述后再推理，而是在内心维持一个视觉表征空间，在其中进行变换、模拟和比较。技术路线方面，CogSense-8B 在标准的视觉语言模型架构上增加了一个辅助模块——LVIP 头，该模块与文本解码器并行工作，预测答案选项图像的潜在表示。训练采用三阶段流水线：首先用强大的教师模型生成高质量推理链，然后在监督微调阶段联合优化文本生成和潜在视觉想象预测，最后通过强化学习进一步优化推理路径。这种设计使得模型能在保留语言语义指导的同时，在潜在空间中进行多步视觉推理。
本文的核心创新点是潜在视觉想象预测（LVIP）机制，这与已有方法存在本质区别。传统方法如 GRPO 或标准 SFT 仅优化文本空间中的推理链，而 LVIP 将答案选项图像的视觉编码器输出作为监督信号，通过 MSE 损失训练一个两层 MLP 预测头，使模型在生成推理的同时学会'想象'正确答案的视觉特征。这种设计的关键在于，它提供了一个与文本答案监督互补的视觉接地信号，鼓励模型在推理过程中维持对答案视觉属性的内部预测。另一个关键创新是使用 GFlowNet 进行强化学习，不同于传统 RL 方法仅优化单一最优路径，GFlowNet 按轨迹分数比例采样多样化的推理路径，其目标后验同时包含答案证据和 LVIP 接地信号。
方法步骤详情
方法分为三个阶段。第一阶段是推理链生成：给定多模态输入 (V, Q)，使用教师模型按任务特定提示生成推理链 Z 和预测答案，然后过滤掉答案不正确或包含幻觉内容的推理链，构建增强数据集。第二阶段是带 LVIP 的监督微调：LVIP 头是一个两层 MLP，接收 LLM 主干网络输出的视觉 token 隐藏状态，提取选项图像对应的子集，经平均池化后预测潜在表示。联合损失由标准自回归交叉熵损失和 MSE 损失组成，beta 参数平衡两个目标。第三阶段是带潜在推理链的强化学习：使用 GFlowNet 优化推理策略，轨迹分数由答案证据和 LVIP 接地信号加权组合。使用参考引导的 GFlowNet 微调，仅优化满足相对证据阈值的轨迹。推理时采样多条推理链，选择长度归一化证据分数最高的答案。
技术新颖性
本文的技术新颖性体现在多个层面。首先，LVIP 头的设计将'构造性匹配'（constructive matching）的认知过程引入深度学习——模型不是被动地从选项中选择答案，而是主动预测答案应该具有的视觉属性。其次，GFlowNet 在视觉认知推理中的应用是新颖的，其多样性探索特性特别适合处理可能有多条有效推理路径的认知问题，这是传统 GRPO 等方法无法实现的。第三，CogSense-Bench 的五个认知维度设计基于扎实的认知科学理论，包括结构映射理论（流体智力）、原型理论（晶体智力）、格式塔定律（视觉空间认知）、假设演绎推理（心理模拟）和注意力聚焦理论（视觉常规操作），这为评估 MLLM 的认知能力提供了理论驱动的系统框架。第四，token 级边际奖励估计和稀疏锚点插值的技术设计有效平衡了训练效率和信号密度。
实验结果
CogSense-8B 在 CogSense-Bench 上取得了全面领先的性能。在五个认知维度上，CogSense-8B 的平均准确率达到 73.8%，大幅超越 GPT-5.2 的 40.3%，领先 33.5 个百分点。具体而言：流体智力维度，CogSense-8B 达到 63.8%，相比 GPT-5.2 的 29.4% 提升 34.4 个百分点；晶体智力维度，CogSense-8B 达到 91.0%，接近人类的 91.3%，而最强基线 Gemini 2.5 Flash 仅为 40.2%；视觉空间认知维度，CogSense-8B 达到 69.0%，相比 GPT-5.2 的 57.5% 提升 11.5 个百分点；心理模拟维度，CogSense-8B 达到 68.0%，超过 GPT-5.2 的 60.0%；视觉常规操作维度，CogSense-8B 达到 50.5%，超过 Gemini 2.5 Flash 的 45.3%。消融实验表明，标准 SFT 将基线模型从 35.5% 提升到 62.3%（+26.8），加入 LVIP 后进一步提升到 68.0%（+5.7），完整方法（LVIP + GFlowNet RL）达到 73.8%（+11.5）。值得注意的是，GRPO 作为 RL 基线仅带来 +2.8 至 3.2 的提升，而本文的 GFlowNet 方法带来 +5.8 的提升，验证了其在利用视觉超感知方面的独特优势。在域外评估中，CogSense-8B 在 EMMA 基准的化学子集上提升 6.2 个百分点（39.2% 到 45.4%），数学子集提升 8.8 个百分点（26.0% 到 34.8%），证明其学到的是通用视觉认知模式而非过拟合。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CogSense-Bench 流体智力 | Accuracy (%) | 63.8 | GPT-5.2: 29.4 | +34.4 |
| CogSense-Bench 晶体智力 | Accuracy (%) | 91.0 | Gemini 2.5 Flash: 40.2 | +50.8 |
| CogSense-Bench 视觉空间认知 | Accuracy (%) | 69.0 | GPT-5.2: 57.5 | +11.5 |
| CogSense-Bench 心理模拟 | Accuracy (%) | 68.0 | GPT-5.2: 60.0 | +8.0 |
| CogSense-Bench 视觉常规操作 | Accuracy (%) | 50.5 | Gemini 2.5 Flash: 45.3 | +5.2 |
| CogSense-Bench 平均 | Accuracy (%) | 73.8 | GPT-5.2: 40.3 | +33.5 |
| EMMA 化学 | Accuracy (%) | 45.4 | Qwen3-VL-8B: 39.2 | +6.2 |
| EMMA 数学 | Accuracy (%) | 34.8 | Qwen3-VL-8B: 26.0 | +8.8 |
| HallusionBench | Accuracy (%) | 60.5 | Qwen3-VL-8B: 61.1 | -0.6 |
| ScienceQA | Accuracy (%) | 92.6 | Qwen3-VL-8B: 92.6 | 0 |
局限与改进
论文的局限性主要体现在以下几个方面。首先，虽然 CogSense-8B 在认知任务上取得了显著提升，但与人类基线（88.4%）相比仍有 14.6 个百分点的差距，尤其在流体智力（63.8% vs 82.7%）和视觉常规操作（50.5% vs 78.7%）维度差距较大，说明模型在需要高度抽象推理和精细注意力控制的任务上仍有不足。其次，LVIP 头的设计依赖于答案选项以图像形式呈现，这限制了方法在开放式生成任务中的适用性。第三，推理时需要采样多条推理链并选择最佳答案，增加了推理成本和延迟。第四，训练数据来自多个现有数据集的重组，可能存在分布偏差。第五，论文的域外评估仅在 EMMA 基准上进行，范围相对有限。此外，论文使用 8B 参数规模的模型，与 GPT-5.2 等闭源大模型的对比可能不完全公平，因为模型规模差异可能掩盖了方法本身的贡献。作者自己也承认，实验使用 8 块 NVIDIA H200 GPU，训练成本不低，但未详细报告训练时间和计算开销。
独立分析的弱点
论文存在几个值得深入分析的弱点。第一，LVIP 头仅在推理时作为冻结的辅助模块，其输出不直接影响最终答案生成，这意味着视觉想象信号仅通过训练间接影响模型行为，而非在推理时显式指导决策。改进方向可以探索将 LVIP 的预测结果作为条件输入反馈给 LLM 主干网络。第二，推理链生成依赖外部教师模型，引入了对强模型的依赖，且教师模型的质量和偏见可能传递给学生模型。可以考虑使用自蒸馏或迭代改进的方法减少这种依赖。第三，GFlowNet 的计算开销较高，需要采样多条轨迹并计算复杂奖励，对于实时应用场景可能不实用。改进方向包括设计更高效的轨迹采样策略或探索知识蒸馏将多样化推理能力压缩到单次推理中。第四，五个认知维度的评估虽有理论基础，但每个维度的测试样本量有限（总计 1000 题），统计显著性可能不足，且未报告置信区间。第五，论文未充分分析 LVIP 预测的潜在表示究竟编码了什么语义信息，缺乏对'视觉想象'的可解释性分析。
未来方向
基于本文成果，未来研究可以在多个方向展开。作者提出的开源 CogSense-Bench 和模型权重为社区提供了基础，可以探索更大规模模型上的认知能力表现。首先，可以将 Cognitive Supersensing 范式扩展到视频理解领域，利用时序信息进行心理模拟和动态推理。其次，LVIP 的设计理念可以推广到其他模态对，如音频-文本或触觉-视觉的跨模态想象。第三，可以探索将视觉想象能力与具身智能结合，使机器人在执行动作前先在潜在空间中'想象'动作结果。第四，当前方法仅处理选择题格式，未来可以扩展到开放式视觉问答，需要设计新的潜在接地机制。第五，可以研究认知超感知能力与其他推理能力（如数学推理、代码生成）的迁移效应。第六，结合神经科学方法，分析模型学到的视觉想象表示与人类视觉皮层激活模式的对应关系，为可解释 AI 提供新视角。
复现评估
本文的复现条件相对友好。作者承诺将开源 CogSense-Bench 数据集和模型权重，数据集已在 HuggingFace 上发布（PediaMedAI/CogSense-Bench），代码仓库在 GitHub（PediaMedAI/Cognition-MLLM）。训练基于开源的 Qwen3-VL-8B 骨干模型，数据来自多个公开数据集（如 PGM、RAVEN、Bongard 系列、ARC-AGI 等），总规模约 105.4K 样本。然而，复现面临几个挑战：需要 8 块 NVIDIA H200 GPU 的计算资源；推理链生成需要强大的教师模型（论文未明确指定具体模型）；GFlowNet 的实现相对复杂，需要仔细调参；三个训练阶段的超参数（如平衡系数、松弛参数等）论文未完整报告。总体而言，具备充足计算资源的团队可以复现，但需要一定的工程努力。
论文图表
展示了五个认知类别（流体智力、晶体智力、视觉空间认知、心理模拟、视觉常规操作）的样本示例。每行展示一个类别的多个题目，包含问题图像和选项，涵盖矩阵推理、类别归属、序列补全、变换应用、找异类等多种题型。
这张图直观展示了 CogSense-Bench 的五个认知维度的具体题目形式，帮助读者理解评估框架的覆盖范围和题目的视觉复杂性。
展示了为不同认知类别定制的推理链生成提示模板，包括晶体智力/视觉空间认知、流体智力、ARC-AGI 心理模拟、KiVA 心理模拟、STARE 心理模拟和视觉常规操作等六类提示，每类都有特定的输入格式和推理要求。
这些提示模板是数据构建流程的关键部分，展示了如何系统地引导教师模型生成针对不同认知任务的高质量推理链。
展示了更多定性对比示例，包括晶体智力（摩托车类别归属）和流体智力（矩阵推理）两个任务，对比了 Gemini 2.5 Pro、InternVL3-78B、Intern-S1 和 CogSense-8B 的推理过程。CogSense-8B 在所有示例中都给出了更准确的推理和正确答案。
补充的定性示例进一步验证了 CogSense-8B 在不同类型认知任务上的推理优势，增强了实验结论的可信度。