想象力有助于视觉推理，但潜空间中的想象力尚未成功 Imagination Helps Visual Reasoning, But Not Yet in Latent Space
通过因果中介分析证明潜空间视觉推理方法无效，并提出基于文本想象的替代方案CapImagine
前置知识
潜空间视觉推理（Latent Visual Reasoning）
一种视觉推理范式，将多模态大语言模型（MLLM）最后一层的隐藏状态视为'潜空间标记'（latent tokens），模型在这些高维潜空间中进行'想象'推理，而非生成显式的文本或图像。具体而言，给定输入图像和问题，模型在推理过程中会输出特殊的潜空间标记序列，这些标记理论上应编码丰富的视觉语义信息，支持后续的推理决策。整个过程可以形式化为因果链：输入X → 潜空间标记Z → 最终答案Y。
这是本文研究的核心对象。论文通过严格的因果分析质疑了这种推理范式的有效性，理解这一概念对于把握论文的研究动机和核心贡献至关重要。
因果中介分析（Causal Mediation Analysis）
一种统计因果推断方法，用于量化中介变量在自变量和因变量之间的作用。在本文中，作者将潜空间推理过程建模为因果链X→Z→Y，其中X是输入（治疗），Z是潜空间标记（中介），Y是最终答案（结果）。通过对X和Z进行系统性的扰动（如替换、注入噪声、强制设为相同值等），观察对Z和Y的影响，从而诊断Z是否真正起到了'中介'作用。
这是本文采用的核心分析框架。正是通过这种因果分析方法，作者发现了潜空间推理的两个关键断裂（Input-Latent Disconnect和Latent-Answer Disconnect），从而得出潜空间标记'既不根据输入变化，也不真正影响最终答案'的结论。
因果链断裂（Causal Disconnect）
本文发现的两个关键现象：（1）Input-Latent Disconnect：对输入X进行剧烈扰动后，生成的潜空间标记Z几乎没有变化，说明潜空间标记没有有效地关注输入序列；（2）Latent-Answer Disconnect：对潜空间标记Z进行扰动后，最终答案Y只有微小变化，说明潜空间标记对最终输出的影响有限。
这两个断裂是论文的核心发现，它们从根本上质疑了潜空间推理范式的有效性，为提出CapImagine方法提供了坚实的理论依据。
CapImagine（文本空间想象方法）
本文提出的替代方法，将原本在潜空间中进行的'视觉想象'转化为显式的文本描述。具体做法是：将训练数据中用于潜空间推理的中间图像转换为文本描述（如'假设在图像下方标记了一个红色矩形，突出显示智利和格陵兰'），训练模型通过文本形式进行视觉想象推理。这种方法绕过了潜空间表示，直接在语言空间中承载视觉想象的语义信息。
这是本文提出的主要方法，实验证明它在多个视觉推理基准测试上显著优于潜空间方法，且具有更好的因果性，验证了'文本空间想象比潜空间想象更有效'的核心论点。
研究动机
潜空间视觉推理（LVR）作为新兴范式，旨在让多模态大语言模型通过隐藏状态进行视觉想象，但其内部机制和有效性缺乏严格验证。现有的LVR方法（如Mirage、Monet、LVR等）虽然在实验中表现出一定性能，但存在三个根本性问题：第一，潜空间标记存在严重的'模式坍塌'现象——在推理过程中，潜空间标记会逐渐退化为高度同质的表示，丧失区分性语义信息。实验显示，不同实例、不同任务的潜空间标记在相同位置上的余弦相似度高达0.9以上。第二，潜空间标记对输入变化不敏感——即使对输入图像和问题进行完全替换，生成的潜空间标记仍然高度相似。第三，潜空间标记对最终答案的因果影响微乎其微——将潜空间标记替换为高斯噪声、设置为零或强制所有标记相同，最终答案几乎没有变化，在V*基准上甚至出现0.5%的微小提升。
本文的目标是本文的核心目标是通过严格的因果中介分析框架，系统性地诊断当前潜空间视觉推理方法的内部机制，回答两个关键问题：（1）潜空间标记是否真正承载了有意义的视觉语义信息？（2）潜空间标记是否对最终推理结果有实质性的因果贡献？在此基础上，探索更有效的视觉推理方法，为该领域提供清晰的诊断工具和可靠的基线方法。
与已有工作不同的是，与现有工作相比，本文的独特切入角度在于采用'因果中介分析'这一严格的统计推断方法，而非仅仅依赖实验性能指标来评估潜空间推理的有效性。现有工作主要关注'潜空间方法是否能提升下游任务性能'，而本文追问'潜空间标记在推理过程中到底扮演了什么角色'。这种'诊断性'而非'验证性'的研究视角，使得本文能够发现潜空间推理的根本性缺陷——潜空间标记实际上更接近'软提示'或'占位符'，而非真正的视觉想象载体。
核心方法
本文的方法论框架包含两个互补的部分：因果分析诊断和文本空间想象方法。第一部分是系统的因果中介分析，将潜空间推理过程抽象为因果链X→Z→Y，通过对X和Z进行多种扰动（实例级替换、注入噪声、强制一致性等），观察对Z和Y的因果影响。分析从三个维度展开：潜空间标记的跨实例相似性分析、潜空间标记的干预分析、以及潜空间标记的探测分析。第二部分是提出CapImagine方法，其核心思路是将潜空间想象转化为文本空间想象——将训练数据中用于潜空间推理的中间图像转换为文本描述，训练模型通过显式的文本推理链进行视觉想象。整个方法的关键洞察是：既然潜空间标记未能有效承载视觉语义，不如将视觉想象的语义信息直接编码到语言空间中。
本文的核心创新点在于提出'因果有效性'这一新维度来评估视觉推理方法。与以往关注性能指标的研究不同，本文发现潜空间视觉推理存在两个'因果断裂'：Input-Latent Disconnect（输入到潜空间标记的因果链断裂）和Latent-Answer Disconnect（潜空间标记到答案的因果链断裂）。这一发现挑战了'潜空间推理有潜力'的普遍假设。基于此，CapImagine方法的本质创新是：放弃在潜空间中进行视觉想象，转而将视觉想象的语义变化显式转化为文本描述。例如，当模型需要'放大查看图像中某个区域'时，潜空间方法会在隐藏状态中编码这一操作，而CapImagine会生成文本：'假设在图像下方标记了一个红色矩形，突出显示智利和格陵兰'。这种'文本化想象'策略看似简单，但实验证明它具有更强的因果性和更好的性能。
方法步骤详情
CapImagine方法的实施包含四个步骤：第一步是数据重写，将Monet-SFT-125K训练数据中的中间图像转换为文本描述。对于Visual-CoT和Zebra-CoT子集（主要是放大关键区域），使用Qwen3-VL-4B为高亮区域生成简洁准确的描述；对于Refocus和CogCoM子集（涉及直接图像操作），描述原始图像和操作后图像的差异。第二步是推理链优化，使用MLLM全局优化推理链，修正不一致性并提高流畅性，使新生成的文本描述能平滑融入原有推理过程。第三步是数据过滤，通过MLLM评估每个训练实例的推理过程正确性和问题清晰度，过滤掉存在缺陷的实例，最终保留17,000个高质量训练样本。第四步是模型训练，在Qwen2.5-VL-7B基础上进行CoT-SFT微调，使用8块A800-80G GPU，批次大小为1，梯度累积为16。
技术新颖性
本文的技术新颖性体现在三个方面：首先是研究视角的创新，引入因果中介分析框架来诊断潜空间推理，这在该领域尚属首次。现有工作主要通过实验性能来间接推断方法的有效性，而本文直接检验了'潜空间标记是否真正起作用'这一根本问题。其次是发现的创新，揭示了潜空间推理的两个因果断裂，这一发现挑战了该领域的基本假设——即潜空间标记能够有效编码视觉语义并支持推理。最后是方法的创新，CapImagine提出了一种'反直觉'的解决方案：既然潜空间推理效果不佳，不如回到文本空间。但与简单的文本推理不同，CapImagine的文本想象是基于具体的中间视觉证据的，通过'语言化'视觉变化来实现视觉想象，这种设计保留了视觉推理的'想象'本质，同时获得了更强的因果性和可解释性。
实验结果
本文的实验结果揭示了三个核心发现。第一个发现是关于潜空间标记的同质性：在跨实例分析中，潜空间标记在相同位置上表现出极高的余弦相似度（LVR模型在第2步就出现坍塌，Monet在第5步后丧失区分性），表明潜空间标记几乎没有编码输入图像或问题的信息。在跨任务分析中，不同任务的潜空间标记也高度相似，说明连粗粒度的任务级别区分都无法捕捉。第二个发现是关于潜空间标记的因果无效性：对Monet和Mirage进行多种干预（所有标记设为相同张量、注入高斯噪声、替换为噪声、设为接近零的值），在V*、HR-Bench-4K、MME-RealWorld-Lite上的性能变化仅为-1.0%到+0.5%，表明潜空间标记对最终答案几乎没有因果影响。第三个发现是CapImagine的优越性能：在V*基准上达到85.9%（比Monet高2.6%），在HR-Bench-8K上达到70.7%（比Monet高2.7%），在MME-RealWorld-Lite上达到54.8%（比Monet高7.9%），在TableVQA上达到70.7%（比Monet高5.9%）。更重要的是，对CapImagine的文本想象过程进行因果分析，发现其具有更强的因果依赖性——对文本想象内容进行干预会导致性能急剧下降63.4%，远超潜空间方法。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 高分辨率视觉感知（V*） | Overall Accuracy (%) | 85.9 | 83.3（Monet） | +2.6% |
| 高分辨率视觉感知（V*） | Attribute Accuracy (%) | 87.8 | 83.5（Monet） | +4.3% |
| 高分辨率视觉感知（V*） | Spatial Accuracy (%) | 82.9 | 82.9（Monet） | 持平 |
| 高分辨率基准（HR-Bench-4K） | Overall Accuracy (%) | 74.1 | 71.0（Monet） | +3.1% |
| 高分辨率基准（HR-Bench-8K） | Overall Accuracy (%) | 70.7 | 68.0（Monet） | +2.7% |
| 真实世界多模态（MME-RealWorld-Lite） | Overall Accuracy (%) | 54.8 | 46.9（Monet） | +7.9% |
| 表格问答（TableVQA） | Overall Accuracy (%) | 70.7 | 64.8（Monet） | +5.9% |
| 拼图推理（BLINK-Jigsaw） | Accuracy (%) | 64.7 | 50.0（Monet） | +14.7% |
| 多视角推理（BLINK-MV） | Accuracy (%) | 49.6 | 47.4（Monet） | +2.2% |
局限与改进
论文承认了三个主要局限性。首先，CapImagine引入了更高的推理延迟，因为需要自回归解码更长的文本序列。与潜空间方法相比，文本空间想象需要生成更多token，增加了推理时间。其次，CapImagine主要作为验证探针来证明当前潜空间方法的因果性差距，而非最优解决方案。作者承认，自然语言在粒度上天然受限于高维潜空间的理论信息容量，这意味着文本空间想象可能无法完全替代潜空间中理论上可以编码的丰富视觉信息。第三，论文的分析范围有限——虽然揭示了当前LVR方法的根本缺陷，但并未提出如何在潜空间中构建高质量因果推理链的解决方案，这仍然是一个未解决的开放问题。此外，从实验设计角度看，论文的因果分析主要集中在Monet和Mirage两个代表性方法上，虽然它们涵盖了通用和任务特定场景，但是否所有潜空间推理方法都存在相同的问题仍需进一步验证。
独立分析的弱点
本文存在几个值得注意的弱点。首先，数据质量问题是一个关键挑战——尽管进行了严格的数据过滤，原始Monet-SFT-125K数据中Visual-CoT子集占比高达94.88%，而这些数据本身质量较低，过滤后仅保留17K高质量实例，这意味着大量数据被丢弃，数据利用效率不高。未来可以通过更精细的数据质量评估方法或数据增强技术来提高数据利用效率。其次，CapImagine的文本想象粒度受限于语言表达能力——当需要描述复杂的视觉变化（如精确的像素级操作或复杂的几何变换）时，文本描述可能变得冗长且不精确。未来可以探索混合方法，将文本想象与轻量级的潜空间表示相结合。第三，论文的因果分析框架虽然严谨，但主要关注'扰动-响应'关系，缺乏对潜空间标记内部语义结构的深入分析。未来可以结合探针分类器、注意力可视化等方法，更精细地分析潜空间标记的信息编码情况。
未来方向
作者和本文可以延伸出多个未来研究方向。作者指出的核心方向是：如何在潜空间中设计全新的训练范式来正则化潜空间表示，构建高质量的因果推理链。这需要从根本上解决潜空间标记的模式坍塌和因果无效性问题，可能涉及对比学习、因果正则化、或新的监督信号设计。第二个方向是探索'混合想象'方法——结合文本想象的因果性和潜空间的信息容量优势，设计既能保持因果有效性又能编码丰富视觉语义的推理机制。第三个方向是将因果分析框架应用于其他潜空间推理任务（如代码推理、数学推理），验证'潜空间推理无效'是否是一个更普遍的现象。第四个方向是改进CapImagine的数据构建流程，探索自动化的高质量数据生成方法，减少对人工过滤的依赖。最后一个方向是研究潜空间推理的最优架构设计——是否可以通过特殊的网络结构（如因果注意力机制、对比学习模块）来强制潜空间标记保持区分性和因果性。
复现评估
论文在可复现性方面表现良好。代码和模型已开源，作者在论文中明确提到了开源链接。训练细节清晰：基于Qwen2.5-VL-7B，在8块A800-80G GPU上训练，批次大小为1，梯度累积为16，使用Monet代码库进行CoT-SFT微调。数据方面，论文基于公开的Monet-SFT-125K数据集进行重写和过滤，虽然过滤后的17K子集可能不是完全公开的，但数据构建流程（使用Qwen3-VL-4B生成描述、MLLM优化推理链、自动质量评估）描述清晰，理论上可以复现。算力需求方面，8块A800-80G GPU的配置对大多数研究机构是可获取的。主要挑战可能在于数据重写过程中的质量控制——论文提到早期实验使用原始重写数据效果有限，需要仔细的过滤才能达到报告的性能，这意味着复现时需要投入相当的数据清洗工作。整体而言，论文的实验设置和描述足够详细，具备良好的可复现性基础。
论文图表