← 返回 2026-05-28

如何想象以及想象什么？统一多模态模型中用于跨视图空间推理的视觉思维 How and What to Imagine? Visual Thinking in Unified Multimodal Models for Cross-View Spatial Reasoning

Qian Yang, Ankur Sikarwar, Huy Le, Le Zhang, Zhuan Shi, Perouz Taslakian, Aishwarya Agrawal 📅 2026-05-26 👍 20 2026-07-13 08:36

View Dropout 统一多模态模型视觉思维跨视图空间推理

arXiv HuggingFace PDF

通过View Dropout让模型真正使用中间思考图像，全景视角视觉思维最佳

前置知识

统一多模态模型 (UMMs)

统一多模态模型是指能够原生支持图像和文本交错生成的单一架构模型。与传统VLMs的单编码器/解码器范式不同，UMMs可以在同一个架构中同时处理理解（从图像提取语义）和生成（从语义生成图像）两个任务。代表性的UMM包括BAGEL、TUNA、Janus等。BAGEL采用Mixture-of-Transformers架构（14B总参数，每token激活7B参数），通过统一token接口将多模态理解编码器与基于扩散的图像生成器耦合，使模型能够在推理过程中自主生成中间视觉表示。

本文的视觉思维框架完全依赖UMMs的原生交错生成能力，只有UMMs才能在单次前向传播中生成中间思考图像并基于其进行推理，而不需要外部工具或模块。

跨视图空间推理

跨视图空间推理是指从不同视角拍摄的图像中推断场景布局、物体位置、距离和空间关系的能力。它是空间推理的基础子任务，涉及四类核心技能：锚点识别（识别两个视图中共同出现的物体）、全局计数（跨视图统计物体总数并正确处理共享实例）、相对距离（推断哪个目标物体距离参考物体最近或最远）、相对方向（推断相对于另一个视图视角的观察者方向）。例如，给定同一房间的两张从不同角度拍摄的照片，回答相对于第二个视图的观察者，白色桌子在哪个方向需要理解三维场景并在两个视角之间进行坐标变换。

这是本文研究的核心任务。当前最强的开源VLMs在这类任务上表现仅略好于随机猜测，暴露了纯语言推理路径的局限性，这是作者提出视觉思维方法要解决的根本问题。

注意力掩码 (Attention Mask)

注意力掩码是Transformer架构中控制信息流的机制。在自注意力计算中，通过将某些查询-键对的注意力分数设为负无穷大，可以在softmax后将其注意力权重置零，从而阻止对应位置之间的信息传递。本文的View Dropout技术正是通过修改注意力掩码实现的：对于选定的输入视图中的连续patch区域，将答案token对这些位置的注意力掩码设为负无穷大，使得答案span无法读取被遮挡区域的视觉信息。这种修改仅影响答案路径，思考图像的生成仍然可以访问完整的输入视图。

View Dropout的核心实现机制就是注意力掩码操作，理解这一点有助于明白为什么VDrop能够在不改变模型架构的情况下强制模型使用生成的思考图像。

研究动机

当前视觉-语言模型（VLMs）在跨视图空间推理任务上表现严重不足，即使是最强的开源VLMs（如Qwen3-VL-8B）在MMSI-Bench这类挑战性基准上也仅达到约30%的准确率，略好于随机猜测。更令人担忧的是，现有工作已经尝试通过生成中间视觉表示来弥补这一缺陷（如3D重建、深度图、预测相机轨迹等），但近期研究表明这些中间图像的视觉证据在很大程度上被忽略。Liu等人（2025b）通过控制干预实验发现，当改变中间图像的视觉内容时，模型预测几乎不变，这说明生成的思考图像变成了训练过程中的装饰性副产品，而非推理的关键组件。例如，标准监督微调（SFT）下，即使让模型生成合理的思考图像，它在推理时仍然主要依赖原始输入视图来回答问题，思考图像仅仅存在于形式上而非功能上。

本文的目标是本文旨在回答两个核心问题：第一，如何在训练过程中使视觉思维真正发挥作用，让模型在推理时因果性地依赖生成的中间思考图像；第二，哪种类型的思考图像在跨视图空间推理中最有效。作者的目标不是简单地增加训练数据或改进图像生成质量，而是要设计一种训练干预机制，确保生成的思考图像成为推理路径中不可或缺的承载组件，然后在此基础上系统比较不同思考图像策略的有效性。

与已有工作不同的是，本文的独特切入点在于将如何使视觉思维有用和什么样的视觉思维有用这两个问题解耦并系统研究。先前工作要么专注于改进思考图像的生成质量，要么专注于设计更丰富的中间表示，但没有解决模型根本不使用这些图像的问题。此外，先前工作没有清晰区分思考图像类型的两个关键维度——信息量（Informativeness，该策略揭示了多大空间结构）和可学习性（Learnability，UMMs能多可靠地从数据中生成该类型），而是将二者混为一谈。本文提出View Dropout（VDrop）技术强制模型使用思考图像，然后引入Learnability-Informativeness（L-I）权衡框架来评估全景视角、俯视视角、点匹配三种策略，填补了这一研究空白。

核心方法

本文的方法分为两个核心组件：View Dropout（VDrop）训练干预和Learnability-Informativeness分析框架。VDrop是一种训练时的注意力掩码操作，随机选择一个输入视图中的连续区域（例如50%的patch）并将答案token对该区域的注意力掩码设为负无穷大，同时保持思考图像生成token对所有输入视图的完整访问权限。这样，被遮挡区域的布局信息只能通过生成的思考图像恢复，从而强制答案路径依赖思考图像。在VDrop确保思考图像被真正使用的基础上，作者提出L-I框架来评估三种思考图像策略：全景视角（将两个视图拼接成广角统一视野）、俯视视角（从房间角落俯视的高角度渲染）、点匹配（在两个输入视图上用彩色标记对应物体）。作者在Infinigen Indoors合成场景上构建了8K训练样本（7,921个QA对，1,584个独特场景），涵盖四类空间推理问题，在BAGEL统一多模态模型上进行LoRA微调（rank=32, alpha=64），在一个同域合成基准COSMIC和五个真实世界域外基准上进行评估。

核心创新点在于View Dropout技术，它通过一种简单而巧妙的方式——遮挡一个输入视图的连续区域并阻止答案token访问该区域——强制模型将思考图像作为推理的关键组件，而不需要任何架构改变。VDrop的独特之处在于它只改变答案路径的注意力模式，不影响思考图像的生成，因此与任何思考图像策略都兼容。第二个关键创新是Learnability-Informativeness权衡框架，它将思考图像类型的评估分解为两个正交维度：信息量（完美实例能多大程度减轻推理负担）和可学习性（UMMs能多可靠地从数据中生成忠实实例）。作者发现全景视角在两个维度上都表现强劲，是唯一同时具有高信息量和高可学习性的策略。

方法步骤详情

方法包含以下完整步骤：（1）数据构建：使用Infinigen Indoors程序化生成室内场景，每个场景生成两个有重叠视野的中心视角视图，以及对应的全景、俯视、点匹配渲染作为思考图像的ground truth。（2）问题生成：自动构建四类跨视图空间问题（锚点识别、全局计数、相对距离、相对方向），每个问题的答案都来自底层的3D场景标注，确保无歧义。（3）训练格式：将每个样本格式化为交错序列，其中I_vt是思考图像，a是文本答案。（4）View Dropout训练：在训练过程中，随机选择一个视图v，采样其patch位置的一个连续子集D_v，修改注意力掩码使得答案token无法attend to D_v，而思考图像生成token保持完整访问权限。使用warmup-anneal课程：前500步无遮挡（p_mask=0），然后线性增加到第2000步达到满遮挡（p_mask=1）。（5）微调：在BAGEL上使用LoRA进行监督微调，学习率1×10^-5，余弦衰减，交叉熵和MSE损失权重各1.0。（6）评估：在COSMIC同域基准和五个OOD基准（MMSI-Bench、MindCube-Tiny、OmniSpatial、STARE-Perspective、BLINK-MultiView）上评估准确率。

技术新颖性

本文的技术新颖性体现在三个方面：第一，首次系统性地识别并解决了视觉思维中的使用不足（under-use）失败模式，提出VDrop作为一种通用的、架构无关的训练干预来强制模型使用思考图像。第二，提出了Learnability-Informativeness分析框架，将思考图像类型的选择形式化为一个二维权衡问题，澄清了先前工作中将信息量和可学习性混淆的模糊认识。第三，在单一UMM框架内实现了端到端的视觉思维训练和可控比较，不需要外部工具或模块，使得不同思考图像策略的对比公平且有意义。实验表明，仅用8K合成样本训练的VDrop全景视角视觉思维，在OOD基准上优于使用至少3倍更多数据的先前方法，证明了正确的训练信号比数据规模更重要。

**Figure 1**: Visual thinking for cross-view spatial reasoning.

实验结果

实验结果得出五个核心发现：（1）视觉思维改善跨视图空间推理：在COSMIC同域基准上，视觉思考策略（85.2%-85.4%）优于非视觉基线（No-Think 80.6%, Text CoT 50.4%），在五个OOD基准平均上提升更明显。（2）VDrop一致地改善跨视图空间推理：对三种思考图像类型，添加VDrop都提高了OOD平均准确率（全景37.6%→40.0% +2.4pp，俯视37.3%→38.0% +0.7pp，点匹配35.2%→36.1% +0.9pp），全景视角受益最大。（3）数据效率：全景视角+VDrop仅用8K样本达到40.0%的OOD准确率，比vanilla BAGEL（33.3%）提升6.7pp，超越使用更多数据的先前方法（ThinkMorph 37.2%使用24K样本，BAGEL-Zebra-CoT 26.8%使用182K样本），表明训练信号比数据规模更关键。（4）思考图像的因果依赖：通过generate-then-blind探针实验发现，VDrop训练的模型在遮挡思考图像时准确率显著下降（例如在MMSI上下降10.1pp，p=0.025），而标准SFT训练的模型几乎不受影响，确认VDrop使思考图像成为因果承载的推理组件。（5）注意力分析：答案token对思考图像的注意力份额，vanilla BAGEL为55.3%，标准SFT为63.6%，VDrop训练为65.2%，VDrop在早期和中层解码器中比标准SFT多attend thinking-image 3.9个百分点，证明VDrop将答案路径向思考图像转移。

**Table 1**: The four cross-view question types in our 8K Infinigen training set.

**Table 2**: Comparison with baselines and VDrop ablation across thinking-image types.

**Table 3**: Oracle measurement of I(T) on COSMIC.

**Table 5**: Training data distribution by question type.

**Table 6**: VDrop ablation on Panoramic visual thinking.

**Figure 3**: Generate-then-blind probe across 4 OOD benchmarks.

**Figure 4**: Mean answer-token attention on thinking-image tokens across decoder layers (BLINK).

**Figure 5**: Generate-then-blind probe on MMSI, by question evidence category.

**Figure 6**: Mean answer-token attention on thinking-image tokens across decoder layers (STARE).

**Figure 7**: Qualitative examples of visual thinking across strategies.

查看结构化数据

任务	指标	本文	基线	提升
跨视图空间推理（5个OOD基准平均）	准确率 (%)	全景视角+VDrop: 40.0	Vanilla BAGEL: 33.3	+6.7
COSMIC同域基准	准确率 (%)	俯视视角: 85.4	No-Think: 80.6	+4.8
MMSI-Bench	准确率 (%)	全景视角+VDrop: 26.0	Qwen3-VL-8B: 28.0	-2.0
MindCube-Tiny	准确率 (%)	全景视角+VDrop: 34.1	Vanilla BAGEL: 26.9	+7.2
BLINK-MultiView	准确率 (%)	全景视角+VDrop: 62.4	Vanilla BAGEL: 45.1	+17.3

局限与改进

作者承认的局限性包括：第一，VDrop和L-I框架仅在单一UMM（BAGEL）上验证，虽然BAGEL是代表性测试平台，但发现是否迁移到其他UMM架构（如TUNA、Janus）仍有待研究。第二，VDrop强制思考图像成为因果承载组件，但它本身并不提高思考图像的生成质量；当生成的图像保真度低或对问题无实际用处时，强制答案路径通过它几乎没有好处。VDrop因此是补充而非替代提高思考图像生成质量的监督信号，将VDrop与更高保真度的思考图像目标结合是自然方向。第三，三种思考图像策略都局限于不改变相机框架或添加外部模块的表示（避免深度图、3D重建等），这限制了信息量的上界。作者观察到的额外局限性包括：文本链式思维（Text CoT）表现不佳（甚至低于No-Think），可能是因为文本监督不一致——同一个3D场景有许多有效描述，导致生成的轨迹往往不精确。此外，训练数据（8K合成场景）相对较小，虽然OOD泛化表现良好，但复杂真实世界场景的覆盖度有限。

独立分析的弱点

独立分析的弱点包括：（1）思考图像质量瓶颈：当前的思考图像生成完全依赖合成场景的ground truth渲染，但模型生成的图像可能存在几何失真（例如俯视图像中物体错位或深度扭曲），这在一些样本中导致答案错误。改进方向是引入空间保真度的辅助监督（如深度损失、3D一致性损失）或使用更强的图像生成后端。（2）策略覆盖不完整：三种策略都避免了需要外部模块的表示（如3D重建、深度图），这限制了信息量的潜力。改进方向是扩展策略空间，包括分层表示（从粗糙到精细的渐进式场景理解）或动态视角变换（基于问题的自适应相机轨迹）。（3）评估集覆盖局限：五个OOD基准主要涵盖室内场景和空间推理的特定类型（相对距离、方向、锚点识别），对于动态空间推理、跨视图物体追踪、大规模场景理解等任务缺乏评估。改进方向是扩展基准集覆盖更广泛的空间推理技能。（4）训练效率：虽然8K样本表现良好，但训练仍需要4×H100 GPU进行7,000步LoRA微调，对于资源受限的环境可能不可行。改进方向是探索参数高效的VDrop变体或知识蒸馏方案。

未来方向

作者提出和可延伸的未来研究方向包括：（1）将VDrop与更高保真度的思考图像生成结合，例如引入空间感知损失或使用更强的图像生成模型，同时保持因果依赖的训练信号。（2）扩展到其他UMM架构，验证VDrop和L-I框架的泛化性，探索架构特定的调整（如TUNA的连续表示可能更适合俯视策略）。（3）研究混合视觉思维策略，根据问题类型或难度动态选择最合适的思考图像类型，例如对锚点识别使用点匹配，对相对距离使用全景视角。（4）探索视觉思维与文本链式思维的融合，设计结合视觉和文本的交错推理监督，结合两者的优势（视觉的空间保真度和文本的逻辑表达能力）。（5）从合成到真实世界的迁移，研究如何利用合成数据的优势（ground truth thinking-images、无歧义答案）同时提高对真实世界数据的泛化，可能通过域适应或数据增强技术。（6）将VDrop思想扩展到其他多模态推理任务，如视频理解、时序推理、跨模态对齐等。

复现评估

本文提供了较强的复现基础：代码和训练数据（Infinigen渲染的场景）将开源，使用的BAGEL基础模型遵循Apache-2.0许可证。训练数据完全基于Infinigen Indoors程序化生成，不使用外部真实世界数据，确保了数据可复现性。评估基准都是公开的（COSMIC、MMSI-Bench、MindCube、OmniSpatial、STARE-Perspective、BLINK），使用标准的多选题评估协议（提取预测答案字母，与ground truth进行精确匹配）。训练超参数详细报告（LoRA rank=32, alpha=64, 学习率1×10^-5，余弦衰减，权重损失各1.0，最大上下文长度20,000 tokens for visual-thinking训练）。VDrop超参数明确（warmup步骤sw=500, anneal步骤sa=1500, drop分数ρ=0.5, 连续区域遮罩）。复现的主要挑战是计算资源需求（4×H100 GPU）和Infinigen渲染的耗时，但这些不是方法论壁垒。论文附录包含详细的消融实验（VDrop遮罩设计、生成-然后-盲探针、注意力探针、定性示例），提供了完整的实验细节。总体而言，复现难度中等偏上，需要高端GPU但数据和方法都公开透明。

论文图表

Table 4: Generated-image measurement of L(T) on COSMIC.

这个表格展示了在COSMIC上对思考图像类型可学习性L(T)的生成图像测量。Input views only行报告Qwen3-VL-235B-A22B-Instruct在给定V_1和V_2时的准确率，后续行报告提供由VDrop训练后的BAGEL生成的类型T的思考图像作为第三个图像时的提升。结果显示生成的全景视角在三个空间子类型（计数、相对距离、相对方向）上仍然是净正的，生成的俯视视角在两个子类型上有帮助但在其他上回归，点匹配则全程平坦到负。

这个表格对理解L-I框架的可学习性维度至关重要，它通过功能测量评估了BAGEL能够多忠实地生成每种思考图像类型。表格清晰显示全景视角即使作为生成图像仍能转移空间结构，俯视视角仅部分可学习，点匹配则受限于低信息量和中等可学习性。