思维链提示反而损害多模态大语言模型的视觉空间推理能力 Chain-of-Thought Degrades Visual Spatial Reasoning Capabilities of Multimodal LLMs
CoT 提示降低视觉空间推理能力，揭示 MRMs 文本先验幻觉
前置知识
Chain-of-Thought (CoT)
思维链提示是一种让模型在给出最终答案前先输出逐步推理文本的技术。CoT 在数学与逻辑任务上已证明能显著提升 LLM 性能，但本文显示其推广到视觉空间任务时反而有害。
理解 CoT 的设计意图与适用边界，是判断本文'反直觉结论'的前提
Multimodal Reasoning Model (MRM)
多模态推理模型指通过 SFT+RL（GRPO/DAPO）后训练、显式生成 step-by-step 思维链的多模态 LLM。代表工作有 GThinker、ViGoRL、Vision-R1、TreeVGR 等，本文评测了 8 个此类模型。
MRM 是本文重点批判对象，需理解其训练目标（强化推理轨迹）才能体会'为何文本先验幻觉会出现'
视觉空间推理
需要理解物体间几何关系（左右、上下、深度、3D 朝向、动态运动）的视觉任务，与数学/符号推理不同，要求模型具备 grounded perception（基于图像证据的感知）能力。本文将其细分为 2D 关系、3D 几何、动态时序三类。
空间推理与文字先验冲突最严重，是 CoT 失败最明显的领域，需要明白它对'grounding'的依赖
LLM-as-a-Judge 评分
用一个小语言模型（本文选 Qwen3-30B-A3B-Instruct-2507）作为裁判，从模型自由生成的回复中提取选项字母，配合精心设计的 prompt 把文本映射到 A/B/C/D。与 GPT-4o 评分对比 Cohen κ > 0.99。
评测方法学要点：为何用 LLM 评 MCQ 而非精确匹配、为何选非推理模型做裁判
RLVR
可验证奖励强化学习，数学/逻辑任务上常用（答案对错即奖励信号）。本文指出 RLVR 训练的 MRM 在空间任务上反而退步，因为奖励信号可能让模型学会'猜捷径'而非 grounded reasoning。
理解为何 SFT+RL 后训练出来的推理模型在空间任务上失效
研究动机
近年来以 OpenAI o1、DeepSeek-R1 为代表的 'System 2' 推理范式席卷多模态领域，催生了 GThinker、ViGoRL、Vision-R1、TreeVGR、VL-Rethinker、ThinkLite、R1-Onevision、Vision-G1 等近十个开源 MRM。这些模型均通过 SFT+RLVR 后训练、显式输出长链推理，自称在视觉推理上取得突破。然而细致调研发现，这些模型在原始论文中评测的几乎都是 MathVista、MathVision、MMMU-Pro、ChartQA 等数学/通用基准（Table 2），几乎没有专门覆盖空间推理的评测——ViGoRL-Spatial 仅在 SAT-Val 和 BLINK 上评测，GThinker 仅在 MMStar/RWQA/MMMU-Pro 上报告。这造成一个被广泛忽视但至关重要的问题：基于'长文本思维链'训练的推理范式，在需要 grounded perception 的空间推理任务上是否真的有效？
本文的目标是本文的目标是系统地、可控地回答三个具体问题：(1) 在统一评测协议下，CoT 提示是否真的对视觉空间任务有帮助？是否出现与数学/逻辑领域相反的趋势？(2) 经过 RLVR 训练的 MRM 是否真的比其 backbone（Qwen2.5-VL-7B）更强？(3) 如果 CoT 失效，背后的机制是什么？作者试图通过 No-Image++ 消融实验定位'捷径学习'的根源，把'是否该用 CoT'这一开放问题落到具体证据上。
与已有工作不同的是，本文的独特切入角度是'统一评测 + 消融诊断'。与既有工作相比：(a) 评测规模覆盖 17 个模型 × 13 个空间基准（含 3DSRBench、MindCube、OmniSpatial、SAT-Real 等最新数据集），远超单篇 MRM 论文的覆盖；(b) 严格采用 VLMEvalKit 风格的统一 prompt 与 vLLM 推理配置（batch=16, max_new_tokens=32768, greedy, 3 seeds），用 LLM-as-judge 替代脆弱的字符串匹配；(c) 核心方法论贡献是 No-Image++ 消融——把图替换成空白灰图并加入 'Cannot determine' 选项，逼迫模型在'承认无视觉证据'与'凭文本先验瞎猜'之间做选择，定量揭示 hallucination 程度；(d) 跨家族（Qwen、InternVL、LLaVA）+ 跨规模（3B/7B/8B/38B/72B）+ 跨开源/闭源的一致性验证，让结论稳健可推广。
核心方法
本文采用'广覆盖评测 + 受控消融'的实证研究路线，整体策略是先把所有模型放在统一规则下跑同一批空间基准，看清 CoT vs Non-CoT 的总体差异；再用 No-Image++ 极端测试，定位差异背后的因果机制。研究流程分四步：(1) 选定 17 个被试模型（8 个 MRMs + 9 个 backbone/商用模型），覆盖 Qwen2.5-VL-3B/7B/72B、InternVL3-8B/3.5-38B、LLaVA-1.6-7B/OV-72B、GPT-4o/4.1-mini/5/5-mini/5-nano 等；(2) 选定 13 个空间基准，按静态 2D（BLINK、CV-Bench2D、MMVP 等 7 个）与 3D/动态（3DSRBench、MindCube、OmniSpatial 等 6 个）分类；(3) 用 vLLM 0.10.0 + 4×A100 + greedy decoding 跑 pass@1，3 seeds 取平均，每个模型同时跑 CoT 与 Non-CoT 两套 prompt；(4) 用 Qwen3-30B-A3B-Instruct 做 LLM 裁判（与 GPT-4o 裁判 Cohen κ > 0.99），最后通过 No-Image 与 No-Image++ 消融揭示 hallucination 机制。
本文核心创新不是新模型或新算法，而是一套'反向消融诊断协议'。其与既有方法（如 Tong et al. 2024a/b 的 MMVP/Eyes-Wide-Shut、Cambrian-1）的本质区别在于：(1) 把评估对象从'模型在数据集上的分'升级为'CoT 这一机制本身的有效性'，直接挑战 RLVR 训练范式的隐含假设；(2) No-Image++ 是一个'陷阱测试'——把'凭借世界知识做有根据的猜测'与'真正 grounded perception'区分开来：前者会得到较低分（只能选 'Cannot determine'），后者会得到高分，直接揭示 MRM 是'文本先验驱动的猜测机器'而非'视觉推理机'。同时本文也把诊断从单纯的开源模型拓展到 GPT-5 系列商用模型，发现同样趋势（GPT-5/5-nano 在 CoT 下反而退化），使结论具备跨家族、跨规模的可推广性。
方法步骤详情
方法执行包含 5 个具体步骤。步骤 1 - 选型：选 17 个模型覆盖 Qwen/InternVL/LLaVA/GPT 四个家族，规模从 3B 到 72B；选 13 个空间基准按 2D/3D/动态三类均衡采样（Table 5）。步骤 2 - 统一协议：所有 benchmark 用 VLMEvalKit 风格 prompt 'Question:\n\nOptions:\nA....\nPlease select the correct answer...'；推理用 vLLM 0.10.0 + bf16 + batch 16 + max_new_tokens 32768 + temperature=0 + 3 seeds。步骤 3 - 双 prompt 对比：Non-CoT prompt 为 'You are a spatial-reasoning assistant.'；CoT prompt 在其末尾加 'First output the thinking process in tags...'。对 MRM 评测时用其论文训练时的 custom CoT prompt（Table 1 注释显示 GThinker custom=62.52 vs simple=59.57）。步骤 4 - LLM-as-Judge：使用 Qwen3-30B-A3B-Instruct-2507（非推理模型）配合精心设计的 MCQ 提取 prompt，把模型自由输出映射到 A/B/C/D/'0'（无法匹配则 0）。步骤 5 - No-Image++ 消融：把输入图像替换为同尺寸纯灰图（No-Image），再额外加 'Cannot determine from the image' 选项（No-Image++），观察模型在'被迫承认无视觉信息'时的行为变化。
技术新颖性
技术新颖性体现在三个层面。第一，方法论层面：首次提出 No-Image++ 这一可量化的 'hallucination 诊断器'，把'图像到底有没有用'这一模糊问题转化为'模型是否选择放弃'的可测信号。该设计借鉴心理学 'forced choice with catch option' 思想，但在 MLLM 评测中是首创。第二，评测层面：第一次用统一协议把 17 个模型、13 个空间基准全部放在一张表里（Table 1），并直接对比 CoT vs Non-CoT、MRM vs Backbone 两条独立轴，让'推理模型是否更强'、'CoT 是否有效'这两个长期争论有了一致的可比数据。第三，机制发现层面：通过对比开源 MRM 与商用 GPT 系列的 reasoning trace 长度（开源 ~3600 chars vs 商用 ~350 chars）、有无 reflective 短语等行为差异，提出 'concise reasoning 而非 verbose reasoning 才是关键' 的假设，这是对 R1 风格训练范式的一个具体、可操作的修正方向。形式化看，可将模型在 No-Image++ 下的 '放弃率' 定义为 $r_{\text{abstain}} = \frac{\#\text{select 'Cannot determine'}}{\#\text{total}}$，本文正是通过比较 backbone 与 MRM 的 $r_{\text{abstain}}$ 差异来量化文本先验幻觉。
实验结果
本文有四个核心可量化发现，每个发现都有明确数据支撑。**发现 1 - CoT 普遍损害空间推理**：8 个开源 MRM 中 6 个在非 CoT 下更准（Figure 1 左表）：GThinker 62.52→39.38（-23.14%，prompt-following 失败所致）；ViGoRL 60.68→62.52（+1.84%）；Vision-G1 63.26→62.85（-0.41%，唯一与 backbone 接近）；Vision-R1 58.86→59.6（+0.74%）；TreeVGR 61.11→62.6（+1.49%）；R1-Ov 46.88→47.84（+0.96%）。跨家族一致呈现 CoT 比 Non-CoT 平均低 0.58–4.48%（Figure 1 右）。Qwen3-VL-8B-Thinking 在 13 个数据集上 Non-CoT 平均 66.07 vs CoT 65.43（+0.64%，Table 9）。**发现 2 - MRM 难以超越 backbone**：Qwen2.5-VL-7B（Non-CoT）平均 62.68%，8 个 MRM 中仅 Vision-G1（63.26）微弱超过 +0.58%，其余 7 个全部落后（Table 1）。**发现 3 - 严重捷径学习**：No-Image 消融（Table 3）显示 MRM 在无图情况下平均 41–44%，远超随机 38.83%——意味着模型仅凭问题文本就能'猜对'。No-Image++ 中真正的 backbone Qwen2.5 选对率 76.41%，而 GThinker 仅 5.55%、R1-Ov 11.22%、Vision-R1 7.29%、TreeVGR 11.35%——这些 MRM 即便被告知'图像无信息'，仍顽固地根据文本先验瞎猜。**发现 4 - 商用模型同样退化**：Table 4 显示 GPT-5 CoT 69.00 vs Non-CoT 69.65（+0.65），GPT-5-nano 60.63 vs 61.86（+1.23），GPT-4o/4.1-mini 仅有 < 0.5% 的微弱优势，远不抵推理带来的额外算力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 3DSRBench | pass@1 | Qwen2.5-VL-7B Non-CoT 55.38；MRMs 48.52-57.26 | Backbone 55.38 | GThinker 56.58 (+1.20)，R1-Ov 退化至 48.52 (-6.86) |
| BLINK | pass@1 | Qwen2.5-VL-7B Non-CoT 56.04；MRMs 43.27-57.13 | Backbone 56.04 | ThinkLite 57.13 (+1.09)，R1-Ov 严重退化 (-12.77) |
| CV-Bench (2D+3D) | pass@1 | Qwen2.5-VL-7B Non-CoT 77.17/83.78；GThinker 77.40/82.95 | Backbone 77.17/83.78 | MRMs 与 backbone 基本持平，无显著超越 |
| MindCube (3D) | pass@1 | Qwen2.5-VL-7B Non-CoT 83.78；ViGoRL 86.14 | Backbone 83.78 | ViGoRL +2.36（空间专项训练优势），其余不超 |
| MMVP | pass@1 | Qwen2.5-VL-7B Non-CoT 26.87；GThinker 27.33 | Backbone 26.87 | 微弱领先 ≤1.1，整体仍受视觉感知天花板限制 |
| OmniSpatial | pass@1 | Qwen2.5-VL-7B Non-CoT 45.23；GThinker 47.68 | Backbone 45.23 | GThinker +2.45，但 CoT 配置 40.40 仍弱于 Non-CoT |
| RealWorldQA | pass@1 | Qwen2.5-VL-7B Non-CoT 69.02；Vision-G1 69.76 | Backbone 69.02 | Vision-G1 仅 +0.74，VL-Re. 反退化 -0.52 |
| 13 基准平均 (Table 1) | Average pass@1 | Vision-G1 63.26；GThinker 62.52；Backbone Non-CoT 62.68 | Backbone 62.68 | 仅 1/8 MRM 微弱超越，7/8 失败。R1-Ov 46.88 落后 -15.80 |
| No-Image++ 消融 | 选 'Cannot determine' 比例 | Qwen2.5 76.41；Vision-G1 仅 25.28；GThinker 5.55 | 理想 grounded 模型应接近 100% | Backbone 在此消融下远优于所有 MRM，揭示文本先验依赖 |
| Qwen3-VL-8B-Thinking | 13 基准平均 pass@1 | CoT 65.43 vs Non-CoT 66.07 | Non-CoT 66.07 | CoT -0.64，专门增强空间感知的 Thinking 模型同样无法绕过此规律 |
局限与改进
作者在 Limitations 一节坦承三点不足：(1) 13 个数据集虽然覆盖 2D/3D/动态三个子领域，但并不能代表视觉空间推理的全部（例如未覆盖 embodied AI、视频空间推理、CAD/工程图等场景）；(2) 由于 MRM 的训练细节、训练数据规模、reward 设计各不相同，难以完全隔离所有混杂变量——可能某个 MRM 的退步部分源于欠拟合而非 CoT 本身的失效；(3) 商用模型（GPT-4o/5）的训练流程不公开，无法对其 reasoning trace 的成因做更深入分析。从我的观察补充一点：实验固定用 vLLM 0.10.0 + max_new_tokens 32768 + greedy decoding，但 R1 风格模型推理时通常需要较高 temperature 与多采样，这可能让开源 MRM 在 non-CoT 配置下处于'未充分激活推理模式'的不利条件，未来工作可以用 self-consistency 或 pass@k 进一步验证结论稳健性。另外 No-Image++ 实验只测了 MCQ 形式，对开放式 VQA 任务的 hallucination 程度是否同强度尚未验证。
独立分析的弱点
论文虽有方法论贡献，但在独立分析下仍有几个可改进之处。**弱点 1 - GThinker -23.14% 的剧烈下降被并列展示**：Figure 1 把 GThinker 的 -23.14% 与其他模型的 ±3% 一起展示，但作者在正文中解释这是 prompt-following 失败（GThinker 即使被要求 non-CoT 也会生成 degenerate 的 重复 token 直到 max_tokens 截断），而非真正的 CoT 失效。这种 'degenerate output' 与 'reasoning 本身失效' 在 Figure 中没有被分开标注，可能误导读者认为所有 MRM 都受同等程度影响。改进方向：应单独报告 'well-formed' 样本上的准确率，或对所有 MRM 都加一个输出格式正则化步骤。**弱点 2 - 评测温度单一**：固定 temperature=0 与 batch=16 是高效评测选择，但与开源 MRM 训练时多用 temperature≥0.6 + 多采样的设定不一致，可能让 MRM 处于'非其原生推理分布'的状态。改进方向：在主结果外补充 pass@k (k≥5) 或 self-consistency 实验。**弱点 3 - backbone 公平性**：所有 MRM 都基于 Qwen2.5-VL-7B，但用其 Non-CoT 配置（base prompt）作为比较基线——这是 prompt 不对称的比较，理想做法是同时跑 'backbone + custom CoT' 与 'MRM + simple non-CoT' 两组对照矩阵。**弱点 4 - 数据泄漏风险未量化**：MRM 的训练数据来源多样（GThinker 含 llava-o1、r1onevision、mm-eureka；Vision-G1 含 VisCoT、IconQA、NLVR2、Super-CLEVR），与 13 个评测基准之间的 overlap 未被审计。
未来方向
基于本文发现，作者明确提出两个方向：(i) **测试时视觉验证器**：在每个 CoT step 后加一个 'visual verifier'，检查推理声明是否与图像证据一致，不一致时触发 backtracking 或回退到 Non-CoT 路径；(ii) **视觉过程奖励模型**：训练阶段引入一个 process reward model（PRM），对 grounding 程度、坐标引用精确度等给予奖励，而非只看最终答案对错。我个人进一步建议三个延伸方向：(a) **统一评测协议扩展**：把本文协议扩展到视频空间推理、机器人具身空间任务、3D CAD 工程图等更难的 grounded 场景，看 CoT 失效规律是否依然成立；(b) **concise reasoning fine-tuning**：基于 'GPT-5 trace ~350 chars vs Qwen3-VL-Thinking ~3600 chars' 的差异，做 length-controlled SFT，看是否能复现商用模型的稳健性；(c) **No-Image++ 用于 RL 训练**：把'能否正确识别无视觉信息'作为额外奖励信号，加入到 MRM 的 RLVR 中，从根本上抑制文本先验 hallucination。
复现评估
本文可复现性整体较好但存在若干限制。**开源情况**：13 个评测数据集均为公开 benchmark（BLINK、MMVP、CV-Bench、3DSRBench、MindCube 等），评测代码基于 VLMEvalKit 与 vLLM 0.10.0，每个 MRM 的 custom CoT prompt 已在 Appendix A.1 完整列出，LLM 裁判 prompt 在 Appx A.3 公开。**算力**：4×A100（bf16），batch=16，每个模型跑 CoT+Non-CoT 双配置 + 3 seeds，估算单次完整跑约 1000–2000 GPU-hours，普通实验室较难负担。**复现难度**：因涉及多个商用模型（GPT-4o/5/4.1-mini），完整复现需要 OpenAI API 访问；开源 MRM 的 checkpoint 已在 HuggingFace 公开可下载。**局限**：作者未提供一站式评测脚本，第三方研究者需自行拼装 vLLM + VLMEvalKit + 13 个数据集的下载链路，工作量较大；No-Image++ 灰图生成脚本与 LLM-judge 的 batch 调用脚本未在正文提及是否附带。
论文图表