视觉工具使用的幻觉：对“以图思考”范式的因果审计

三级因果干预显示视觉工具调用的收益集中于少数校准轨迹，多数调用与答案无因果耦合。

前置知识

结构因果模型（SCM）与 do-算子

Pearl 因果框架用有向图刻画变量间的因果机制，每个节点由结构方程生成。干预 $do(X=x)$ 表示外部强制把 $X$ 设为 $x$ 并切断其入边，从而把“相关性”升级为“干预后的因果”。平均处理效应 ATE 即干预前后结果期望之差 $E[Y|do(X{=}x')] - E[Y|do(X{=}x)]$。

本文把一次视觉工具调用轨迹建模为 SCM，全部诊断均通过 do-干预实现；不理解 do-算子就无法理解“因果审计”与普通消融实验的区别。

中介分析与自然间接效应（NIE）

当 $X$ 既直接影响 $Y$、又通过中介变量 $M$ 影响 $Y$ 时，NIE 度量“固定直接路径、只让中介随 X 变化”的效应：$E[Y|do(X{=}x, M{=}M(x'))] - E[Y|do(X{=}x, M{=}M(x))]$，专门识别 $X \to M \to Y$ 这条路径的贡献。

本文核心估计量 Visual Evidence Gain（VEG）就是把工具返回的观测 $O_i$ 当作中介、用反事实替换估计 NIE，从而把“视觉证据的贡献”从“调用了工具这一事实的贡献”中剥离出来。

以图思考（Thinking with Images）与 crop-and-zoom

MLLM 的一类范式：推理过程中模型主动调用视觉工具（最常见是 CROP-AND-ZOOM 裁剪放大），工具引擎返回子图，模型在思维链中交错文本推理与视觉操作后给出答案。DeepEyes、Pixel-Reasoner、Mini-o3、Qwen3-VL 等开源模型均属此类，多为结果导向 RL 训练得到。

本文审计的对象正是这一范式：要回答“返回的视觉证据是否真的影响答案”，必须先理解工具调用 rollout 的结构（动作 $T_i$、返回观测 $O_i$、最终答案 $Y$ 如何交错）。

结果导向强化学习（RLVR）

只用最终答案对错作为奖励、对含工具调用的多轮 rollout 做策略优化的训练方式（GRPO 类算法）。中间过程（何时调用、调用哪里、何时停止）不直接获得信用分配，模型可能学到“调用动作本身得分”的捷径。

作者用“RL 陷阱”假说解释两种失败模式的成因：结果奖励会强化 $T \to Y$ 捷径（Mode 1），也不惩罚冗余/有害调用（Mode 2），这是本文通向训练侧改进的关键桥梁。

研究动机

“以图思考”范式在细粒度感知基准上常常只带来边际甚至负的准确率提升，且 token 开销显著增加（Fig. 1a）。本文实测：DeepEyes 在 V* 上工具使用与直接推理完全打平（83.3 vs 83.3，$\Delta=0.0$ pp），在 HR-Bench-4K 反而下降 1.4 pp；Qwen3-VL-4B 在 HR-Bench-8K（$-1.6$ pp）和 MME-RealWorld-Lite（$-1.3$ pp）上为负。同时工具增强轨迹常反复裁剪无关区域：Fig. 1(b) 中 Mini-o3 在一道直接推理能答对的 V* 旗帜颜色题上陷入“变焦循环”，反复裁剪错误位置，最终答错或给不出答案。此前研究（Wei et al. 2026 的“边际提升悖论”、Ma et al. 2026 把提升归因于内在学习）都停留在策略或行为层面，无法回答更根本的问题：工具返回的视觉证据是否因果地决定了模型的最终答案，还是调用动作本身就足以改变答案。

本文的目标是本文要构建一套对视觉工具使用的因果审计框架：把单次 rollout 形式化为因果图，设计策略级、轨迹级、步骤级三个粒度的干预，逐级分离“观测中介路径”与“动作诱导捷径”，量化每一次返回观测对最终答案的因果贡献（Visual Evidence Gain）；在此之上把每条轨迹确定性归入四组并加性分解策略级准确率增益，定位收益究竟来自哪些轨迹、刻画失败模式，并给出超越准确率的可操作评价标准与改进抓手。

与已有工作不同的是，已有工具使用/忠实性分析的切入角度要么只做“用工具 vs 不用工具”的总体准确率对比，要么定性检查思维链与答案是否一致。本文的独特之处在于把 Pearl 的 do-干预与中介分析完整移植到多模态工具轨迹：在 rollout 运行时在线替换返回的裁剪图，并在步骤级构造“同前缀、同动作、只换观测”的反事实，使动作捷径 $T_i \to Y$ 在差分中相消、只留下视觉内容的中介效应。由此把社区的问题从“模型是否调用工具”推进到“模型是否真的在用图像思考”，并首次给出策略级增益的按组分解。

核心方法

直觉上，一条工具调用轨迹通向答案的路径有三类：不依赖工具的直接路径 $(I,Q)\to Y$；携带真实接地的观测中介路径 $T_i \to O_i \to Y$（动作选出区域、返回裁剪的像素内容影响答案）；以及不希望出现的动作诱导捷径 $T_i \to Y$（“调用过工具”这一事实本身就改变答案，如一次变焦提升了先验假设的置信度）。技术路线是把 rollout 形式化为结构因果模型，策略 $\pi$ 同时生成动作与最终答案。随后施加三级由粗到细的干预：策略级切换工具/直接两套系统提示（权重与解码完全相同）测 $\mathrm{ATE}_{policy}$；轨迹级在推理时把每个返回观测 $O_i$ 动态替换为同形状随机裁剪 $\tilde{O}_i$，测含策略反应的总效应；步骤级固定前缀与动作、只把一个观测换成反事实裁剪，用选项受限 softmax 读出答案偏好变化并差分得 VEG。最后用确定性规则把每条轨迹归入四组，对策略级 ATE 做加性分解。

核心创新是把“返回的视觉内容”当作中介变量做反事实替换。在步骤 $i$，真实分支与反事实分支共享完全相同的前缀、相同的工具动作 $T_i$ 与 `` 标记，唯一差异是返回裁剪 $O_i^{real}$ 与随机位置的反事实裁剪 $O_i^{cf}$，因此 $\mathrm{VEG}_i = \Delta M_i^{real} - \Delta M_i^{cf}$ 中动作捷径 $T_i \to Y$ 严格相消，剩下的就是观测中介路径 $T_i \to O_i \to Y$ 的局部 NIE 估计。这与以往“整体关掉工具”的评估有本质区别：它在不重放（避免干净观测信息向后续思维泄漏）的前提下，逐调用地回答“这次裁剪的像素内容有没有改变模型对选项的即时偏好”，进而把失败拆分为“调用而不看”（Calling Without Looking）与“看而不规划”（Looking Without Planning）两种可检验的模式。

方法步骤详情

完整流程分四步。第一步策略级：对 DeepEyes、Pixel-Reasoner、Mini-o3、Qwen3-VL-4B/8B、Thyme 六个开源模型（前五个为接口式调用，Thyme 为代码沙箱），仅替换系统提示——工具模式用官方提示与调用管线，直接模式用无工具提示并把工具 token 当纯文本——在 V*、HR-Bench-4K/8K、VisualProbe、MME-RealWorld-Lite 上按 Eq. 1 计算 $\mathrm{ATE}_{policy}$。第二步轨迹级：rollout 中每步把真实返回 $O_i$ 替换为来自同图其他位置的同形状随机裁剪（RANDOM-CROP；另有 NOISE/BLANK 消融），统计准确率变化 $\mathrm{ATE}_{traj}$ 与触顶率 Hit-MaxT；再用 force-answer 消融（触顶时强制作答）分离“证据丢失”与“修复循环被截断”两个成分。第三步步骤级：在每个检查点把已生成前缀接上 ``，读下一 token 的选项受限 logits，得概率差 $g(C)=\tilde{P}(Y^\star|C)-\tilde{P}(y_{err}|C)\in[-1,1]$；分别注入真实/反事实观测得 $\Delta M_i^{real},\Delta M_i^{cf}$，VEG 对 3 个独立反事实裁剪取平均；定义饱和条件 $g_{i-1}>\tau_{sat}=0.95$ 与饱和后过延伸率 POER。第四步诊断与分解：以五个特征（调用数 $n$、首调前差距 $g_0$、峰值 $V^{max}$、HitMax、POER）和阈值 $(\tau_{sat},\epsilon)=(0.95,0.01)$ 确定性地把轨迹分为 No-call/CWL/Calibrated/LWP 四组，再按 $\mathrm{ATE}_{policy}=\sum_b f_b\bar{\Delta}_b$ 分解增益来源。

技术新颖性

技术新颖性有三点。其一，对象新：首次对 crop-and-zoom 式视觉工具使用做步骤级因果归因——Wei et al. 2026 与 Ma et al. 2026 只到策略层面，Hou et al. 与 Xu et al. 的忠实性分析不做定量干预。其二，方法新：VEG 把 Pearl 的自然间接效应实例化为“同前缀、同动作、换观测”的在线反事实探测，避免了重放式分析中干净观测向后续思维泄漏信息的问题；轨迹级采用动态腐蚀而非静态重放，让策略对坏观测产生真实的修复反应（这一反应本身也被当作被测对象）。其三，结论形态新：不满足于总体数字，而是给出四组轨迹诊断与加性分解，把“幻觉”操作化为可测的组分布偏移（$\Delta f_{Cal}>0$ 且 $\Delta f_{M1}+\Delta f_{M2}<0$），与 Wang et al. 2025a 面向训练侧的“以图思考幻觉”形成互补的诊断视角，且阈值敏感性扫描证明结论不依赖特定超参。

**Figure 2**: Causal graph for visual tool-use. (a) The single-step causal graph for a single tool-use step over (I, Q, T, O, Y), highlighting the direct path (I, Q)→Y (blue), the observation-mediated path T→O→Y (green) and the action-induced shortcut T→Y (red). (b) A full trajectory composes n such atomic graphs.

**Figure 3**: Three-level causal intervention. (a) Policy-level intervention toggles the entire T→O→Y subgraph. (b) Trajectory-level intervention replaces every real observation with a corrupted one Õᵢ during inference. (c) Step-level intervention replaces the real observation Oᵢʳᵉᵃˡ with a counterfactual one Oᵢᶜᶠ; VEGᵢ = ΔMᵢʳᵉᵃˡ − ΔMᵢᶜᶠ.

实验结果

策略级收益小且不均（Table 1）：DeepEyes 几乎为零（V* $\Delta=0.0$、HR-4K $-1.4$ pp），Pixel-Reasoner 与 Thyme 温和（V* $+3.6/+3.0$ pp），Mini-o3 在 VisualProbe 上最高达 $+21.3$ pp，Qwen3-VL-8B 在 V* 上 $+6.9$ pp 却在 MME-RealWorld-Lite 上 $-3.7$ pp。轨迹级腐蚀（Table 2）呈两极分化：Mini-o3 在 V* 上从 87.8 跌至 23.6（$-64.2$ pp，84.8% 轨迹耗尽调用上限），Qwen3-VL-8B 91.1$\to$30.4（$-60.7$ pp，触顶 59.2%），而 DeepEyes（$+0.5$）与 Thyme（$-1.0$）几乎无感——说明前两者的答案高度依赖返回证据，后两者则是“调用而不看”。force-answer 消融（Table 11）显示 Qwen3-VL-8B 恢复到 73.0（仍比干净低 18.1 pp），Mini-o3 仅恢复到 36.6（差 51.2 pp）：截断只解释部分损失，证据丢失是主因。步骤级（Table 3）识别出三种行为原型：DeepEyes 结构性失活（VEG 均值 0.053，81% 调用 $|VEG|<0.01$，轨迹最佳调用均值仅 $+0.05$）；Mini-o3 有信息但被稀释（均值 0.063、峰值 $+0.19$，有用性几乎不依赖调用前置信度）；Qwen3-VL-8B 高度集中（均值 0.198，64% 调用已饱和、饱和调用 VEG$\approx$0，非饱和调用达 0.55；正确轨迹 $+0.28$ vs 错误轨迹 $-0.20$）。四组诊断（Table 4）显示 DeepEyes 72.8%、Qwen3-VL-8B 70.7% 的轨迹为 CWL，只有 Mini-o3 以 Calibrated 领先（45.0%）。ATE 分解（Table 5）中 Calibrated 是唯一在所有模型上均为正的组：Qwen3-VL-8B 校准组贡献 $+7.6$ pp（组内平均增益高达 $+36.2$ pp），超过其总 ATE $+6.9$ pp。行为验证：Mode 1 轨迹在调用前的 think 块中已有约 58% 提前锁定最终答案（Calibrated 仅约 28%）；对 Mini-o3 的 1528 条 Mode 2 rollout 审计发现准确率在 3 次调用时达峰值 78.2%、到 12 次上限跌至 0%，38% 的裁剪覆盖不足原图 4%，触顶的 20 条轨迹全部答错。HR-Bench-4K 复现同一结论（Table 18-20：三模型校准组均为正且是主要贡献者）。

**Table 1**: Policy-level intervention: tool-use vs. direct inference. Acc reports accuracy (%) under π_tool / π_direct; Δ is the policy-level ATE in percentage points (pp).

**Table 2**: Trajectory-level intervention under RANDOM-CROP. Acc reports accuracy (%) under π_tool / the dynamic intervention do(Oᵢ=Õᵢ ∀i); Δ is the trajectory-level ATE on accuracy in pp; Hit-MaxT is the fraction of rollouts that hit the tool-call limit.

**Table 3**: Step-level intervention on V*. Marginal Gain (MG) with the original observation (∆M_real) and with the counterfactual observation (∆M_cf); VEG pooled and split by trajectory correctness; distribution of near-zero/substantial calls; saturation statistics and mean V_max.

**Table 4**: Per-model group distribution on V*. Rows sum to 100%. Same (τ_sat, ϵ) = (0.95, 0.01) for every model.

**Table 5**: Group-wise decomposition of the policy-level ATE on V*. Each cell is the contribution f_b·∆̄_policy,b in pp.

**Table 9**: Trajectory-level corruption-choice ablation on V*. Each cell reports accuracy under the dynamic intervention, the corresponding ∆_traj in pp, and Hit-MaxT.

**Table 11**: Force-answer Experiment on V* under RANDOM-CROP. Clean is tool-use accuracy; Orig. corr. is the original corrupted accuracy; Force-ans. forces an answer at the tool-call limit; Rem. drop is the remaining drop of the force-answer run relative to clean (pp).

**Table 13**: Per-position VEG breakdown on V*. For each model and bin k we report the number of calls, mean VEG, saturation fraction, wasted-rate and harmful-rate, over all calls and the non-saturated subset.

**Table 18**: Step-level VEG on HR-Bench-4K. VEG C / I splits by trajectory correctness; Sat-rate is the fraction of saturated calls; mean V_max is the per-trajectory best call averaged over trajectories.

**Figure 4**: Per-call scatter of probability gap before call gᵢ₋₁ vs. VEGᵢ on V*. Each point is one tool call; color indicates the trajectory's final correctness (C/I); dashed line marks τ_sat = 0.95.

**Figure 5**: Within-trajectory dynamics on the V* benchmark. (a) Mean VEG by call position k ∈ {1, 2, 3, ≥4}. (b) Per-position Over-Extension Rate (POER, Eq. 5, per-call).

查看结构化数据

任务	指标	本文	基线	提升
策略级干预：V*（工具使用 vs 直接推理）	准确率 tool/direct，Δ (pp)	Qwen3-VL-8B：91.1 vs 84.2（+6.9）；Mini-o3：87.8 vs 82.3（+5.5）	DeepEyes：83.3 vs 83.3（+0.0）	增益上限不足 7 pp 且模型间差异极大，DeepEyes 完全无增益，Qwen3-VL-4B 在 HR-8K/MME-RW-Lite 上为负
轨迹级干预：V*（RANDOM-CROP 腐蚀全部返回观测）	准确率 clean/受腐蚀，Δ (pp)	Mini-o3：87.8 → 23.6（−64.2）；Qwen3-VL-8B：91.1 → 30.4（−60.7）	DeepEyes：83.3 → 83.8（+0.5）；Thyme：83.2 → 82.2（−1.0）	腐蚀观测使 Mini-o3/Qwen3-VL 灾难性下降（触顶率 84.8%/59.2%），而 DeepEyes/Thyme 几乎无感，直接暴露 CWL 模式
步骤级反事实：V* 上的 Visual Evidence Gain	平均 VEG（非饱和调用 / 正确-错误轨迹分离）	Qwen3-VL-8B：0.198（非饱和 0.55；C +0.28 / I −0.20）	DeepEyes：0.053（81% 调用 \|VEG\|<0.01；V_max 仅 +0.05）	证据贡献高度集中于少数非饱和调用；Mini-o3 居中（0.063，峰值 +0.19）但被大量无效调用稀释
四组诊断与 ATE 分解：V*	组占比 / 组贡献 (pp)	Qwen3-VL-8B：CWL 70.7%、Calibrated 20.9%，校准组贡献 +7.6 pp（组内均差 +36.2 pp）	DeepEyes：CWL 72.8%、Calibrated 仅 7.9%，总 ATE 0.0	全部正收益由校准少数派承载；Mini-o3 是唯一 Calibrated 领先（45.0%）的模型，总 ATE +5.5 pp
force-answer 消融：V*（分离截断与证据丢失）	准确率（干净 / 腐蚀 / 强制作答）	Qwen3-VL-8B：91.1 / 30.4 / 73.0（残余损失 18.1 pp）	Mini-o3：87.8 / 23.6 / 36.6（残余损失 51.2 pp）	强制作答只回收部分损失，证明有用视觉证据确实丢失；Mini-o3 即便允许作答仍极度脆弱

局限与改进

作者明确承认三点：其一，所有实验限于开源模型——策略级与轨迹级干预只需可控的工具接口、原则上可应用于黑盒 API，但步骤级 VEG 依赖 token 级 logits，因此无法检验 OpenAI o3/o4-mini 等闭源模型是否存在同样的失败模式；其二，只审计了 CROP-AND-ZOOM 这一种工具，分割、OCR、视频选帧、代码式图像操作等其他工具可能呈现定性不同的校准行为（虽然框架可通过构造工具特定反事实迁移）；其三，RL 陷阱只是与观测一致的假说，未经训练实验因果确证。我自己的补充观察：VEG 读出测量的是强制 `` 后对选项的即时偏好，并非自由生成答案形成过程的全部效应；主诊断只对选择题封闭（开放题扩展使用长度归一化 gold 似然，量纲不同且无法直接迁移饱和阈值）；V* 仅 191 题，Mini-o3 以温度 1.0 解码，轨迹级腐蚀的种子方差可达约 ±3 pp（如 Qwen3-VL-4B 38.2/46.1/42.9），小基准上的结论部分依赖作者的多种子验证；轨迹级是总效应，混杂了证据丢失与修复循环，force-answer 只能部分解耦；$(\tau_{sat},\epsilon)$ 阈值虽有敏感性扫描仍是启发式选择，且每条轨迹只给一个组标签，无法刻画同一条轨迹内的混合行为。

独立分析的弱点

第一，CWL 主导（DeepEyes 72.8%、Qwen3-VL-8B 70.7% 的轨迹为 Mode 1）说明当前训练信号从未教会模型真正“看”返回的证据，调用只是形式仪式；改进方向是把 VEG 这类逐步证据增益作为过程奖励的信用分配信号，惩罚调用前已锁定答案的表演性调用。第二，LWP 表现为预算耗尽与不收敛的局部微调：Mini-o3 触顶的 20 条轨迹全部答错且无一条在最后一步提交答案，裁剪在 ±3% 窗口内打转而非层级细化；改进方向是训练截止感知的提交策略，或在解码时加置信度门控的早停规则。第三，饱和后过延伸浪费大量 token 并引入有害调用（Qwen3-VL-8B 64% 的调用发生在已饱和状态、VEG≈0，且错误轨迹上证据增益为负）；改进方向是推理时的调用门控——Mode 1 轨迹直接旁路工具、Mode 2 轨迹提前提交。第四，随机裁剪反事实虽保持图像统计，但可能被策略识破：Qwen3-VL-8B 在 BLANK 腐蚀下跌幅（−29.3 pp）明显小于 RANDOM-CROP（−60.7 pp），说明“策略反应”污染轨迹级总效应；改进方向是设计更不可检测的腐蚀方案或匹配重放协议，把证据丢失与行为扰动彻底解耦。第五，覆盖面局限于裁剪工具与 MCQ 题型，建议为 OCR/定位/视频选帧构造工具特定反事实，建立跨工具、跨题型的校准基准。

未来方向

作者提出的方向：一是用受控训练实验确证 RL 陷阱——固定数据与骨干、只改变奖励信号（结果导向 vs 过程感知）或信用分配方案，观察 CWL/LWP 占比是否随之变化；二是把诊断投入运营，包括以 $\Delta f_{Cal}>0$、$\Delta f_{M1}+\Delta f_{M2}<0$ 为标准的超越准确率评测，用离线诊断训练推理时的门控/早停策略，以及用步骤级 VEG 补充结果奖励缺失的过程信用。基于本文成果可延伸的方向：把策略级/轨迹级审计移植到闭源 API 模型（只需可观测的工具接口，无需 logits），检验 GPT-4o/o3 等是否同样存在幻觉；将四组诊断与过程奖励模型结合，构建“何时调用、看哪里、何时停止、是否采纳证据”四位一体的策略优化目标；绘制视觉证据增益随测试时算力（调用次数预算）的扩展曲线，回答“更多调用是否必然更有效”；并在文档理解、视频等更复杂的工具生态中检验该幻觉是否依旧存在。

复现评估

复现条件较好。代码已在 GitHub 开源；六个模型均为公开 HF checkpoint（DeepEyes-7B、PixelReasoner-RL-v1、Mini-o3-7B-v1、Qwen3-VL-4B/8B-Instruct、Thyme-RL），五个基准全部公开且规模小（V* 191 题、HR-Bench 4K/8K 各 800 题、VisualProbe 515 题、MME-RealWorld-Lite 1919 题）。算力需求适中：vLLM bf16 服务，每个模型至少 1 张 H200，作者全程共用 8 张 H200；裁判模型用 Qwen3-30B-A3B 以 2 卡张量并行部署。附录给出了全部解码配置（温度/top-p/top-k 与 $T_{max}=12$）、系统提示原文、VEG 对 3 个反事实裁剪取平均的实现细节，并报告了 4 种子的稳定性（Mini-o3 工具使用准确率 85.1%±1.8 pp、Qwen3-VL-8B 90.6%±0.6 pp）。整体难度中等：无需任何训练，但需正确实现在线观测腐蚀与选项受限 logits 读出，建议先在 V* 上对齐 Table 3 的数值再扩展到其他基准；阈值 $(\tau_{sat},\epsilon)$ 与附录敏感性表可直接复用。

视觉工具使用的幻觉：对“以图思考”范式的因果审计 The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images