SPARC：分离感知与推理电路以实现视觉语言模型的测试时扩展 SPARC: Separating Perception And Reasoning Circuits for Test-time Scaling of VLMs
将视觉感知与语言推理解耦为两阶段流水线，以更少token实现更强视觉推理
前置知识
Chain-of-Thought (CoT) 推理
链式思维推理是一种让大语言模型在给出最终答案之前，逐步生成中间推理步骤的技术。通过在推理过程中显式地展示思考链条，模型可以将复杂问题分解为更简单的子问题，从而显著提升问题解决能力。这一技术已被 OpenAI o1 和 DeepSeek-R1 等模型通过强化学习深度优化，成为测试时计算扩展（test-time scaling）的核心机制。
SPARC 的核心设计就是将 CoT 中混杂的感知和推理 token 分离开来，因此理解标准 CoT 的工作方式和局限性是理解本文动机的关键前提。
测试时扩展（Test-time Scaling）
测试时扩展是指在推理阶段通过动态增加 token 预算来提升模型性能的策略。具体而言，允许模型在生成最终答案之前产生更多的中间 token，使其能够引用更广泛的上下文信息进行推理。典型方法包括 Self-Consistency（多条推理路径投票）、Tree of Thoughts（搜索树探索）以及通过强化学习训练模型自主验证推理链。
本文的核心贡献就是提出了一种新的测试时扩展策略，专门针对感知任务进行优化，与传统针对推理任务的扩展方法形成互补。
视觉语言模型（VLM）
视觉语言模型是结合视觉编码器（如 CLIP、SigLIP）和大语言模型的架构，通过投影层将视觉特征与语言特征对齐。现代 VLM 如 Qwen3-VL、LLaVA-OneVision-1.5 不仅能理解图像内容，还能输出空间坐标（边界框或关键点）进行视觉定位。这些模型继承了 LLM 的 Chain-of-Thought 能力，可以进行多模态推理。
SPARC 建立在 VLM 的视觉定位能力之上，需要模型能够输出坐标或关键点来实现感知阶段的区域定位。
隐式相关性检测（Implicit Relevance Detection, IRD）
这是本文提出的新概念，指模型根据高层语义问题推断图像中哪些区域是相关的，而非传统的指代表达理解（REC）。与标准 REC 任务中目标被明确命名不同（如'找到红色球'），IRD 要求模型从推理提示中隐式地推断视觉相关性。理想的裁剪区域不一定是目标对象最紧的边界框，而是能够最大化后续推理正确概率的视觉窗口。
IRD 是 SPARC 第一阶段的核心任务，理解其与传统定位任务的区别对于把握本文的技术创新至关重要。
加权边界框融合（Weighted Boxes Fusion, WBF）
WBF 是一种边界框聚合算法，与传统的非极大值抑制（NMS）不同，NMS 简单地丢弃重叠的预测框，而 WBF 计算重叠预测的加权平均值来推导共识边界框。具体而言，WBF 将 IoU 大于 50% 的边界框进行融合，同时保留不重叠的独立框，从而在提高定位精度的同时控制裁剪区域的数量。
WBF 是 SPARC 实现非对称测试时扩展的关键技术，使得在廉价的感知空间中进行广泛探索的同时保持推理阶段的上下文效率。
研究动机
当前视觉语言模型的测试时扩展面临一个根本性问题：多模态 Chain-of-Thought 推理将感知和推理 token 混杂在同一个上下文中，形成冗长且无组织的推理链。这种'用图像思考'（thinking with images）的范式存在多重缺陷。首先，小的感知错误会在长推理链中级联放大，导致完全错误的答案——论文中展示了一个典型案例，模型在推理过程中将石质灯柱底座误认为垃圾桶，进而产生了'金属'和'反射性'的幻觉属性。其次，冗长的多模态推理链违背了上下文工程（context engineering）的原则，会导致'过度思考'和上下文坍塌。第三，这种范式需要昂贵的强化学习训练，包括复杂的奖励塑形和精心策划的过程监督数据集，这对小模型尤其不利，因为它们的性能在面对长 token 序列时会急剧退化。此外，单体式（monolithic）方法缺乏根据视觉任务难度动态分配计算资源的机制。
本文的目标是本文的目标是提出一种新的测试时扩展策略，将视觉感知从推理中显式解耦，从而实现三个方面的能力提升：第一，在完全无训练的条件下显著提升 VLM 在感知密集型视觉推理任务上的性能；第二，实现感知和推理之间的非对称计算分配，例如在分布偏移场景下优先分配感知处理资源；第三，支持对感知阶段的独立优化，当感知是端到端性能的瓶颈时可以单独改进，而不会影响推理能力。具体量化目标包括在 V∗VQA 等基准上超越现有'用图像思考'范式，同时将 token 预算降低两个数量级。
与已有工作不同的是，本文的独特切入角度来自系统神经科学的启发。生物大脑采用层级化信息处理架构：早期视觉区域首先提取低层特征，然后通过并行的'什么'（what）和'哪里'（where）视觉通路进行处理，最终在前额叶皮层汇聚进行高阶推理。现有的'用图像思考'方法完全忽略了这种感知-推理的功能分离，试图让同一个模型同时处理感知搜索和逻辑推理。SPARC 抓住了一个被忽视的关键观察：对于以感知为主要难点的任务，冗长的中间文本生成和复杂的多轮交互处理是多余甚至有害的。一个结构化的、只包含必要高分辨率图像内容的上下文，比冗长无组织的多模态推理链提供更紧凑和鲁棒的感知表征。此外，作者发现仅仅将精确的裁剪区域提供给模型就足以解锁其现有的推理能力——这意味着感知才是真正的瓶颈，而非推理。
核心方法
SPARC 的核心直觉可以用一个日常经验来理解：当你需要在一张大合照中回答'最左边那个人的领带是什么颜色'时，你不会一边盯着整张照片一边大声推理，而是会先找到那个人的位置，放大看清楚，然后再给出答案。SPARC 将这个过程形式化为一个两阶段流水线。第一阶段（感知阶段）相当于大脑的视觉皮层：模型作为感知电路，根据问题在图像中搜索并定位相关区域，输出裁剪坐标（边界框或关键点）。第二阶段（推理阶段）相当于大脑的前额叶皮层：模型作为推理电路，基于第一阶段提取的高分辨率裁剪区域生成最终答案。这种分离使得两个阶段可以独立优化和扩展，同时通过共享视觉 KV-cache 和截断上下文来最小化延迟。技术路线的关键创新在于：感知阶段的输出是简单的坐标 token，生成成本极低；而推理阶段只接收精炼后的高分辨率裁剪区域，避免了冗长推理链带来的上下文膨胀。
SPARC 最本质的创新在于揭示了一个关键洞察：对于视觉推理任务，感知能力才是真正的性能瓶颈，而模型的推理能力本身已经足够强大。论文通过精心设计的实验验证了这一点——在 V∗ 基准上，当提供与 ground truth 边界框重叠度为 100% 的裁剪区域时，即使将图像分辨率降到仅 256 像素，模型也能达到与全分辨率相当的推理准确率。这意味着只要'看到正确的地方'，模型就能给出正确答案。基于这一洞察，SPARC 的核心设计是将感知和推理强制分离到不同的上下文中，激活两个不同的功能电路：一个专注于视觉搜索，一个专注于逻辑推理。这与'用图像思考'方法形成鲜明对比——后者将两种操作纠缠在一起，导致上下文膨胀和推理链中的级联错误。SPARC 还引入了'隐式相关性检测'这一新概念，区别于传统的显式目标定位：IRD 任务中，'最优'裁剪不一定是对象的最紧边界框，而是能够最大化后续推理正确概率的视觉窗口。
方法步骤详情
SPARC 的完整推理流程包含以下步骤。第一步：隐式相关性检测（IRD）。输入原始图像和问题，提示模型仅输出与问题相关的图像区域坐标。对于 Qwen3-VL 模型，输出 JSON 格式的边界框坐标；对于 Molmo2 模型，输出关键点坐标。IRD 的提示明确要求模型'不要回答问题，只定位相关对象'。第二步：感知增强的推理。将第一阶段检测到的裁剪区域从原始图像中提取出来，与原始图像一起作为视觉输入重新提示模型回答问题。推理阶段的提示仅要求模型直接输出答案选项字母。为了进一步提升性能，SPARC 支持第三步：感知一致性扩展。对第一阶段进行 N 次独立推理（如 N=8），使用非零温度（T=0.7）鼓励探索多样化的定位假设，然后通过加权边界框融合（WBF）聚合这些假设。WBF 将 IoU 大于 50% 的边界框进行加权平均融合，保留不重叠的独立框，最终将大量冗余裁剪压缩为少量高质量裁剪。关键的效率优化包括：两个阶段共享视觉 KV-cache 以避免重复编码；感知阶段输出的坐标 token 数量极少（通常仅 1-3 个裁剪），计算成本可忽略不计；推理阶段只处理精炼后的裁剪区域，上下文长度大幅缩短。
技术新颖性
SPARC 的技术新颖性体现在三个层面。第一，架构层面：这是首个将 VLM 的感知和推理显式解耦到不同推理阶段的框架，区别于现有方法要么在单一推理链中纠缠两者（如 DeepEyes、ViGoRL），要么依赖外部检测模型。SPARC 利用 VLM 自身的视觉定位能力实现感知，无需额外的检测模块。第二，训练层面：解耦架构允许对感知阶段进行独立的 LoRA 微调，使用标准监督学习而非复杂的强化学习。论文展示了在低分辨率（256px）下训练的感知适配器反而优于全分辨率训练——这是因为低分辨率训练迫使模型学习更鲁棒的感知特征，而非简单地进行知识蒸馏。第三，扩展层面：SPARC 支持非对称测试时扩展——将 Self-Consistency 选择性地仅应用于感知分支。由于感知模块输出的是简单的坐标 token，生成多个检测假设的计算成本极低；通过 WBF 聚合后，昂贵的推理骨干只需处理单次精炼输入，避免了运行 N 条完整推理链的高昂成本。这种设计使得 SPARC 在 256 像素分辨率下以约 0.1% 的视觉 token 量就达到了接近全分辨率的性能。
实验结果
SPARC 在多个高分辨率视觉推理基准上展现出一致且显著的性能提升。在 Qwen3-VL 4B 模型上，SPARC 在 V∗VQA 基准的 ID 平均分从原生性能的 41.7%（256px）提升至 51.0%，在 OOD 平均分（XLRS 遥感基准）上从 46.2% 提升至 48.7%。在全分辨率下，ID 平均分从 72.6% 提升至 74.8%，OOD 从 53.5% 提升至 54.8%。更令人印象深刻的是，SPARC 在低分辨率下超越了'用图像思考'在全分辨率下的表现——例如 Qwen3-VL 4B 在 256px 下的 SPARC（51.0% ID）超越了全分辨率下的'用图像思考'（73.1% ID，但 OOD 仅 48.3%），同时仅消耗约 0.1% 的视觉 token。在 V∗VQA 的详细对比中，SPARC 8B + 一致性机制达到 89.5%，超越了 DeepEyes（90.1%→88.7% 原始对比）和 ViGoRL-7B（86.4%），接近 Qwen3-VL 235B-A22B 的 91.1%——这意味着一个 8B 模型通过结构化感知路由达到了 30 倍参数量模型的性能水平。WBF 一致性机制带来进一步提升：Qwen3-VL 4B 在 V∗ 上从 54.6% 提升至 56.6%（8 rollouts），Molmo2 4B 从 55.0% 提升至 64.7%。在 OOD 遥感场景（XLRS，平均图像尺寸 8500×8500 像素）中，Molmo2 在 256px 下使用裁剪后超越了全分辨率模型的性能，这代表了效率的范式转变。消融实验显示，裁剪区域与 ground truth 的重叠度是性能的决定性因素：20% 重叠度的 256px 模型已超越 512px 无定位模型。SFT 微调实验揭示了反直觉但有利的发现：在最低分辨率（256px）下训练的感知适配器在多数测试设置中达到最高准确率——Qwen3-VL 4B 从 51.0% 提升至 51.7%（ID），Qwen3-VL 8B 从 45.4% 提升至 53.1%。在推理延迟方面，SPARC 在 V∗ 256px 下的 TTFT 为 0.20 秒（对比'用图像思考'的 0.28 秒），E2E 延迟为 0.66 秒（对比 1.86 秒）；在 XLRS 256px 下 TTFT 为 0.06 秒（对比 0.07 秒），E2E 为 0.33 秒（对比 2.14 秒），性能更优的同时速度提升超过 200 倍。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| V∗VQA（视觉推理，ID） | 平均准确率（256/512/Full 分辨率） | Qwen3-VL 4B: 54.6/66.4/86.1; Qwen3-VL 8B: 50.0/62.6/88.7 | Native: 40.3/47.9/84.5 (4B), 38.2/46.2/87.0 (8B); Thinking w/ images: 32.1/51.5/83.1 (4B), 35.3/55.9/86.6 (8B) | 4B 256px: +14.3pp vs Native, +22.5pp vs TwI; 8B 256px: +11.8pp vs Native, +14.7pp vs TwI |
| V∗VQA + WBF 8 rollouts | 准确率（256/512/Full） | Qwen3-VL 4B: 56.6/68.9/87.0; Qwen3-VL 8B: 49.2/64.7/89.5 | SPARC 无 WBF 4B: 54.6/66.4/86.1; 8B: 50.0/62.6/88.7 | 4B 256px: +2.0pp; 8B Full: +0.8pp |
| HRBench-4K（高分辨率视觉问答） | 准确率（256/512/Full） | Qwen3-VL 4B SPARC: 53.8/60.0/69.0; WBF 8: 60.3/70.8/80.4 | Native: 43.5/52.8/68.8; Thinking w/ images: 43.1/58.4/72.0 | WBF 8 256px: +16.8pp vs Native, +17.2pp vs TwI |
| HRBench-8K（超高分辨率视觉问答） | 准确率（256/512/Full） | Qwen3-VL 4B SPARC: 44.8/55.4/69.4; WBF 8: 50.1/61.3/78.6 | Native: 41.4/45.6/64.6; Thinking w/ images: 35.1/46.8/64.4 | WBF 8 Full: +14.0pp vs Native, +14.2pp vs TwI |
| XLRS 遥感基准（OOD） | 平均准确率（256/512/Full） | Qwen3-VL 4B: 48.7/52.9/54.8; Molmo2 4B: 40.8/42.1/43.2 | Qwen3-VL 4B Native: 46.2/48.4/53.5; TwI: 43.1/48.3/48.3 | Qwen3-VL 4B 256px: +2.5pp vs Native, +5.6pp vs TwI |
| V∗VQA + SFT 微调 | 准确率 Qwen3-VL 8B | SPARC SFT 256: 52.9/69.7/91.2 | Native: 38.2/46.2/87.0; Thinking w/ images: 35.3/55.9/86.6 | 256px: +14.7pp vs Native, +17.6pp vs TwI; Full: +4.2pp vs Native |
局限与改进
论文承认的局限性包括：SPARC 依赖于具有原生空间定位能力的 VLM（如能输出坐标或关键点的模型），对于纯文本生成的 VLM 需要集成额外的外部目标检测模型。Molmo2 4B 的 SFT 微调效果不佳，作者将其归因于数据生成教师模型（Molmo2-8B）能力不足导致的蒸馏瓶颈。此外，SPARC 的两步推理流程虽然总体延迟更低，但引入了额外的提示工程复杂度，需要针对不同模型架构设计特定的 IRD 和推理提示。从我的观察来看，SPARC 在需要全局场景理解的任务上虽然没有系统性失败（论文在 GQA Global 子集上验证了这一点），但其核心假设——'找到正确区域就能回答问题'——在需要多步视觉推理（如比较多个远距离对象的属性）的任务中可能不够充分。另外，IRD 任务本身是一个不适定问题：'最优'裁剪区域的定义依赖于后续推理的成功，这种循环依赖使得感知阶段的评估和优化变得困难。论文通过'隐式相关性检测'来缓解这一问题，但在极端情况下（如问题需要理解整个场景的空间布局），IRD 可能会过度聚焦于局部区域。
独立分析的弱点
基于独立分析，我识别出以下几个关键弱点。第一，感知一致性的边际效益递减：从 Table 2 可以看出，从 N=4 到 N=8 的 WBF 带来的性能提升已经很小（Qwen3-VL 4B 在 256px 下从 54.2% 到 55.7%），而裁剪数量从 2.38 增加到 3.30，这意味着在资源受限场景下需要权衡一致性收益和计算开销。改进方向：可以设计自适应的一致性机制，根据首次 IRD 的置信度动态决定是否需要额外的 rollouts。第二，低分辨率训练的 SFT 在 Molmo2 架构上效果不一致：Molmo2 4B 的 SFT 256px 在某些分辨率下反而低于无训练基线，作者将其归因于教师模型质量不足。改进方向：使用更强的教师模型（如 Qwen3-VL 235B）进行跨架构知识蒸馏，或者设计基于强化学习的感知奖励信号。第三，IRD 的提示工程敏感性：论文中强调'输出格式的明确定义是确保指令遵循的最关键因素'，这意味着不同 VLM 可能需要完全不同的提示模板，增加了工程复杂度。改进方向：探索自动化的提示优化或训练模型原生支持 IRD 模式。第四，对裁剪区域数量缺乏自适应控制：当前方法在所有图像上使用固定数量的 rollouts，但某些简单图像可能只需要 1 个裁剪，而复杂图像可能需要更多。改进方向：基于 IRD 置信度或图像复杂度动态调整 rollout 数量。
未来方向
论文和实验结果揭示了多个有前景的研究方向。作者明确提出的包括：探索迭代缩放流水线（即在推理阶段对裁剪区域进行多轮细化）、将框架扩展到视频输入（轻量级感知电路可以执行时空目标跟踪来隔离显著片段）、以及对提取的裁剪区域应用超分辨率技术以进一步提升推理阶段的输入质量。基于 SPARC 的解耦架构，我认为还有以下可延伸方向：第一，将 SPARC 与检索增强生成（RAG）结合，将感知阶段的裁剪区域作为视觉记忆存入向量数据库，支持跨图像的视觉推理。第二，探索多模态知识蒸馏——利用 SPARC 的模块化特性，可以将大型模型的感知能力独立蒸馏到小型模型中，而不影响推理能力。第三，将 IRD 任务形式化为一个独立的预训练任务，训练模型原生支持'隐式相关性检测'，而非依赖提示工程。第四，研究 SPARC 在视觉 grounding 之外的应用——例如在文档理解中，第一阶段可以定位相关段落区域，第二阶段进行文本推理。
复现评估
SPARC 的复现评估呈现积极态势。论文完全基于开源模型（Qwen3-VL 4B/8B、Molmo2 4B/8B）和开源框架（Unsloth、TRL）实现，没有依赖闭源 API。SFT 训练数据通过合成生成——使用 Qwen3-VL 235B-A22B 的'用图像思考'能力生成约 23,000 个边界框标注样本，使用 Molmo2-8B 生成约 14,000 个关键点标注样本，数据生成流程在论文中有清晰描述。训练资源需求适中：Qwen3-VL 8B 在单张 A100-80GB 上训练约 12 小时，Molmo2 需要两倍计算预算。推理阶段的计算开销极低——SPARC 在 256px 下的 TTFT 仅 0.20 秒，E2E 延迟 0.66 秒，比'用图像思考'快 3-200 倍。论文提供了完整的提示模板（Appendix A.3）和超参数配置（Table 9），包括 LoRA rank=16、alpha=32、学习率 2×10⁻⁴、5 个 epoch 等细节。WBF 的 IoU 阈值（50%）和温度参数（T=0.7）也有明确说明。总体而言，SPARC 的复现难度较低，主要挑战在于合成数据生成需要访问较大的 VLM（235B 参数级别），但一旦数据集生成完成，后续的 LoRA 微调和推理流程都相当高效。
论文图表
