视觉语言模型能解决弹球游戏吗？——基于时空推理链的视觉实体追踪 Can Vision-Language Models Solve the Shell Game?
VLM在视觉实体追踪任务上接近随机猜测，SGCoT推理链突破90%准确率
前置知识
Vision-Language Model (VLM)
视觉语言模型是一类能够同时处理图像/视频和文本的多模态大模型。它们通常基于Transformer架构，将视觉编码器（如ViT）与语言模型（如LLaMA）结合，实现视觉问答、图像描述等跨模态任务。本文涉及的VLM包括Gemini-3-Pro、Qwen3-VL、Molmo2等，它们都支持视频输入并能进行视频理解和推理。
本文的核心研究对象就是VLM在视觉实体追踪任务上的表现，理解VLM的基本架构和能力边界是读懂本文的基础。
Visual Entity Tracking（视觉实体追踪）
视觉实体追踪是指在视频序列中持续跟踪特定物体的位置和状态的能力。在本文中特指弹球游戏（shell game）场景：多个外观完全相同的物体（如杯子下的球）经过一系列位置交换后，追踪目标物体的最终位置。这一能力要求模型不仅识别单帧中的物体，更需要跨帧维护物体的身份表征。
这是本文定义和研究的核心问题，论文证明该问题是NC1完备的，从而解释了为什么现有VLM在此任务上表现糟糕。
Chain-of-Thought (CoT) 推理
链式推理是一种让模型在给出最终答案前，先生成中间推理步骤的技术。在视觉领域，CoT可以是描述性的文字推理（如'杯子A和B交换了位置'），也可以是结构化的中间表示（如物体轨迹坐标）。本文提出的SGCoT就是一种特殊的CoT形式，它将视觉感知转化为结构化的时空轨迹推理。
论文的核心方法论贡献就是SGCoT，证明了在视觉实体追踪任务中，适当的中间推理步骤是解决NC1完备问题的关键。
NC1完备性（NC1-completeness）
NC1是计算复杂性理论中的一个电路复杂性类，表示可以用对数深度的布尔电路在多项式时间内解决的问题。NC1完备意味着一个问题属于该复杂性类中最难的问题。论文证明视觉实体追踪问题（当物体数量 $k \geq 5$ 时）与对称群 $S_5$ 的字问题（word problem）等价，而后者是经典的NC1完备问题。固定深度的Transformer属于TC0类，假设 $TC0 \subsetneq NC1$，则Transformer在没有中间计算的情况下无法解决NC1完备问题。
这是本文最核心的理论贡献，从计算复杂性角度解释了为什么VLM需要CoT才能解决视觉实体追踪任务，而不能仅靠端到端的直接预测。
TC0 复杂性类
TC0是包含所有可以用常数深度、多项式大小、带阈值门的布尔电路解决的问题的复杂性类。先前研究表明，固定深度的Transformer可以被模拟为TC0电路。由于TC0是NC1的真子集（在广泛接受的假设下），这意味着固定深度Transformer在表达能力上不足以解决NC1完备问题。
TC0与NC1的关系是论文理论分析的基石，直接支撑了'VLM需要中间推理步骤'这一核心论点。
Molmo2 与物体追踪能力
Molmo2是一个开源的视觉语言模型，经过大量视频物体追踪数据的训练，具备强大的视觉定位（grounding）能力。它可以生成结构化的物体轨迹输出，格式为 `物体名`，其中坐标归一化到0-1000范围，时间戳间隔为0.5秒。论文利用Molmo2这一原生追踪能力，将其转化为SGCoT推理的基础。
Molmo2是本文方法的核心模型载体，其原生的物体追踪能力被巧妙地转化为CoT推理能力，是SGCoT方法成功的关键前提。
研究动机
视觉实体追踪是人类的先天认知能力，甚至一些动物都能完成弹球游戏任务，但当前最先进的视觉语言模型在这一基础任务上表现极差。现有视频基准测试（如Perception Test）中的弹球游戏子集存在严重的视觉捷径问题：在189个杯子游戏视频片段中，许多包含外观线索——如独特或透明的杯子——允许模型通过单帧中的物体外观重新识别来解决问题，而无需进行跨帧的时序追踪。论文审计发现，过滤掉这些包含视觉捷径的样本后，Gemini-3-Pro的准确率从完整数据集上的80%骤降至36.45%。当进一步限制为3杯设置并移除仅测试物体恒存性的零交换实例时，准确率进一步降至30.77%，与随机猜测（1/3）无异。这些数据表明，现有基准的高分数很大程度上来自于简单实例中的视觉捷径，掩盖了模型在真正需要时序追踪的困难实例上的失败。
本文的目标是本文的目标是系统性地研究VLM在视觉实体追踪任务上的真实能力。具体而言，作者希望通过引入一个完全消除外观线索的合成诊断基准（VET-Bench），精确评估VLM的时空感知能力；从计算复杂性理论角度分析视觉实体追踪任务的内在难度，解释VLM失败的根本原因；并提出一种可行的解决方案，使VLM能够可靠地完成端到端的弹球游戏任务，而无需依赖外部工具。
与已有工作不同的是，本文的独特切入角度体现在三个层面。首先，在基准设计层面，VET-Bench使用完全相同的合成物体，通过three.js渲染引擎生成视频，确保没有任何单帧能揭示目标物体的身份或交换操作，从而强制模型依赖时空连续性进行追踪。这与现有基准（如Perception Test、VideoReasonBench）形成鲜明对比——后者要么包含外观线索，要么用箭头等标注显式提示交换操作。其次，在理论分析层面，论文将视觉实体追踪与对称群 $S_5$ 的字问题建立联系，证明该任务是NC1完备的，从而从第一性原理解释了为什么固定深度Transformer需要中间计算。最后，在方法层面，SGCoT不是简单地让模型'说出思考过程'，而是利用Molmo2的原生追踪能力，将视觉感知转化为结构化的时空坐标序列，实现了细粒度的中间状态表示。
核心方法
本文的方法论分为三个相互关联的部分。首先是VET-Bench基准的设计：使用three.js合成渲染生成包含视觉上完全相同物体的弹球游戏视频，通过控制物体数量、交换次数等参数精确调节任务难度。其次是理论分析：通过将视觉实体追踪问题规约到对称群 $S_5$ 的字问题，证明该任务是NC1完备的，从而建立Transformer架构的表达能力限制。最后是SGCoT方法：利用Molmo2的物体追踪能力，将视觉感知转化为结构化的推理过程——模型首先生成目标物体的时空轨迹作为中间推理步骤（CoT），然后基于轨迹的终点坐标给出最终答案。整个技术路线的核心直觉是：既然视觉实体追踪从理论上需要中间计算，那么就应该为模型提供一种有效的中间表示方式，而SGCoT恰好提供了这样的表示。
SGCoT的核心创新在于将视觉实体追踪从一个'感知问题'转化为一个'推理问题'。具体来说，标准VLM处理视频时试图直接从像素映射到答案，但论文的理论分析表明这种端到端映射对于NC1完备问题是不可行的。SGCoT的解决方案是生成物体轨迹作为显式的中间状态：每0.5秒记录目标物体的空间坐标 $(x, y)$，形成一个时间序列轨迹。这个轨迹本质上是将连续的视觉感知离散化为结构化的状态序列，使得后续的答案推断可以从最后一帧的坐标直接得出。与已有方法的本质区别在于：(1) 相比通用描述性CoT（如'杯子A和B交换了'），SGCoT提供精确的时空定位，避免了粗粒度描述带来的累积误差；(2) 相比外部追踪工具，SGCoT在模型内部完成，无需额外的模块或API调用；(3) 训练过程极其高效，仅需300个文本样本、3分钟的A100 GPU训练时间。
方法步骤详情
SGCoT方法的实施分为以下几个步骤。第一步是数据准备：使用Python脚本为VET-Bench的每个视频合成SGCoT轨迹数据，格式为 `物体名`。这些合成轨迹不需要来自真实视频，任何随机生成的轨迹都可以工作，但使用与VET-Bench分布一致的轨迹可以最小化追踪能力的退化。第二步是提示设计：在查询前添加 'Track [object]' 前缀来引导模型生成追踪轨迹。例如，'Track the Queen of Hearts and answer where is the Queen of Hearts at the end of the video?'。第三步是训练对齐：在300个文本样本（不含视频输入）上对Molmo2进行微调。训练时，对 `` 内的所有合成轨迹token进行loss mask，仅监督最终答案的生成（如'left'、'middle'或'right'）。这种设计鼓励模型保留其原始追踪能力，同时学会从SGCoT推导最终答案。第四步是推理：给定视频和问题，模型首先生成SGCoT轨迹，然后基于轨迹终点的空间坐标确定最终答案。
技术新颖性
SGCoT的技术新颖性体现在多个方面。首先，它是首个将视频物体追踪能力转化为CoT推理能力的方法，实现了视觉感知与推理的深度融合。其次，论文严格证明了视觉实体追踪的NC1完备性，这为CoT在视觉任务中的必要性提供了坚实的理论基础，而非仅靠经验观察。第三，SGCoT的训练范式极具创新性：通过在文本空间（而非视频空间）进行对齐训练，避免了高FPS视频输入的内存和计算开销，300个样本、3分钟即可完成训练。这种'文本对齐'范式的核心洞察是：Molmo2已经具备强大的追踪能力，只需要教它如何将追踪结果转化为答案。第四，SGCoT的中间表示设计精巧——使用离散时间戳和归一化空间坐标的组合，既保证了状态表示的明确性，又避免了粗粒度描述（如'左右'、'00:01-00:02'）带来的歧义。这种设计与先前的通用CoT（如VoCoT、GCoT）形成对比，后者主要关注空间定位而忽略了时间精度。
实验结果
论文的核心发现可以归纳为以下几个方面。首先，在VET-Bench基准上，所有被评估的VLM都表现接近随机猜测水平。在包含50个杯子游戏和50个卡片游戏视频（3个物体、5次交换、约12秒）的标准设置下，闭源推理模型如Gemini-3-Pro和Gemini-3-Flash的准确率分别为0.33和0.30，开源推理模型如Qwen3-VL-8B-Thinking为0.30，非推理模型如Qwen3-VL-8B-Instruct为0.32，全部与随机基线（0.33）无统计学差异。即使是专门为推理设计的模型也无法逃脱这一困境。其次，论文识别出三种典型的失败模式：(1) 直接回答——非推理模型如Molmo2、PerceptionLM直接输出答案而不生成任何推理过程，本质上是随机猜测；(2) 粗粒度描述——一些模型虽然生成了推理过程，但将其压缩为高层语义描述，如'杯子以弹球游戏的方式移动，球始终在某个杯子下'，丢失了关键的时空细节；(3) 不准确感知和幻觉——推理能力较强的模型如Gemini-3-Pro会生成逻辑上连贯但感知上错误的推理步骤，如'左杯和中杯交换，球现在在中杯位置'，但实际观察到的可能是完全不同的交换。第三，交换次数和物体数量对性能的影响分析表明：零交换时大多数模型接近完美（因为位置直接可见），但仅一次交换就导致性能急剧下降，之后迅速收敛到随机水平；即使在最简单的2物体情况下（退化为奇偶问题），模型也无法显著超越随机基线。第四，SGCoT方法取得了突破性成果：经过对齐训练的Molmo2-SGCoT在VET-Bench上达到91%的准确率，远超所有基线模型，证明VLM确实可以通过适当的中间推理步骤可靠地解决视觉实体追踪任务。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VET-Bench 杯子游戏（Cups Game，3物体5交换） | Top-1 Accuracy | 0.91（Molmo2-SGCoT） | 0.33（随机猜测）、0.30-0.37（所有现有VLM） | 相对最佳基线提升约150%，从随机猜测水平提升至超过90% |
| VET-Bench 卡片游戏（Cards Game，3物体5交换） | Top-1 Accuracy | 0.91（Molmo2-SGCoT） | 0.33（随机猜测）、0.28-0.37（所有现有VLM） | 相对最佳基线提升约150% |
| Perception Test 过滤子集（3杯非零交换） | Top-1 Accuracy | 未在此子集上评估SGCoT | 0.31（Gemini-3-Pro）、0.33（随机猜测） | N/A，但论文展示了所有VLM在过滤后均降至随机水平 |
| Qwen2.5-VL-3B 直接监督训练 | Loss / Accuracy | N/A（直接训练失败） | 随机猜测水平的损失停滞 | 60个epoch训练后损失仍停留在随机水平，验证了直接监督无法学习该任务 |
局限与改进
论文在局限性方面有较为坦诚的讨论。作者承认VET-Bench目前仅研究了简化的设置：最终答案完全由SGCoT轨迹终点的空间位置确定。在更真实的场景中，答案可能还依赖于视觉场景中的其他证据，例如需要结合人的视角来解析参照表达（'从这个人的角度看，哪个杯子下有球？'），这需要在最终帧中进行额外的视觉感知。此外，VET-Bench假设了定位和连续性条件，确保交换运动是明确无歧义的。但实际场景中，追踪往往更具挑战性：物体可能近距离移动、重叠、出现运动模糊或被遮挡，这些情况可能需要更强大的物理先验或世界模型来处理。从个人观察来看，SGCoT方法的高度依赖Molmo2的原生追踪能力是一个隐含的限制——如果基础模型的追踪能力不够强，SGCoT的效果可能会大打折扣。此外，论文的合成数据设置虽然有效隔离了研究问题，但与真实世界弹球游戏的域差距尚不清楚。
独立分析的弱点
尽管论文取得了令人印象深刻的结果，但仍存在几个值得关注的弱点。首先，SGCoT方法的泛化性尚不明确：论文仅在VET-Bench的合成数据上验证了方法的有效性，但真实世界的弹球游戏可能包含更复杂的视觉元素（如不同材质的杯子、环境光照变化、遮挡等），Molmo2的追踪能力在这些条件下是否仍然可靠需要进一步验证。其次，SGCoT依赖于一个关键假设——模型能够准确地在每一帧中定位目标物体。论文的误差分析（Fig. 17）已经表明，当模型在视觉上完全相同的物体之间产生混淆时，轨迹会出现突然的'跳跃'，导致错误的终点位置。这本质上是将一个时序追踪问题转化为了一个帧级定位问题，而后者对于完全相同的物体仍然是困难的。第三，论文的理论分析仅适用于 $k \geq 5$ 个物体的情况，对于实际最常用的2-3个物体的情况，NC1完备性证明不直接适用。虽然实验表明模型在这些简单情况下也失败了，但理论解释不够充分。改进方向包括：(1) 在真实世界数据上验证SGCoT；(2) 探索更强的视觉定位技术来处理完全相同物体的区分；(3) 扩展理论分析以覆盖小规模物体的情况。
未来方向
论文和基于其成果可以延伸出多个有价值的研究方向。作者提出了几个明确的未来方向：(1) 将SGCoT与复杂的参照表达结合，例如'从那个人的视角看，哪个杯子下有球？'，这需要在任意帧中整合SGCoT轨迹和额外的视觉感知；(2) 处理更复杂的追踪场景，如物体近距离移动、重叠、运动模糊和遮挡，可能需要引入物理先验或世界模型。基于论文成果可延伸的方向包括：(3) 将SGCoT范式推广到其他需要细粒度时空推理的任务，如动作识别、因果推理等；(4) 探索SGCoT与其他推理增强技术（如思维树、自我纠正）的结合；(5) 研究SGCoT轨迹的可解释性——轨迹本身是否可以作为模型推理过程的可视化工具，帮助理解模型的视觉感知能力；(6) 将NC1完备性分析扩展到更一般的视觉推理任务，建立视觉推理任务的计算复杂性分类体系。
复现评估
论文在可复现性方面做得较好。作者承诺代码和数据将在 https://vetbench.github.io 公开。VET-Bench是一个合成基准，使用three.js渲染，理论上可以无限生成新的测试实例，避免了数据泄漏和过拟合问题。SGCoT的训练极其高效：仅需300个文本样本、单张A100 GPU、3分钟即可完成训练，这意味着大多数研究团队都可以复现实验。不过需要注意的是，SGCoT依赖于Molmo2模型，而Molmo2本身的训练和发布依赖于Allen AI。此外，论文中的一些基线模型（如Gemini-3-Pro、Doubao-Seed-2.0、Kimi-K2.5）是闭源的商业模型，完整复现所有基线比较可能需要API访问权限。合成数据生成管线的具体参数（如渲染设置、相机位置等）的完整细节需要参考即将公开的代码库。
论文图表
