踏入球场的视觉语言模型：体育场景空间智能基准测试 Stepping VLMs onto the Court: Benchmarking Spatial Intelligence in Sports
首个体育空间智能数据集CourtSI，100万QA对，25个VLM评测揭示人机差距
前置知识
空间智能 (Spatial Intelligence)
空间智能是指视觉语言模型对三维世界中物体位置、距离、方向和空间关系进行感知和推理的能力。随着VLM在语义理解和二维视觉推理上取得进展，研究者开始关注模型能否从主要在图像平面上训练的网络规模数据中理解三维空间关系。空间智能被认为是与物理世界可靠交互的基础能力，是通向通用人工智能（AGI）的重要组成部分。
本文的核心研究主题就是体育场景中的空间智能，理解这个概念是把握论文研究动机和评估维度的前提。
PnP求解器 (Perspective-n-Point Solver)
PnP是一种经典的计算机视觉方法，用于从n个三维世界坐标点与对应的二维图像点之间的对应关系，求解相机的内参（焦距等）和外参（旋转和平移）。在本文中，作者利用标准化球场几何结构已知的三维关键点坐标（如四个地面角点和两个网高度点），与手动标注的二维图像点对应，通过PnP求解器获得度量精度的相机参数。
PnP求解器是本文数据引擎的核心组件，用于从单目图像中恢复度量尺度的相机参数，是后续所有3D空间推理的基础。
SMPL-X人体模型
SMPL-X是一种参数化人体网格模型，能够表示完整的人体形状、姿态和面部表情。它通过一组参数（包括身体姿态参数、形状参数和表情参数）来生成逼真的三维人体网格。PromptHMR等方法可以从单张图像中估计SMPL-X参数，从而恢复人体的三维姿态和形状信息。
本文使用SMPL-X表示来恢复运动员的三维网格，从而实现身体部位级别的精细空间推理，例如测量骨盆位置或脚部位置。
阈值平均相对精度 T-MRA (Threshold Mean Relative Accuracy)
T-MRA是一种用于评估数值预测任务的指标，允许预测值与真实值之间存在一定的误差容限。其公式为：$$T\text{-}MRA = \frac{1}{|C|} \sum_{\theta \in C} \mathbb{1}\left[\frac{|\hat{y} - y| - T}{y} < 1 - \theta\right]$$其中 $y$ 和 $\hat{y}$ 分别为真值和预测值，$T$ 为距离阈值（本文设为15cm），置信度阈值 $\theta$ 从0.5到0.95变化。这种指标比严格的精确匹配更宽容，适合评估存在合理误差的距离测量任务。
这是本文评估距离测量和定位任务的主要指标，理解其计算方式对于解读实验结果至关重要。
视角歧义 (Perspective Ambiguity)
在单目图像中，由于透视投影的效果，三维空间中相距较远的物体在图像平面上可能看起来很近，反之亦然。这种歧义性使得从二维图像推断三维空间关系变得困难。本文通过计算三维距离与二维距离的比值来量化这种歧义程度，发现VLM的性能随着歧义程度增加而显著下降。
视角歧义是理解VLM在空间推理任务中失败模式的关键因素，也是本文误差分析的重要发现之一。
研究动机
当前的空间智能研究主要聚焦于静态场景和刚性物体，数据集覆盖的空间对象较为狭窄。例如，VSI等基准使用室内环境中的摄像头浏览数据，MindCube关注稀疏视角推理，这些数据集主要涉及静态物体和结构化室内环境。然而，人类作为现实世界中至关重要的主体，具有非刚性变形和关节约束的特征，在空间智能研究中仍然被严重低估。体育场景以高强度人体运动和动态物体交互为特征，为细粒度空间智能研究提供了天然且具有挑战性的测试平台。此外，现有体育理解基准如RacketVision等主要关注动作识别和高层语义理解，缺乏对度量空间推理的系统性评估。
本文的目标是本文的具体目标是构建CourtSI——首个面向体育场景的大规模空间智能数据集，包含超过100万个QA对，以及高质量的评估基准CourtSI-Bench（3,686个QA对）。通过利用标准化球场几何结构作为度量锚点，开发半自动数据引擎来重建体育场景的三维状态，并设计系统性的问答分类体系，涵盖空间计数、距离测量、定位和关系推理四个维度。最终目标是通过全面评估25个VLM揭示人机差距，并验证通过CourtSI微调可以有效提升模型的空间智能。
与已有工作不同的是，本文的独特切入角度在于将体育场景引入空间智能研究。与现有工作相比，体育场景具有三个独特优势：首先，标准化球场提供了已知的几何结构和固定度量尺度，可以作为可靠的度量参考；其次，广播视角减少了不必要的视角变化，使模型能够专注于空间关系的学习；第三，体育场景涉及高强度动态人体运动和物体交互，对模型的三维感知和推理能力提出了更高要求。这种从静态物体中心到动态以人为中心的范式转变，填补了现有空间智能基准在覆盖范围上的空白。
核心方法
本文的方法整体思路可以概括为：利用体育场景的结构化特性，构建一个从单目图像到三维场景重建再到大规模QA对生成的半自动流水线。直觉上，体育球场具有标准化的几何布局，关键结构的真实世界尺寸是固定的，这使得我们可以利用球场几何作为度量参考来恢复相机参数和物体位置。技术路线包括三个关键步骤：首先通过球场标注和PnP求解器获得度量精度的相机参数；然后通过球体标注和人体网格恢复获得物体的三维位置；最后将重建的三维状态转换为系统性的问答对。
本文的核心创新点在于利用球场几何结构作为度量锚点，实现了从单目图像到度量精度的三维场景重建。与已有方法的本质区别在于：现有空间智能基准依赖通用的单目深度估计方法（如WildCamera、DepthAnythingV3），但这些方法在体育场景中不够鲁棒，无法产生可靠的度量重建。本文采用人工参与的流水线，利用标准化球场的已知几何结构，通过PnP求解器直接优化相机参数，实现厘米级精度的重建。这种方法虽然引入了人工标注成本，但显著提高了重建质量，为后续的QA生成提供了可靠的基础。
方法步骤详情
方法包含以下完整步骤：(1) 球场标注：手动标注图像中的2D球场关键点（四个地面角点和两个网高度点），利用已知的3D球场坐标，通过PnP求解器优化相机内参和外参，建立统一的世界坐标系。焦距估计误差约为2.2%-2.4%。(2) 球体标注：由于球体小且单目深度估计不可靠，设计工具将深度估计转换为地面投影估计。标注者点击球的2D位置及其对应地面投影，利用射线-平面交点公式 $X(\lambda) = -R^T t + \lambda R^T K^{-1}p$ 解析求解深度参数 $\lambda$，恢复球的3D位置。误差约为22cm（X轴）、9cm（Y轴和Z轴）。(3) 人体网格恢复：使用PromptHMR恢复SMPL-X参数，通过SAM3获取边界框，手动标注最低网格顶点的高度，通过透视变换将整个网格重新对齐到正确的深度。骨盆MPJPE误差为23cm。(4) QA对生成：设计94个模板，系统覆盖空间计数、距离测量、定位和关系推理四大类，生成超过100万个QA对。
技术新颖性
本文的技术新颖性体现在多个方面。首先，首次将体育场景引入空间智能基准测试，建立了以人为中心的空间推理评估范式，超越了传统的物体中心数据集。其次，开发了利用球场几何结构的半自动数据引擎，实现了厘米级精度的单目三维重建，这一精度水平在同类方法中是领先的。第三，设计了包含94个模板的系统性问答分类体系，覆盖了从粗粒度计数到细粒度身体部位定位的多个空间维度。第四，不仅提供了训练数据集（100万QA对），还提供了经过人工验证的高质量评估基准（3,686 QA对），并展示了跨运动项目的泛化能力和空间感知解说生成等下游应用。
实验结果
本文对25个VLM进行了全面评估，揭示了多项重要发现。首先，人类评估者在所有指标上都优于现有模型，但即使以球场几何为参考，人类在距离测量任务上的表现也明显下降（整体准确率73.6%）。其次，专有模型中Gemini-3-Pro表现最佳（解析后整体64.6%），但存在指令遵从问题，需要额外的LLM解析才能获得有竞争力的结果。第三，开源空间智能模型（如SpaceR、VST、SpatialLadder等）在CourtSI-Bench上并未显示出相对于基座模型的一致改进，说明现有空间智能基准未能充分捕捉体育场景的挑战。第四，在CourtSI上进行SFT的Qwen3-VL-8B实现了23.5个百分点的准确率提升（从37.7%到61.2%），距离测量任务提升超过25个百分点。第五，微调模型在CourtSI-Ext（匹克球）上也展示了良好的跨运动泛化能力，整体提升13.2个百分点。第六，用户研究表明，微调后的模型在空间感知解说生成方面显著提升，同时保持了语言质量。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CourtSI-Bench 整体评估 | Accuracy (%) | 61.2 (Qwen3-VL-8B SFT) | 37.7 (Qwen3-VL-8B base) | +23.5个百分点 |
| CourtSI-Bench 距离测量 | T-MRA (%) | 60.2 (Qwen3-VL-8B SFT) | 3.1 (Qwen3-VL-8B base) | +57.1个百分点 |
| CourtSI-Bench 物体-物体距离 | T-MRA (%) | 68.4 (Qwen3-VL-8B SFT) | 27.1 (Qwen3-VL-8B base) | +41.3个百分点 |
| CourtSI-Bench 球计数 | Accuracy (%) | 92.9 (Qwen3-VL-8B SFT) | 39.3 (Qwen3-VL-8B base) | +53.6个百分点 |
| CourtSI-Ext 跨运动泛化 | Accuracy (%) | 51.4 (Qwen3-VL-8B SFT) | 38.2 (Qwen3-VL-8B base) | +13.2个百分点 |
局限与改进
本文存在若干局限性。首先，数据引擎依赖人工参与（球场标注、球体标注、高度标注），虽然保证了厘米级精度，但限制了数据规模化的速度和成本效益。其次，CourtSI仅覆盖三种网类运动（羽毛球、网球、乒乓球），对其他体育场景（如足球、篮球等团队运动）的适用性尚待验证。第三，CourtSI-Bench仅有3,686个QA对，且在CourtSI-Ext上的跨运动泛化改进有所缩小，说明模型学到的空间推理能力的迁移性仍有局限。第四，距离测量任务中即使人类表现也只有67.8%（T-MRA），说明该任务本身具有固有难度，当前评估指标可能需要进一步优化。第五，论文未详细讨论数据引擎在不同摄像机配置和拍摄条件下的鲁棒性，以及在低质量或极端视角图像上的表现。
独立分析的弱点
本文存在几个值得深入分析的弱点。首先，人工标注成本较高，虽然论文声称是"半自动"流水线，但球场关键点标注、球体位置标注和高度标注都需要人工干预，这限制了数据集的扩展速度。改进方向可以是开发更鲁棒的自动球场检测和关键点估计模型，减少人工标注需求。其次，距离测量的评估指标T-MRA设置了15cm的阈值，这在某些精细场景中可能过于宽松，可以考虑设计更细粒度的评估指标。第三，QA模板虽然有94个，但仍然是基于规则生成的，问题的多样性和自然度可能不如真实用户提问，可以考虑引入大语言模型生成更多样化的问题表述。
未来方向
作者提出的研究方向包括：将CourtSI扩展到更多体育项目，特别是团队运动；探索CourtSI在VLM后训练中的更广泛应用，提升通用空间智能能力。基于已有成果可以延伸的方向包括：(1) 利用球场几何先验开发端到端的体育场景空间推理模型，而非依赖重建流水线；(2) 将空间智能与动作识别、战术分析等体育理解任务结合，构建更全面的体育AI系统；(3) 探索利用CourtSI的三维重建数据进行VLM的3D表征学习，提升模型对物理世界的理解能力；(4) 将数据引擎的方法论应用到其他具有标准化几何结构的场景（如舞台、会议室等）。
复现评估
本文的复现条件较为有利。作者开源了代码（GitHub: Visionary-Laboratory/CourtSI）和项目网站，提供了详细的方法描述和实验设置。数据来源RacketVision是公开可用的体育数据集。然而，完全复现存在一定挑战：(1) 数据引擎需要人工标注，包括球场关键点、球体位置和人体高度，这些标注工作耗时且需要专业知识；(2) 论文使用的专有模型API（GPT-5.2、Gemini-3-Pro等）可能需要付费访问，且API版本更新可能影响结果可比性；(3) 微调实验使用了LLaMA Factory框架和特定的超参数（batch size 2048、学习率 $5 \times 10^{-6}$），需要一定的GPU资源；(4) 多视图质量控制数据集（6,505帧）由团队自行采集，外部研究者无法直接获取。总体而言，核心代码和数据开源使得复现评估结果是可行的，但完整重建数据引擎需要显著的人工投入。
论文图表
