SOCO：在视觉基础模型中评估语义对象对应关系的基准测试

首个基于分类法的语义对象对应基准，评估100个类别、100万+对应对的视觉和多模态基础模型

前置知识

语义对应关系（Semantic Correspondence）

语义对应关系是指在图像或场景中识别和匹配具有相似语义的区域或部件的能力。它要求模型在不同实例、不同外观、不同视角和几何变化下，仍能正确关联对象的语义部件，如车的轮子、动物的腿等。这与几何对应关系不同，后者关注像素级或特征级的精确匹配，而语义对应关系更关注部件的语义一致性而非精确的几何对齐。评估时通常使用Percentage of Correct Keypoints（PCK）指标，计算预测关键点是否在以真实关键点为中心的特定半径内。

理解语义对应关系对于评估模型是否真正学习到了结构化的对象表示至关重要，而不是仅仅记忆局部外观模式。本文的核心就是设计一个基准来系统性评估这种能力。

视觉基础模型（Vision Foundation Models）

视觉基础模型是在大规模数据集上预训练的深度神经网络，能够学习通用的视觉表示，可以迁移到各种下游任务中。这些模型包括自监督模型（如DINO、MAE、I-JEPA）、视觉-语言模型（如CLIP、BLIP）以及生成式模型（如Stable Diffusion）。它们通过不同的训练目标学习特征，如对比学习、掩码图像建模、重构等。本文评估的模型包括DINO系列、iBOT、CLIP、I-JEPA、MAE、C-RADIOv3、DUNE、Stable Diffusion 2.1、CroCoV2、PIXIO等。

本文的核心就是评估这些现代视觉基础模型在语义对象对应关系任务上的表现，揭示它们是否真正学习到了结构化的对象理解能力。

大视觉语言模型（Large Vision-Language Models, LVLMs）

大视觉语言模型是将视觉编码器和语言模型融合的多模态系统，能够同时处理图像和文本输入，执行视觉问答、图像描述、推理等任务。代表性模型包括LLaVA、Qwen-VL、GPT-4V、Gemini等。它们通常通过连接预训练的视觉编码器（如CLIP、SigLIP）和大型语言模型（如LLaMA、Qwen），并在图像-文本对上进行指令微调。本文评估的LVLMs包括LLaVA-OV-7B、InternVL3.5-8B、Qwen2.5-VL-3B/7B、Qwen3-VL-4B/8B、GPT4o等。

本文不仅评估纯视觉模型，还扩展到LVLMs，研究它们在语言引导下的细粒度视觉对应关系能力，揭示语言锚定定位与视觉参考匹配之间的差距。

零样本评估（Zero-shot Evaluation）

零样本评估是指模型在没有针对特定任务进行微调或训练的情况下，直接使用预训练的特征进行评估。在语义对应关系任务中，零样本评估的具体做法是：给定源图像和查询点，通过计算源图像特征向量与目标图像特征图之间的余弦相似度，找到目标图像中对应的关键点。预测公式为 $p_i^t = \arg\max_{q_i^t \in I^t} \text{sim}(f_i^s, \mathcal{F}^t(q_i^t))$，其中 $f_i^s$ 是源图像查询点处的特征向量，$\mathcal{F}^t$ 是目标图像的特征图。这种评估方式简单、实用，不需要超参数调优，能够直接反映预训练表示的质量。

本文使用零样本评估来测试各种基础模型的表示质量，这使得SOC可以作为一种实用的零样本诊断工具，比需要任务特定微调的下游任务评估更加高效。

研究动机

现有的语义对应关系基准存在严重局限性，无法系统性评估现代基础模型的结构化对象理解能力。具体而言，PF-PASCAL、SPair-71k、MISC210K等数据集存在以下问题：第一，它们将两种不同的能力混淆在单个类别内分数中——即识别相同的局部概念（如车轮中心）和识别其在对象中的正确重复实例（如左前轮vs右后轮）——这使得无法区分模型的不同失败模式；第二，它们不评估跨相关类别的传递能力（如汽车、公共汽车、拖拉机上的车轮中心），从而无法评估模型是否真正学习到了可泛化的语义概念；第三，现有的关键点注释往往基于几何启发式而非语义概念，缺乏系统性的层次结构，导致注释不一致和歧义；第四，现有基准不提供关键点的语言描述，无法评估大视觉语言模型在语言引导下的细粒度视觉对应关系能力。

本文的目标是本文的目标是创建一个大规模、分类法驱动的语义对象对应关系基准，能够系统性评估视觉基础模型和大视觉语言模型的结构化对象理解能力。具体来说，SOCO基准旨在：提供100个多样化类别（涵盖交通工具、手持物体、家具、动物四个超类）的语义一致性关键点注释；建立清晰的分类法，将语义对应关系分解为概念对应关系（CC）、语义对象对应关系（SOC）和跨类别SOC三个层次；提供超过100万个对应关系对，包括类别内和跨类别匹配；为所有关键点提供语言描述，使得能够评估LVLMs的语言-视觉对齐能力；通过简单的零样本协议，使SOC成为一种实用的表示质量诊断工具。

与已有工作不同的是，本文的独特切入角度是引入了一个基于分类法的语义对应关系公式化方法，明确将局部语义和对象级结构分离开来。与现有工作不同，本文不是简单地定义更多关键点或增加数据规模，而是从根本上重新思考语义对应关系的任务定义。通过提出Semantic Object Correspondence (SOC)这一概念，本文将对应关系任务分解为三个层次：概念对应关系（CC）测试是否能识别相同的局部语义概念；语义对象对应关系（SOC）测试是否能同时匹配语义概念和对象相对身份；跨类别SOC测试是否能在相关类别之间传递对应关系。这种分解使得不同的模型失败模式可以被独立测量，从而提供更细粒度的诊断。此外，本文还首次将语言描述与语义对应关系结合，使得能够系统性评估LVLMs在语言引导下的细粒度视觉理解能力，这是现有基准所不具备的。

核心方法

SOCO方法的核心思想是建立一个分类法驱动的语义对应关系评估框架，通过层次化的关键点注释和多层次的评估协议，系统性地测试模型的结构化对象理解能力。从直觉上讲，该方法认为要真正理解对象，模型不仅要能够识别对象的部件（如车轮、门、腿），还要能够理解这些部件在对象中的位置关系（如左前轮vs右后轮），并且能够将这种理解泛化到相关类别（如汽车车轮到公共汽车车轮）。技术上，该方法首先建立了一个语义概念的层次分类法，然后在这个分类法的基础上收集了大规模的关键点注释，最后设计了三个层次的评估协议（CC、SOC、Cross-SOC）来分别测试模型的语义识别能力、对象相对位置感知能力和跨类别泛化能力。

核心创新点是提出了Semantic Object Correspondence (SOC)这一分类法驱动的语义对应关系公式化方法，明确将对象部件语义与对象级结构分离开来。具体来说，SOC定义了三个层次的对应关系：Concept Correspondence (CC)匹配相同的局部概念，忽略对象相对位置；Semantic Object Correspondence (SOC)匹配相同概念和相同的对象相对身份，需要区分重复部件；Cross-category SOC通过共享分类法概念在相关类别之间匹配对象相对关键点。这种分解与现有基准的本质区别在于，它不是将不同能力混淆在一个分数中，而是使它们可以被独立测量，从而提供更精细的诊断。另一个核心创新是为所有关键点提供了语言描述，使得能够评估LVLMs在语言引导下的细粒度视觉对应关系能力，这是首次将语义对应关系与语言理解结合的基准。

方法步骤详情

SOCO数据集创建包括四个主要步骤。第一步是图像收集，所有图像都来自ImageNet，依赖ImageNet3D的人造物体2D和3D注释以及Animal3D数据集的动物关键点注释。只保留包含有效姿态元数据、描绘单个显著对象且对象尺寸足够大的图像。第二步是类别分布，SOCO包含100个类别，组织为四个高层超类：交通工具（31类）、手持物体（20类）、家具（9类）和动物（40类）。第三步是关键点注释，所有关键点都遵循引入的分类法。动物类别的注释可以从动物关键点数据集获取，而人造物体遵循分类法的注释不存在，因此需要收集。为此，通过Amazon Mechanical Turk获取初始注释，并通过手动验证阶段进行完善。开发了用户友好的UI和集成的关键点参考卡片来实现高质量注释。三名合格的注释员独立完成每个图像的注释，在去除异常值后进行中位数聚合。每个关键点注释都经过手动验证以确保一致性和准确性。注释员之间的中位数每关键点标准差为0.85%（归一化为最大图像尺寸），表明强烈的一致性。在手动验证期间，65.4%的注释只需要在PCK@0.05容差内的小幅完善，而6.8%需要更大的修正。第四步是语言描述，每个注释的关键点包括人类指定的语言描述，结合其类别、概念、对象部件中的关键点位置以及整体对象中对象部件位置的属性。描述通过程序化生成，使用元组（类别、概念、关键点在对象部件中的位置、对象部件在整体对象中的位置），例如"公共汽车左前轮的中心点"。

技术新颖性

SOCO的技术新颖性体现在多个方面。首先，它引入了Semantic Object Correspondence (SOC)这一分类法驱动的语义对应关系公式化方法，这是首次将语义对应关系系统性地分解为概念对应关系、对象相对位置感知和跨类别泛化三个层次。这种分解不仅使得不同的模型失败模式可以被独立测量，还澄清了什么构成跨对象类别和视角的有效对应关系。其次，SOCO是首个提供关键点语言描述的语义对应关系基准，这使得能够系统性评估LVLMs的语言-视觉对齐能力，填补了现有基准的空白。第三，SOCO提供了跨类别对应关系对，这是现有基准所不具备的，使得能够评估模型的跨类别泛化能力。第四，SOCO采用了简化的零样本评估协议，不需要超参数调优或任务特定微调，这使得它可以作为一种实用的表示质量诊断工具。最后，SOCO的规模和多样性也超过了现有基准，包含100个类别、4000张图像、约73k类别内SOC对、约1.3M跨类别对应关系对，涵盖了更广泛的类别范围和更平衡的类别分布。

**Fig. 1**: SOCO provides the first taxonomy-driven, language-grounded formulation of Semantic Object Correspondence (SOC), enabling structured, semantically coherent, and cross-category part annotations across 100 diverse categories, which allows evaluating semantic and structured object understanding in vision foundation models (VFMs) and large vision language models (LVLMs).

**Fig. 2**: Illustration of concept correspondence (CC), semantic object correspondence (SOC), and cross-category semantic object correspondence (Cross-SOC). SOCO differentiates CC and SOC, which define unique correspondences by disambiguating multiple instances of the same concept via geometric attributes, such as right. Cross-category matches (Cross-SOC) are derived from the accompanying category hierarchy.

**Fig. 3**: Statistics of labeled keypoints. Keypoints in SOCO are annotated for a diverse set of categories from four super-categories. Each category is labeled with a subset of keypoints that are shared across multiple categories. The animal keypoints are shared across all animal categories.

实验结果

实验结果揭示了几个重要发现。第一，视觉基础模型对语义概念的编码能力强于对对象级几何的感知能力。这表现为所有评估模型从CC到SOC的性能持续且大幅下降。例如，DINOv2从CC的78.9%下降到SOC的60.4%（下降18.5%），进一步下降到Cross-SOC的54.9%（下降24.0%）。这种下降幅度与整体模型性能成比例，表明更强的语义表示并不能缩小与几何部件感知的差距。第二，密集自监督学习目标比全局对齐目标产生更强的语义对应关系表示。DINO模型系列在概念对应关系（CC）上表现特别出色，表明它们的自监督目标学习到了鲁棒的局部语义特征。相比之下，使用全局对齐目标的模型（如CLIP）表现明显较差，CLIP在CC上仅达到25.2%，在SOC上仅达到16.2%。第三，重构基础模型（如MAE和CroCoV2）表现不佳，MAE在CC上仅达到14.4%，在SOC上仅达到9.4%，因为它们的目标主要鼓励实例级外观重构而非语义特征对齐。然而，PIXIO表明扩展重构基础目标可以显著改善密集对应关系表示。第四，LVLMs在文本提示的关键点定位方面强于视觉参考跨图像匹配，暴露了语言锚定定位与精细视觉对应关系之间的差距。例如，Qwen3-VL-8B在描述-only设置（Desc.）下达到54.0%，在视觉参考设置（Vis.）下仅达到34.2%。第五，DINOv2在所有设置下都优于评估的LVLMs，在4选择协议下达到81.0%，而最佳LVLM仅达到54.0%。这表明当前的LVLMs严重依赖文本指导，但在对齐视觉和文本模态进行细粒度跨图像对应关系方面的能力仍然有限。第六，SOC与密集下游任务的相关性比ImageNet kNN分类更强。在37个视觉模型上计算，SOC与每个下游任务（分割、跟踪、3D姿态、3D检测等）的Pearson相关系数都高于kNN。例如，在语义分割上，SOC的相关系数为0.5，而kNN为0.3，SOC的优势为Δr=0.2。

**Table 1**: Comparison of semantic correspondence benchmarks. SOCO uniquely combines a hierarchical keypoint taxonomy, language descriptions, and cross-category correspondence pairs while covering a large and diverse set of categories, compared to other SC datasets that include man-made objects.

**Table 2**: Model performances on SOCO. We report PCK@0.1 across concept correspondence (CC), semantic object correspondence (SOC), its cross-category variant (Cross-SOC), and the geometric variant (SOC-geo) as well as supercategory-wise results. As more geometric awareness is required for SOC and more semantic abstraction for Cross-SOC, model performance drops for all models. Model rankings change for geometric SOC, indicating that models encode object geometry and semantics to different extents.

**Table 3**: SOCO evaluation results for LVLMs. All settings show the target image with candidate keypoints; only the query differs. Vis. uses a marked source image, Vis.+Desc. additionally provides the keypoint description, and Desc. uses only the keypoint description as query. Gray values denote the absolute difference to Vis..

**Fig. 4**: Per-task Pearson r across 37 vision models, with 95% bootstrap CIs. Left: SOC correlates with every downstream task more strongly than ImageNet kNN. Right: the SOC advantage ∆r = rSOC−rkNN stays positive on all tasks and is preserved on a 17 subset only including models trained with dense SSL objectives.

查看结构化数据

任务	指标	本文	基线	提升
概念对应关系（CC）	PCK@0.1	DINOv2: 78.9%	DINOv1: 43.8%, CLIP: 25.2%, MAE: 14.4%	DINOv2相比DINOv1提升35.1个百分点，相比CLIP提升53.7个百分点
语义对象对应关系（SOC）	PCK@0.1	DINOv2: 60.4%	DINOv1: 30.6%, CLIP: 16.2%, MAE: 9.4%	DINOv2相比DINOv1提升29.8个百分点，相比CLIP提升44.2个百分点
跨类别SOC（Cross-SOC）	PCK@0.1	DINOv2: 54.9%	DINOv1: 23.9%, CLIP: 11.4%, MAE: 7.1%	DINOv2相比DINOv1提升31.0个百分点，相比CLIP提升43.5个百分点
LVLM视觉参考匹配（Vis.）	4-choice准确率	Qwen3-VL-8B: 34.2%	DINOv2: 81.0%, LLaVA-OV-7B: 2.9%, GPT4o: 30.2%	Qwen3-VL-8B相比LLaVA-OV-7B提升31.3个百分点，但仍落后于DINOv2 46.8个百分点
LVLM文本提示定位（Desc.）	4-choice准确率	Qwen3-VL-8B: 54.0%	LLaVA-OV-7B: 24.3%, GPT4o: 37.6%, DINOv2: 81.0%	Qwen3-VL-8B相比LLaVA-OV-7B提升29.7个百分点，相比GPT4o提升16.4个百分点

局限与改进

作者承认SOCO存在一些局限性。首先，SOCO依赖于ImageNet的图像，这意味着它继承了ImageNet的偏差和类别限制。虽然SOCO包含100个类别，但这些类别仍然受限于ImageNet的类别体系，可能不涵盖某些开放世界场景。其次，SOCO的关键点注释基于现有的姿态估计数据集（ImageNet3D和Animal3D），这意味着注释的质量和一致性受限于这些原始数据集。虽然作者通过手动验证提高了注释质量，但可能仍然存在一些不一致性。第三，SOCO的评估主要关注零样本设置，这可能无法完全反映模型在下游任务中的表现，尽管作者证明了SOC与密集下游任务的相关性比ImageNet kNN更强。第四，SOCO的语言描述是通过程序化生成的，可能无法完全捕捉人类对关键点的自然语言描述的多样性。此外，基于我的观察，SOCO还存在一些潜在局限性。首先，SOCO的跨类别匹配仍然限制在相同超类别内的类别之间（如交通工具类别内的汽车、公共汽车、拖拉机），这意味着它可能无法完全评估模型在更广泛的跨类别场景下的泛化能力。其次，SOCO的评估协议主要基于余弦相似度的最近邻匹配，这可能无法捕捉模型在更复杂的对应关系推理任务中的能力。第三，SOCO目前主要关注静态图像，未来可能需要扩展到视频场景以评估模型在时序对应关系中的表现。

独立分析的弱点

SOCO存在几个可以改进的弱点。首先，数据集的类别多样性仍然受限于ImageNet，未来可以扩展到更多开放世界场景，包括更广泛的类别分布和更不受约束的图像来源（如野外照片、社交媒体图像等）。这可以帮助评估模型在更真实场景下的泛化能力。改进方向是构建一个更大规模、更多样化的数据集，涵盖更多类别和更复杂的场景。其次，SOCO的关键点注释依赖于2D投影，这可能限制了对3D结构理解能力的评估。改进方向是引入3D关键点注释和多视角图像，使得能够更全面地评估模型的3D感知能力。第三，SOCO的语言描述是通过程序化生成的，可能无法完全捕捉人类自然语言描述的多样性和歧义性。改进方向是收集人类生成的多样化语言描述，使得能够更全面地评估LVLMs在理解自然语言描述方面的能力。第四，SOCO的评估协议主要基于余弦相似度的最近邻匹配，这可能无法捕捉模型在更复杂的对应关系推理任务中的能力，如基于上下文的推理、多跳推理等。改进方向是设计更复杂的评估协议，测试模型在更高层次的视觉推理任务中的表现。第五，SOCO目前主要关注静态图像，未来可以扩展到视频场景，评估模型在时序对应关系中的表现，这对于视频理解、动作识别等任务非常重要。改进方向是构建视频版本的SOCO，包含时序对应关系对。

未来方向

作者提出了几个未来研究方向。首先，可以扩展SOCO到更多开放世界场景，包括更广泛的类别分布和更不受约束的图像来源。其次，可以引入3D关键点注释和多视角图像，使得能够更全面地评估模型的3D感知能力。第三，可以设计更复杂的评估协议，测试模型在更高层次的视觉推理任务中的表现，如基于上下文的推理、多跳推理等。第四，可以将SOCO扩展到视频场景，评估模型在时序对应关系中的表现。基于SOCO的成果，还可以延伸出几个未来研究方向。首先，可以基于SOCO的诊断结果，设计新的训练目标来改善模型的语义对应关系能力，特别是减少CC→SOC和SOC→Cross-SOC的性能下降。例如，可以设计显式建模对象级结构的训练目标，或者引入跨类别对应关系的学习信号。其次，可以基于SOCO对LVLMs的评估结果，设计新的方法来改善LVLMs在视觉-语言对齐方面的能力，特别是在细粒度跨图像对应关系任务中的表现。例如，可以设计预训练策略来增强LVLMs对视觉-语言细粒度对齐的学习，或者在指令微调中引入更多细粒度视觉推理任务。第三，可以基于SOCO与密集下游任务的相关性，使用SOCO作为更高效的模型选择和超参数调优工具，减少对大规模下游任务评估的依赖。第四，可以基于SOCO的分类法，设计新的模型架构来显式建模语义概念和对象级结构，例如分离的语义概念编码器和对象结构编码器。

复现评估

SOCO的复现性较好。作者已经开源了数据集和评估框架，这使得其他研究者可以轻松复现实验结果。数据集包含100个类别、4000张图像、约73k类别内SOC对、约1.3M跨类别对应关系对，以及所有关键点的语言描述。评估框架提供了统一的零样本评估协议，使得可以公平地比较不同的模型。然而，复现实验仍然需要相当的算力资源，因为评估需要处理多个大型基础模型，如DINOv2、I-JEPA、CLIP等，这些模型的计算开销较大。此外，评估LVLMs需要调用大型语言模型的API或运行本地模型，这也需要相当的计算资源。总体而言，SOCO的复现难度中等偏高，主要受限于算力需求。但作者提供了详细的实验设置和实现细节，使得其他研究者可以在合理的资源投入下复现实验结果。

SOCO：在视觉基础模型中评估语义对象对应关系的基准测试 SOCO: Benchmarking Semantic Object Correspondence in Vision Foundation Models