ObjEmbed：迈向通用多模态对象嵌入

基于MLLM的对象嵌入模型，用对象+IoU双token实现精细视觉理解与检索

前置知识

对比学习（Contrastive Learning）

对比学习是一种通过拉近正样本对、推远负样本对来学习表征的方法。在视觉-语言领域，CLIP等模型通过对比图像-文本对来学习跨模态嵌入空间。具体来说，给定一批图像-文本对，模型优化目标是让匹配的图像和文本嵌入相似度高，不匹配的相似度低。常用的损失函数包括InfoNCE和sigmoid focal loss。对比学习的关键优势是可扩展性强，能够利用大规模无标注数据进行预训练。

ObjEmbed使用sigmoid focal loss进行区域级和图像级对比学习，理解对比学习原理是理解本文训练目标的基础。

多模态大语言模型（MLLM）

多模态大语言模型是将视觉编码器与大语言模型结合的架构，能够同时处理图像和文本输入。典型代表包括Qwen-VL、InternVL等。这些模型通常使用视觉编码器（如ViT）提取图像特征，然后通过投影层将视觉特征映射到语言模型的嵌入空间。MLLM具有强大的视觉理解和推理能力，可以执行复杂的视觉问答、图像描述等任务。

ObjEmbed基于Qwen3-VL-Instruct微调，理解MLLM架构有助于把握本文的技术基础和设计选择。

RoIAlign与区域提议

RoIAlign（Region of Interest Alignment）是目标检测中用于从特征图提取固定大小区域特征的技术，通过双线性插值避免量化误差。区域提议（Region Proposal）是生成候选目标区域的过程，现代检测器如RPN、WeDetect-Uni等可以自动生成大量候选框。每个提议框通过RoIAlign提取特征后，可以用于后续的分类和定位。

ObjEmbed使用WeDetect-Uni生成100个提议，并通过RoIAlign提取区域特征作为对象嵌入的初始化，这是理解模型输入的关键。

IoU（交并比）

IoU（Intersection over Union）是衡量两个边界框重叠程度的指标，计算方式为交集面积除以并集面积。IoU值范围在0到1之间，值越大表示两个框越接近。在目标检测中，IoU通常用于评估预测框与真实框的匹配质量，阈值0.5是常用的正负样本划分标准。IoU也常作为评估指标，如COCO的mAP计算就基于多个IoU阈值。

本文创新性地引入IoU token来预测提议框的质量，IoU embedding与对象embedding解耦是核心设计之一。

Sigmoid Focal Loss

Focal Loss是为解决类别不平衡问题设计的损失函数，通过降低易分类样本的权重，让模型专注于难分类样本。Sigmoid Focal Loss是其变体，适用于多标签分类场景。具体公式为：当正样本时损失为 $-\alpha(1-p)^{\gamma}\log(p)$，负样本时为 $-(1-\alpha)p^{\gamma}\log(1-p)$，其中 $\alpha$ 控制正负样本权重，$\gamma$ 聚焦难样本。相比softmax损失，sigmoid损失允许一个样本同时匹配多个正类。

ObjEmbed使用sigmoid focal loss处理部分匹配和一对多匹配场景，这对对象级对比学习至关重要。

研究动机

当前多模态嵌入模型在全局图像-文本对齐方面表现优秀，但在细粒度的对象级别对齐上存在明显不足。具体来说，在自动驾驶场景中需要识别远处的交通标志，在机器人操作中需要精确定位小零件，在内容安全审核中需要检测特定区域的对象，这些都需要模型能够精确表示图像中的单个对象并与文本描述对齐。现有方法如FG-CLIP虽然引入了区域对比学习，但其对象嵌入缺乏对边界框质量的显式建模，无法评估定位置信度。而开放词汇目标检测方法虽然能准确定位对象，但由于训练数据有限，泛化能力受到限制。此外，传统检测器受限于固定类别词汇表，无法处理复杂的自然语言描述。

本文的目标是本文旨在构建一个通用的对象嵌入模型，能够同时实现三个目标：（1）对象导向表示，即每个对象的嵌入同时编码语义信息和空间定位质量；（2）多功能性，即统一框架支持对象检测、引用表达理解和图像检索等多种任务；（3）高效编码，即单次前向传播编码图像中所有对象。具体目标包括在COCO数据集上实现超过50%的mAP，在RefCOCO系列上达到接近90%的准确率，并在局部图像检索任务上显著超越现有全局嵌入模型。

与已有工作不同的是，本文的独特切入角度在于将对象嵌入解耦为语义嵌入和定位质量嵌入两个互补部分。现有工作要么只关注语义匹配（如CLIP系列），要么只关注定位精度（如传统检测器），而ObjEmbed通过引入专门的IoU token来显式建模边界框质量，并将最终匹配分数计算为语义相似度与预测IoU的乘积。这种设计使得模型能够像经验丰富的视觉专家一样，同时考虑"这是什么"和"定位有多准"两个维度。此外，本文发现将分类和定位学习放在同一个token中会导致优化冲突，这一发现指导了双token架构的设计。

核心方法

ObjEmbed的核心思路可以用一个类比来理解：想象一个经验丰富的图像标注员在看图时，他不仅会识别图中有什么物体（语义理解），还会评估自己标注的边界框是否准确（定位置信度）。传统嵌入模型只做了前者，而ObjEmbed两者兼顾。技术路线上，ObjEmbed基于Qwen3-VL-Instruct进行微调，引入5个特殊token：用于对象语义、用于定位质量、用于全局图像、和分别用于对象级和图像级文本查询。模型首先使用WeDetect-Uni生成100个对象提议，通过RoIAlign提取特征后压缩为单个token，然后与特殊token一起送入LLM进行编码。所有对象和全局图像在单次前向传播中并行处理，每个对象仅消耗8个token，效率极高。

ObjEmbed最核心的创新是双token解耦设计和乘积匹配策略。具体来说，传统方法要么用单个token同时学习分类和定位，要么只关注语义匹配。本文发现，用单个token同时学习分类和IoU预测会导致优化冲突，因为分类需要学习类别的共享特征，而定位需要学习实例特定的空间信息。因此，本文为每个对象引入两个互补token： token专注于语义内容， token专注于边界框质量。最终的对象匹配分数计算为分类分数与预测IoU的乘积：$\text{score} = \text{cls\_score} \times \text{iou\_score}$。这种设计使得模型在检索时能够自动优先选择语义相关且定位准确的对象，有效平衡了语义相关性和空间准确性。实验表明，这种解耦设计在COCO上带来了3.2%的mAP提升。

方法步骤详情

ObjEmbed的完整流程包括四个步骤：（1）提议生成与特征提取：使用WeDetect-Uni为每张图像生成100个提议框，通过RoIAlign提取区域特征，然后通过对象投影器压缩为单个token，初始化 token。（2）序列构建：将全局图像token、所有对象token（按"Object i: "格式组织）和全局图像token拼接成完整序列，同时为不同任务添加任务指令。（3）嵌入编码：将视觉序列和文本查询（如"Find an object that matches the given caption. CAPTION "）分别送入共享的LLM编码器，最后一层的隐藏状态分别作为对象嵌入、IoU嵌入、全局图像嵌入和文本嵌入。（4）匹配与评分：对于对象检测和引用表达理解，计算对象嵌入与文本嵌入的余弦相似度作为分类分数，IoU嵌入通过线性头预测定位分数，最终匹配分数为两者乘积。对于图像检索，取所有对象匹配分数的最大值作为图像级相关性。

技术新颖性

ObjEmbed的技术新颖性体现在三个方面：首先，双token解耦设计是首次在嵌入模型中显式建模定位质量，与现有方法（如FG-CLIP只用区域对比学习、CLARE受限于传统检测器框架）形成本质区别。其次，乘积匹配策略将语义相似度和定位置信度统一在同一个评分框架下，避免了传统方法中需要额外后处理来平衡两者的复杂性。第三，高效编码架构使得所有对象和全局图像在单次前向传播中完成编码，每个对象仅需8个token，相比自回归解码方法（如Qwen3-VL需要逐token生成坐标）效率提升一个数量级。此外，本文还创新性地使用两个全局图像token分别学习长文本和短文本描述，更好地适应不同粒度的检索需求。

实验结果

ObjEmbed在18个多样化基准测试中展示了强大且均衡的性能。在对象检测方面，ObjEmbed-4B在COCO上达到53.0% mAP，超越了大多数专门设计的检测器（如DINO-R50的51.2%），同时在CCO-O（58.0% AP）、ODinW13（50.8% AP）等分布外数据集上表现稳健。在细粒度基准FG-OVD上，ObjEmbed在Hard、Medium、Easy和Trivial四个难度级别分别达到66.1%、74.1%、77.2%和76.0% AP，显著超越现有方法。在引用表达理解方面，ObjEmbed-4B在RefCOCO/+/g上平均准确率达到89.5，超越了专门设计的VLM-R1（86.3）和更大规模的InternVL3.5-38B（89.1）。最令人印象深刻的是局部图像检索结果：在SORCE-1K上，ObjEmbed-4B达到71.7% Recall@1，比最强的全局嵌入模型Qwen3-VL-Embedding-8B（49.1%）高出22.6个百分点；在REIRCOCO上达到39.3%（比第二名高10.7点）；在ILIAS上达到77.6% mAP@50（比第二名高19.7点）。在全局图像检索方面，尽管仅使用130万样本训练（远少于CLIP系列的数亿样本），ObjEmbed-4B仍达到81.7的平均分，与Qwen3-VL-Embedding-8B（81.5）相当。效率方面，ObjEmbed-4B在检索任务上达到6.9 fps，在引用表达理解上达到4.0 fps，比基础模型Qwen3-VL-4B（0.4 fps）快10倍。

查看结构化数据

任务	指标	本文	基线	提升
COCO对象检测	mAP	53.0%	WeDetect-Ref-4B (50.0%)	+3.0%
RefCOCO/+/g引用表达理解	平均准确率	89.5	InternVL3.5-38B (89.1)	+0.4
SORCE-1K局部检索	Recall@1	71.7%	Qwen3-VL-Embedding-8B (49.1%)	+22.6%
REIRCOCO局部检索	Recall@1	39.3%	Qwen3-VL-Embedding-8B (28.6%)	+10.7%
ILIAS局部检索	mAP@50	77.6%	FG-CLIP2 (57.9%)	+19.7%
全局图像检索（平均）	平均分	81.7	Qwen3-VL-Embedding-8B (81.5)	+0.2
FG-OVD Hard	AP	66.1%	WeDetect-Ref-4B (31.1%)	+35.0%
推理速度（REC）	fps	4.0	Qwen3-VL-4B (0.4)	10倍加速

局限与改进

作者在论文中坦诚地指出了几个局限性：首先，由于资源限制，当前仅使用130万样本进行训练，远少于CLIP系列模型使用的数亿样本，这限制了模型的泛化能力。其次，硬负例挖掘对于学习判别性嵌入至关重要，但有效的挖掘需要平衡假阴性问题（即标注不完整导致的正样本被误判为负样本），目前尚未探索最佳策略。此外，从我的观察来看，ObjEmbed依赖于外部提议网络（WeDetect-Uni）的质量，尽管实验表明模型对提议网络具有一定鲁棒性，但当对象召回率不足时（如LVIS上AR仅为50.8%），整体性能仍受限。另外，模型在全局图像检索上虽然表现竞争，但与专门优化的CLIP系列模型相比，在某些数据集（如Flickr30K短文本）上仍有差距，这可能是因为训练目标更侧重于对象级表示。最后，双token设计虽然带来性能提升，但也增加了序列长度，尽管影响不大。

独立分析的弱点

尽管ObjEmbed取得了优异成绩，我分析出以下几个弱点及改进方向：（1）提议网络依赖性：模型性能受限于提议网络的召回率，如LVIS上AR仅为50.8%，意味着近一半对象被遗漏。改进方向是集成更强大的开放世界提议网络，或设计端到端的可学习提议机制，如借鉴DETR的查询机制。（2）硬负例挖掘缺失：当前训练使用简单的IoU阈值（0.5）划分正负样本，未探索困难样本挖掘策略。可以引入在线硬负例挖掘（OHEM）或对比学习中的难负例采样技术，提升嵌入的判别性。（3）单尺度特征：当前仅使用单一尺度的视觉token（900-1200个），对于小对象可能特征不足。可以借鉴FPN的多尺度融合策略，为不同大小的对象提供更合适的特征分辨率。（4）文本编码效率：文本查询需要独立的前向传播，在批量检索场景下效率较低。可以探索文本嵌入的预计算和缓存机制，或设计更高效的文本编码架构。

未来方向

基于本文成果，未来研究可以从以下几个方向展开：（1）数据规模扩展：作者已指出当前训练数据有限，未来可以通过更大规模的自动标注（如利用更强的MLLM生成描述）或半监督学习来扩展数据，有望进一步提升泛化能力。（2）视频对象嵌入：将本文框架扩展到视频领域，为视频中的对象生成时序一致的嵌入，支持视频检索和理解任务。（3）3D场景理解：结合深度信息，将2D对象嵌入扩展到3D空间，支持点云或NeRF场景中的对象检索。（4）交互式检索：利用IoU嵌入提供的定位置信度，设计主动学习或人机交互机制，让用户可以迭代式地细化检索结果。（5）多粒度层次嵌入：在对象嵌入之上，进一步引入部件级（如手臂、车轮）和场景级的层次化嵌入，构建更完整的视觉语义表示体系。

复现评估

从复现角度来看，ObjEmbed具有较好的可复现性。代码已在GitHub开源（https://github.com/WeChatCV/ObjEmbed），提供了完整的训练和推理代码。训练数据方面，模型使用130万样本，包含公开数据集（COCO、LVIS、V3Det、RefCOCO系列等）和自收集数据（50万张来自SA-1B和网络爬取），其中自收集数据的标注使用Qwen3-VL-235B自动生成，标注成本可控。算力需求方面，训练使用16张GPU，batch size为每GPU 2张图像，训练2个epoch，对于学术实验室来说资源需求中等。推理方面，基于Qwen3-VL-2B和4B两个版本，可以在单张消费级GPU上运行。复现难度主要在于需要获取WeDetect-Uni提议网络和理解双token训练策略，但论文提供了详细的实现细节和消融实验，有助于研究者理解和复现核心设计。