ExpAlign: 基于期望引导的开放词汇视觉-语言对齐框架 ExpAlign: Expectation-Guided Vision-Language Alignment for Open-Vocabulary Grounding
通过注意力软MIL池化实现token级隐式选择，提升开放词汇检测与分割性能
前置知识
CLIP视觉-语言对齐
CLIP（Contrastive Language-Image Pre-training）通过对比学习在共享嵌入空间中对齐图像和文本表示。它使用双编码器架构：一个图像编码器（通常是ViT）将图像映射为全局向量，一个文本编码器将句子映射为同维向量。训练目标是让匹配的图文对在嵌入空间中距离更近，不匹配的更远。然而，CLIP将整个文本提示压缩为单一的全局嵌入向量（通常取EOT token的表示），这种设计丢失了文本内部的细粒度结构信息，如属性绑定、空间关系和否定语义。
本文的核心动机正是CLIP全局嵌入的局限性——它无法同时编码属性绑定、空间关系和否定语义，这直接推动了ExpAlign的token级对齐设计
开放词汇检测（Open-Vocabulary Detection）
传统目标检测只能识别训练集中预定义的固定类别（如COCO的80类），而开放词汇检测允许模型在推理时识别任意文本描述的目标。这通常通过将检测器的分类头替换为视觉-语言模型的文本嵌入来实现，使得模型可以处理训练时从未见过的类别。评估通常在LVIS数据集上进行，该数据集包含1203个类别，且呈现严重的长尾分布（频繁类、常见类、稀有类）。
ExpAlign的目标任务就是开放词汇检测和零样本实例分割，理解这一任务设定是理解所有实验结果的前提
多实例学习（Multiple Instance Learning, MIL）
MIL是一种弱监督学习范式，其中训练样本被组织为'袋'（bag），每个袋包含多个实例。标签仅在袋级别给出，而实例级别的标签未知。经典MIL假设正袋中至少有一个正实例，负袋中所有实例都是负的。注意力机制的引入使得MIL可以通过学习实例权重来实现软池化（soft pooling），而非简单的最大池化，从而实现端到端的梯度传播。
ExpAlign将EAM的计算过程精确映射到注意力软MIL池化的框架中，这是本文的理论核心——空间位置被视为实例，文本token被视为竞争假设
LVIS数据集与长尾分布
LVIS（Large Vocabulary Instance Segmentation）是开放词汇评估的标准基准，包含1203个类别。其核心特点是类别频率呈严重长尾分布：频繁类（frequent）出现在超过100张训练图像中，常见类（common）出现在10-100张之间，稀有类（rare）出现在少于10张中。这种分布导致模型在稀有类上的性能（APr）通常远低于频繁类（APf），是衡量开放词汇方法泛化能力的关键指标。
ExpAlign在稀有类APr上取得36.2的优异成绩，超越所有同类方法，这是论文最核心的贡献之一
能量模型与Gibbs分布
能量模型（Energy-Based Model）通过定义能量函数 E(x) 来隐式定义概率分布：p(x) ∝ exp(-E(x)/τ)，其中 τ 是温度参数。Gibbs分布是能量模型在有限离散空间上的特例，具有最优的熵正则化性质。在变分推断框架中，最小化自由能泛函 F[Q] = E_Q[E] - λ·E_Q[A] + τ·KL(Q||U) 的最优解正是Gibbs分布形式。温度 τ 控制分布的尖锐程度：τ→0 时退化为硬选择（argmax），τ→∞ 时退化为均匀分布。
ExpAlign的几何感知一致性目标（GACO）在理论上被严格推导为Gibbs重加权的形式，理解这一数学框架是理解GACO损失函数设计动机的关键
研究动机
开放词汇定位（open-vocabulary grounding）要求模型在弱监督条件下将自由形式的文本描述精确地定位到图像中的空间区域，但现有方法面临两大根本性困境。第一类方法依赖全局句子嵌入，即将整个文本提示压缩为单一向量（如CLIP的EOT token），然后与视觉特征计算余弦相似度。然而，最近的理论分析（Kang et al., 2025b）证明，这种压缩在几何上存在根本瓶颈：一个单一的全局表示无法同时编码属性绑定（如'red car'中的'red'必须绑定到'car'）、空间关系（如'left of'）和否定语义（如'without helmet'），因为余弦相似度的对称性会丢失这些结构化信息。第二类方法引入token级对齐（如GLIP的区域-词对比学习），但通常需要显式的跨注意力结构设计或短语级标注，这增加了模型复杂度且难以在弱监督场景下稳定优化。在实际应用中，LVIS数据集的1203个类别呈现严重的长尾分布，稀有类（rare categories）的训练样本不足10张图像，现有方法在这些稀有类上的检测精度（APr）通常比频繁类低10个AP以上，严重影响了实际部署中的长尾覆盖能力。
本文的目标是本文的具体目标是设计一个理论上严格、实践中轻量的视觉-语言对齐框架，能够在弱监督条件下实现token级的细粒度对齐，同时避免引入额外的标注成本或复杂的跨注意力结构。具体而言，框架需要：(1) 在不使用实例级标注的情况下，通过隐式机制选择信息丰富的token和空间位置；(2) 在多尺度特征图上产生空间一致的对齐映射（alignment maps），用于下游检测和分割；(3) 在LVIS稀有类上显著提升检测精度，同时保持对频繁类和常见类的竞争力；(4) 保持推理时的轻量性——对齐模块仅在训练时使用，推理时可直接移除，不增加计算开销。
与已有工作不同的是，ExpAlign的独特切入角度在于将期望对齐映射（EAM）的计算过程形式化为多实例学习（MIL）中的注意力软池化操作。这一视角转换带来了三重优势：首先，它将每个空间位置视为一个实例，将每个文本token视为一个竞争假设，通过softmax权重实现隐式的token选择，无需任何额外标注；其次，MIL框架天然具有置换不变性，保证了训练的稳定性；第三，它允许引入受理论支撑的正则化目标——多正例InfoNCE损失用于促进实例级语义分离，几何感知一致性目标（GACO）用于在正区域内塑造能量景观的几何结构，两者均在Lagrangian约束的自由能最小化框架下得到严格的变分推导。与现有方法相比，ExpAlign不需要额外的跨注意力模块（如Grounding DINO的encoder-decoder架构），不需要短语级标注（如GLIP），也不需要冻结的SAM模型生成的伪标签进行额外的监督（虽然论文中使用SAM-2.1生成伪实例掩码用于分割头训练，但对齐模块本身不依赖于此）。
核心方法
ExpAlign的整体思路可以从直觉和技术路线两个层面来理解。直觉上，当模型看到一个文本提示如'knee-high socks'时，理想情况下应该让'knee'、'high'、'socks'这三个token分别贡献不同的空间信息：'socks'提供目标类别，'knee-high'提供形状约束。ExpAlign通过计算每个token与所有空间位置的相似度，然后根据token的全局重要性进行加权聚合，实现了这种细粒度的对齐。技术路线上，框架由三个核心组件构成：(1) 期望对齐头（EAH），在多尺度特征图的每个尺度上独立运行，对token级相似度进行注意力软池化，产生prompt条件化的空间对齐映射（EAM）；(2) 一致性正则化模块，在EAM上施加跨尺度的语义约束和几何约束，包括一个Top-K多正例对比目标和一个几何感知一致性目标（GACO），两者均从Lagrangian约束的自由能最小化中推导而来；(3) 标准的YOLOv8检测/分割头，直接消费EAH产生的对齐映射进行最终预测。整个框架仅有26M可训练参数（60M总计，其中34M冻结），兼容任何多尺度检测架构。
ExpAlign的核心创新在于将token级视觉-语言相似度的聚合过程解释为多实例学习（MIL）中的注意力软池化，并在此基础上设计了理论上严格的正则化策略。具体而言，给定特征尺度 s 上的视觉特征图 F^b_s ∈ R^{C×H_s×W_s} 和 L 个token嵌入 T_{b,p} ∈ R^{L×C}，EAH首先计算每个空间位置 (x,y) 与每个token l 的点积相似度 S^b_{s,p}(x,y,l) = ⟨F_s(x,y), T_{b,p}(l)⟩，然后通过空间平均池化估计每个token的全局重要性 S̄^b_{s,p}(l)，接着用softmax得到token后验分布 π^b_{s,p}(l)，最终通过期望计算得到对齐映射 S̃^b_{s,p}(x,y) = Σ_l π^b_{s,p}(l)·S^b_{s,p}(x,y,l)。这一过程与注意力MIL池化在数学上等价：每个空间位置是一个实例 v_i = (S(i,1),...,S(i,L))^T，token后验 π 是共享的注意力权重，对齐分数 S̃(i) = π^T v_i 是实例分数。与现有方法的本质区别在于：GLIP等方法使用显式的区域-词对比学习，需要短语级标注；Grounding DINO使用重型encoder-decoder跨注意力结构；而ExpAlign仅通过一个轻量的软池化操作就实现了隐式的token和实例选择，且不需要额外标注。
方法步骤详情
ExpAlign的方法步骤如下：第一步，输入图像通过冻结的DINOv3 ConvNeXt-T图像编码器提取多尺度特征图 F_s ∈ R^{C×H_s×W_s}（s ∈ {3,4,5}，分别对应P3/P4/P5三个FPN层级），同时文本提示通过冻结的CLIP ViT-L/14文本编码器得到保留所有token的嵌入 T_{b,p} ∈ R^{L×C}，再经过一个轻量的残差SwiGLU前馈网络映射到视觉特征空间。第二步，对于每个尺度 s，EAH计算token级点积相似度矩阵，通过空间平均池化得到token重要性分数，经softmax归一化得到token后验分布 π，最后通过期望聚合得到EAM S̃^b_{s,p} ∈ R^{H_s×W_s}。第三步，一致性正则化模块的语义约束分支：将多尺度EAM下采样到最粗分辨率（P5）并求和得到统一对齐映射，选取Top-1%响应位置计算prompt级logit，构建多正例InfoNCE损失 L_sem。第四步，几何约束分支：将多尺度EAM上采样到P3分辨率并求和得到高分辨率统一对齐映射，应用softmax得到prompt-patch概率分布 P_b(p,i)，在每个ground-truth区域内计算局部对齐置信度的均值 μ_{b,p} 和标准差 σ_{b,p}，定义相对一致性分数 A_{b,p}(i) = clip((R_{b,p}(i) - μ_{b,p})/σ_{b,p}, -c, c)，最终GACO损失 L_geo 为区域内优势加权的负对数似然。第五步，训练时总损失 L = L_{det/seg} + λ_sem·L_sem + λ_geo·L_geo（λ_sem=0.5, λ_geo=1.0），推理时EAH和正则化模块均被丢弃，仅保留标准检测/分割头。
技术新颖性
ExpAlign的技术新颖性体现在以下几个方面：首先，将EAM的计算过程形式化为MIL软池化是一个新颖的理论视角，这使得论文能够从MIL的理论工具箱中借用置换不变性保证和注意力池化的表达能力分析（附录A给出了完整的等价性证明）。其次，GACO的设计具有坚实的变分推理论基础：论文证明了在能量场、实例级几何分数和正则化参数三个假设下，最小化自由能泛函 F[Q] = E_Q[E] - λ·E_Q[A] + τ·KL(Q||U) 的最优解是Gibbs分布形式，GACO正是这一最优分布的交叉熵训练目标（附录B给出了完整的变分推导）。第三，GACO的相对一致性分数 A_{b,p}(i) 仅依赖于实例内统计量（均值和标准差），对对齐分数的单调仿射变换具有不变性，这避免了绝对几何目标可能带来的优化不稳定。第四，SwiGLU前馈网络的第二层初始化为零的设计使得模块初始时为恒等映射，确保token级对齐的学习不会破坏预训练CLIP的几何结构。第五，两阶段训练策略——第一阶段仅用标准YOLOv8损失训练30个epoch建立基础检测能力，第二阶段引入对比和几何损失再训练20个epoch——有效避免了对齐目标与检测目标的早期冲突。
实验结果
ExpAlign在多个基准测试上展现了强劲的零样本开放词汇检测和分割性能。在LVIS minival上，使用OG+RefC数据训练的ExpAlign达到37.1 AP和36.2 APr（稀有类），在可比模型规模下超越所有同类方法。具体而言，36.2 APr比YOLO-Worldv2-L的27.6高出8.6个点，比YOLOE-8-L的33.2高出3.0个点，比Grounding DINO-T的18.1高出18.1个点（虽然GDINO使用更大的Swin-T骨干网络和更多数据）。在零样本实例分割上（Table 2），ExpAlign在LVIS val上达到29.9 APm和29.0 APmr，比YOLOE-v8-L的23.5 APm高出6.4个点，比YOLO-Worldv2-L（在LVIS-Base上微调过的）的19.8 APm高出10.1个点，这一显著提升主要归因于GACO正则化项对mask精度和边界对齐的改善。在下游迁移实验中（Table 3），ExpAlign在线性探测（10 epochs）策略下达到47.2 APb和39.2 APm，超越YOLOE-v8-L的45.4 APb和38.3 APm；在全微调（80 epochs）策略下达到53.5 APb和42.9 APm，同样超越基线。在ODinW基准上，ExpAlign达到48.0 AP（ODinW13）和22.6 AP（ODinW35），与Grounding DINO-T的49.7/22.3相当，但使用更轻量的设计。消融实验（Table 5）表明，token级对齐（EAH）相比均值池化和全局EOT token分别提升了5.2和2.7个AP，在稀有类上分别提升了8.9和3.0个APr，验证了细粒度对齐对长尾分布的关键作用。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LVIS minival零样本检测 | AP | 37.2 | 35.9 (YOLOE-8-L) | +1.3 |
| LVIS minival零样本检测（稀有类） | APr | 36.2 | 33.2 (YOLOE-8-L) | +3.0 |
| LVIS val零样本实例分割 | APm | 29.9 | 23.5 (YOLOE-v8-L) | +6.4 |
| LVIS val零样本实例分割（稀有类） | APmr | 29.0 | 21.9 (YOLOE-v8-L) | +7.1 |
| ODinW13零样本检测 | AP | 48.0 | 49.7 (GDINO-T) | -1.7 |
| COCO下游微调（线性探测） | APb | 47.2 | 45.4 (YOLOE-v8-L) | +1.8 |
| COCO下游微调（全微调） | APb | 53.5 | 53.0 (YOLOE-v8-L) | +0.5 |
局限与改进
ExpAlign存在几个明显的局限性。首先，在指代表达理解（Referring Expression Comprehension, REC）任务上，ExpAlign表现不佳。在RefCOCO val/testA/testB上分别达到51.6/59.3/47.7，远低于Grounding DINO-T的74.0/74.9/59.3（Table 4）。论文坦诚地承认了这一局限，并将其归因于CLIP文本编码器在理解位置和关系语言（如'left of'、'behind'、'next to'）方面的固有弱点，这恰恰是RefCOCO+和RefCOCOg中大量出现的语言现象。其次，虽然ExpAlign在ODinW上总体表现与Grounding DINO-T相当，但在某些特定子集上存在明显波动：例如在NorthAmericaMushrooms上仅25.38（GDINO为68.18），在Raccoon上46.29（GDINO为60.07），在pothole上7.30（GDINO为25.21），这表明ExpAlign对某些域特定分布的泛化能力仍有不足。第三，全局负样本词汇的选择对稀有类性能有显著影响（约±0.8% APr波动），但目前缺乏标准化的方法来系统地构建最优负样本集，论文将此列为开放问题。第四，ExpAlign使用DINOv3作为视觉骨干网络时，如果不冻结参数会导致训练崩溃（Table 7中DINOv3 N/A），这限制了端到端微调的灵活性。
独立分析的弱点
ExpAlign的弱点可以从几个具体场景来分析。第一，空间关系理解能力不足：在RefCOCO+（专注于相对空间描述，如'the cup to the left of the plate'）上，ExpAlign的testB仅为45.5，而Grounding DINO-T为56.1。改进方向可以考虑引入位置编码增强的文本编码器，或在EAH中加入显式的空间关系建模模块，如相对位置注意力偏置。第二，CLIP文本编码器的限制是系统性的：当输入包含否定（如'girl without helmet'）或复杂组合描述时，CLIP的token嵌入本身就缺乏区分能力。改进方向可以探索使用更强的语言模型（如BLIP-2的Q-Former）或专门的否定感知编码策略。第三，对某些域特定数据集（如NorthAmericaMushrooms、pothole）的泛化能力波动较大，可能是因为训练数据中缺乏相关领域的多样性。改进方向可以包括领域自适应的负样本采样策略或在线硬负样本挖掘。第四，DINOv3骨干网络不能端到端微调，限制了模型适应特定任务的能力。改进方向可以探索渐进式解冻策略或使用LoRA等参数高效微调方法。
未来方向
论文作者和基于本文成果可以延伸的未来方向包括：(1) 负样本词汇构建：论文指出目前缺乏标准化指标来量化全局负样本词汇的'质量'或'难度'，建议探索嵌入感知采样（embedding-aware sampling）、在线硬负样本挖掘（online hard-negative mining）或动态词汇策展（dynamic vocabulary curation）等自适应策略，这可能将稀有类APr进一步提升0.8%以上。(2) 跨注意力替代方案：当前EAH使用简单的点积相似度计算token-region亲和力，未来可以探索更高效的注意力机制（如线性注意力或核化注意力）来降低计算复杂度。(3) 更强的文本编码器：CLIP ViT-L/14的文本编码器是性能瓶颈，特别是在空间关系理解方面，替换为更强大的语言模型（如SigLIP、EVA-CLIP或基于LLM的编码器）可能显著提升REC性能。(4) 视频扩展：MIL框架天然适合处理时间序列数据，将EAH扩展到视频帧级对齐是一个自然的延伸方向。(5) 生成式应用：EAM提供了可解释的空间对齐信号，可以作为条件生成模型（如扩散模型）的空间条件，实现更精确的文本引导图像编辑。
复现评估
ExpAlign的复现条件相对友好。数据方面，论文使用Objects365和GoldG（GQA+Flickr30k的组合）进行基础训练，加上RefCOCO/g/+进行增强训练，这些都是公开可用的数据集，且论文明确排除了与COCO重叠的图像以避免数据泄漏。代码方面，论文未明确提及是否开源，但所有组件（DINOv3 ConvNeXt-T骨干、YOLOv8 FPN和检测头、CLIP ViT-L/14文本编码器、SwiGLU FFN）均有公开实现。算力方面，训练使用8块NVIDIA RTX Pro 6000 GPU（每块96GB显存），总计768GB显存，batch size为512，两阶段训练共50个epoch，这对大多数研究团队来说是可承受的。关键实现细节包括：两阶段训练策略（Stage 1: lr0=0.002, 30 epochs; Stage 2: lr0=0.001, 20 epochs），损失权重 λ_sem=0.5 和 λ_geo=1.0，SwiGLU FFN第二层零初始化，Stage 2关闭mosaic、HSV增强和水平翻转（Table 9）。SAM-2.1用于生成伪实例掩码是额外的依赖，但这仅影响分割头的训练，不影响对齐模块的核心设计。总体而言，复现难度中等，主要挑战在于大规模训练的工程实现和超参数调优。
论文图表