基于不确定度引导的组合对齐：双曲视觉语言模型中的部分-整体语义代表性建模

通过双曲不确定度建模部分-整体语义代表性，提升多对象场景理解能力

前置知识

双曲空间

双曲空间是具有恒定负曲率的非欧几里得几何空间。与欧几里得空间不同，双曲空间的体积呈指数增长，能够以更小的失真度嵌入层次化结构。常用的双曲模型包括庞加莱球模型和洛伦兹（双曲面）模型。在双曲空间中，抽象概念靠近原点，具体概念远离原点，几何约束自然形成蕴含关系。这种特性使双曲空间特别适合建模树状层次结构和精细的关系结构。

论文的核心创新点在于利用双曲空间的几何特性来建模部分-整体关系，理解双曲空间的基本概念（曲率、测地距离、蕴含锥）是理解本文方法的基础。

对比学习

对比学习是一种自监督学习方法，通过拉近正样本对、推开负样本对来学习表示。在视觉语言模型中，对比损失通常将匹配的图像-文本对作为正样本，不匹配的作为负样本。损失函数形式为 L_c = -log(exp(s(x_i, y_i)/tau)/sum_j(exp(s(x_i, y_j)/tau)))，其中 s 是相似度度量，tau 是温度参数控制梯度强度。温度参数越大，分布越平滑，梯度越弱。

论文在标准对比学习基础上引入不确定度引导的温度调制，需要理解对比学习的基本原理才能领会其创新点。

蕴含关系

蕴含关系是逻辑学中的概念，表示如果一个命题为真，另一个命题必然为真。在表示学习中，蕴含关系常用于建模层次结构，例如狗蕴含动物。在双曲几何中，蕴含关系可以通过几何约束实现：子概念被约束在父概念的蕴含锥内。蕴含锥是以父概念嵌入为顶点、角度 omega 张开的锥形区域，当子概念位于锥内时满足蕴含关系。这个角度 omega(p) 通常与嵌入到原点的距离相关：omega(p) = sin^(-1)(2kappa/(sqrt(-kappa)||p||))。

论文的对比方法（MERU、HyCoCLIP）都基于蕴含关系建模部分-整体层次，本文进一步引入不确定度校准蕴含损失。

研究动机

现有的视觉语言模型（VLMs）如CLIP、ALIGN、ALBEF虽然取得了卓越性能，但基于欧几里得空间的嵌入在捕获层次化结构（如部分-整体、父子关系）方面存在根本性限制。这些模型在多对象组合场景中面临挑战，例如CLIP的文本编码器倾向于强调描述中首先提到的对象，图像编码器则关注较大的对象，这种偏差在复杂场景中表现尤为明显。虽然双曲VLMs（如MERU、ATMG、HyCoCLIP）通过建模蕴含关系缓解了部分问题，但它们假设所有部分对整体的代表性相同，没有区分不同部分的不同语义代表性程度。例如在街道场景中，交通标志可能比小树更能代表整个场景，但现有方法将所有部分同等对待。

本文的目标是本文目标是提出一种能够建模部分到整体语义代表性差异的双曲视觉语言对齐方法，使模型能够理解不同部分对整体的代表性程度，从而更准确地捕获图像的组合结构，提升对复杂多对象场景的理解能力。

与已有工作不同的是，本文的独特切入角度是：认识到并非所有部分图像都同等代表整体场景，通过双曲不确定度来量化每个部分对整体的语义代表性。这种视角新颖之处在于将不确定度作为语义代表性的代理，而不是简单地将所有部分视为具有相同的包含强度。具体创新在于：1）将双曲半径作为不确定度指标，靠近原点的点具有更高不确定度；2）通过不确定度调节对比损失的权重，使代表性强的部分获得更大权重；3）通过不确定度校准蕴含损失，用熵正则化防止不确定度分布坍塌。这种不确定度引导的组合对齐方法能够更有效地利用双曲空间，产生更准确的部分-整体排序。

核心方法

UNCHA的整体思路是通过双曲不确定度来量化部分对整体的语义代表性，并将这种不确定度融入到对比学习和蕴含学习中。方法直觉是：在双曲空间中，抽象概念靠近原点，具体概念远离原点。一个部分如果更能代表整体，它应该更具体（远离原点），不确定度更低；反之则更抽象（靠近原点），不确定度更高。技术路线上，首先定义基于欧几里得范数的不确定度度量，然后设计不确定度引导的对比损失（通过调节温度参数）和不确定度校准的蕴含损失（通过权重调节和熵正则化），最终联合优化这些损失函数。

核心创新点是将部分到整体的语义代表性建模为双曲不确定度，并通过不确定度引导的权重调制对比和蕴含损失。这与已有方法的本质区别在于：MERU只建模跨模态（图像-文本）蕴含，HyCoCLIP扩展到模态内（部分-整体）蕴含，但都假设所有部分对整体具有相同的代表性。UNCHA则明确建模代表性差异，通过不确定度实现自适应权重分配。具体表现为：1）对比损失中引入不确定度调节温度 tau_un = exp(u(x_part)/2) * tau_gl；2）蕴含损失中通过 e^(-u(p)) 权重校准；3）引入熵正则化 H(u_tilde(p)) 防止不确定度分布坍塌。

方法步骤详情

方法步骤完整描述如下：输入：图像-文本对 (i, t)、部分图像 i_part、部分文本 t_part。步骤1：不确定度计算。对嵌入 x 属于双曲空间，定义不确定度 u(x) = -log(exp(-||x||_2)) = ||x||_2，即欧几里得范数。由于双曲半径与欧几里得范数单调相关，这等价于用双曲半径作为不确定度代理。步骤2：不确定度引导对比损失。对全局-局部对比损失，使用不确定度调节温度：tau_I_un,i = exp(u(i_part_i)/2) * tau_gl，tau_T_un,i = exp(u(t_part_i)/2) * tau_gl。完整对比损失包含四项：不确定度引导的全局-局部对比损失、全局对比损失、局部对比损失。步骤3：分段连续蕴含损失。为保持梯度连续性，在原始铰链损失基础上添加角度项：L*_ent(p, q) = max(0, phi(p, q) - eta*omega(p)) + alpha*phi(p, q)，其中 phi 是测地角度，omega(p) 是蕴含锥孔径，alpha 是超参数。步骤4：不确定度校准损失。L_cal_ent(p, q) = floor(L*_ent(p, q)) * e^(-u(p)) + u(p) + H(u_tilde(p))，其中 u_tilde(p_i) = exp(u(p_i)) / sum_j(exp(u(p_j))) 是softmax归一化的不确定度，H 是熵正则项。步骤5：总损失函数。L = L_un_con + lambda_ent * L_un_ent，其中 L_un_ent 包含跨模态蕴含、模态内蕴含和不确定度校准项。输出：学习到的双曲嵌入，其中部分和整体根据其代表性在不同半径区域分布。

技术新颖性

技术新颖性体现在三个方面：1）首次在双曲VLM中明确建模部分-整体语义代表性差异，通过双曲不确定度作为代理指标。之前的工作（MERU、HyCoCLIP）都假设所有部分具有相同的蕴含强度。2）提出不确定度引导的对比损失，通过自适应温度调制实现不同部分的不同权重。传统对比学习使用固定温度，无法区分部分的代表性差异。3）设计不确定度校准的蕴含损失，包含熵正则化防止不确定度分布坍塌。这种设计使模型能够更有效地利用双曲空间的指数体积特性，避免嵌入聚集在狭窄区域。实验表明，不确定度与语义相似度呈现强负相关，相关系数达到-0.739，验证了不确定度作为语义代表性代理的有效性。

**Figure 2**: Comparison of UNCHA (Ours) with prior works

**Figure 3**: Entailment geometry in hyperbolic space

实验结果

UNCHA在16个数据集的零样本图像分类任务上一致优于基线。以ViT-B/16为例，在ImageNet上达到48.8%（CLIP 40.6%, MERU 40.1%, HyCoCLIP 45.8%），在CIFAR-100上达到63.2%（CLIP 48.3%, MERU 49.3%, HyCoCLIP 60.1%）。在零样本检索任务中，COCO上文本到图像R@1达到72.7%（CLIP 71.4%, HyCoCLIP 72.0%），图像到文本R@1达到60.0%（CLIP 57.4%, HyCoCLIP 58.4%）。在层次分类指标上，Tree-Induced Error (TIE) 降低到2.94（CLIP 3.60, HyCoCLIP 3.17），Lowest Common Ancestor (LCA) 误差降低到1.96（CLIP 2.21, HyCoCLIP 2.05）。在多标签分类任务中，VOC数据集上达到82.14% mAP（CLIP 78.56%, HyCoCLIP 80.43%），COCO上达到59.43% mAP（CLIP 53.94%, HyCoCLIP 58.12%）。在多对象表示任务中，ComCo 5-obj场景达到81.18%（CLIP 80.22%, HyCoCLIP 72.90%），SimCo 5-obj场景达到90.65%（CLIP 88.48%, HyCoCLIP 82.85%）。在部分级对齐评估中，All Hard Negs达到56.51%（CLIP 52.89%, HyCoCLIP 53.33%）。消融实验表明，移除不确定度、对比引导或熵正则化都会导致性能下降，验证了所有组件的必要性。双曲嵌入分析显示，部分嵌入比整体嵌入更靠近原点，分布更分散，验证了不确定度引导的有效性。

**Table 1**: Zero-shot image classification evaluation

**Table 2**: Zero-shot retrieval and hierarchical classification metrics

**Table 3**: Comparison on part-level alignment evaluation with hard negatives

**Table 4**: Ablation study on classification and retrieval benchmarks

**Table 5**: Comparison across Multi-object Representation and Classification tasks

**Figure 4**: Analysis of uncertainty modeling

**Figure 5**: Analysis of hyperbolic embedding

查看结构化数据

任务	指标	本文	基线	提升
零样本图像分类	Top-1准确率	48.8 (ViT-B/16)	45.8 (HyCoCLIP)	+3.0%
零样本检索	COCO图像到文本R@1	60.0 (ViT-B/16)	58.4 (HyCoCLIP)	+1.6%
层次分类	Tree-Induced Error (TIE, 越低越好)	2.94 (ViT-B/16)	3.17 (HyCoCLIP)	-0.23
多标签分类	VOC mAP	82.14 (ViT-B/16)	80.43 (HyCoCLIP)	+1.71%
多对象表示	ComCo 5-obj mAP	81.18 (ViT-B/16)	72.90 (HyCoCLIP)	+8.28%

局限与改进

作者承认的局限性包括：1）不确定度定义使用欧几里得范数作为双曲半径的代理，虽然理论上单调相关，但可能在大范数区域存在近似误差。消融实验显示，直接使用双曲半径计算不确定度会导致性能略微下降（分类平均从31.6降到30.6）。2）方法依赖部分标注数据（GRIT数据集提供35.9M部分级标注），在缺乏部分标注的场景下难以应用。3）额外损失项引入了更多超参数（lambda_1=0.5, lambda_2=10.0, alpha=0.1, lambda_ent=0.2等），虽然超参数敏感性分析显示在一定范围内性能稳定，但仍增加了调参复杂度。4）论文主要评估了零样本性能，在有监督的下游任务上的泛化能力尚未充分验证。我自己观察到的局限性：1）方法假设双曲半径与语义代表性单调相关，但这一假设在某些场景下可能不成立，例如高度抽象但具有代表性的部分。2）熵正则化虽然防止不确定度坍塌，但可能限制模型在需要极端不确定度分布的场景下的灵活性。3）论文没有分析方法在极长序列或多层次部分-整体结构下的表现。

独立分析的弱点

独立分析的弱点包括：1）计算复杂度增加。引入不确定度校准和熵正则化需要额外的前向和反向传播，训练时间相比基线增加约15-20%。可以通过量化近似或缓存不确定度估计来缓解。2）对小对象的潜在偏差。不确定度基于嵌入范数，而小对象的嵌入可能因为分辨率限制产生噪声范数，导致不确定度估计不准确。改进方向是引入尺寸感知的不确定度校准，在计算不确定度时考虑对象区域大小。3）对分布外泛化的影响有限。虽然方法提升了多对象场景理解，但在完全未见过的对象组合上仍有改进空间。可以通过引入组合泛化目标或对比增强来提升。4）温度调节公式 exp(u(x)/2) 的选择是启发式的，缺乏理论保证。可以通过理论分析或贝叶斯方法设计更 principled 的温度调制策略。

未来方向

作者提出的未来方向包括：1）将不确定度引导的对齐扩展到其他模态（如音频、视频）以验证方法的通用性。2）探索不确定度在其他层次结构建模任务中的应用，如知识图谱嵌入、文档结构理解。3）研究不确定度与注意力机制的关联，可能解释为什么双曲VLMs在细粒度定位上表现更好。基于成果可延伸的研究方向：1）动态不确定度建模，根据场景复杂度自适应调整不确定度强度。2）跨层次不确定度传播，从局部不确定度推断全局场景不确定度，或反向从全局不确定度指导局部对齐。3）与符号推理结合，利用双曲几何的结构约束进行可解释的组合推理。4）少样本学习设置下的不确定度引导，探索在标注稀缺场景下如何利用不确定度引导的归纳偏置。

复现评估

论文提供了开源代码和模型，使用GRIT数据集训练，该数据集包含20.5M对图像-文本对和35.9M部分级标注。训练使用4张A100 GPU，批量大小768，训练500K步，约耗时3-4天。所有超参数在附录中详细列出，包括曲率初始化kappa=1.0（可学习，范围[0.1, 10.0]）、温度参数初始化（tau_g=0.07, tau_l=0.07, tau_gl=0.06）、AdamW优化器（beta_1=0.9, beta_2=0.98，权重衰减0.2）、余弦学习率调度器（最大学习率 5 * 10^(-4)，4K步线性预热）。复现难度中等，需要较大GPU资源，但代码和文档齐全，提供了详细的消融实验和可视化分析。需要注意的是，GRIT数据集虽然公开，但部分级标注的获取和预处理可能需要额外工作。

基于不确定度引导的组合对齐：双曲视觉语言模型中的部分-整体语义代表性建模 Uncertainty-guided Compositional Alignment with Part-to-Whole Semantic Representativeness in Hyperbolic Vision-Language Models