HSG：在双曲空间中学习层次化场景图表示 HSG: Hyperbolic Scene Graph
首次将场景图嵌入洛伦兹双曲流形并引入蕴含损失，PP/Graph IoU 提升超8点。
前置知识
Multiview Scene Graph (MSG)
MSG 是从无位姿图像集合构建场景图的方法，通过视觉对应关系建模物体-物体、物体-地点、空间关系等节点和边，通常使用 DINOv2 加 Transformer 解码器（如 AoMSG）产生物体级嵌入。
HSG 是 MSG 框架的双曲化扩展，理解 MSG 才能明白 HSG 替换的『欧氏归一化超球嵌入+余弦相似度』具体指什么。
Lorentz Model (双曲面模型)
Lorentz 模型将 n 维双曲空间嵌入 $\mathbb{R}^{n+1}$ 的双曲面，距离 $d_{\mathcal{L}} = \frac{1}{\sqrt{c}}\text{arcosh}(-c\langle x, y\rangle_{\mathcal{L}})$。
HSG 的全部数学推导都建立在 Lorentz 模型上，蕴含锥、指数映射、对比距离都需要这一定义。
Exponential / Logarithmic Map
指数映射 $\text{exp}_z: T_z\mathcal{L}^n \to \mathcal{L}^n_c$ 把切空间向量沿测地线投影到流形，对数映射是其逆。
HSG 中把欧氏嵌入『抬升』到双曲面以及推理时映射回切空间都依赖这两个映射。
Hyperbolic Entailment Cones (双曲蕴含锥)
Ganea 等提出的层次关系建模工具：用锥形区域 $\mathcal{R}_q$ 表示父概念 $q$ 涵盖的子概念集合，锥半角 $\omega(q) = \sin^{-1}(2K/(\sqrt{\kappa}\|\tilde{q}\|))$ 随父节点到原点的距离自适应收缩。
HSG 的 $\mathcal{L}_{ent}$ 损失直接采用这一框架，把『地点涵盖物体』建模为几何包含关系，是层次结构的关键来源。
Contrastive Learning (InfoNCE)
对比学习通过拉近正样本对、推远负样本对来学习嵌入空间。InfoNCE 损失 $\mathcal{L}_{NCE} = -\log \frac{\exp(s(x_i, x_i^+)/\tau)}{\sum_j \exp(s(x_i, x_j^-)/\tau)}$，$s$ 通常是余弦相似度。
HSG 把 MSG 中标准的欧氏 InfoNCE 改为双曲版本（$s = -d_{\mathcal{L}}$），是『把层次结构嵌入几何』的关键实现路径。
研究动机
现有的多视角场景图方法（MSG、SepMSG、AoMSG 等）几乎全部在欧氏空间中学习嵌入，使用 L2 归一化的超球嵌入配合余弦相似度作为对比目标。然而现实场景天然具有强烈的层次结构——地点（place）语义上蕴含（entail）其中物体的存在，物体之间又存在细粒度的类别层级。欧氏空间是平的，体积随半径多项式增长 $O(r^n)$，无法高效地表达这种树状语义。AoMSG-1 的 Recall@1 达到 98.47（已接近饱和）但 Graph IoU 仅 25.37，SepMSG-Linear 的 PO IoU 高达 55.67 但 PP IoU 仅 20.02，呈现明显的指标 trade-off，本质都是欧氏几何缺乏层次表达力所致。
本文的目标是本文提出 Hyperbolic Scene Graph（HSG），目标是在双曲空间中学习场景图表示，构造显式的『地点-物体』层次结构，并保持与 MSG 流水线兼容的双曲对比目标。具体有三个：（1）证明双曲几何能显著提升场景图的图级结构质量（PP IoU、Graph IoU）；（2）保持与最强欧氏基线相当的 Recall@1；（3）通过蕴含损失 $\mathcal{L}_{ent}$ 把『place entails object』的先验以几何包含方式编码进嵌入。
与已有工作不同的是，以往双曲表示工作主要集中于图像分类、分割、视觉-语言对齐（MERU）等『单层级』任务，几乎没人把双曲几何与场景图（一种天然多层级、含物体-物体、地点-物体、空间关系的图结构）结合。HSG 的切入角度有三点独特：第一，把双曲面嵌入嫁接到 MSG 现有的 AoMSG 解码器上，只替换最后的相似度计算和损失函数，迁移成本低；第二，引入可学习曲率 $c$（初始化 $1/80$）和可调锥角阈值 $\eta$，让模型自适应控制层次强度；第三，报告 PP IoU +8.14、Graph IoU +8.14 的图级提升，是首次在多视角场景图任务上证明『层次化几何优于平直几何』的工作。
核心方法
HSG 的核心思路可以一句话概括：把 AoMSG 输出的欧氏物体嵌入抬升到洛伦兹双曲面 $\mathcal{L}^n_c$ 上，用负洛伦兹距离 $-d_{\mathcal{L}}$ 替换余弦相似度作为对比目标，并额外引入蕴含损失 $\mathcal{L}_{ent}$ 强制『地点嵌入包含物体嵌入』的层次约束。直觉上，欧氏空间是『平的』，在表达『客厅 ⊃ 沙发 ⊃ 黑色皮质沙发』这种树状语义时，节点必须挤在一起才能表达包含；而双曲空间从原点向外体积指数增长 $O(e^r)$，天然适合表达『父节点离原点近、子节点向外铺开』的层次结构。技术上 HSG 复用 MSG 的整套 DINOv2 编码器和 AoMSG 解码器，只在最后加一层双曲面投影（指数映射）+ 新损失函数，并设计 $r_{max}$ 截断避免 $\sinh/\cosh$ 数值溢出，是『可即插即用』的升级。
HSG 与已有方法的核心区别有三点。第一，几何选型不同：MSG 及其变体都在单位超球面上做 L2 归一化嵌入；HSG 选择 Lorentz 双曲面 $\mathcal{L}^n_c$，使得嵌入到原点的距离自然成为『抽象度』的度量。第二，相似度定义不同：欧氏方法用余弦相似度 $\cos\theta$（夹在 $[-1, 1]$ 内）；HSG 用负洛伦兹距离 $-d_{\mathcal{L}}(x, y) = -\frac{1}{\sqrt{c}}\text{arcosh}(-c\langle x, y\rangle_{\mathcal{L}})$，沿测地线衰减，能够在远离原点的区域放大语义差异。第三，建模先验不同：MSG 仅靠对比隐式学到层次，HSG 显式引入 $\mathcal{L}_{ent} = \max(0, \phi(p, q) - \eta\omega(q))$，让『地点嵌入 $q$』的蕴含锥必须包含『物体嵌入 $p$』，这在欧氏空间中无直接对应物。
方法步骤详情
**步骤 1**：DINOv2 编码器抽 patch 特征。**步骤 2**：AoMSG 解码器输出 $v_{dec} \in \mathbb{R}^n$。**步骤 3（Eq. 7-9）**：构造 $v = [v_{dec}, 0]$ 位于原点切空间，再指数映射 $x = \text{exp}_o(v)$ 得 $x_{space} = \frac{\sinh(\sqrt{c}\|v_{space}\|_2)}{\sqrt{c}\|v_{space}\|_2} v_{space}$，时间分量 $x_{time} = \sqrt{\|x_{space}\|_2^2/c + 1/c}$。**步骤 4（Eq. 10）**：$r_{max}$ 截断避免 $\sinh$ 溢出。**步骤 5（Eq. 12）**：构造双曲 InfoNCE $\mathcal{L}_{NCE}^{\mathcal{L}}$，把余弦相似度替换为 $-d_{\mathcal{L}}$。**步骤 6（Eq. 13-15）**：蕴含损失 $\mathcal{L}_{ent} = \max(0, \phi(p, q) - \eta\omega(q))$。**步骤 7**：总损失 $\mathcal{L}_{total} = \mathcal{L}_{pr} + \mathcal{L}_{obj} + \lambda\mathcal{L}_{ent}$，$\lambda=20$，曲率 $c$ 可学习（初始 $1/80$）。
技术新颖性
HSG 的技术新颖性体现在三个层面。**理论层面**：首次将『多视角场景图』与『双曲表示学习』桥接，扩展了双曲方法的应用场景（之前主要是图像、分割、VLM），并在 Eq. 13-15 中给出完整的『包含关系可微表达』。**算法层面**：『切空间 $v = [v_{dec}, 0]$ + 简化指数映射』的构造是巧妙的工程实现——它避免了显式正交投影（直接满足 $\langle o, v\rangle_{\mathcal{L}} = 0$），并把指数映射退化为简单 $\sinh$ 缩放；$r_{max}$ 截断则解决了 $\sinh$ 数值爆炸。**对比损失层面**：把欧氏 $\cos$ 替换为 $-d_{\mathcal{L}}$，配合可学习曲率，让模型自适应选择『几何弯曲程度』，这一点与 MERU 固定曲率有区别。
实验结果
**主结果（Table 1）**：HSG 在 ARKitScenes 上达到 Recall@1 = 98.39、PP IoU = 33.17、PO IoU = 45.52、Graph IoU = 33.51。Recall@1 略低于 AoMSG-B-4（98.61），但 Graph IoU 较次强 AoMSG-1（25.37）提升 8.14，PP IoU 提升 8.30。**投影维度（Table 2）**：HSG 在 1024 维最优，欧氏基线对维度变化不敏感。**编码器（Table 3）**：DINOv2-Base 最优，DINOv2-Small 检索高（98.08）但结构差（16.29）。**曲率消融（Fig. 4）**：$c_{init} \le 20$ 或 $\ge 300$ 都崩溃，峰值 80。**关键消融（Table 4）**：固定 $c=1$ PP IoU 暴跌至 15.5；双曲 InfoNCE 换回欧氏 PP IoU 跌至 21.5。**定性（Fig. 5）**：HSG 嵌入到 [ROOT] 距离呈现『地点聚类近、物体散布远』的层次分布。
![Distribution of embedding distances from [ROOT]](/papers/2604.17454/images/figure_5.jpg)
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多视角场景图检索（ARKitScenes） | Recall@1 | 98.39 | AoMSG-B-4: 98.61 | -0.22（检索略降，但结构大幅提升） |
| 多视角场景图检索（ARKitScenes） | PP IoU（地点-地点邻接矩阵 IoU） | 33.17 | AoMSG-1: 24.87（次强） | +8.30 |
| 多视角场景图检索（ARKitScenes） | Graph IoU（整体图 IoU） | 33.51 | AoMSG-1: 25.37（次强） | +8.14 |
| 多视角场景图检索（ARKitScenes） | PO IoU（地点-物体 IoU） | 45.52 | SepMSG-Linear: 55.67（HSG 略低） | SepMSG-Linear 较高 10.15，但 HSG PP/Graph 优势明显 |
| 投影维度敏感性（1024 vs 512） | Graph-level 综合 | PP IoU 33.2 / PO IoU 45.5（1024 维） | PP IoU 32.0 / PO IoU 43.2（512 维） | 提升约 1-2 点，1024 维最优 |
| 可学习曲率（$c_{init}=80$）vs 固定 $c=1$ | PP IoU / PO IoU | 33.2 / 45.5（可学习） | 15.5 / 40.6（固定 $c=1$） | PP IoU 提升 17.7，PO IoU 提升 4.9 |
| 双曲 InfoNCE vs 欧氏 InfoNCE（DINOv2-Base） | PP IoU / PO IoU | 33.2 / 45.5（双曲） | 21.5 / 40.6（欧氏） | PP IoU 提升 11.7，PO IoU 提升 4.9 |
局限与改进
作者在第 7 节明确承认三个局限：（1）曲率目前是单一全局标量，无法适应非均匀几何结构，需要引入『adaptive / multi-stage curvature』；（2）性能强依赖底层编码器质量（DINOv2-Base 远好于 ViT/ResNet），未来需探索 DINOv3、GroundingDINO 等更强基础模型；（3）尚未联合优化下游任务或多模态信号。我自己观察到的额外问题：（a）PO IoU 反而低于 SepMSG-Linear（45.52 vs 55.67），说明双曲化对『地点-物体』细粒度关联的提升有限，可能因为蕴含锥对『物体具体属于哪个地点』的判别能力不足；（b）召回率最高的 AoMSG-B-4（98.61）反而 Graph IoU 最低（18.15），呈现明显 trade-off；（c）$r_{max}$ 截断虽然解决数值稳定性，但相当于隐式限制了最大可分辨语义距离，可能截断真正的细粒度差异；（d）实验仅在 ARKitScenes 上验证，未在大规模数据集（如 Matterport3D、ScanNet）上验证泛化性。
独立分析的弱点
**弱点 1：PO IoU 相对落后。** HSG 的 PO IoU 45.52 低于 SepMSG-Linear 的 55.67，差 10.15 点。说明双曲蕴含锥对『具体物体属于哪个地点』的细粒度判别可能过于平滑。**弱点 2：曲率单一标量。** $c$ 是全局共享的标量，但实际场景中不同空间尺度（小房间 vs 大厅）的最佳曲率应该不同。**弱点 3：$r_{max}$ 截断的副作用。** 防止 $\sinh$ 数值爆炸的同时在切空间画了一个硬边界，可能让真正远离原点的细粒度语义被截掉。**弱点 4：单一数据集验证。** 全部实验都在 ARKitScenes（4492 训练 / 200 测试）上，缺少跨数据集验证，应在 ScanNet、Matterport3D、Replica 上补充。
未来方向
作者提出的方向有三条：（1）自适应/多阶段曲率优化（reference [2, 21, 38, 46]），让不同语义层使用不同曲率；（2）集成更强基础模型，如 DINOv3、GroundingDINO，或时序场景图框架 [24,45,56]；（3）联合优化下游任务（如导航、问答）或融合多模态信号。基于本文成果我认为还可延伸：（a）把双曲场景图扩展到动态/时序场景，建模物体随时间的层次变化；（b）把 $\mathcal{L}_{ent}$ 中的硬约束改为软约束（如 Gumbel-softmax 形式），让蕴含关系可微可学；（c）把双曲方法推广到 VLM 预训练，构造 hyperbolic vision-language scene graph；（d）研究曲率与其他超参（$r_{max}$、$\eta$、$\lambda$）的联合自适应机制；（e）将场景图预测与下游任务（如 embodied QA、navigation）端到端联合训练。
复现评估
**开源情况**：作者在 Abstract 中给出代码链接 https://github.com/AIGeeksGroup/HSG。**数据集**：使用公开的 ARKitScenes（[5]）。**训练细节**（Section 5）：DINOv2 编码器、AoMSG 解码器、AdamW 优化器（lr=2e-6，weight decay=0.01，3 epoch warmup + cosine decay，总 10 epoch）、$c_{init}=80$、$\lambda=20$、图像 resize 到 192×256。**算力需求**：4-8 张 A100 的几天工作量。**复现难度**：中等偏低，依赖 PyTorch + 自实现的 Lorentz 模块。**潜在难点**：可学习曲率、双曲 InfoNCE 负采样、Eq. 13-15 蕴含锥公式调试都可能有 numerical issue，需要复现者具备双曲几何背景。
论文图表
左图展示以地点为中心的视觉-语义层次：一个中心场景表征（黑点）蕴含多个物体级观察（周围图像），刻画地点-物体的层次结构。右图展示双曲蕴含锥的形式化：地点嵌入 $q$ 靠近原点，定义了一个包含物体嵌入 $p$ 的蕴含锥，锥半角 $\omega$ 控制蕴含的角向展开，孔径阈值 $\eta$ 进一步缩放 $\omega$ 来调节层次约束强度。
这是论文唯一一张解释双曲蕴含锥概念的图，对理解蕴含损失 $\mathcal{L}_{ent}$ 的几何动机至关重要。