PanoWorld：面向 360° 全景世界的空间超感知

提出全景原生 MLLM 框架，统一推理 ERP 球面空间

前置知识

等距矩形投影（ERP）

把球面 360° 视野展开成 2:1 长宽比平面图像的投影方式，像素 $(u,v)$ 经 $\lambda = 2\pi(u/W-1/2)$、$\phi = \pi(1/2-v/H)$ 映射到 yaw/pitch，存在高纬畸变与左右接缝不连续。

PanoWorld 一切方法都以 ERP 为原生输入而非切成透视视角，理解球面-像素映射才能看懂球面定位与 SSCA 的几何注入为何必要。

多模态大模型（MLLM）

把视觉编码器与 LLM 通过视觉-语言接口连接、可接收图像问答的模型。本文基座为 Qwen3.5-VL，视觉编码器在平面栅格上做 patch 编码，对球面拓扑无显式建模。

论文主张现有 MLLM 沿透视范式训练，无法直接处理球面拓扑；这是 PanoWorld 改造视觉流、引入 SSCA 模块的动机。

视觉-语言导航（VLN）

智能体根据自然语言指令在未知环境中走到目标点的任务，常见评测基准包括 R2R-CE。智能体通常以 RGB 帧或全景采样候选视点的方式前进。

论文用 R2R-CE 验证全景表示的迁移能力，证明只喂 ERP 全景也能达到 54.3 SR / 52.1 SPL。

球面几何与跨视角重投影

把不同透视视角下检测出的目标框反投影回 ERP 球面坐标，再做 IoU 去重与跨视角一致性检查的过程。这是论文构建几何感知元数据的核心机制。

直接对 ERP 做检测会因高纬度畸变与接缝分裂而不可靠，重投影-验证管线是论文 570K 数据集质量的保障。

跨注意力与门控残差

Q 来自一个模态、KV 来自另一模态的注意力机制；门控残差用可学习标量 $\alpha$ 控制新信号对原特征的扰动。SSCA 让视觉 token 作为 Q 查询球面 token S 作为 K/V，以 $\hat{H}^{(0)}=H^{(0)}+\alpha\odot A$ 融合，保留预训练表征。

理解 SSCA 必须先理解 cross-attn 的查询-键机制以及门控为何能保留预训练表征，这是 PanoWorld 与纯残差拼接的关键差异。

研究动机

当前主流 MLLM 在 360° 全景空间推理上表现极弱。在 PanoSpace-Bench 上 GPT-4o 仅 31.8、Qwen3.5-9B 仅 30.8，且 BFOV 角度定位 mIoU 低至 1.4 左右。原因是它们沿透视图像范式训练，把 ERP 当成「很宽的 2D 图」，忽视了三大表征鸿沟：高纬度几何畸变、左右接缝在真实场景中相邻导致的不连续、以及非均匀空间采样。现有方案多把全景切成多张透视视角顺序扫描（如 Thinking in 360），导致空间线索碎片化、迭代开销大。表 1 也显示既有全景数据集要么只有 QA 没有深度，要么缺乏验证图结构，难以支撑系统化的能力训练。

本文的目标是论文提出「pano-native」框架，让 MLLM 直接把 ERP 全景作为以观察者为中心的连续球面空间来推理。具体目标包含三方面：定义四类核心能力（语义锚定、球面定位、参考系变换、深度感知 3D 推理）并据此构建能力对齐的指令微调数据；构造 570K 高质量 ERP 全景语料库并形成可验证的元数据图 $G=(V,E)$；提出 Spherical Spatial Cross-Attention（SSCA）模块把球面几何注入视觉流；最后发布 PanoSpace-Bench 做能力级评测，并验证在全景搜索与视觉-语言导航上的迁移能力。

与已有工作不同的是，切入角度是同时从数据与模型两侧做全景原生改造。数据侧用大规模可验证元数据图（570K ERP + 深度感知 + 实体元数据 + 验证图监督）替代既有的 QA 计数型数据集；模型侧用 SSCA 在 patch embedding 之后立即注入球面方向编码 $s_i=\text{MLP}(\gamma(\lambda_i,\phi_i))$，而不是后期才做透视转换或简单位置编码。这与 PanoCity/Dense360 等只补数据、CFpano/OSR-Bench 等只补评测的工作形成对照；与 InternVL3.5、Qwen2.5-VL 等基线相比，本质差异在于把 ERP 当作一等公民而非 2D 退化图像。

核心方法

整体思路是把全景空间推理拆成四个能力族，每族对应一类监督信号，再用一个统一的元数据图把异构信号串起来，喂给带 SSCA 的 MLLM。直觉上：模型先学会「看见什么」（语义锚定）、「在球面哪个方向」（球面定位）、「绕观察者转之后怎么变」（参考系变换）、「周围 3D 结构如何」（深度 3D 推理）；技术上则通过混合源 ERP→重投影检测→语义再检测→深度关联四步流水线生成结构化图，并设计球面方向 token $s_i$ 与视觉 patch $H^{(0)}$ 做 cross-attn，让几何信号在视觉编码早期就介入。

核心创新是把球面几何在视觉编码最早阶段（patch embedding 之后）就以 cross-attention 注入，而非传统的「透视转换」或「后期加位置编码」。具体而言，每个 ERP patch 中心 $(\lambda_i,\phi_i)$ 经固定球面正弦编码 $\gamma$ 与 MLP 投影成 token $s_i\in\mathbb{R}^d$，与 patch 嵌入 $H^{(0)}\in\mathbb{R}^{N\times d}$ 做 $A=\text{MHA}(\text{LN}(H^{(0)}), \text{LN}(S), \text{LN}(S))$，再用可学习门 $\alpha$ 控制 $\hat{H}^{(0)}=H^{(0)}+\alpha\odot A$。这与透视 MLLM 直接把平面位置编码相加的方案不同，SSCA 内容相关地让视觉 token 检索球面方向信号；同时配合几何感知检测+重投影验证+描述引导重检测+深度关联的元数据管线，使监督本身也是「球面一致」的。

方法步骤详情

方法分四步。第一步是 ERP 语料：从混合源（既有数据集、街景 API、网页、用户上传）收集后做接缝连续性、低分辨率/模糊、地理重复三类清洗，得到约 570K 高质量 ERP，室内外大致均衡。第二步是几何感知检测：对每张 ERP 先投到多张重叠透视视角，用开放词汇检测器出候选框，再重投影到 ERP 坐标系，按置信度阈值、IoU 去重、跨视角一致性三重过滤，得到带球面位置的可靠实体。第三步是语言接地语义：对每个候选选最信息量大的裁剪，让 MLLM 生成类别/属性/描述/指代短语，再把短语喂给指代检测器重定位，与原框 IoU 不达标则丢弃；第四步是深度关联：源数据有真深度则直接用，否则用全景深度估计模型出伪深度，按 ERP 支撑区域聚合得到观察者距离；最终把所有信号合并为元数据图 $G=(V,E)$，节点 $v_i=(s_i,a_i,b_i,d_i,c_i)$、边 $e_{ij}=\{\Delta\theta_{ij},\Delta\phi_{ij},\Delta d_{ij}, r^D_{2,ij}, r^D_{3,ij}\}$，下游四个能力族的指令数据全部从该图采样。模型侧基于 Qwen3.5-VL 插入 SSCA：先算每个 patch 的 $(\lambda_i,\phi_i)$ 编码为 $s_i$，堆叠为 $S\in\mathbb{R}^{N\times d}$，与 $H^{(0)}$ 做 cross-attn，门控残差融合后送入剩余视觉块。

技术新颖性

新颖性体现在三点。其一是把空间推理显式拆为四族能力并据此设计元数据图，使数据-评测-模型三方对齐，而不是任务驱动堆数据；其二是 SSCA 把球面方向编码成可查询的 token 而非静态位置，让模型通过内容相关方式检索几何先验，表 7 验证 patch 位 cross-attn 比 merge/output 位残差融合提升 3-4 个百分点；其三是双重验证管线（检测验证 + 语义再检测）保证监督质量，表 6 显示二者叠加从 38.8 提到 55.1。相较 Thinking in 360 等把全景当多视角来源的工作，PanoWorld 直接吃 ERP 并能一次推理定位到具体 yaw/pitch 区间，在 H*Bench 上零样本 56.1 vs 视角法 38.4。

**Figure 2**: Verifiable metadata construction pipeline.

**Figure 3**: The architecture of PanoWorld. After patch embedding, visual tokens H^(0) query spherical spatial tokens S derived from ERP patch centers.

实验结果

核心发现是 pano-native 训练在三类基准全面显著优于所有基线。在 PanoSpace-Bench 上，PanoWorld 总分 56.5，相对 Qwen3.5-9B 基线 30.8 提升 25.7 个点；绝对方向从 25.2 跃升至 93.7，BFOV mIoU 从 1.4 跃升至 73.3，球面关系均值从 26.1 升至 47.4，3D 空间均值从 36.9 升至 49.8，接缝推理从 41.2 升至 65.5；相对 GPT-4o（31.8）提升 24.7，相对 InternVL3.5-14B（30.4）提升 26.1。在 H*Bench 上零样本 ERP 输入即达 56.10，超过最强视角基线 HVS-3B 的 38.40；加 H*SFT 后达 70.1，远超 Qwen3.5 + H*SFT 的 17.8，说明 pano-native 监督提供了任务专属微调恢复不出的空间先验。在 R2R-CE Val-Unseen 上仅用 ERP 全景输入即达 NE 4.98、SR 54.3、SPL 52.1，相对 GridMM（NE 5.11、SR 49.0、SPL 41.0）提升 5.3 SR / 11.1 SPL，相对 StreamVLN（NE 5.73、SR 50.2、SPL 47.1）以 80% 训练数据提升 4.1 SR / 5.0 SPL。消融方面：四族能力联合训练在 BFOV mIoU 上达 66.7、明显高于单族（5.4/37.6/2.3/2.2）；检测验证+语义验证叠加从 38.8 升至 55.1；SSCA 在 patch 位插入 cross-attn 比纯 Qwen3.5 基线 48.4 提升到 55.1；全参数 pano-native 微调在 BFOV 上达到 72.60，显著高于仅调 LLM 的 62.28 和仅调视觉接口的 2.19。

**Table 1**: Comparison with representative panoramic resources.

**Table 2**: Quantitative comparison on PanoSpace-Bench.

**Table 3**: Transfer evaluation on H*Bench.

**Table 4**: R2R-CE Val-Unseen evaluation.

**Table 5**: Ability-oriented training data ablation.

**Table 6**: Ablation of verification modules in the metadata construction pipeline.

**Table 7**: Architecture ablation of ERP-aware spherical geometry injection.

**Table 8**: Trainable scope ablation for pano-native spatial learning.

**Figure 4**: Case comparison on H*Bench. Perspective-view iterative search is inefficient and may fail due to fragmented local observations.

查看结构化数据

任务	指标	本文	基线	提升
PanoSpace-Bench 综合评测	Overall 多选准确率	56.5	Qwen3.5-9B 基线 30.8 / GPT-4o 31.8	+25.7 / +24.7
PanoSpace-Bench BFOV 角度定位	BFOV mIoU	73.3	Qwen3.5-9B 1.4 / GPT-4o 17.7	+71.9 / +55.6
H*Bench 零样本迁移	Overall Accuracy	56.1	最强视角法 HVS-3B 38.4 / GPT-4o 21.3	+17.7 / +34.8
HBench 加 HSFT	Overall Accuracy	70.1	Qwen3.5 + H*SFT 17.8 / Gemini-2.5-Pro 46.9	+52.3 / +23.2
R2R-CE Val-Unseen VLN	SR↑ / SPL↑	54.3 / 52.1	GridMM 49.0 / 41.0（使用里程计+深度+RGB）	+5.3 SR / +11.1 SPL
能力消融（全 4 族训练）	BFOV mIoU	66.7	仅语义 5.4 / 仅球面 37.6 / 仅参考系 2.3 / 仅深度 2.2	显著优于任何单族监督

局限与改进

作者在论文中相对克制地承认了一些局限：模型评测主要基于 Qwen3.5-VL 一个基座，没有跨更多 MLLM 家族验证 PanoWorld 范式的普适性；H*Bench 与 R2R-CE 的迁移虽然在零样本上极强，但仍是「全景相关」任务，没在普通 2D VQA 上验证是否会带来灾难性遗忘；附录中也提示 BFOV 评测依赖离散网格划分，对超细粒度定位仍有量化误差。本人观察到的额外局限：570K ERP 仍以室内外公开数据与街景 API 为主，可能存在地理与场景偏置；表 5 表明球面定位能力在缺球面监督时会从 59.2 跌到 24.0，说明能力高度依赖大规模监督，零样本下不具备涌现能力；接缝处推理 65.5 虽高但仍未饱和，说明 ERP 接缝处理仍是难题；最后 SSCA 只在 patch 嵌入后插入一次，更深层的几何注入（如多层 SSCA、与 LLM 深层协同）尚未探索。

独立分析的弱点

独立观察到的弱点至少有三处。第一，依赖重投影管线带来的计算开销：每张 ERP 要生成多张透视视角并跑开放词汇检测与指代重检测，标注成本不低，难以随数据规模线性扩展，可考虑用端到端球面检测器替代多步重投影。第二，SSCA 球面 token 是固定正弦编码 $s_i=\text{MLP}(\gamma(\lambda_i,\phi_i))$，未与观察者历史或任务上下文交互，在参考系变换类问题上虽然得分较高，但 47.2 的 Reorientation 准确率仍远低于 Abs. Dir. 的 93.7，可引入动态参考系 token 让 $\gamma$ 受 $q$ 调节。第三，单基座验证导致泛化结论受限，论文只跑了 Qwen3.5-VL，应在 LLaVA、InternVL 等不同家族上重复关键消融以排除偶然性。

未来方向

作者提到的方向包括把 pano-native 范式扩展到动态全景视频以及更深层的几何注入。从成果可延伸的角度至少包含三条：一是把 SSCA 推广到多层/多尺度，并设计球面 RoPE 替代平面 2D RoPE，使 LLM 内部也保持球面一致性；二是与具身智能体结合，把全景表示作为统一的观察接口，融合语言指令、动作与全景观测做端到端策略学习；三是把能力族与可验证奖励对齐，用 RLAIF/RLHF 训练推理链而非直接监督，因为球面推理天然适合 verifiable 奖励。

复现评估

复现友好度较高。论文承诺开源代码、数据与 PanoSpace-Bench，项目页 https://wcpcp.github.io/PanoWorld 已挂出。训练侧明确了超参：8 张 A100、AdamW、学习率 $1\times10^{-6}$、global batch 2、gradient accumulation 4、1 个 epoch；基座为 Qwen3.5-VL，数据混合与训练设置各模型变体保持一致便于对比。数据侧难点在于 570K ERP 重建：需自行接入街景 API、网页抓取与用户上传，且要实现 ERP 接缝检查、低分辨率过滤、地理去重、跨视角重投影一致性、描述-重检测验证、伪深度估计等管线，单卡难以完成全部预处理。评测侧需复现 PanoSpace-Bench 的多类 prompt 与 BFOV 网格 mIoU 协议，并实现 H*Bench 与 R2R-CE 的官方评测脚本。整体而言算法清晰，但数据构建是主要门槛。

PanoWorld：面向 360° 全景世界的空间超感知 PanoWorld: Towards Spatial Supersensing in 360^circ Panorama World