PanoWorld：一个用于生成一致的整栋房屋全景图像的生成式空间世界模型 PanoWorld: A Generative Spatial World Model for Consistent Whole-House Panorama Synthesis
从平面图生成一致的整栋房屋VR导览，结合2D全景生成与3D高斯溅射空间记忆
前置知识
3D高斯溅射（3DGS）
一种新颖的三维场景表示和渲染方法，使用3D高斯椭球作为基本图元，每个高斯包含位置、旋转、各向异性尺度、不透明度和球谐颜色特征。它通过可微的光栅化管道进行渲染，相比NeRF等隐式表示具有更快的推理速度和更高的渲染质量。3DGS可以增量式地添加、合并或修剪高斯，非常适合作为可扩展的空间记忆表示。
本文使用3D高斯溅射作为动态缓存来存储和检索跨房间的视觉记忆，是PanoWorld实现跨节点一致性的核心表示。
大重建模型（LRM）
一类前馈式神经网络，能够在单次前向传播中快速将图像或多视图输入提升到三维表示（如NeRF或3DGS）。LRM通过在大规模多视图数据集上训练transformer架构，学习从稀疏观测重建完整三维场景的通用能力，无需优化迭代，因此推理速度极快。典型的LRM包括LRM、LGM、M-LRM等。
本文提出了第一个针对整栋房屋多房间全景重建的全景LRM，这是PanoWorld架构中的关键组件，负责将生成的全景图像提升到3DGS缓存中。
等距柱状投影（Equirectangular Projection）
将360度全景球面图像映射到二维平面上的标准方法，使用经度（水平）和纬度（垂直）作为坐标。在全景图像的左边界和右边界实际上是相邻的（360度循环），这在编码时需要特殊处理。这种投影会导致极点处的拉伸变形，因此在注意力机制和位置编码中需要考虑其周期性特性。
本文的所有全景图像都使用等距柱状投影，因此需要专门设计的全景位置编码（CPRoPE）来保持全景边界的连续性和一致性。
研究动机
从平面图和风格参考生成一致的整栋房屋VR导览面临两个关键挑战：首先是照片级真实的全景图像质量，其次是跨视角的空间一致性。现有方法各有局限性：纯2D扩散模型能够合成视觉丰富的全景图像，具有逼真的光照和高频纹理，但缺乏持久的空间记忆。当相机移动时，相同的门洞、墙壁或沙发可能以不同的形状、位置或材质重新生成，导致严重的跨视角不一致性。全局3D表示如NeRF、3DGS或网格场景虽然提供更自然的一致性路径，但直接生成单一详细的多房间资产成本高昂。在房屋尺度上，这些方法往往面临高内存使用、慢推理以及损失2D生成模型吸引商业可视化的纹理保真度。此外，现有的大重建模型（LRM）主要针对物体或紧凑场景设计，所有输入视图描述共享目标，而整栋房屋全景引入房间级拓扑：来自不同房间的视图可能在几何上被墙壁断开，不应自由地相互关注。
本文的目标是本文提出PanoWorld，一个生成式空间世界模型，用于一致的整栋房屋全景图像合成。目标是在生成高保真家具全景图像的同时，保持跨节点的布局和材质一致性，覆盖跨越多个房间和门洞的密集全景节点。PanoWorld旨在将整栋房屋合成为基于节点的360度全景图像的自回归生成，匹配真实VR导览产品使用的离散导航模式，同时保留高频率2D合成质量并改善跨节点布局和材质一致性。
与已有工作不同的是，本文的独特切入角度是将整栋房屋合成问题从传统的连续6自由度3D生成重新表述为基于节点的全景图自回归生成，模仿商业VR导览产品的操作逻辑。这种重新表述使得我们可以在每个节点生成高分辨率全景图作为主要可交付成果，同时使用轻量级可渲染3D记忆使节点之间保持一致。PanoWorld引入了两个关键创新：房间感知全景LRM（第一个针对整栋房屋多房间全景重建的前馈式模块）和拓扑感知渐进3DGS缓存（可扩展的空间记忆策略）。通过解耦基于壳的几何指导和缓存渲染的视觉记忆，PanoWorld在高频率2D合成质量和跨节点一致性之间实现了实用平衡。
核心方法
PanoWorld采用自回归生成循环，将整栋房屋全景合成视为基于节点的360度全景图像序列生成。整体思路包括：首先将平面图转换为粗略的3D壳作为全局几何代理，提供全局坐标框架、房间边界、门洞连通性和视点可见性；然后从初始节点开始，合成家具全景图像，并将其提升到初始3DGS缓存；对于每个后续节点，系统从当前缓存渲染视觉记忆，将其与几何代理和附近全景图像组合，生成下一个全景图像，并将新观测写回缓存。关键设计包括房间感知组注意力（允许同房间内密集交互，只通过门洞/边界节点进行跨房间通信）、拓扑感知渐进3DGS缓存（使用拓扑选择的上下文预测局部3DGS更新而不重建完整历史）、以及解耦几何-外观指导策略（壳衍生代理约束墙壁、开口、地板、天花板和大尺度布局，3DGS缓存保留颜色、材质和高频细节）。
PanoWorld的核心创新点在于将整栋房屋合成从单体3D生成重新表述为节点式全景图自回归生成，结合了2D生成的纹理保真度和3D记忆的空间纪律。与已有方法的本质区别在于：房间感知全景LRM使用masked注意力抑制跨房间特征干扰，这是第一个针对整栋房屋多房间重建的LRM风格模块；拓扑感知渐进3DGS缓存通过局部拓扑感知增量而不是全历史重建更新空间记忆，保持常数级别的每节点重建成本；解耦的条件策略将壳衍生几何代理（提供结构约束）与缓存渲染视觉记忆（保留外观一致性）分离，防止纹理记忆覆盖全局几何同时防止粗略壳压制照片级真实细节。这些设计使PanoWorld能够生成跨房间几何和材质一致性保持的全房屋导览，同时不牺牲单视图照片级真实感。
方法步骤详情
PanoWorld的完整流程包括以下步骤：（1）平面图到3D壳转换：将2D平面图F转换为粗略3D壳S，包含墙壁、地板、天花板、房间标签和门洞连通性。对于每个节点$v_i$，渲染壳观测$B_i = R_S(v_i)$，然后转换为紧凑几何代理$G_i$，包括法线和语义分割图。（2）拓扑引导节点和路径采样：选择高图中心性或到目标节点平均路径成本低的起始节点，通过房间邻接和门洞约束连接目标姿态。当相邻目标相距较远时插入辅助节点（间距0.5-1.5m），确保相邻视点有足够的视觉重叠。（3）初始全景生成：对于起始节点$v_0$，从壳衍生几何代理$G_0$和风格条件s合成$I_0 = \Phi(G_0, s)$，然后通过全景LRM将其提升到初始3DGS缓存$C_0$。（4）自回归循环：对于每个后续节点$v_t$，从当前缓存渲染视觉记忆$V_t = R_{C_{t-1}}(v_t)$，应用跨房间深度过滤移除壳表面后方的不正确记忆像素，然后生成全景图像$I_t = \Phi(G_t, V_t, I_{p(t)})$，其中$p(t)$是附近已生成全景节点。（5）全景LRM提升：给定局部上下文集$H_t = \{v_t\} \cup N_{same}(v_t) \cup N_{door}(v_t)$，全景LRM预测3D高斯原语增量$\Delta C_t$，包含3D均值$\mu_k$、旋转$q_k$、各向异性尺度$\sigma_k$、不透明度$\alpha_k$和颜色特征$c_k$。（6）渐进缓存更新：将局部高斯通过已知全景姿态和壳坐标系对齐到全局坐标系，合并兼容高斯（同房间、中心满足距离条件、支持方向余弦相似度高），修剪不透明度不足的原语，然后通过可见性剪枝获得更新后的缓存$C_t = Prune(Fuse(C_{t-1}, \Delta C_t))$。
技术新颖性
PanoWorld的技术新颖性体现在四个方面：首先，节点式世界模型表述将整栋房屋VR全景合成重新表述为自回归生成问题，这是第一个针对全房屋VR导览的节点式生成框架；其次，房间感知全景LRM是第一个针对整栋房屋多房间全景重建的前馈式LRM风格模块，使用房间感知组注意力避免跨房间特征干扰；第三，拓扑感知渐进3DGS缓存通过局部拓扑感知增量更新空间记忆，避免全历史重建的计算成本，同时保持可扩展的整栋房屋记忆；第四，全景位置编码（CPRoPE）使用整数谐波使全景宽度上的每个频率周期性，保持全景边界的连续性，这是第一个针对等距柱状投影的周期性位置编码。这些创新使PanoWorld能够处理大规模多房间室内场景的生成，同时保持跨节点的几何和材质一致性。
实验结果
论文在全景合成和整栋房屋LRM重建两个任务上进行了全面评估。在全景合成任务上，PanoWorld在跨节点空间一致性方面表现出显著优势，Overlap PSNR达到22.1365，比第二名方法OmniRoam高出5.75dB，这表明PanoWorld有效缓解了纯2D生成器中普遍存在的几何和材质幻觉。在单节点美学质量方面，大多数评估方法的HPSv3得分在7到8左右，PanoWorld获得7.9564的竞争性单视图视觉质量，而Nano Banana 2获得最高的单节点质量（9.5483）和风格一致性（0.7940）。这表明PanoWorld在优先考虑整栋房屋导览的结构连贯性的同时，没有严重损害单视图照片级真实感。在整栋房屋LRM重建任务上，PanoWorld在50个保留的RealSee3D场景上获得了最佳重建质量，在8全景输入设置下达到PSNR=29.2361、SSIM=0.8880、LPIPS=0.2225，显著优于MVP（PSNR=21.0370）、Adapt-Splat（PSNR=21.2418）和WorldMirror 2.0（PSNR=13.3344）。在12全景输入设置下，PanoWorld达到PSNR=28.8003、SSIM=0.8817、LPIPS=0.2299，同样优于所有基线方法。12全景设置略微低于8全景设置，因为额外的视点覆盖更大的空间范围并引入更多跨房间可见性变化，使全局多房间融合更具挑战性。消融研究表明，视觉记忆和邻近视图条件主要改善跨节点一致性，而CPRoPE的主要作用是保持全景边界连续性和跨节点几何对齐。在LRM消融中，移除房间感知组注意力（RAGA）导致最大性能下降，表明拓扑感知注意力对多房间重建至关重要。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 全景合成 | Overlap PSNR | 22.1365 | OmniRoam: 16.3862 | +5.75 dB |
| 全景合成 | HPSv3 | 7.9564 | Nano Banana 2: 9.5483 | -16.6% (但显著改善跨节点一致性) |
| 全景合成 | CLIP-I Style | 0.7577 | Nano Banana 2: 0.7940 | -4.6% (但显著改善跨节点一致性) |
| 整栋房屋LRM重建（8全景输入） | PSNR | 29.2361 | MVP: 21.0370 | +39.0% |
| 整栋房屋LRM重建（8全景输入） | SSIM | 0.8880 | MVP: 0.8145 | +9.0% |
| 整栋房屋LRM重建（8全景输入） | LPIPS | 0.2225 | MVP: 0.3044 | -26.9% |
局限与改进
作者承认的局限性主要来自不完美的几何和稀疏观测：平面图到壳转换过程中的误差、缺失的门洞拓扑或全景节点之间过大的间距会削弱缓存指导。动态物体、镜面、透明材料和大面积家具遮挡仍然具有挑战性。作者还指出，房间标签的准确性影响房间感知组注意力的效果，错误的标签会导致不正确的注意力屏蔽。我的观察补充：PanoWorld依赖于准确的平面图到3D壳的转换，这在实际应用中可能需要人工干预或额外的工程管道；跨房间记忆过滤依赖于壳深度图的准确性，如果壳几何不准确，可能会导致正确记忆被错误移除；方法在处理长距离跨房间可见性（如通过多个门洞看到远处的房间）时可能会受到限制，因为局部上下文集可能不包含足够的观测；2D生成器的质量直接影响最终输出，虽然PanoWorld提供了空间一致性约束，但生成器的风格迁移能力和细节生成能力仍是瓶颈；方法需要存储和渲染渐进增长的3DGS缓存，在非常大的房屋或密集节点采样时可能会面临内存和计算压力。
独立分析的弱点
PanoWorld在以下具体场景中存在可以改进的弱点：首先，在房间拓扑复杂（如多个门洞、走廊连接多个房间）的情况下，房间感知组注意力可能过于严格，限制了必要的跨房间信息传递，导致边界区域的视觉不一致。改进方向可以是引入软注意力权重或基于视线的动态注意力机制，允许在视觉连通时适度跨房间交互。其次，在处理开敞式布局（如开放式厨房和客厅）时，房间标签变得模糊，RAGA的mask可能过于保守。改进方向可以是基于功能分区而非刚性房间边界的软分组，或学习基于视觉相似性的动态分组。第三，跨房间深度过滤依赖壳深度图的准确性，在壳几何不准确或存在非结构化元素（如家具）时可能失效。改进方向可以是将缓存深度与壳深度的一致性作为不确定性度量，自适应地调整过滤阈值。第四，方法假设2D生成器能够从几何代理和视觉记忆合成高质量全景，但在风格变化剧烈或记忆稀疏时可能失败。改进方向可以是增强生成器的多模态条件能力，或引入迭代细化机制。第五，3DGS缓存的增长可能导致内存压力和渲染性能下降，特别是在大规模房屋中。改进方向可以是引入层次化缓存结构或选择性记忆保留策略，只保留关键区域的高频细节。
未来方向
作者提出的未来工作方向包括：联合优化壳估计和生成，引入对象级可编辑语义，改进交互式重设计。基于PanoWorld的成果可以延伸的研究方向包括：扩展到更复杂的环境类型，如多层建筑、室外室内混合场景或包含动态元素的交互式环境；开发更智能的路径规划和节点采样策略，自适应地选择视点位置和密度以优化质量和效率；研究更高级的跨房间信息传递机制，如基于功能相似性的软分组或基于视觉流的跨房间注意力；探索将PanoWorld与用户交互结合，支持实时编辑、风格迁移或增量式房间扩展；将方法扩展到视频生成，从静态全景导览生成连续的漫游视频；研究更高效的3DGS缓存管理和压缩技术，支持更大规模的环境；开发更鲁棒的平面图理解管道，处理不完整或模糊的输入；探索在AR/VR应用中的实时渲染和交互支持；研究从真实图像反推平面图和风格的端到端训练pipeline，减少对精确输入的依赖。
复现评估
论文提供了详细的数据集信息、训练配置和评估指标，但未在论文中明确说明代码和模型是否开源。训练数据包括三个来源：3D-FRONT渲染的6,813栋房屋约200K全景图像，RealSee3D的10K房屋场景299,073全景图像，以及250万私有2D全景图像（仅用于2D生成器）。评估数据集基于私有数据构建，包含7个代表性真实平面图、相应的3D壳资产和每个平面图三种风格设置，总共42个全景视点产生126个评估全景图。全景LRM在64个NVIDIA H200 GPU上训练7天，动态支持1到24个输入全景图像，分辨率为1024×512，全局批量大小为256。2D全景生成器使用LoRA在8个NVIDIA H200 GPU上训练4天，全局批量大小为16。这种大规模训练需求对复现提出了挑战。评估指标包括HPSv3（美学质量）、CLIP-I Style（风格一致性）、Overlap PSNR（跨节点一致性）以及PSNR、SSIM、LPIPS（重建质量）。消融研究详细分析了各个组件的贡献。总体而言，复现需要大量GPU资源和访问私有数据集，但如果模型和数据开源，详细的训练配置应该可以支持复现。
论文图表
