在活上下文中看见世界：室内外统一的 3D 城市世界生成 To See a World in a Living Context: Unified Indoor-Outdoor Urban World Generation
HoloWorld 以跨尺度活上下文首次统一生成室内外一致的 3D 城市
前置知识
文本驱动 3D 场景生成
从自然语言描述自动合成可渲染三维场景的技术路线：通常以大语言模型做语义规划与分解，以文生图模型生成视图，再经图像转 3D（image-to-3D）或程序化组装得到几何、材质与布局。本文即采用 GPT-5.4 做语言推理、GPT-Image-2 生成街区图像、Meshy API 做图像转 3D 的组合。
HoloWorld 全程 training-free，由现成模型串联而成，理解这一范式才能看清各模块的输入输出与误差来源。
自回归块级生成（ANC）
把城市外观表示为 $R \times C$ 的街块网格，按顺序逐块生成：每块图像除接收世界级与块级条件外，还以已生成的邻块 $\{I_j\}_{j \in N_i^-}$ 为条件，从而保持跨块边界的道路、地表与建筑风格连续。消融显示去掉邻块条件（w/o ANC）后连续性 AQS 从 8.25 降至 7.25。
它解释了外观生成如何维持全局一致性，也是论文两组消融实验的核心对照对象。
跨尺度分层上下文
将生成过程的状态组织为三层：世界级 $C_{world}$ 编码城市主题、功能组织与共享风格；街区级 $C_{block}$ 特化为局部布局与邻域关系；建筑级 $C_b$ 定位到具体建筑实例的身份、外观与几何。信息自上而下继承，新生成且通过验证的证据再自下而上写回。
论文的活上下文（living context）正是该分层结构加验证写回机制，是理解方法全貌的钥匙。
建筑底面（Footprint）与 Shape IoU
Footprint 指建筑贴合地面的二维轮廓 $F_b = \mathrm{Footprint}(x_b)$，由图像转 3D 得到的建筑实例 $x_b$ 提取；Shape IoU 衡量生成的室内包络与该轮廓的交并比，是评估室内外几何对应、且与评估器无关的客观指标，本文达到 0.997，而静态上下文消融中仅 0.670。
它把室内属于这栋楼这一主张从主观印象变成可计算的硬约束 $S_{in}^b \subseteq F_b$。
AQS 与 RDR 评估协议
AQS（Absolute Quantitative Scoring）让 GPT-5.5 或人类专家按 1-10 分在四个维度打绝对分：结构与视角一致性 SVC、场景丰富度 SRC、材质纹理保真 MTF、光照氛围 LA；RDR（Relative Dimension Ranking）通过成对比较统计相对偏好份额。两套协议均用 GPT 与 20 位专家人评双轨进行。
论文所有定量结论（如平均 AQS 超 SOTA 7.68%）都建立在这两个协议上，读懂表格必须先理解其含义。
研究动机
文本驱动 3D 生成在两条线上各自快速演进，却始终彼此割裂：城市外观一侧，CityDreamer、CityCraft、SynCity、MajutsuCity、Yo'City 等能合成大面积、多样化的城市环境，但只构建外部环境，完全不建模建筑内部空间；室内一侧，ATISS、DiffuScene、Holodeck、SAGE、SceneSmith 等在房间规划、资产合成与层级布局上进步显著，但生成的是与任何城市上下文无关的孤立场景。即使 3D-GPT、WorldCraft、WorldGen、Scenethesis 这类通用代理式系统，也很少在生成的建筑与其内部实现之间建立显式对应。后果是：城市外观可以看起来很真实，但单独生成的内部与同一世界脱节。论文用实验量化了这一点——即便给 TRELLIS 提供功能与风格配对的文本描述、让它独立生成建筑外观和内部，其视觉一致性 AQS 也只有 5.88，RDR 偏好份额仅 1.83（GPT-5.5 评估），说明仅靠共享文本条件远不足以产生语义、视觉、空间三个层面跨尺度一致的统一世界。
本文的目标是论文要提出并解决统一室内外城市场景生成任务：给定描述城市意图的文本提示 $P$，生成一个连贯的 3D 城市世界，形式化为 $O = \{S^{out}, \{(b, S_{in}^b) \mid b \in B_{tar}\}\}$，即城市外观 $S^{out}$ 加上每个被选中建筑实例 $b$ 对应的内部 $S_{in}^b$。生成的每个内部必须满足三条要求：显式对应一个外观建筑实例（而非任意房间）；继承该建筑的功能语义与视觉身份（风格、材质与其在共享城市中的外观特征一致）；尊重其几何底面，即 $S_{in}^b \subseteq F_b$。同时外观生成本身要在 $R \times C$ 街块间保持空间组织与视觉身份一致。量化目标为：在外观质量上平均 AQS 超过 SOTA 基线 7.68% 并取得最高平均 RDR，同时在建筑级室内外对应与跨块连续性上建立可验证的一致性。
与已有工作不同的是，论文的独特切入是把统一室内外生成从两次独立的场景合成，重构为跨尺度上下文的保存、传播与定位问题。灵感取自 Blake 的诗一沙一世界：局部观察必须与全局身份保持一致。为此作者提出活上下文（living context）——它不是简单存储历史输出的记忆，而是一个随生成不断更新、只纳入经验证证据的分层结构化表示，从城市级逐步细化到街区再到具体建筑。与 SynCity 逐瓦片扩展、Yo'City 代理式生长等只把一致性用于外观的方法不同，HoloWorld 把城市级语义、风格以及已生成的外观证据一路传递到特定建筑的内部；与 TRELLIS 式配对文本独立生成不同，室内外对应不靠文本暗示，而由结构化上下文加几何 grounding（实例身份与底面 $F_b$）显式保证，这正是此前工作留下的空白。
核心方法
HoloWorld 是一条 training-free 的代理式流水线，直觉上就是让一份不断生长的世界档案贯穿从城市到房间的一切决策。输入文本 $P$ 后，城市规划模块在 $R \times C$ 网格 $G$ 上定义城市主题、功能组织与共享内外风格，写入世界级上下文 $C_{world}$；块设计模块为每块生成布局存入 $C_{block}$；外观生成器以 $C_{world}$、$C_{block}^i$ 和已生成邻块为条件，自回归生成每块图像 $I_i$，经图像转 3D 得 $X_i$ 并按网格拼装为 $S^{out}$；随后做建筑实例关联，把块图像中的建筑区域 $M_b^{iso}$ 与 3D 实例 $x_b$ 配对，提取身份与底面 $F_b$ 构造建筑级上下文 $C_b$；室内模块基于 $C_b$ 做内容规划、生成建筑专属资产，并在底面约束下做层级式室内合成。系统用 GPT-5.4 做语言推理、GPT-Image-2 做块图像生成与编辑、Meshy API 做图像转 3D；实验统一用 $3 \times 3$ 网格保证可比性，框架支持任意 $R \times C$。
核心创新是活上下文：三层分层状态 $C^t = \{C_{world}^t, \{C_{block}^{t,i}\}, \{C_b^t\}\}$，每步先经任务特定投影取出条件 $W^t = \Pi_{\tau_t}(C^t)$，生成候选 $Y^t$ 与证据 $\Delta^t$，仅当验证 $Q_{\tau_t} = \mathrm{pass}$ 时才写回 $C^{t+1} = C^t \oplus (Y^t, \Delta^t)$，否则保持不变。验证门控保证只有可靠信息向下游传播，形成自上而下继承（城市→街区→建筑）与自下而上写回的双向交互。与已有方法的本质区别：以往城市生成把外观当终点、室内生成从零开始，二者没有可追溯的桥梁；HoloWorld 把外观建筑证据（图像 $I_i$、隔离区域 $M_b^{iso}$、底面 $F_b$）作为内部生成的显式条件，使每个内部成为同一世界的对应实现而非独立场景，且这种对应可被 Shape IoU 等几何指标客观验证。
方法步骤详情
第一步分层规划：输入 $P$，城市规划模块在网格 $G$ 上定义城市主题、功能组织与块间关系，导出共享内外风格写入 $C_{world}$；块设计模块生成块布局存入 $C_{block}^i$。第二步自回归外观生成：$I_i = A_{out}(\Pi_{out}(C_{world}, C_{block}^i, \{I_j\}_{j \in N_i^-}))$，条件含世界级上下文、块级设计与已生成邻块；每块图像经图像转 3D 得 $X_i$，拼装为 $S^{out}$。第三步实例关联与几何 grounding：建立 $b = (i, \mathrm{id}(x_b^{iso}))$ 与 $F_b = \mathrm{Footprint}(x_b^{iso})$，构造 $C_b = \Pi_{sv}(C_{world}, C_{block}^i) \oplus \{I_i, M_b^{iso}, \mathrm{id}(x_b), F_b\}$。第四步内容规划与资产生成：由 $C_b$ 规划结构化室内程序并生成建筑专属资产库 $L_b$。第五步底面约束层级室内合成：$S_{in}^b = A_{in}(\Pi_{in}(C_b), \mathrm{Footprint})$，约束 $S_{in}^b \subseteq F_b$，先定房间布局，再逐级放置家具、墙体与小物件。每步结果经验证后写回上下文供后续检索。
技术新颖性
技术新颖性体现在四个层面。任务层面：首次提出并形式化统一室内外城市生成，输出结构 $O$ 显式包含外观与建筑对应的内部配对，此前包括 WorldCraft、WorldGen 在内的系统都未建立可追溯的建筑到内部对应。表示层面：活上下文是动态、分层、带验证写回的状态机，而非静态提示或一次性记忆——消融证明其必要性：冻结上下文更新后功能、视觉、空间 AQS 从 7.67、8.17、7.75 跌至 5.75、4.58、3.25，Shape IoU 从 0.994 降至 0.670。机制层面：首次把外观建筑实例（身份、外观、底面）作为内部生成的硬几何约束 $S_{in}^b \subseteq F_b$，达成 Shape IoU 0.997，而配对文本独立生成的 TRELLIS 根本无法定义该指标。生成机制层面：自回归邻块条件（ANC）让后续块引用已生成邻块，消融显示去掉后连续性 AQS 从 8.25 降至 7.25、RDR 从 24.04 降至 16.66。整条流水线无需训练，由现成大模型与图像转 3D API 组合即得。
实验结果
城市外观（表 1，$3 \times 3$ 网格、相同输入描述）：GPT-5.5 评估下本文 AQS 四维 SVC/SRC/MTF/LA 为 8.75/9.00/7.63/8.00，较最强基线 MajutsuCity（8.00/8.60/7.00/7.40）相对提升 9.38%/4.65%/9.00%/8.11%，平均 AQS 超 SOTA 7.68%；RDR 四维 27.89/27.64/29.43/29.57 全部最高，20 位专家人评同趋势第一。室内外对应（表 2）：对比配对文本独立生成的 TRELLIS，视觉 AQS 5.88→8.21、RDR 1.83→24.29，功能 AQS 7.47 对 6.23，空间 AQS 8.77（GPT）与 8.65（人评），Shape IoU 0.997，而 TRELLIS 因内部不锚定底面无法算空间指标。消融一（表 3，静态上下文）：功能/视觉/空间 AQS 从 7.67/8.17/7.75 降至 5.75/4.58/3.25，Shape IoU 0.994→0.670。消融二（表 4，去 ANC）：连续性 AQS 8.25→7.25、RDR 24.04→16.66，人评 AQS 7.75→5.38，块边界出现可见断裂。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 城市外观生成 | 平均 AQS（GPT-5.5，SVC/SRC/MTF/LA 四维均值） | 约 8.35（四维 8.75/9.00/7.63/8.00） | MajutsuCity（四维 8.00/8.60/7.00/7.40，均值约 7.75） | 平均 AQS 相对 SOTA 提升 7.68%，四维分别相对提升 9.38%/4.65%/9.00%/8.11% |
| 城市外观生成 | RDR 相对偏好（GPT-5.5，四维均值） | 约 28.63（27.89/27.64/29.43/29.57） | MajutsuCity（22.62/24.99/23.89/25.84，均值约 24.33） | 所有维度 RDR 均为最高，人评结果同趋势全维度领先 |
| 建筑级室内外一致性（视觉） | Visual AQS（GPT-5.5） | 8.21（RDR 24.29；人评 AQS 7.60） | TRELLIS 配对文本独立生成：5.88（RDR 1.83） | AQS 相对提升约 39.6%，RDR 偏好份额提升超过 13 倍 |
| 室内外几何对应 | Shape IoU | 0.997（表 2 全模型；表 3 消融全模型 0.994） | TRELLIS 不适用；消融中静态上下文仅 0.670 | 由外部建筑底面 $F_b$ 显式约束 $S_{in}^b \subseteq F_b$ 实现，独立生成范式无法给出该指标 |
| 跨块视觉与空间连续性 | Continuity AQS / RDR（GPT-5.5） | 8.25 / 24.04 | 去掉自回归邻块条件（w/o ANC）：7.25 / 16.66 | AQS 提升 1.0 分、RDR 提升 7.38；人评 AQS 7.75 对 5.38 同趋势 |
局限与改进
作者明确承认：当前框架只处理单层内部，不显式建模垂直建筑结构，多层住宅只有一层内部，无法表达楼层、楼梯与竖向空间关系；未来需扩展多层建筑推理、更丰富的结构约束与交互式物理验证。我补充观察：其一，全流水线依赖 GPT-5.4、GPT-Image-2、Meshy 等闭源 API，外观几何精度受图像转 3D 上限约束，承重墙、管线、门窗对位等建筑学细节无保证；其二，评估协议 AQS/RDR 沿用 MajutsuCity 的自定义 GPT 评估范式，跨论文可比性与客观性有限，人评仅 20 位专家且场景数量未详述；其三，所有实验固定在 $3 \times 3$ 网格，更大城市的上下文膨胀与误差累积未被检验；其四，生成的是静态场景，室内可通行性、家具碰撞等只靠文本级验证器 $Q$，没有物理或具身仿真反馈闭环。
独立分析的弱点
弱点一：自回归逐块生成存在串行依赖，$R \times C$ 大网格时延迟与 API 成本线性增长，且早期块的错误会经邻块条件向后传播污染整座城市；改进方向是分块并行加边界拼接、引入错误检测与局部回滚重生成。弱点二：上下文中的验证器 $Q$ 是文本级检查，没有几何仿真，室内家具仍可能穿模、遮挡门口或不可通行；可加入碰撞检测与智能体可达性校验作为额外门控。弱点三：Meshy 图像转 3D 决定了外观几何上限，复杂屋顶、立面雕花易失真；可替换为城市级前馈生成模型或高斯泼溅表示提升保真。弱点四：单层内部与建筑语义不完全匹配，一栋摩天楼只有一层内部显然不完整；需引入楼层图与竖向连通约束。弱点五：Shape IoU 只度量室内包络与底面轮廓的重合，不反映门窗位置、开口对齐等精细对应；可定义开口对齐率等更细指标。弱点六：哪些建筑被选入 $B_{tar}$ 做内部生成的策略论文语焉不详，选择偏差可能影响开销与覆盖率评估。
未来方向
作者提出的方向包括：多层建筑推理，让内部覆盖楼层结构与竖向连通；更丰富的结构约束，把承重、开口等建筑学规则纳入生成；交互式物理验证，用仿真反馈替代纯文本验证器，最终服务于城市尺度仿真与具身智能应用。基于其成果还可延伸：把活上下文接入具身智能体闭环，智能体进入建筑后的观察作为新证据写回，使世界模型随交互持续演化；扩展到动态城市（交通流、昼夜与季节变化）；利用三层上下文做城市编辑——只修改 $C_{world}$ 的风格条目即可局部再生成整座城市；用开源 LLM 与图像模型替换闭源 API 降低成本；结合真实 GIS 数据与街景做 grounding，形成生成加重建的混合城市管线，并把 $R \times C$ 推向更大规模检验上下文机制的扩展性。
复现评估
复现条件中等偏难。论文提供了项目主页（huangxb326.github.io/HoloWorld），但未提及开源代码或数据。流水线完全 training-free，无需 GPU 训练，但依赖一串闭源服务：GPT-5.4 做语言推理与规划、GPT-Image-2 做街区图像生成与编辑、Meshy API 做图像转 3D、GPT-5.5 做自动评估，另需 20 位专家做人工评估；每块图像、每栋建筑的内部都要多轮 API 调用，费用不低。评估用的城市是自生成场景（统一 $3 \times 3$ 网格、多样化主题），没有公开标准基准；AQS 评分提示词与 RDR 成对比较协议沿用 MajutsuCity 的做法，但需自行实现细节。工程难度主要在模块串联、提示词工程与上下文状态管理，能跑通流程，但要精确对齐论文数值（如 Shape IoU 0.997）需复刻相同的验证与评估链路，难度较高。
论文图表
对比图：左侧展示现有方法把室外与室内场景分开生成，彼此没有共享上下文，也没有建筑与内部的对应关系（室外生成后加问号指向孤立的室内）；右侧展示 HoloWorld 的做法——跨尺度世界上下文从城市级逐级经过街区、具体建筑传递到匹配的内部，形成 jade/stone 城市到街区、Jade-roof residence 建筑再到其对应内部 $S_{in}$ 的显式传播链。
这张图一图道破论文的问题定义与核心主张：统一室内外生成的关键是让上下文跨尺度传播并建立建筑与内部的显式对应，是读者理解任务动机的最佳入口。