← 返回 2026-05-20

SENSE:基于卫星影像的可持续环境能源合成框架 SENSE: Satellite-based ENergy Synthesis for Sustainable Environment

Kailai Sun, Mingyi He, Heye Huang, Can Rong, Alok Prakash, Baoshen Guo, Shenhao Wang, Jinhua Zhao 📅 2026-05-18 👍 13 2026-07-13 08:36
ControlNet 可控图像生成 城市建筑能耗建模 扩散模型 数据增强 跨城市数据集
arXiv HuggingFace PDF

用可控扩散模型联合生成城市卫星图与建筑能耗/高度图。

前置知识

城市建筑能耗建模 (UBEM)

Urban Building Energy Modeling 是利用建筑物理、气象数据、卫星影像等估计单栋或片区建筑能耗(供暖、制冷、照明)的方法,在 SDG 7/11 可持续城市规划中扮演关键角色。

本文核心场景就是 UBEM,所有 H-Decoder/E-Decoder 输出、ASHRAE NMBE/CVRMSE 指标、纽约 Local Law 84 数据集都围绕这一应用展开,不理解 UBEM 就读不懂数据为什么这么稀缺、为什么需要合成数据。

潜空间扩散模型 (LDM) 与 Stable Diffusion

潜空间扩散模型用 VAE 编码器 $E$ 把图像压到潜变量 $z_0$,在潜空间以 U-Net 学加噪/去噪,损失 $\mathcal{L}_{LDM}=\mathbb{E}\|\epsilon-\epsilon_\theta(z_t,t,c)\|_2^2$。

SENSE 整条技术栈建立在 LDM 之上:ControlNet 控路网、文本提示控密度、U-Net decoder block 抽取多尺度潜特征 F_latent。本文 E-Decoder 是在潜空间工作的关键依赖。

ControlNet 条件控制

通过复制 SD 编码块得到 $\Theta_{copy}$ 并叠加权重初始化为 0 的零卷积 $Z(\cdot)$,让约束图 $c_{env}$ 以 $y=F(x_{in}+Z(c_{env});\Theta_{copy})$ 的形式注入冻结的 U-Net,既不破坏预训练知识又能学到几何/语义约束。

SENSE 用 ControlNet 注入路网、水体、铁路等空间约束,确保生成卫星图不会把楼盖在湖里或断裂的街区上;这也是本文能稳定复现真实城市肌理的关键。

SegFormer 与离散化分割

SegFormer 是 Mix Transformer (MiT) 编码-解码的轻量语义分割网络。SENSE 把能耗/高度按分位数离散为 4-5 类(背景+3/4 等级),用 Cross-Entropy+Dice 联合训练。

H-Decoder 和 E-Decoder 都采用 SegFormer 架构。理解为什么把回归问题强行转成离散分割,有助于看懂 Table 4 中 Class 0/4 表现极好而中间类相对偏低的模式。

ASHRAE Guideline 14 与 NMBE/CVRMSE

ASHRAE Guideline 14 是建筑能耗模型标定规范,要求 NMBE 在 $\pm 10\%$ 内、CVRMSE 在 $30\%$ 内,$NMBE=\frac{\sum(\hat y_i-y_i)}{\sum y_i}$。

SENSE 把这两个工业指标作为物理可信度的金标准,Table 1 中 NMBE 3.05%、CVRMSE 14.62% 直接比肩工程校准模型,是论文最强的工程落地证据。

研究动机

城市建筑消耗了全球 32% 能源与 34% CO₂,精准的 Urban Building Energy Modeling (UBEM) 是联合国 SDG 7/11 的关键支撑。但现有 UBEM 存在三重瓶颈:其一,主流方法本质上都是"预测式"的,给定城市几何与气象输入去估算能耗(Mayer et al. 2023、Streltsov et al. 2020、Yap et al. 2025),无法生成新的、能效更优的城市形态;其二,扩散模型在卫星影像领域虽已爆发(CRS-Diff、DiffusionSat、Wang et al. 2025),但都只生成 RGB,缺少同步的城市功能层(如能耗层);其三,卫星影像与建筑能耗的成对高质量标注数据极度稀缺(隐私、成本、敏感),深度模型极易过拟合、跨城市泛化差,如 MUSE 原始 6490 张 tile 中,经过专家人工审核后只剩 2788 张合格样本,NYC 仅 579 张能用。

本文的目标是本文目标是提出一个统一的多模态生成式 AI 框架 SENSE (Satellite-based ENergy Synthesis for Sustainable Environment),把"生成卫星图"和"生成建筑能耗/高度图"绑定在同一次去噪过程中。具体目标包括:发布四城(纽约、波士顿、里昂、釜山)的 MUSE 数据集;基于 Stable Diffusion 1.5 + ControlNet 实现可控潜空间扩散;在潜空间中训练 H-Decoder (高度) 与 E-Decoder (能耗) 两个轻量级即插即用模块,达到 E-Decoder 89.25% Acc / 0.7093 mIoU、H-Decoder 85.75% Acc / 0.6005 mIoU;能耗物理指标 NMBE 3.05%、CVRMSE 14.62% 达到 ASHRAE Guideline 14 标准;在下游 UBEM 任务中,以 <20% 真实数据 + 合成数据把现有 SOTA mIoU 提升 5.46%–10.88%,NMBE 降低 3%–11%。

与已有工作不同的是，作者切入了 GenAI for Science 中一个被忽视的角度:不训练新生成器,而是复用 Stable Diffusion 在卫星图上已学到的视觉先验,在其潜空间里"长出"两类功能解码器。区别于 CRS-Diff (只控视觉) 和 Yap et al. (纯回归能耗),SENSE 首次把"路网+密度文本"作为控制条件、"卫星-高度-能耗"三模态作为生成输出,实现了一个端到端、可控、物理可信的城市功能合成器;同时通过离散化分类 + 物理指标 NMBE/CVRMSE 把"看起来像"的扩散生成升级为"用得上"的城市规划工具。

核心方法

SENSE 的整体思路是"一个冻结的 SD 视觉生成器 + 两个轻量级功能解码器":先用 SD 1.5 + ControlNet 在路网 mask 与城市密度文本提示下生成 $512\times512$ 的卫星影像 RGB,再从 SD U-Net 的 decoder block 抽取多尺度潜特征 $F_{latent}=\mathrm{Concat}(\mathrm{Upsample}(f_1),\ldots,\mathrm{Upsample}(f_K))$,最后让 H-Decoder 和 E-Decoder 共享 $F_{latent}$ 同时预测建筑高度分级图和能耗分级图。直觉上,SD 在去噪过程中已经隐式学到"这块像素像是高层写字楼/老旧住宅/工厂",这些高层语义恰好和"高能耗/低能耗/高容积率"强相关,所以作者不需要从零训联合生成器,只要在潜特征上接两个 SegFormer 头即可。

SENSE 的核心创新是"借视觉生成器的脑子,做城市功能合成"。它和已有方法有三处本质区别:(1) 区别于 CRS-Diff / DiffusionSat / Wang et al. 2025 等只生成 RGB 的扩散模型,SENSE 首次把能耗、建筑物高度作为联合输出来合成,使扩散模型从"画地图"升级为"画城市";(2) 区别于 Wang et al. 2025 (sat2shp) 等只输出 footprint 的方法,SENSE 用 ControlNet 把路网+水系+铁路作为硬约束,生成图严格遵守拓扑边界;(3) 区别于从零训练多模态联合生成器,作者把 Stable Diffusion 视觉表征当作"免费知识源",在潜空间共享 H-Decoder/E-Decoder,大幅降低训练成本,又通过 class-weighted CE+Dice 损失缓解高能耗/高层建筑这类长尾类别的稀缺问题。

方法步骤详情

方法分四步。**数据**:四城(纽约 LL84、波士顿 BERDO、里昂、釜山)采集 2023 年建筑能耗,配 Mapbox 卫星图与 GHSL 栅格化为 2788 张 $2\mathrm{km}\times 2\mathrm{km}$ tile;能耗 $\log(1+x)$ 后按 33/66 百分位离散为 4 类,高度按 25/50/75 百分位离散为 5 类。**扩散**:固定 SD 1.5 E/D/U-Net,ControlNet 注入 OSM 路网/水/铁路掩膜 $c_{env}$,联合密度文本 $c_{txt}$("BCR/BVD/RD")优化 $\mathcal{L}_{LDM}=\mathbb{E}\|\epsilon-\epsilon_\theta(z_t,t,c_{txt},c_{env})\|_2^2$,8×H100,FP32。**解码器**:固定 $t^*$ 抽共享特征 $F_{latent}$;H-Decoder (SegFormer+MiT-B3, 5 类) 损失 $\mathrm{CE}+\mathrm{Dice}$;E-Decoder (4 类) 损失 $-\sum_c\omega_c Y\log\hat Y+\mathcal{L}_{Dice}$,$\omega_c$ 反比于类频;AdamW, $lr=3\times10^{-4}$。**验证**:四 baseline (Streltsov/Xie/Mayer/Yap) 在 <20% 真实数据混入 SENSE 合成配对,反演 $\mathrm{expm1}$ 还原物理能耗。

技术新颖性

技术新颖性体现在四个层面:第一,提出"潜空间多任务解码"范式,把视觉扩散模型变成多模态功能合成器,这是 GenAI for Urban Science 的一个全新设计模式;第二,设计了 ControlNet 注入 OSM 路网+水系+铁路的硬约束,显式避免生成湖上盖楼这种物理幻觉,文中可视化(图 3)显示里昂、釜山这种历史欧式/山地路网被精确复现;第三,把能耗回归问题巧妙离散化为 4 类分割,用 class-weighted CE+Dice 解决长尾问题,使得 Class 3(高能耗)IoU 显著高于 Class 1/2(表 4),与城市能源规划"找高耗能建筑"的目标天然契合;第四,合成数据驱动的下游增强在 NMBE(从 -16.49% 改善到 -5.03%)、CVRMSE(24.91%→14.99%)、mIoU(0.6493→0.7581)上同时刷新四个 baseline,把 GenAI 真正转化为"可工业校准"的合成数据引擎。

Proposed GenAI framework for generating satellite image, building height and building energy consumption together.
Figure 1: Proposed GenAI framework for generating satellite image, building height and building energy consumption together.
Data filtering. We filtered out samples that clearly lacked building energy labels.
Figure 6: Data filtering. We filtered out samples that clearly lacked building energy labels.

实验结果

实验在四城 MUSE 上展开,核心发现分四层。**生成质量**:卫星图达到 PSNR 14.5、LPIPS 0.430、SSIM 0.234、FSIM 0.669,在 512×512 下兼顾多样性与结构保真度。**功能解码精度**:H-Decoder Overall Acc 85.75%、mIoU 0.6005,Class 4(超高层)IoU 0.6664+Recall 0.8099;E-Decoder Acc 89.25%、mIoU 0.7093,高能耗类(3)IoU 0.702 显著高于中低类,识别高耗能建筑能力突出。**物理可信度**:能耗 NMBE +3.05%、CVRMSE 14.62% 严格落在 ASHRAE 14 的 $\pm 10\%$ 与 $30\%$ 之内,达到工程校准水平。**数据增强价值**:<20% 真实数据时四个 baseline 的 mIoU 分别 +0.1041、+0.1054、+0.0546、+0.1088,NMBE 平均改善 3%-11%,CVRMSE 改善 1%-9%;图 5 显示 10-40% 真实数据时混合策略 mIoU 增益最大 4-7%,纯合成训练也具竞争力,说明 E-Decoder 已学到可泛化能耗分布。

Physical energy performance evaluation.
Table 1: Physical energy performance evaluation.
Energy prediction performance comparison. All models were fairly evaluated on a fixed real test set (20%).
Table 2: Energy prediction performance comparison. All models were fairly evaluated on a fixed real test set (20%).
Segmentation performance comparison for buildings with Background, Low-, Medium-, and High-energy consumption.
Table 3: Segmentation performance comparison for buildings with Background, Low-, Medium-, and High-energy consumption.
Class-wise segmentation performance for H-Decoder and E-decoder. The model effectively captures extreme values (Background and High-consumption/Tall buildings).
Table 4: Class-wise segmentation performance for H-Decoder and E-decoder. The model effectively captures extreme values (Background and High-consumption/Tall buildings).
Normalized confusion matrix for H-Decoder and E-Decoder.
Figure 2: Normalized confusion matrix for H-Decoder and E-Decoder.
Qualitative visualization of generated results across diverse cities.
Figure 3: Qualitative visualization of generated results across diverse cities.
Performance comparison of building energy consumption prediction across different methods.
Figure 4: Performance comparison of building energy consumption prediction across different methods.
Performance comparison of downstream building energy consumption and height prediction tasks under different training data.
Figure 5: Performance comparison of downstream building energy consumption and height prediction tasks under different training data.
查看结构化数据
任务指标本文基线提升
建筑高度分级分割 (H-Decoder) Overall Accuracy / mIoU 85.75% / 0.6005 (Class 0 IoU 0.8443, Class 4 IoU 0.6664) 无直接对比 baseline;类比于同类 latent feature 分割工作通常 70-80% Acc Class 0/4 极强(>0.66 IoU),中间类(Class 1-3)为 0.47-0.53,显示高层语义识别能力强,中段离散化是主要瓶颈
建筑能耗分级分割 (E-Decoder) Overall Accuracy / mIoU 89.25% / 0.7093 (Class 3 High Energy IoU 0.702, Recall 0.837) 无直接对比 baseline;语义分割 SOTA 在 UBEM 上 0.5-0.65 mIoU 高能耗类(3)显著优于中低能耗类(1/2),契合城市规划"识别高耗能建筑"的真实需求
建筑能耗物理可信度 (ASHRAE Guideline 14) NMBE / CVRMSE +3.05% / 14.62% ASHRAE 标准 NMBE ±10%, CVRMSE 30%;传统物理模拟 CityTFT 等通常 NMBE 5-10% NMBE 远低于 10% 阈值,CVRMSE 远低于 30% 阈值,达到工程校准水平,比纯视觉预测方法(Yap et al. NMBE -16.49%)稳定得多
下游 UBEM 数据增强 (Streltsov 2020) mIoU / NMBE / CVRMSE 0.6746 / -1.32% / 15.96% 0.5705 / -7.40% / 18.84% mIoU +0.1041 (+18.2% 相对),NMBE 改善 6.08 pp,CVRMSE 改善 2.88 pp
下游 UBEM 数据增强 (Xie SegFormer 2021) mIoU / NMBE / CVRMSE 0.6845 / -4.43% / 17.23% 0.5791 / 7.53% / 18.24% mIoU +0.1054 (+18.2%),NMBE 改善 3.1 pp,CVRMSE 改善 1.01 pp
下游 UBEM 数据增强 (Mayer 2023) mIoU / NMBE / CVRMSE 0.5926 / 1.58% / 23.73% 0.5380 / -12.66% / 29.57% mIoU +0.0546 (+10.1%),NMBE 改善 11.08 pp(从 -12.66% 收窄到接近 0),CVRMSE 改善 5.84 pp
下游 UBEM 数据增强 (Yap 2025) mIoU / NMBE / CVRMSE 0.7581 / -5.03% / 14.99% 0.6493 / -16.49% / 24.91% mIoU +0.1088 (+16.8%),NMBE 改善 11.46 pp(最显著),CVRMSE 改善 9.92 pp
卫星影像生成质量 PSNR / LPIPS / SSIM / FSIM PSNR 14.5 / LPIPS 0.430 / SSIM 0.234 / FSIM 0.669 / MS-SSIM 0.240 Stable Diffusion+ControlNet 类基线通常 PSNR 12-15,LPIPS 0.4-0.5 在 512×512 卫星图上达到 SOTA 级视觉质量,多样性(SSIM/FSIM)与保真度(MS-SSIM)兼得

局限与改进

作者在 §5.2 明确承认四点局限:第一,仅建模年总能耗,未捕捉时序动态,无法合成小时级能耗曲线;第二,MUSE 仅覆盖 4 个大都市(NYC/Boston/Lyon/Busan),对发展中与农村地区泛化性待验证;第三,训练数据源自公开渠道(OSM、Mapbox、市府披露),受披露口径限制;第四,LDM 随机性可能导致局部物理不一致。我观察到的额外问题:(a) 中间类(Class 1-3 IoU 0.47-0.53)区分力弱,分位数离散化是瓶颈;(b) NMBE 是 tile 级年总和,与 ASHRAE 严格意义的建筑级小时模型还有差距;(c) 真实数据 >40% 后合成数据增益趋于平缓,边际收益问题未深入讨论;(d) 未与 CityTFT 等最新时序模型做端到端对比。

独立分析的弱点

深入阅读后我认为 SENSE 存在三处可改进的弱点。**弱点一:中间类区分力弱**。表 4 中 H-Decoder Class 1/2/3 IoU 仅 0.47-0.53,主要因为 25/50/75 百分位离散化在密集城市里把大量 5-15 层楼压到同一类,改进方向是按高度区间+功能区(住宅/商业/工业)联合聚类,或换成序数回归+softmax 保持顺序性。**弱点二:城市覆盖偏倚**。MUSE 只覆盖 4 个发达大都市,对东南亚、拉美、非洲基本没数据,容易把发达城市能耗模式当成普适规律;改进方向是结合 GHS Urban Centre Database 扩展到 30+ 城,并加入人口/经济属性作为附加文本条件。**弱点三:能耗物理一致性仅在聚合层验证**。NMBE 是 tile 级年总和,未引入 HVAC、围护结构、气象小时数据等关键物理变量,改进方向是引入物理信息损失把建筑传热方程作为软约束嵌入 E-Decoder。

未来方向

作者在 §5.2 提出了三个未来方向:(1) 引入时间维度合成小时级能耗曲线,支持更细粒度的城市能源调度;(2) 扩大数据集的全球覆盖,纳入更多发展中城市;(3) 把框架开源给政策制定者,降低数据基础设施薄弱地区的能耗建模门槛。基于 SENSE 的成果,我认为可延伸的方向还有:(a) **多模态功能合成**:把 SENSE 推广到碳排放、太阳能潜力、夜间灯光等多城市功能层,使单次生成能同时支持 SDG 7/11/13;(b) **交互式规划工具**:把 ControlNet 的路网条件从静态 mask 升级为可拖拽的交互式 GUI,让规划师实时调整路网看能耗变化;(c) **闭环策略优化**:把 SENSE 作为仿真器接入强化学习,训练能效导向的城市布局策略 agent;(d) **物理 + 扩散混合模型**:与 EnergyPlus、ENVI-met 等物理仿真耦合,用扩散生成填补物理仿真的稀疏采样,实现"粗粒度扩散 + 细粒度物理"的混合范式;(e) **隐私保护合成**:结合差分隐私进一步打消隐私顾虑,使生成数据可直接用于跨城市共享。

复现评估

可复现性较好。**代码与数据完全开源**:模型在 https://github.com/kailaisun/GenAI4Urban-Energy/,MUSE 数据集在 https://huggingface.co/datasets/skl24/MUSE;论文 §3 详细列出 SD 1.5+ControlNet 权重来源、SegFormer+MiT-B3 解码器、CE+Dice 损失与类权重 $\omega_c$ 计算,附录 A.1 给出 5/4 类的分位数边界与 AdamW ($lr=3\times10^{-4}$, weight decay $1\times10^{-4}$) 全部超参。**算力门槛较高**:训练需 8×H100 80GB、CUDA 12.0、500GB RAM、FP32 精度、DDP;推理单卡 A100 即可。**实现难度中等**:ControlNet 接入 OSM 栅格化、SegFormer 微调、ASHRAE 指标都是成熟工具链。**风险点**:MUSE 依赖四市政策披露,若数据政策变动更新频率受影响;Yap baseline 的 NMBE -16.49% 表明 baseline 随机种子会显著影响物理指标,复现时需多次平均。

论文图表

Table 5: City-level statistics data in MUSE.

NYC/Boston/Lyon/Busan 四城在卫星图/地理约束/城市密度/原始能耗图/过滤后能耗图五个维度上的样本数:NYC 1589→579、Boston 2051→526、Lyon 1412→687、Busan 1438→996,合计 2788 张合格 tile。

直观展示 MUSE 数据规模与过滤比例,验证数据稀缺是 UBEM 真实痛点(原始数据过滤后损失 30%-75%),为合成数据增强必要性提供数据基础。