World2Minecraft：基于占据预测的模拟场景构建 World2Minecraft: Occupancy-Driven Simulated Scenes Construction
用3D语义占据把真实场景搬进Minecraft，并配套大规模数据集和VLN导航验证
前置知识
3D语义占据预测
将3D空间离散为规则体素栅格（如 $X \times Y \times Z$），预测每个体素是否被占据及其语义类别。每个体素 $v=(x,y,z)$ 对应一个离散类别 $s \in \{0,\dots,C-1\}$，与Minecraft方块天然对齐，这是本文的表示基础。
占据预测是本文整个流水线（real→Minecraft转换和MinecraftOcc数据集）的核心技术。没有占据体素这一中间表示，就无法把照片变成可编辑的Minecraft方块指令。
Real-to-Sim真实到仿真迁移
把真实世界的传感器数据（RGB图像、点云、CAD模型等）重建为可用于训练/评估机器人的虚拟仿真环境。传统路线分两类：NeRF/3D高斯泼溅等隐式辐射场方法视觉逼真但不可编辑；CAD检索方法可编辑但需要精确实例分割。本文提出的occupancy-driven方法兼顾几何精度与可编辑性。
这是论文要解决的核心问题域。理解NeRF/Gaussian Splatting为何好看不好改、CAD方法为何好改不准，才能体会本文用占据体素作为桥梁的设计动机。
Vision-Language Navigation视觉语言导航
智能体根据自然语言指令（如"穿过主门，走到客厅的冰箱前"）在3D环境中执行导航的任务。本文定义两个子任务：Next-View预测（基于历史多帧选下一帧）和Next-Action预测（基于当前帧选下一步动作如前进/左转），本质上是具身智能中视觉-语言-动作闭环的典型评测场景。
VLN是本文将重建的Minecraft环境作为下游任务平台的具体落地方式，理解这个任务有助于判断MinecraftOcc+重建管线的实用价值。
DBSCAN密度聚类与占据密度图
DBSCAN是基于密度的无监督聚类，通过距离阈值 $\eta$ 分组无需预设簇数。本文先用3D卷积核 $K$ 在二值占据体素上卷积得到密度图 $D = K * \hat{O}_{binary}$，再用阈值 $\tau$ 提取候选中心，按类别独立DBSCAN得到去冗余中心集 $C'$。
这是World2Minecraft将占据体素转化为Minecraft建造指令的核心后处理步骤。没有聚类，每个体素都对应一个方块指令会导致几何结构无法对齐真实场景。
SFT与RFT微调范式
SFT用标注问答对直接监督训练视觉语言模型，本文基于LLaMA-Factory实现；RFT则采用GRPO算法配合KL惩罚（系数 $1.0\times10^{-2}$）做策略优化，本文基于EasyR1框架。两者在3B/7B的Qwen2.5-VL上对比，体现了不同任务规模下的优劣。
理解SFT和RFT的差异才能看懂Table 2中为什么3B在Next-View上SFT更好，而更大数据集Extend上RFT反超SFT。
研究动机
具身智能研究高度依赖高质量、可编辑的仿真环境，但现有平台各有致命缺陷。Habitat 这类基于真实扫描的平台虽然几何真实，但场景存在传感器噪声、几何伪影，并且完全不可编辑——机器人没办法修改一扇门或挪动一把椅子。CAD 检索类方法（Scan2CAD、ROCA、RayTran）虽然能产出干净、可编辑的资产，但严重依赖精确的实例分割和尺度对齐，分割一旦出错整套场景就崩。Minecraft 因为开放可编辑被广泛用于强化学习（GROOT、ROCKET-1、JARVIS-VLA），但原生方块画质与真实世界存在显著 reality gap。NeRF 和 3D Gaussian Splatting 虽能生成照片级新视角，但其隐式/点云表示本质上是不可编辑、缺乏物理属性的。
本文的目标是本文的核心目标是构建一个名为 World2Minecraft 的端到端管线，将真实世界的室内场景直接转换为可在 Minecraft 中执行的可编辑、可交互的虚拟环境，同时在重建出的环境中支持视觉语言导航等具身任务。具体回答三个问题：(1) 能否以低成本、自动化的方式把 RGB 图像序列转换为 Minecraft 方块建造指令？(2) 重建出的环境能否支撑真实可用的 VLN 任务？(3) 如何用 Minecraft 自身的可控性反过来生成大规模占用预测训练数据，解决真实数据稀缺问题？
与已有工作不同的是，本文的独特切入点是选择 3D 语义占据作为真实世界与 Minecraft 之间的中间语言。之所以选这个表示，是因为占据体素的离散结构与 Minecraft 方块天然对齐——每个体素可直接翻译为 `/setblock x y z block_type` 命令，绕过 NeRF→mesh→block 的有损路径，也避开 CAD 检索对实例分割的强依赖。另一独特之处是利用 Minecraft 自身可控性反向构建 MinecraftOcc 数据集：在 156 个精心搭建的室内场景中自动采集 100,165 张 $1920 \times 1129$ 高分辨率图像，并通过 WorldEdit 等 mod 自动生成 1,452 个语义类别的体素级标注，将昂贵人工标注变为零成本自动化流程。
核心方法
World2Minecraft 的整体思路可概括为先看、再聚、再造。给定真实室内场景的 RGB 图像集 $I=\{I_1,\dots,I_N\}$ 及相机内外参，先用单目占据预测器 $F_{mono}$ 对每张图像独立预测语义占据 $O_i^{mono} \in \{0,\dots,C-1\}^{X\times Y\times Z}$，相当于把每个视角看成 3D 体素；再用 embodied 模型 $F_{embodied}$ 借助外参融合成统一场景占据 $\hat{O}_{scene}$。后处理阶段先二值化再用 3D 卷积核 $K$ 算密度图 $D=K*\hat{O}_{binary}$，通过阈值 $\tau$ 提取候选中心，按语义类别独立做 DBSCAN 聚类得到精炼中心 $C'$；最后对每个实例的占据网格在家具模板库中通过离散旋转 $\delta$ 搜索最大 IoU 匹配，再翻译为 Minecraft `/setblock` 命令序列。这是一个感知→表示→检索→指令生成的四阶段流水线。
核心创新点是把 3D 语义占据体素作为真实世界和 Minecraft 之间的通用语料，既驱动 Minecraft 重建，又充当 Minecraft 自动产出占据标注的载体。与已有方法的本质区别体现在三点：(1) 相比 NeRF/3D Gaussian Splatting 的隐式辐射场表示，离散体素天然可分解、可编辑、可度量，每个体素可独立替换或删除；(2) 相比 CAD 检索方法需要昂贵实例分割，本文只用 RGB + 相机参数端到端输出语义体素，省去显式物体检测；(3) 相比 Habitat 这类真实扫描平台，本文输出的是 Minecraft 方块世界，物理可交互、可用 mods 任意改造，天然支持 RL/具身训练。第二个创新点是 MinecraftOcc 数据集本身。
方法步骤详情
完整流水线分四步。第一步单视角占据预测（公式1）：对 $I_i$ 调用 $F_{mono}$，结合内参 $K$ 输出 $O_i^{mono} = F_{mono}(I_i, K) \in \{0,\dots,C-1\}^{X\times Y\times Z}$。第二步多视角融合（公式2）：用 $F_{embodied}$ 借助外参 $E$ 融合为 $\hat{O}_{scene}$，解决单帧遮挡。第三步体素后处理：二值化后用 3D 卷积核 $K$ 算密度图 $D=K*\hat{O}_{binary}$，按阈值 $\tau$ 提取候选中心；按语义类别独立 DBSCAN（距离阈值 $\eta$、L2 距离）得到去冗余中心 $C'$。第四步模板匹配与指令生成：在家具库 $L=\{T_j\}$ 中枚举旋转 $\delta$，用 $\arg\max_{j,\delta}\frac{|O_k \cap Rot(T_j,\delta)|}{|O_k \cup Rot(T_j,\delta)|}$ 选最佳模板与朝向，翻译为 `/setblock` 命令序列。
技术新颖性
技术新颖性主要体现在三方面。第一是表示层面的选择：3D 语义占据虽在自动驾驶领域已被广泛研究，但被首次系统性地用作真实→Minecraft转换的桥梁，发挥了既离散可分、又语义丰富、还与方块粒度天然匹配的独特优势。第二是后处理流程的工程化设计：3D 卷积密度图 + DBSCAN 聚类 + 旋转不变模板匹配的组合，把像素级 3D 标注提炼为实例级 3D 资产再翻译为方块指令，这套组合在真实到仿真文献中属于首创。第三是数据闭环：传统占据数据集（NYUv2、OccScanNet）依赖昂贵激光扫描或密集人工标注，而 MinecraftOcc 利用 mods 可编程性实现了建场景→拍照→自动查表标注的全自动化，100,165 张 $1920\times 1129$ 高分辨率图像的标注成本几乎为零。
实验结果
论文在三个层面报告实验。重建（Figure 4）显示 15 个高质量重建在 Reality 与 Minecraft 间一致性较高。VLN（Table 2）零样本 7B 优于 3B（Base Next-Action：3B 0.1943 vs 7B 0.3829），SFT 在 Base 最佳（7B Next-Action 0.8000 全表最高），RFT 在 Extend/Combined 反超（Next-View：RFT 0.6753 vs SFT 0.6642）；Gemini-2.5-Pro 演示实时导航（Figure 5）。占据预测（Table 3-5），MinecraftOcc 在 NIQE/PIQE/LV 全面优于 NYUv2/OccScanNet（NIQE=9.97 vs 14.96/17.63），SOTA 表现低——Symphonies 8k 仅 IoU=39.11/mIoU=21.56；Table 5 联合训练 NYUv2+MinecraftOcc(8k) 使 NYUv2 IoU 从 49.91 升到 50.34（+0.43），证明 MinecraftOcc 是有效互补。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MinecraftVLN Next-View Base (Qwen2.5-VL-7B) | Accuracy | SFT=0.5854, RFT=0.4390 (No-Train=0.3905) | Qwen2.5-VL-3B No-Train=0.2195 | 7B SFT 相比 3B No-Train 提升 +0.3659（绝对），相对提升约 167% |
| MinecraftVLN Next-Action Base (Qwen2.5-VL-7B) | Accuracy | SFT=0.8000（全表最高）, RFT=0.6343 | Qwen2.5-VL-3B No-Train=0.1943 | 提升 +0.6057，相比零样本 7B（0.3829）也提升 +0.4171 |
| MinecraftVLN Next-View Combined (Qwen2.5-VL-7B) | Accuracy | RFT=0.6753 | SFT=0.6642 | RL 微调反超 SFT +0.0111，说明大数据集下 RFT 探索更有效 |
| NYUv2 占据预测 (Symphonies*，混入 MinecraftOcc-8k) | IoU / mIoU | IoU=50.34, mIoU=29.91 | Symphonies 单独训练 IoU=49.91, mIoU=29.70 | IoU +0.43, mIoU +0.21，验证 MinecraftOcc 作为数据增强的互补价值 |
| MinecraftOcc 8k 占据预测 (Symphonies) | IoU / mIoU | IoU=39.11, mIoU=21.56 | MonoScene IoU=40.66 mIoU=20.93；ISO IoU=33.82 mIoU=14.83 | Symphonies 取得 mIoU 最高 21.56，IoU 略低于 MonoScene，体现新分布下 SOTA 全面退化 |
| 图像质量对比（MinecraftOcc vs NYUv2 vs OccScanNet） | NIQE(↓) / PIQE(↓) / LV(↑) | NIQE=9.97, PIQE=45.23, LV=274,305 | NYUv2 NIQE=14.96 PIQE=47.40 LV=57,369；OccScanNet NIQE=17.63 PIQE=58.78 LV=10,352 | NIQE 较 NYUv2 降低 4.99、PIQE 降低 2.17、LV 提升 4.78 倍，图像质量全面领先 |
| 布局生成对比（Table 6） | OOB↓/Collision↓/Semantic↑/Visual↑/Complete↑/Aesthetic↑ | 0.024 / 0.2 / 0.913 / 6.145 / 5.186 / 6.022 | I-Design (次优): 0.423 / 0 / 0.884 / 6.001 / 4.734 / 5.352 | Semantic +0.029、Visual +0.144、Complete +0.452、Aesthetic +0.670，6 项中 4 项最佳 |
| 场景重建效率（Table 7） | 总耗时 / 操作数 | 70.38 秒 / 24.5 次操作 | 从零搭建 482.00 秒 / 340 次操作 | 时间 7.5× 加速，操作数 13.9× 减少 |
局限与改进
作者坦诚指出两个核心局限。第一是重建质量对单目占据预测模型依赖过强——7B 零样本 Next-Action 仅 0.3829，SFT 后才达 0.8000；自动重建出错（Figure 4 可见 Prediction 与 Construction 仍有差异）会直接拖垮下游导航，必须人工挑选 15/30 个高质量场景做手工 refinement，Table 7 显示手工 refinement 占总耗时 91.6%（64.50s/70.38s），自动化仅 5.88s，说明全自动 real→sim 仍未达成。第二是 MinecraftOcc 暴露的泛化鸿沟——Table 4 中所有方法 8k→100k 性能反降（Symphonies IoU 从 39.11 跌至 27.60），SOTA 模型严重过拟合 NYUv2 简单分布。我自己的观察：(a) 仅室内验证，室外未触及；(b) Next-View/Next-Action 是离散 4 选 1 简化任务；(c) MinecraftOcc 真实价值待更大下游任务证明，目前仅 +0.43 IoU 微弱增益。
独立分析的弱点
独立审视有四个明显弱点。第一个是 occupancy 预测模型仍是最大瓶颈——Symphonies 在 MinecraftOcc 8k 上只达 IoU=39.11/mIoU=21.56，远低于 NYUv2 上 49.91/29.70，说明单目占据预测在 mods 复杂光照、PBR 材质下鲁棒性不足；改进方向是用 MinecraftOcc 本身作预训练数据，先仿真预训练再 NYUv2 微调。第二个是 World2Minecraft 对家具模板库依赖较强，公式5的 IoU 检索只在候选库内枚举离散旋转，对异型家具还原能力有限；改进方向是引入可学习形状先验（神经 SDF）或扩散模型直接生成方块几何。第三个是 MinecraftVLN 仅支持 4 选 1 离散动作，与真实机器人连续控制脱节；改进方向是引入低层控制策略做动作桥接。第四是 MinecraftOcc 仅带来 +0.43 IoU 微弱增益，可能因 sim-to-real 域差仍存；改进方向是引入 domain randomization 进一步压缩分布差异。
未来方向
作者在结论中暗示了几个未来方向：(1) 将 MinecraftOcc 与 EmbodiedOcc 联合训练以提升真实场景重建质量；(2) 用 LLM/VLM 替代模板匹配实现开放词汇家具生成；(3) 将管线扩展到室外场景。可延伸的研究方向包括：第一个是闭环训练范式——让 agent 在 MinecraftOcc 渲染场景中训练占据预测模型，再回到真实场景测试，形成 sim→real→sim 迭代；第二个是大模型驱动导航——用 MinecraftVLN 的 3,801 条 QA 训练专用导航基础模型，并加入 Chain-of-Thought 推理；第三个是跨模态扩展（RGB-D、事件相机、LiDAR）；第四个是与 MineStudio、ROCKET-1 等 Minecraft 具身框架深度集成，把 World2Minecraft 作为个人化场景生成器嵌入 RL 训练循环；第五个是 occupancy-to-block 翻译的可微分版本，让整个重建过程可端到端反向优化占用预测模型。
复现评估
论文复现门槛中等偏低，作者承诺公开完整框架和数据集，并给出 8 步复现清单。数据层面 MinecraftOcc 与 MinecraftVLN 都来自 Minecraft 仿真场景，无版权隐私问题；mod（WorldEdit、Screen with Coordinates、TMEO）均为公开 mod。代码层面，SFT 基于 LLaMA-Factory、RFT 基于 EasyR1、占用预测使用 EmbodiedOcc 预训练模型，超参数在 Table 11 完整公开。算力：RFT 在单节点 8 GPU 跑 30 epochs，SFT 仅 5 epochs。复现难点：(a) TMEO 含 1,452 个细粒度语义，1,452→13 类的人工映射难以批量复现；(b) MinecraftOcc 多光照条件依赖精确 mod 同步；(c) 重建质量视觉评估需专业操作员做 manual refinement。建议先复现 MinecraftOcc→NYUv2 的 +0.43 IoU 增益（最简单），再扩展到端到端重建。
论文图表