SceneSmith：基于智能体协作的仿真就绪室内场景自动生成 SceneSmith: Agentic Generation of Simulation-Ready Indoor Scenes
利用多智能体协作框架从自然语言生成高密度、物理真实、可直接用于机器人仿真的室内场景
前置知识
智能体系统（Agentic System）
智能体系统是一种由多个自主代理组成的架构，每个代理具有特定角色和工具集，通过相互协作完成复杂任务。在SceneSmith中，设计师（Designer）负责提出场景修改，评论家（Critic）评估质量和可行性，编排器（Orchestrator）协调迭代优化。这种架构允许系统在每一步进行自我评估和改进，而非一次性生成最终结果。智能体之间的交互遵循角色分离原则：设计师可以修改场景，评论家只能观察和验证，编排器管理检查点和回滚机制，避免质量退化。
理解智能体系统架构是理解SceneSmith如何实现高质量场景生成的关键，它解释了为什么系统能够进行多轮迭代优化，以及如何在生成过程中保持语义一致性和物理可行性。
仿真就绪（Simulation-Ready）
仿真就绪指生成的3D场景不仅具有视觉外观，还包含物理模拟所需的全部属性：碰撞几何体（用于碰撞检测）、质量、质心、惯性张量、摩擦系数等物理属性，以及关节定义（用于铰接物体如柜子抽屉）。这些属性使场景可以直接导入物理仿真器（如Drake、MuJoCo、Isaac Sim）进行机器人交互，无需人工后处理。碰撞几何体通过V-HACD凸分解算法生成，将复杂网格分解为凸包组合。
这是SceneSmith与传统场景生成方法的核心区别，也是其对机器人研究最重要的贡献——生成的场景可以立即用于机器人训练和评估，而无需昂贵的人工后处理。
层次化场景构建（Hierarchical Scene Construction）
SceneSmith将场景构建分解为树状层次结构：根节点生成建筑布局（确定房间数量和几何），每个房间独立进行家具放置、墙面物体放置、天花板物体放置，然后支撑表面（如桌面、架子）再生成子分支来放置可操作的小物体。这种层次化设计使每个阶段可以独立处理，同时通过房间级和实体级提示保持全局一致性。例如，「社区中心」的整体提示会分解为每个房间的具体提示，再分解为每个表面的具体提示。
层次化设计解决了复杂场景生成的可扩展性问题，使系统能够生成包含数百个物体的密集场景，同时保持各部分之间的语义和空间一致性。
文本到3D合成（Text-to-3D Synthesis）
文本到3D合成是将自然语言描述转换为3D网格模型的技术。SceneSmith采用两阶段流水线：首先用文本到图像模型（GPT Image 1.5）生成参考图像，然后用SAM3分割前景物体，最后用SAM3D从单张图像重建带纹理的3D网格。生成的网格会被规范化方向、缩放到目标尺寸，并添加碰撞几何体和物理属性估计。这种方法支持开放词汇生成，可以创建资产库中不存在的新物体。
文本到3D合成使SceneSmith能够生成任意物体，不受固定资产库限制，同时避免了训练数据污染问题，确保机器人策略评估的公平性。
Minkowski和与碰撞检测
Minkowski和是计算几何中的操作，用于计算两个形状的「膨胀」组合。在SceneSmith中，它用于可达性验证：机器人被建模为半径为$h_r$的圆盘，地板多边形通过Minkowski差进行侵蚀（$F' = F \ominus B_{h_r}$）确保机器人中心不会太靠近墙壁，家具通过Minkowski和进行膨胀（$O'_i = O_i \oplus B_{h_r}$）考虑机器人物理尺寸。碰撞检测使用Drake的有符号距离查询，报告穿透深度超过1mm的物体碰撞。
这些几何操作确保生成的场景不仅视觉上合理，而且在物理上可导航和可交互，对机器人应用至关重要。
研究动机
当前室内场景生成方法存在严重局限，无法满足机器人仿真训练的需求。现有方法主要关注家具级别的布局和视觉真实性，将小物体、铰接资产和物理属性视为次要目标。典型的模拟环境由稀疏布置的房间、有限的物体多样性和静态场景组成。例如，ProcTHOR、Holodeck等方法生成的场景平均每个房间只有11-23个物体，而真实的一居室公寓可能包含数百个可单独操作的物体。更重要的是，现有方法生成的场景存在严重的物理问题：物体间碰撞率高达3-29%，静态稳定性仅为8-61%，这意味着场景无法直接用于物理仿真。这种模拟环境与真实室内空间分布之间的差距，严重限制了基于仿真的通用机器人训练和评估的有效性。
本文的目标是本文旨在弥合这一差距，实现可扩展的、逼真的、仿真就绪的室内环境生成。具体目标包括：(1) 从自然语言描述自动生成包含密集物体、铰接家具和物理属性的室内场景；(2) 生成的场景无需人工后处理即可直接用于任意物理仿真器；(3) 生成的对象数量达到现有方法的3-6倍，同时保持低于2%的碰撞率和超过95%的静态稳定性；(4) 支持端到端的机器人策略评估流水线，从任务描述到自动成功验证。
与已有工作不同的是，SceneSmith的独特切入角度在于将场景生成视为一个智能体协作过程，而非单次生成任务。与现有方法不同，SceneSmith抓住了三个被忽视的关键点：第一，将资产生成与场景组装紧密结合，而非将两者分离处理——现有资产方法专注于单个对象，场景方法假设固定资产库；第二，通过设计师-评论家-编排器的三角色架构实现迭代优化，而非一次性生成；第三，将物理可行性作为生成过程的内在约束，而非事后修正。此外，SceneSmith采用层次化提示细化策略，使全局场景意图能够指导局部决策，这是现有方法所缺乏的。
核心方法
SceneSmith的核心思想可以类比为一个室内设计团队的工作流程：有一个设计师负责提出方案，有一个评论家负责评估质量，有一个项目经理负责协调和决策。整个场景构建过程分为五个阶段：建筑布局生成、家具放置、墙面物体放置、天花板物体放置和可操作物体放置。每个阶段都由这三个智能体协作完成。技术路线是：首先接收自然语言提示T，布局智能体生成M个房间的建筑几何；每个房间独立进行家具、墙面和天花板物体的放置，使用房间级提示T_j；然后选择支撑表面（如桌面、架子）生成子分支，使用实体级提示T_{j,k}放置可操作的小物体。所有阶段的交互都遵循设计师提出修改、评论家评估可行性、编排器协调迭代优化的模式。最终，所有房间和可操作物体分支组装成扁平的场景表示S，可直接导出到机器人仿真器。
SceneSmith最本质的创新是将智能体协作模式应用于场景生成的每个阶段，实现了真正的迭代优化。与现有方法如SceneWeaver（单智能体、每次只能调用一个工具）或LL3M（设计师-评论家模式但仅用于3D资产）不同，SceneSmith允许智能体在单次交互中调用任意数量的工具，包括视觉观察和状态反馈，使智能体能够在交出控制权前自我验证。更关键的是，编排器维护检查点并支持回滚——当评论家评分下降时，系统可以恢复到之前的状态，设计师从失败尝试中学习并尝试不同策略。这种机制有效防止了迭代过程中的质量退化。此外，SceneSmith的资产路由器能够将复合请求分解为单独可操作的资产（例如「果盘」分解为碗和多个水果），这对机器人抓取操作至关重要。
方法步骤详情
SceneSmith的方法步骤如下：(1) 布局生成：设计师接收全局场景提示T，通过generate room specs工具创建房间规格，包括房间类型、尺寸、邻接约束和房间级提示T_j。布局算法使用最佳优先回溯搜索，在固定房间顺序和离散化位置空间中找到最优布局。(2) 家具放置：每个房间独立处理，设计师使用observe scene工具获取多视角渲染（俯视图+四个角落视图，带坐标网格和边界框标注），然后使用generate assets生成3D家具，add furniture放置在地板位置(x, y, θ)。专用工具包括check facing验证朝向、snap to object对齐和消除间隙、check reachability验证可达性。(3) 墙面物体放置：在墙面坐标系中使用SE(2)坐标(x, z, θ)放置艺术品、镜子、架子等。(4) 天花板物体放置：类似地放置吊灯等物体。(5) 可操作物体放置：选定的支撑表面（如桌面、架子）生成子分支，使用实体级提示T_{j,k}放置小型可操作物体。复合对象通过assemble group工具组装（如果碗+多个水果）。(6) 物理可行性后处理：解决物体间穿透（非线性优化投影到最近无碰撞配置），然后在Drake中进行重力仿真使不稳定物体稳定（5秒仿真，1ms时间步长）。(7) 资产获取：静态物体使用文本到图像到3D流水线（GPT Image 1.5 → SAM3分割 → SAM3D重建），铰接物体从ArtVIP库检索（CLIP相似度搜索+尺寸重排序），薄覆盖物（地毯、桌布）使用可平铺纹理或单图像纹理。
技术新颖性
SceneSmith的技术新颖性体现在多个方面。首先，它是首个将智能体协作模式系统性地应用于室内场景生成每个阶段的框架，而现有方法要么使用单智能体（SceneWeaver），要么仅在资产生成阶段使用（LL3M）。其次，SceneSmith引入了层次化提示细化机制：全局提示T → 房间级提示T_j → 实体级提示T_{j,k}，使全局场景意图能够指导局部决策，而现有方法缺乏这种跨层级的一致性保持。第三，资产路由器的复合分解功能是独创的，能够将「果盘」这样的复合请求分解为单独可操作的资产，这对机器人抓取操作至关重要。第四，SceneSmith是首个在生成过程中紧密集成物理属性估计的系统——VLM分析多视角渲染来估计质量、摩擦、惯性等，而现有方法要么忽略物理属性，要么使用固定假设。第五，SceneSmith的检查点和回滚机制防止了迭代优化中的质量退化，这是现有智能体系统所缺乏的。
实验结果
SceneSmith在全面的实验评估中展示了显著优于现有方法的性能。在210个多样化的房间和房屋级提示上进行评估，SceneSmith平均每个房间生成71.1个物体，是基线方法的3-6倍（HSM 22.7个，Holodeck 23.0个，LayoutVLM 11.2-14.2个）。更关键的是物理质量指标：SceneSmith的物体间碰撞率仅为1.2%，而基线为3-29%；静态稳定性为95.6%，而基线为8-61%。穿透深度分析显示，SceneSmith的碰撞平均深度仅为3.77mm，比基线浅3-12倍（基线为10.87-47.05mm）。用户研究（205名参与者，3051个有效响应）显示，SceneSmith在所有房间级基线上获得92.2%的平均真实感胜率和91.5%的平均提示忠实度胜率（所有p<0.001）。对HSM（最强基线）的胜率为88.5%真实感和85.2%忠实度。在房屋级场景中，对Holodeck（唯一支持多房间的基线）的胜率为80.3%真实感和84.7%忠实度。自动化评估指标显示，SceneSmith在物体数量(CNT)、属性(ATR)、物体间关系(OOR)、物体-建筑关系(OAR)、碰撞率(COL)和稳定性(STB)上均取得最佳性能，其中OOR指标比最佳基线提升2.2倍。消融实验表明，最重要的组件是资产生成(NotGenerated消融导致63.8%真实感和67.0%忠实度)、资产验证(NoAssetValidation导致63.0%和62.2%)和视觉观察(NoObserveScene导致61.5%真实感)。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 物体数量(CNT) | 满足率 | 82.9% | HSM 60.6% | +36.8% |
| 物体属性(ATR) | 满足率 | 74.4% | HSM 61.5% | +21.0% |
| 物体间关系(OOR) | 满足率 | 67.6% | HSM 30.6% | +120.9% |
| 物体-建筑关系(OAR) | 满足率 | 80.6% | I-Design 66.6% | +21.0% |
| 碰撞率(COL) | 百分比 | 1.2% | LayoutVLM 25.9-28.9% | 降低95.3-96.1% |
| 静态稳定性(STB) | 百分比 | 95.6% | I-Design 60.8% | +57.2% |
| 用户研究真实感 | 胜率 | 92.2% | 所有基线 | 显著优于 |
| 用户研究忠实度 | 胜率 | 91.5% | 所有基线 | 显著优于 |
局限与改进
尽管SceneSmith取得了显著进展，但仍存在若干局限性。首先，运行时间和成本较高：完整系统每个场景平均成本13.98美元，耗时3小时26分钟（在8个L40S GPU上并行生成25个场景时）。成本主要由设计师和优化循环主导（75.9%）。NoCritic消融提供了一个低成本操作点（成本降低70%，时间降低51%），但生成的场景较稀疏（54.0 vs 71.1个物体），呈现质量-成本权衡。其次，铰接物体多样性受限于检索库：如果没有找到合适的铰接资产，路由器可以回退到文本到3D生成，但生成的物体是静态的而非铰接的，这限制了对新机制的覆盖。第三，物理属性是自动估计的而非测量的：VLM分析多视角渲染来估计质量、摩擦、惯性，虽然通过材质类别映射到摩擦系数和质量范围来减少幻觉风险，但这些估计不能替代真实世界的测量参数，特别是对依赖精确动力学的接触密集任务。第四，系统专注于刚体和铰接物体，可变形物体、流体、易碎物体和详细材质行为超出了当前范围。第五，分层构建的顺序性意味着后期阶段无法总是修正早期选择——家具阶段有时会将可操作物体烘焙到家具资产中（例如电视柜已包含电视），支撑表面检测可能遗漏小表面。
独立分析的弱点
基于独立分析，SceneSmith存在以下弱点和改进方向：资产多样性瓶颈：静态资产使用SAM3D重建，不支持完整的PBR材质通道，导致透明、金属或高光物体外观不准确（如玻璃显得不透明、餐具缺乏金属光泽）。改进方向是集成支持PBR材质的更新图像到3D骨干网络，如TRELLIS.2。VLM推理失败：某些错误源于资产处理和放置过程中的视觉或空间推理，如规范化的墙面灯具安装方向错误、餐具在桌子两侧未镜像放置。改进方向是增强VLM的空间推理能力，或引入专门的几何验证工具。层次构建的不可逆性：顺序构建使后期阶段无法修正早期错误，如家具阶段将电视烘焙到电视柜中。改进方向是引入跨阶段的反馈机制，允许后期阶段请求资产重新生成。成本优化：设计师调用占成本的75.9%，改进方向包括用更小或开源模型替换部分设计师或评论家调用，或引入更高效的优化策略减少迭代次数。
未来方向
作者提出和基于成果可延伸的未来研究方向包括：扩展铰接物体覆盖：随着图像到铰接物体重建和相关生成方法的成熟，将其集成到流水线中可以扩展铰接覆盖范围，超越固定资产库。正式的仿真到现实迁移研究：作者承认这需要未来工作，可以评估SceneSmith生成的场景在真实机器人上的迁移效果。可变形物体和流体模拟：扩展系统以支持布料、绳索、液体等可变形物体，这需要专门的资产表示和高效稳定的仿真方法。成本降低：通过模型蒸馏、缓存策略或更高效的搜索算法降低生成成本，使大规模数据集创建更加实用。与大型行为模型集成：将SceneSmith生成的场景与π0.5等大型行为模型结合，实现端到端的机器人训练流水线。交互式编辑：允许用户在生成过程中提供反馈，实现人机协作的场景设计。
复现评估
复现评估显示中等难度。开源情况：论文提供了项目页面（scenesmith.github.io）和交互式3D可视化器，但代码库的开源程度未明确说明。数据需求：系统依赖多个外部服务和数据集：GPT Image 1.5用于图像生成、SAM3/SAM3D用于分割和重建、ArtVIP用于铰接物体检索、ambientCG用于材质纹理。这些依赖增加了复现成本。算力需求：实验在8个NVIDIA L40S GPU上进行，每个场景平均耗时3小时26分钟，成本13.98美元。生成25个场景需要约350美元和约87小时GPU时间。这对资源有限的研究组构成挑战。复现难度：系统的多智能体架构、多个VLM调用和复杂的工具链增加了调试难度。建议从NoCritic消融开始，它成本降低70%但性能相近，作为快速验证的起点。
论文图表
图34展示了六个典型失败案例：(a)铰接检索错误（为迷你冰箱检索到储物柜），(b)缺少PBR材质（玻璃显得不透明），(c)规范化方向错误（墙面灯具方向错误），(d)餐具未镜像放置，(e)阶段边界错误（电视柜已包含电视），(f)遗漏支撑表面（植物放在架子旁而非上面）。
这张图诚实地展示了系统的局限性，帮助读者理解当前技术的边界和未来改进方向。