SAGE：面向具身智能的可扩展代理式3D场景生成

基于代理的框架将文本描述转化为模拟就绪的3D环境，支持机器人策略学习

前置知识

模型上下文协议（MCP）

一种标准化协议，用于应用程序向大语言模型提供上下文。在SAGE中，MCP作为代理与外部工具如3D生成器、物理模拟器之间的通信桥梁。代理作为MCP客户端，每个工具托管在MCP服务器上，通过结构化请求和响应进行交互，实现自适应、工具驱动的场景生成。

理解MCP是理解SAGE代理架构的关键，它使得系统能够动态调用多个生成工具而不需要硬编码逻辑

扩散策略（Diffusion Policy）

一种用于机器人策略学习的框架，通过行动扩散来学习视觉运动策略。它从多视角RGB-D图像和末端执行器轨迹中学习，输出下一步执行的连续动作。在SAGE中用于将从生成场景中演示的机器人动作转换为可执行的策略。

理解SAGE如何利用生成的场景数据进行机器人策略训练，验证场景生成质量对学习效果的影响

反向运动学（Inverse Kinematics）

根据末端执行器的期望位置和姿态，计算机器人关节角度或配置的运动学方法。在SAGE的动作生成中，与Curobo碰撞检测系统配合，用于生成无碰撞的抓取和放置轨迹。

理解SAGE如何从生成的3D场景中自动生成有效的机器人动作数据

快速随机树（RRT）

一种基于采样的路径规划算法，用于在配置空间中找到从起点到目标点的碰撞自由路径。在SAGE的Mobile Manipulation任务中，用于生成机器人的导航轨迹。

理解SAGE如何处理包含导航的复杂机器人任务

研究动机

现实世界数据收集成本高、不安全，且受限于需要交互环境的约束。模拟环境提供了可扩展、交互性强、低成本的替代方案，但现有的3D场景生成方法存在显著缺陷。规则基系统如ProcTHOR和Infinigen Indoors虽然保证物理合理性，但牺牲了灵活性和多样性，受限于固定配方，难以支持开放词汇和细粒度控制。数据驱动方法如ATISS和DiffuScene改善了真实感，但受限于有限的3D训练数据，难以泛化到新房间类型或支持开放词汇提示。基于基础模型的流水线如Holodeck实现了文本驱动生成，但缺乏3D基础，导致物理无效场景。更重要的是，这些系统是静态的，计算图固定，无法进行自适应推理和自我修正。同时缺乏模拟器集成验证，无法保证生成场景的物理稳定性和可交互性。

本文的目标是开发一个代理式框架，能够根据用户指定的具身任务如拿起碗并放在桌上理解意图，并大规模自动生成模拟就绪的环境。系统需要满足四个核心要求：真实感即几何、外观、语义结构和物理特性足够接近现实世界；多样性即涵盖广泛的资产、环境和任务；模拟就绪即物体和场景必须物理稳定、可交互，直接兼容现代模拟器；任务感知即环境能够适应并促进各种目标具身任务的训练。

与已有工作不同的是，本文的独特切入角度是将代理驱动的方法与模拟器内循环验证相结合。与SceneWeaver等并发工作不同，SAGE通过Model Context Protocol协调多个生成器用于楼层平面、结构化布局和文本到3D资产，并引入两个互补的评论家：用于语义和空间一致性的视觉评论家，和通过Isaac Sim进行稳定性验证的物理评论家。这种闭环实现了自我修正，无需硬编码的工具顺序，生成既真实又可交互的场景。此外，SAGE通过多级增强包括对象配置、对象类别和布局生成多样化但任务一致的环境，并自动合成动作数据用于策略训练，展示了模拟驱动缩放的潜力。

核心方法

SAGE方法采用代理驱动的框架，在Model Context Protocol上运行。代理作为MCP客户端，每个工具如布局生成器、物理模拟器托管在MCP服务器后。代理采取一系列行动来改进场景，直到场景被认为视觉真实且物理稳定。在每次迭代中，代理识别对特定能力的需求如生成楼层平面或验证物理稳定性，通过MCP发送结构化请求，服务器执行相应操作并返回结果，代理将其作为反馈来决定下一个行动。框架包括四个生成工具：场景初始化器生成空3D房间和提议对象列表、资产放置器根据文本描述生成并放置对象、资产移动器定位并移动对象和资产删除器删除对象。两个评论家提供反馈：视觉评论家评估语义和空间一致性，物理评论家通过Isaac Sim在模拟器中验证稳定性。生成的场景可以通过多级增强进行缩放，用于动作生成和策略学习。

SAGE的核心创新点在于将代理式方法与模拟器内循环验证深度融合。与现有静态流水线不同，SAGE通过MCP实现自适应的工具编排，无需硬编码的工具顺序。更重要的是，物理评论家在每次对象添加、移动或删除后都将场景加载到Isaac Sim中测试物理稳定性，测量模拟后的位姿变化，拒绝导致不稳定或碰撞的放置。这种迭代验证循环保持了接近完美的物理稳定性达到99.9%，确保生成的场景直接可用于下游具身学习任务。另一个关键创新是开放词汇资产合成，使用TRELLIS从文本描述生成3D资产，并利用VLM估计物理属性包括高度、质量、金属度和粗糙度值，同时使用LLM分析放置条件如地面、墙面或顶部指导放置序列和约束。

方法步骤详情

SAGE场景生成包含以下步骤。首先，场景初始化器接收场景规范作为输入，生成仅包含地板和墙壁的空3D房间，同时输出提议对象列表，每个对象包含文本描述、估计的物理属性和放置约束。地板和墙壁纹理通过MatFuse生成。接下来，资产放置器根据描述要求生成对象：使用TRELLIS从文本描述生成3D资产，通过VLM估计物理属性，高度用于缩放单位尺寸对象，质量用于物理模拟，金属度和粗糙度值用于基于物理的渲染，并使用LLM分析放置条件分类为地面、墙面或顶部，采用深度优先搜索和碰撞避免将对象放置到最优位置。资产移动器定位并移动指定对象，通过先删除对象然后重用资产放置器的布局规划器重新定位。资产删除器根据文本描述删除对象。视觉评论家接收当前场景配置作为输入，包括对象放置和多视角渲染，提议新对象放置或对现有放置进行调整，评估布局质量和场景完整性。物理评论家在每次对象操作后将场景加载到Isaac Sim测试物理稳定性，测量模拟120步后对象的相对平移超过0.2米和旋转超过8度来判定是否稳定，拒绝导致不稳定或碰撞的放置。过程迭代进行，直到代理认为生成的场景满足用户需求。

技术新颖性

SAGE的技术新颖性体现在多个方面。首先，它是首个将模拟器内循环验证集成到3D场景生成闭环中的系统，通过Isaac Sim实时验证物理稳定性，确保99.9%的对象保持稳定。其次，通过MCP实现的自适应工具编排允许代理根据反馈动态调用不同的生成工具，而不是遵循固定的计算图。第三，支持多层级场景图，能够在架子和其他表面放置对象，而不仅仅是对象顶部，这通过计算支持对象网格上的表面法线，选择法线接近房间上轴的面来实现。第四，提出了系统的多级增强策略：对象配置级增强即重采样任务相关对象的姿态、对象类别级增强即使用LLM文本增强产生几何和纹理变化然后用TRELLIS合成新3D资产、场景布局级增强即重新生成背景场景包括房间几何和任务无关对象。这些增强技术使得单个基础场景能够扩展为多样化但任务一致的变体集合。

**Figure 2**: Overview of SAGE scene generation.

实验结果

实验结果表明SAGE在所有指标上均优于基线方法。在常见场景类型包括卧室、厨房和客厅评估中，SAGE平均生成48.2个对象，视觉质量指标包括真实感、功能性、布局、完整性平均得分为8.8到9.5满分10，碰撞率仅为1.9%，稳定性达到99.9%。相比之下，Holodeck平均生成30.3个对象，视觉质量得分为7.5，碰撞率32.8%，稳定性67.7%；SceneWeaver平均生成24.4个对象，视觉质量得分为8.6到8.9，碰撞率32.8%，稳定性67.7%。消融实验显示，添加视觉评论家显著提高了视觉质量从7.3到8.1，而物理评论家将碰撞率从7.8%降低到1.9%，稳定性提高到99.6%。结合两个评论家获得了最佳整体性能。在机器人学习实验中，策略成功率随场景和演示数量增加而提高。对于Pick and Place任务，收集了超过28k演示，264个唯一对象，政策成功率从13.4%对应2k演示提升到54.3%对应28k演示，接近特权代理的65.3%训练成功率。对于Mobile Manipulation任务，收集了近50k演示，50个不同场景，政策成功率从6.7%对应7个场景提升到52.4%对应50个场景，接近特权代理的54.6%。跨评估表明，SAGE训练的策略在基线生成的分布外场景上表现更好，甚至在基线生成的场景上达到更高的成功率为46.0%对比24.7%和13.1%，展示了强大的泛化能力。

**Table 1**: Comparison of scene generation methods.

**Table 2**: Scene generation evaluation on common scene types.

**Table 4**: Comparison of training and test success rates for policy rollout and motion planning.

**Figure 3**: Common and open-vocabulary scene generation comparison.

**Figure 10**: Examples and scaling curve on Pick-and-Place.

**Figure 11**: Examples and scaling curve on Mobile Manipulation.

**Figure 4**: Additional open-vocabulary generation.

**Figure 7**: Multi-room open-vocabulary generation.

**Figure 8**: Image-conditioned scene generation.

查看结构化数据

任务	指标	本文	基线	提升
常见场景生成包括卧室厨房客厅	视觉质量包括真实感功能性布局完整性	8.8-9.5	Holodeck为7.5，SceneWeaver为8.6-8.9	相比Holodeck提升17到27%，相比SceneWeaver提升2到11%
常见场景生成包括卧室厨房客厅	对象数量	48.2	Holodeck为30.3，SceneWeaver为24.4	相比Holodeck增加59%，相比SceneWeaver增加98%
常见场景生成包括卧室厨房客厅	碰撞率越低越好	1.9%	Holodeck为32.8%，SceneWeaver为32.8%	降低94%
常见场景生成包括卧室厨房客厅	物理稳定性越高越好	99.9%	Holodeck为67.7%，SceneWeaver为67.7%	提升47.6%
Pick and Place策略成功率	成功率对应28k演示	54.3%	与特权代理65.3%对比	达到特权代理83%的性能
Mobile Manipulation策略成功率	成功率对应50个场景	52.4%	与特权代理54.6%对比	达到特权代理96%的性能
跨评估基线生成的场景	SAGE策略成功率	46.0%	Baseline 1为24.7%，Baseline 2为13.1%	相比Baseline 1提升86%，相比Baseline 2提升251%

局限与改进

作者承认的局限性包括：当前范围强调室内场景和刚体物理，扩展到户外环境以及铰接和可变形物体是未来的方向。动作生成目前针对抓取、放置和导航的灵活组合，纳入更多任务是自然的下一步。此外，论文没有涉及更复杂的多代理场景或动态环境。从观察来看，生成时间相对较长，单个场景20个对象大约需要10分钟，主要由对象生成每个对象15秒和模拟器验证每个放置候选1到2秒贡献。虽然通过并行化8个GPU可以减少平均对象生成时间到2到3秒，但对于大规模部署仍需优化。另一个观察到的局限是视觉评论家的反馈依赖于LLM和VLM的推理能力，可能产生不完美的建议，需要通过迭代改进来纠正。此外，方法目前主要针对静态场景生成，对于动态场景或包含时间变化的场景如可移动家具、可改变的光照条件的支持有限。

独立分析的弱点

SAGE在生成效率方面存在显著弱点，主要瓶颈在于对象生成和物理验证。TRELLIS生成单个对象需要15秒，Isaac Sim验证每个放置候选需要1到2秒。虽然通过8 GPU并行化减少了平均时间，但对于包含大量对象的场景仍需较长时间。改进方向包括：采用更快的3D生成模型或预计算资产缓存、优化模拟器验证策略如批处理验证或早期终止、开发层次化的物理验证方法先快速筛选再精确验证。在视觉评论家方面，当前方法可能产生不一致或冗余的建议，改进方向包括：引入更结构化的场景评估框架、学习场景质量预测模型、基于任务反馈调整评论家权重。对于长尾或复杂场景如特殊功能房间或非常规布局，当前的开放词汇生成可能不稳定，改进方向包括：增强LLM对复杂场景描述的理解、引入场景类型特定的生成模板、开发领域知识库来指导场景组成。在动作生成方面，当前的简化放置策略如直接放下可能导致不自然的动作，改进方向包括：开发更精细的运动规划步骤、引入基于物理的放置控制、考虑对象放置的语义合理性。

未来方向

作者提出的未来工作方向包括：扩展到户外环境和更多样的物理类型包括铰接物体、可变形物体、流体等。纳入更多机器人任务类型，如工具使用、对象组装、清理等。将生成器与在线强化学习和真实机器人闭环验证结合，进一步提升性能。基于成果可延伸的方向包括：开发多代理协同场景生成，支持多个机器人在同一环境中交互；引入时间维度，生成动态变化的环境如可改变的光照、可移动的家具、随时间变化的场景布局；开发场景质量的自适应评估机制，根据特定任务需求调整生成参数；探索更高效的模拟器集成策略，如使用轻量级物理引擎进行初步筛选，再用精确引擎进行验证；开发领域自适应机制，针对特定应用如医疗机器人、救援机器人优化场景生成；研究场景生成的可解释性，使用户能够理解和控制生成决策过程。

复现评估

论文承诺代码、演示和SAGE-10k数据集将在项目页面公开。实现细节在补充材料中提供了详细描述，包括MCP工具提示、生成器实现细节、增强策略和动作生成流程。实验使用开源模型，gpt-oss-120b作为代理LLM，Qwen3-VL-30B-A3B-Instruct用于视觉语言推理，通过自托管API确保可复现性。物理验证使用NVIDIA Isaac Sim 5.0.0版本。实验在NVIDIA L40S GPU上进行，场景生成并行化使用8个GPU，动作生成并行化对于Pick and Place使用8个环境，对于Mobile Manipulation使用2个环境。SAGE-10k数据集预生成了10k个场景，跨越50种房间类型和50种风格，包含565K个唯一生成的3D对象。这种程度的开源和详细描述使得复现工作相对容易，但需要相当的算力资源包括多个L40S GPU来达到原始论文的性能水平。对于研究机构，这是一个可接受但不可忽视的要求。论文还提供了详细的消融实验和基线比较，使用官方代码库实现基线方法，确保了公平比较。总体而言，SAGE在可复现性方面表现良好，但依赖专有的物理模拟器和大型基础模型可能限制了部分研究者的访问。

SAGE：面向具身智能的可扩展代理式3D场景生成 SAGE: Scalable Agentic 3D Scene Generation for Embodied AI