MolmoSpaces：面向机器人导航与操控的大规模开放生态系统

构建23万+室内场景、13万物体、4200万抓取的开放机器人仿真生态，验证仿真与真实强相关。

前置知识

视觉-语言-动作模型（VLA）

VLA模型是一类将视觉感知、自然语言指令和机器人动作生成统一到单一神经网络架构中的端到端模型。典型代表包括π0、π0-FAST和π0.5等。这类模型接收RGB图像和自然语言任务描述作为输入，直接输出机器人关节位置或末端执行器位姿等动作序列。VLA模型通常通过大规模真实机器人数据进行预训练，然后在特定机器人配置上微调。其核心优势在于能够零样本泛化到新的任务和场景，无需针对每个新任务进行专门训练。

MolmoSpaces-Bench的核心评估对象就是VLA模型在多样化仿真场景中的零样本表现，理解VLA的工作原理是解读实验结果的关键。

Sim-to-Real迁移

Sim-to-Real迁移是指在仿真环境中训练或评估的机器人策略能够成功应用到真实物理世界的能力。由于仿真与现实之间存在视觉外观、物理动力学、传感器噪声等方面的差距（即domain gap），直接将在仿真中训练的策略部署到真实机器人往往会导致性能下降。本文通过量化仿真评估结果与真实世界评估结果之间的相关性（Pearson相关系数R和Spearman秩相关系数ρ）来验证仿真基准的有效性。

本文最重要的贡献之一就是证明了MolmoSpaces-Bench具有极强的Sim-to-Real相关性（Pick任务R=0.96, ρ=0.98），这直接回答了「仿真评估是否可信」这一根本问题。

零样本评估（Zero-shot Evaluation）

零样本评估是指在不对模型进行任何任务特定微调的情况下，直接评估其在新任务上的表现。在机器人领域，这意味着将预训练好的通用策略直接部署到从未见过的环境、物体和任务组合中。这种评估方式更能反映模型的真实泛化能力，因为实际部署中不可能为每种可能的场景都进行专门训练。本文所有基准测试均采用零样本设置，评估模型的即用即部署能力。

零样本设置是本文评估框架的核心原则，使得评估结果更能反映模型在真实部署中的能力，而非特定数据集上的过拟合表现。

关节物体（Articulated Object）

关节物体是指由多个刚性部件通过旋转关节或平移关节连接的物体，其组成部分可以相对运动。典型的关节物体包括柜门（铰链旋转）、抽屉（平移滑动）、微波炉门（铰链旋转）、冰箱门等。与刚性物体（整体作为一个刚体运动）不同，关节物体的操控需要机器人理解关节类型、运动轴、运动范围等信息，并执行特定的交互动作（如拉、推、旋转）。

MolmoSpaces提供了大量带注释的关节物体及其抓取数据，支持open/close/open-door等关节物体操控任务的评估。

对跖采样抓取（Antipodal Grasp Sampling）

对跖采样是一种基于几何分析的抓取姿态生成方法。其核心思想是在物体表面选取两个相对的接触点（对跖点），使得夹爪从两侧同时施加力时能够稳定夹持物体。具体流程是：首先在物体网格上采样候选接触点对，然后根据夹爪几何约束（如Robotiq 2F-85夹爪的尺寸）生成6自由度抓取姿态，最后通过物理仿真验证抓取的鲁棒性（如施加扰动后物体是否滑落）。本文将此方法扩展到关节物体上，针对手柄等功能性交互点进行采样。

MolmoSpaces-Grasp数据集包含4200万+抓取姿态，其生成核心就是扩展的对跖采样方法，理解这一过程有助于理解抓取数据的质量和覆盖范围。

过程化场景生成（Procedural Scene Generation）

过程化场景生成是指通过算法（而非手动建模）自动创建大量多样化室内环境的方法。本文结合了多种技术：基于规则的布局生成（ProcTHOR的启发式方法）和基于大语言模型（LLM）的场景描述生成（扩展Holodeck方法）。LLM场景生成流程包括：从SUN数据库中选取场景类型，结合52K个角色描述生成风格化场景规范，然后将这些规范转换为文本提示驱动LLM生成包含物体类型、数量、布局约束的场景描述，最后通过优化算法将物体放置到场景中。

MolmoSpaces拥有23万+场景的核心技术支撑就是过程化场景生成，其规模远超任何手工创建的场景数据集。

研究动机

当前机器人操控基准存在严重的规模和多样性不足问题。大多数基准仅包含几十个场景和物体，如AI2-THOR有3578个物体但场景数为零，RoboCasa有120个场景但物体仅2509个，LIBERO仅有20个场景和72个物体。这些基准主要聚焦于单一场景中的短时程技能测试，无法探测真实环境中长时程、组合性的挑战。真实世界中，厨房在布局、光照和杂乱程度上各不相同，物体有无数种形状、大小和材质，指令可以用多种方式表述。当前基准无法覆盖这种「长尾分布」，导致最先进的模型在多个已有任务上已接近饱和，缺乏推动进步的信号。此外，许多基准不支持基于物理的操控（如Habitat依赖「魔术抓取」绕过真实接触动力学），或仅限于桌面操控场景，无法评估需要导航与操控协调的移动操控能力。

本文的目标是本文的目标是构建一个大规模、开放、可扩展的机器人仿真生态系统MolmoSpaces，能够支持对通用机器人策略进行全面、严谨的评估。具体而言，作者希望：（1）提供超过23万多样化室内环境和13万带丰富语义与物理元数据的物体资产，覆盖真实世界空间配置的长尾分布；（2）提供4200万+经过物理验证的抓取姿态，为抓取成功评估提供真值监督；（3）构建包含8个基础任务的基准套件MolmoSpaces-Bench，支持零样本评估和Sim-to-Real相关性验证；（4）使整个生态系统完全开源且可扩展，研究者可以利用MolmoSpaces合成自己的训练数据集、创建新的基准。

与已有工作不同的是，MolmoSpaces的独特切入角度在于同时解决了「规模」和「任务多样性」两个长期被割裂的问题。以往的工作在场景规模方面有所突破（如ProcTHOR生成数万房间、Holodeck引入LLM场景生成），但对物理操控的支持有限，主要用于导航评估。反之，GraspGen提供了大规模抓取标注，但停留在资产级别，需要大量工作才能集成到交互式场景中。MolmoSpaces通过将AI2-THOR、ProcTHOR和Holodeck的23万场景与MuJoCo、IsaacSim和ManiSkill三个主流物理仿真器对接，并将13万Objaverse物体资产进行物理验证和抓取标注，首次实现了「场景多样性+物体多样性+物理真实性+任务多样性+多仿真器支持」的统一。此外，通过构建数字孪生厨房并量化Sim-to-Real相关性，本文证明了高保真仿真可以作为真实世界性能的可靠代理，这是以往大规模仿真框架未能做到的。

核心方法

MolmoSpaces的整体技术路线可以概括为「五层架构」：场景层、物体层、抓取层、任务层和基础设施层。场景层整合了来自AI2-THOR的120个手工制作场景、12K过程化生成住宅场景、110K混合物体场景和110K LLM生成的多类型场景，并通过四步质量测试（稳定性、交叉、可抬起、关节运动）确保物理真实性。物体层从THOR（1.6K物体）和Objaverse（129K物体）中筛选并标注物体，提供质量、密度、关节类型、抓取位姿等丰富元数据。抓取层基于扩展的对跖采样方法为48K物体生成4200万+抓取姿态，并通过场景内测试验证实用性。任务层定义了8个基础任务（导航、抓取、放置、开关等），每个任务都有明确的成功条件和密集奖励函数。基础设施层提供模块化实验组合工具，支持场景、物体、机器人、相机的灵活组合，并提供手动遥操作和脚本化策略两种数据收集模式。整个系统支持MuJoCo、IsaacSim和ManiSkill三个仿真器的无缝切换。

MolmoSpaces的核心创新在于构建了一个「场景感知」的完整闭环生态系统，而不仅仅是提供独立的场景、物体或抓取数据。与以往工作相比，其本质区别体现在三个层面：第一，「规模-物理」统一——以往的大规模场景数据集（如ProcTHOR）主要支持视觉导航，缺乏物理操控能力；而支持物理操控的数据集（如ManiSkill）场景规模有限。MolmoSpaces通过系统性的物理参数调优和四步质量验证流程，首次在23万+场景上实现了物理真实的操控支持。第二，「场景内抓取评估」——传统抓取数据集在孤立物体上生成抓取姿态，忽略了场景几何约束（如物体放在桌面上时的可达性）。MolmoSpaces引入场景内测试（in-situ testing），在真实场景中验证抓取的可行性，发现并解决了孤立物体抓取在场景中失败率高的问题。第三，「Sim-to-Real验证闭环」——通过构建真实厨房的数字孪生（MSTwin），量化仿真与真实性能的相关性，为整个基准的可信度提供了实证支撑。

方法步骤详情

MolmoSpaces的构建流程可以分为以下关键步骤：（1）场景生成与转换：从AI2-THOR、ProcTHOR和Holodeck获取原始场景，通过LLM扩展场景类型多样性（546种房间类型、101种场景类型），结合52K个角色描述生成风格化场景规范，然后将场景转换为MuJoCo MJCF、USD（IsaacSim）和ManiSkill兼容格式。（2）物理质量验证：对每个场景执行约20秒的物理模拟使其稳定，然后进行四项测试——稳定性测试（检测物体是否持续抖动）、交叉测试（检测碰撞物体并移除较小者）、抬起测试（施加向上力，移除无法被抬起5cm的物体）、关节运动测试（测试关节物体能否在70%以上范围内运动）。（3）物体资产处理：从Objaverse的625K模型中通过GPT-4o标注和GPT-4.1质量筛选，得到129K满足尺度一致性、纹理质量、跨渲染器保真度等标准的单物体模型。使用COACD生成凸分解碰撞网格。（4）抓取生成：对刚性物体在全网格表面采样对跖接触点对，对关节物体在叶组件（手柄等功能点）上采样；通过6-DoF姿态空间聚类选择最多1000个多样化抓取；刚性物体通过扰动测试验证鲁棒性，关节物体通过关节运动可行性验证。最后在场景内执行碰撞检查和实际抓取测试。（5）基准构建：对每个任务组合（8任务×4场景集），通过多样性平衡（最大化物体类别和实例多样性）和可行性过滤（确保在标准设置下可解），生成每个任务2000个样本的基准集。

技术新颖性

MolmoSpaces的技术新颖性体现在多个维度。首先，在场景生成方面，本文扩展了Holodeck的DFS物体放置优化器，增加了「网格约束」以支持非住宅场景（如办公室、诊所、博物馆）中物体的均匀分布，并通过90%场景规范中融入角色描述来产生视觉和风格差异。这使得场景类型从传统的厨房/卧室扩展到猫咖、休息室、博物馆等546种房间类型。其次，在抓取生成方面，本文首次将对跖采样方法系统性地扩展到关节物体，通过「叶网格提取器」（Leaf Mesh Extract器）识别手柄等功能性交互点，并引入基于关节运动可行性的鲁棒性评估标准（能驱动关节运动70%以上范围）。场景内测试发现孤立物体抓取在场景中失败率高后，本文改进了接触点偏好策略——将接触点偏向指尖中心，对小型或薄型物体优先使用指尖边缘接触。第三，在基准设计方面，本文提出了「控制变体」方法来测试特定假设，如通过对比MSProc（闭集物体类别）和MSMultiType（开放词汇）来评估策略的开放词汇导航能力，通过系统性扰动场景参数和传感器输入来定位具体失败模式（如手腕相机遮挡导致π0.5成功率降至2%）。

实验结果

MolmoSpaces-Bench的零样本评估揭示了多个重要发现。在操控任务上，π0.5在Pick任务上达到55%成功率，显著优于π0-FAST的34%和π0的20%，展示了VLA模型代际之间的持续进步。CAP系列策略（CAP-EC1/EC2/EC3）在Pick任务上表现最好，达到84%成功率，这得益于其VLM监督和无运动学约束的浮动夹爪设置。在Open任务上，CAP达到48%，π0.5达到35%；在Close任务上，CAP达到62%，π0.5达到42%。在导航任务上，RING（在仿真中训练的语义导航策略）达到47%成功率，而DualVLN（基于详细指令训练的VLN模型）仅达到9%，这一巨大差距源于DualVLN的训练分布与本基准的语义导航格式不匹配。在Sim-to-Real相关性方面，Pick任务的Pearson相关系数R=0.96（95%置信区间[0.92, 0.98]），Spearman秩相关系数ρ=0.98（[0.93, 1.00]），证明了仿真评估的强预测能力。Open和Close任务也显示出一致的正相关，但由于真实世界评估样本较少，置信区间更宽。分布评估发现，当使用DROID数据集中更高频的动词表述时，π0与π0.5的成功率差距从14%缩小到1%以内，表明早期VLA模型的泛化瓶颈源于语言条件组件而非动作头。手腕相机遮挡使π0.5成功率降至2%，第三人称相机遮挡降至20%，揭示了模型对腕部视觉输入的强烈依赖。π0.5偏好自上而下的抓取方式，在杯碗等顶部开口物体上表现更好；CAP偏好侧面抓取，在瓶子、苹果等物体上更优。

**Table 2**: MolmoSpaces-Scenes五个场景数据集概览

查看结构化数据

任务	指标	本文	基线	提升
Pick（抓取）	零样本成功率	CAP: 84%, π0.5: 55%, π0-FAST: 34%, π0: 20%	CAP策略为当前最强基线	π0.5相比π0提升35个百分点，展示VLA代际进步
Open（开柜门）	零样本成功率	CAP: 48%, π0.5: 35%	CAP为任务特定模型	CAP因VLM监督和浮动夹爪优势明显
Close（关柜门）	零样本成功率	CAP: 62%, π0.5: 42%	CAP为任务特定模型	Close任务整体比Open更易，CAP达62%
Navigation（导航）	零样本成功率	RING: 47%, DualVLN: 9%	RING为仿真训练的语义导航策略	RING因训练分布匹配而远超DualVLN
Sim-to-Real相关性（Pick）	Pearson R / Spearman ρ	R=0.96 [0.92, 0.98], ρ=0.98 [0.93, 1.00]	与RoboArena 752个真实Pick任务对比	极强相关性验证仿真基准预测真实性能的能力

局限与改进

MolmoSpaces虽然在规模和多样性上取得了突破，但仍存在若干局限性。首先，仿真引擎本身的保真度限制仍然存在——尽管作者进行了大量的物理参数调优，但仿真中的接触动力学、摩擦模型和材质特性仍然无法完全复现真实世界的复杂性。作者在论文中承认「simulation remains inherently imperfect」。其次，MSMultiType场景集的关节运动测试通过率仅为63%（Table 3），虽然作者将此归因于场景布局设计优先考虑导航性而非操控可达性，但这反映了LLM生成场景在物理可行性方面的固有挑战。第三，评估的策略数量有限——本文仅评估了π系列、CAP系列、RING和DualVLN等少数策略，缺乏对更多开源策略（如RT-2、Octo等）的系统比较。第四，虽然基准涵盖了8个基础任务，但这些任务相对短时程，真正的长时程任务（如「准备一顿简单的饭」）仅通过LLM任务生成系统提供，缺乏标准化的评估协议。第五，Sim-to-Real相关性分析在Open和Close任务上置信区间较宽，真实世界评估样本量有限（相比Pick任务的752个样本），需要更多真实世界数据来增强结论的可靠性。第六，所有操控任务仅在Franka FR3上评估（导航使用RB-Y1），对其他机器人平台的泛化能力尚未验证。

独立分析的弱点

独立分析MolmoSpaces的弱点，可以从以下几个方面展开：（1）场景物理质量不均匀——MSMultiType场景集的关节运动测试通过率仅63%，说明LLM生成的场景在物理可行性方面存在较大问题。改进方向包括在LLM场景生成阶段引入物理可行性约束，或在物体放置优化器中加入关节可达性检查。（2）抓取数据的实用性差距——虽然生成了4200万+抓取姿态，但场景内测试发现孤立物体抓取在实际场景中失败率较高。作者通过改进接触点偏好策略部分解决了这一问题，但仍有「物体太大无法抬起」「空间限制垂直间隙」「执行轨迹碰撞」等系统性失败模式。改进方向包括在抓取生成阶段就考虑场景几何约束，或引入基于学习的抓取质量预测模型。（3）任务多样性仍然有限——8个基础任务主要覆盖单步或两步操控，缺乏真正的多步推理和长时程任务的标准化评估。虽然提供了LLM任务生成系统，但缺乏标准化的评估协议和基准集。（4）策略评估的公平性问题——不同策略使用不同的夹爪（RobotIQ 2F-85 vs CAP浮动夹爪）、不同的相机设置和不同的任务时程（π模型300步 vs CAP 50步），这些差异使得跨策略比较不够公平。改进方向包括为每种策略提供适配后的标准化评估协议。

未来方向

作者在结论中明确提出了两个未来方向：支持大规模数据生成和强化学习用于机器人策略训练，以及进一步研究机器人基础模型的缩放行为。基于本文的成果，还可以延伸出以下研究方向：（1）利用MolmoSpaces的23万+场景生成大规模训练数据集，研究数据规模、多样性和质量对VLA模型泛化能力的影响规律。（2）在MolmoSpaces-Bench上进行系统性的失败模式分析，识别导致策略失败的场景特征（如特定物体布局、光照条件、相机视角），并据此改进训练数据的分布。（3）将长时程任务评估标准化，利用LLM任务生成系统创建大规模长时程基准集，并研究分解策略（如将长时程任务分解为原子任务序列）的有效性。（4）扩展到更多机器人平台，验证跨具身泛化能力。（5）利用MolmoSpaces的控制变体能力，系统性地研究策略对各种分布偏移（语言、视觉、物理）的鲁棒性，指导训练数据的增强策略。（6）探索仿真到真实到仿真（Sim-to-Real-to-Sim）的闭环优化，利用真实世界评估结果改进仿真器的保真度。

复现评估

MolmoSpaces在可复现性方面表现优异。整个生态系统完全开源，数据和代码均可公开获取（GitHub: https://github.com/allenai/molmospaces）。场景资产、物体模型和抓取数据均已发布，支持MuJoCo、IsaacSim和ManiSkill三个主流仿真器。论文提供了详细的物体筛选流程（Appendix A）、场景质量测试标准（四步验证）、抓取生成pipeline（Figure 5）和基准构建协议。评估代码和基准配置也已开源。从算力角度看，场景生成和物体处理需要大量计算（110K场景的LLM生成和物理验证），但评估阶段的计算需求相对可控——每个任务2000个样本，可在标准GPU上运行。从难度角度看，使用MolmoSpaces进行评估的门槛较低，作者提供了模块化实验组合工具和相机配置。唯一需要注意的是不同仿真器之间的渲染差异（OpenGL vs Filament）和物理引擎差异可能导致结果略有不同，但论文已通过Table 3和Table 4验证了跨平台一致性。

MolmoSpaces：面向机器人导航与操控的大规模开放生态系统 MolmoSpaces: A Large-Scale Open Ecosystem for Robot Navigation and Manipulation