OASIS：从仿真数据收集到真实世界人形机器人操作

完全基于仿真数据训练的人形机器人操作策略，实现零样本真实部署且效果超越真实遥操作数据

前置知识

Sim-to-Real Transfer

Sim-to-Real Transfer（仿真到真实迁移）是指机器人在仿真环境中学习策略，然后将其部署到真实世界的技术。核心挑战在于仿真与现实之间存在视觉差距（光照、纹理、阴影）和物理差距（摩擦系数、碰撞响应、传感器噪声）。常用的方法包括域随机化（在仿真中随机化视觉和物理参数以覆盖真实世界的多样性）、域适应（通过对抗学习或特征对齐减少域差异）和系统识别（精确建模真实世界的物理参数）。本文主要采用域随机化方法，通过纹理、光照和相机外参的大规模随机化来覆盖真实世界的视觉多样性，实现零样本部署。

本文完全依赖仿真数据训练，成功零样本部署到真实机器人，必须理解Sim-to-Real的核心技术和挑战才能把握论文的贡献。

Flow Matching

Flow Matching是一种基于连续流的生成建模方法，可以看作是扩散模型的简化形式。核心思想是学习从简单分布（如高斯噪声）到目标分布的速度场。具体而言，对于目标动作序列a0和噪声样本a1服从高斯分布，Flow Matching通过线性插值构建从a0到a1的路径，其中tau服从均匀分布。损失函数是回归速度场与理论速度的差异。推理时，从高斯噪声开始，通过Euler求解器逐步去噪。相比扩散模型，Flow Matching的推理步数更少（本文仅需10步），更适合实时机器人控制。

本文的高层规划器使用Flow Matching生成动作序列，理解这个模型架构是把握方法技术细节的基础。

分层控制架构

分层控制架构将复杂的控制任务分解为高层规划和低层控制两个层次。高层规划器基于视觉观察和任务指令生成粗粒度的运动命令（如身体姿态、手部位置），低层控制器则将这些命令转换为具体的关节角度或扭矩输出。这种设计的优势在于：高层规划器可以专注于任务级决策和长时序推理，忽略底层控制细节；低层控制器可以专注于精确的跟踪控制，处理平衡、碰撞避免等约束。在机器人操作中，这种架构特别适用于需要同时处理视觉感知和运动控制的长时序任务。本文的高层规划器运行在25 Hz，预测32帧未来动作；低层控制器运行在50 Hz，将命令转换为43-DoF关节角度。

本文采用分层策略设计，理解这种架构的优势和实现方式是把握方法有效性的关键。

域随机化（Domain Randomization）

域随机化是解决Sim-to-Real差距的核心技术，通过在仿真中随机化视觉和物理参数，使训练数据覆盖真实世界的多样性，从而学习到对域变化鲁棒的特征。视觉随机化包括纹理、光照、背景、相机外参等的变化；物理随机化包括摩擦系数、恢复系数、物体质量等的变化。关键在于随机化的范围必须足够大，覆盖真实世界可能出现的所有情况。本文的域随机化特别关注三个方面：纹理随机化（替换为多样化的纹理贴图）、光照随机化（随机化光照强度和色温）、相机外参随机化（随机化相机位置和姿态）。实验表明，三个因素中光照贡献最大，但三者结合效果最好。

本文的数据增强阶段核心就是域随机化，理解其原理和实现细节是把握方法创新点的关键。

3D资产生成与物理参数估计

3D资产生成是指从单张或多张2D图像重建或生成3D模型的过程。本文使用Hunyuan3D从真实物体照片生成高质量纹理化3D网格。但生成模型只输出网格和纹理，缺乏物理尺度和材料属性。为此，本文进一步使用视觉-语言模型Qwen3-VL估计物体的物理尺寸（长、宽、高）和材料类别（如金属、塑料、木头）。材料类别通过预定义表格映射到密度、摩擦系数和恢复系数等物理参数。基于均匀密度假设，根据尺寸和密度计算质量和惯性。物理参数在预测值周围随机化以处理估计误差。这套流程使得从单张照片就能构建物理可信的仿真场景，为大规模仿真数据收集奠定基础。

本文完全基于仿真数据，自动构建仿真场景是第一步，理解这个资产生成流程是把握方法可行性的关键。

研究动机

现有的人形机器人操作数据收集方法面临严重的质量和规模权衡问题。真实机器人遥操作提供最高质量的轨迹，因为这些轨迹与机器人姿态精确对齐，并且天然伴随动作监督。但这种方法需要专门的物理空间和时间成本极高的场景重置。具体而言，收集大规模遥操作数据需要大量昂贵的机器人和支持设备，以及相应的巨大物理空间，导致高昂的资金和空间开销。物理交互本身使收集过程脆弱且低效：在长时序任务中，任何失败或重新定位的需求都需要人工重新配置机器人和环境，显著拖慢收集速度。操作错误还可能损坏机器人硬件或场景中的物体。例如，在屏幕擦拭任务中，机器人与脆弱显示器频繁接触，真实机器人收集中任何力或时序的偏差都有损坏风险——事实上，作者因接触力过大损坏了一台显示器，迫使操作员放慢速度、谨慎操作。在仿真中，这些问题完全不存在，损坏的物体可以立即重置，操作员无需克制。另一方面，人类视频和第一视角记录虽然可扩展，但缺乏机器人姿态对齐和精确的动作监督，难以训练有效的机器人策略。

本文的目标是本文的目标是构建一个完全基于仿真数据的人形机器人操作框架OASIS，实现从仿真数据收集到真实世界零样本部署的完整流程。具体目标包括：第一，设计自动化的仿真场景构建系统，从真实物体的参考图像合成物理可信的3D资产，包括准确估计物理尺寸和材料属性；第二，开发高效的两阶段遥操作-渲染数据收集流程，通过VR设备实时遥操作收集轨迹，然后离线重放并应用大规模视觉增强，将少量操作时间扩展为大规模视觉多样化的训练集；第三，设计分层视觉运动策略，高层规划器使用Flow Matching从多模态观察预测参考运动命令，低级控制器跟踪这些命令输出关节角度；第四，在真实人形机器人上验证系统的有效性，展示基于仿真数据训练的策略能够零样本部署，并且在相同轨迹预算下，成功率等于或优于基于真实机器人遥操作数据训练的策略。

与已有工作不同的是，本文的独特切入点是将高保真仿真作为可扩展的全身操作数据源，通过生成式AI自动构建物理可信场景，并将遥操作收集与照片级渲染解耦，使得每个遥操作轨迹可以扩展为大量视觉多样化的训练样本。现有工作主要沿三个方向探索：机器人中心遥操作（质量高但成本高）、机器人无关的人类捕获（可扩展但缺乏姿态对齐）、仿真合成数据（可扩展但局限于简单任务）。例如，GR00T N1使用合成数据增强语料库，但仿真部分主要由简单的双手机器人操作任务组成；VIRAL通过仿真中的强化学习收集数据，但RL采集过程本身昂贵，需要精心设计的奖励函数和每个行为的长时间训练。相比之下，本文自动从生成式3D资产构建物理可信场景，通过仿真遥操作收集全身轨迹，并成功训练可迁移到真实机器人的策略。关键创新在于将遥操作收集与照片级渲染解耦，将每个轨迹扩展为多样化的训练样本（每个轨迹渲染到20个环境，每个环境包含随机纹理、光照和相机外参）。

核心方法

OASIS方法的整体思路是将整个数据收集和学习流程迁移到仿真环境，通过生成式AI自动构建物理可信的仿真场景，通过VR遥操作收集高质量轨迹，通过离线重放和大规模视觉增强扩展数据多样性，最后训练分层策略实现零样本真实部署。技术路线分为四个阶段：首先，从真实物体照片重建仿真就绪的3D资产，使用Hunyuan3D生成高质量纹理化网格，使用Qwen3-VL估计物理尺寸和材料类别，通过预定义材料表格映射到密度、摩擦、恢复系数等物理参数；其次，通过VR设备（如PICO 4U）实时遥操作仿真中的机器人，使用GMR重定向器将操作员运动重定向到机器人姿态，使用Teleopit全身控制器驱动机器人，记录机器人状态和场景中所有交互刚体状态以及参考运动命令；第三，离线重放轨迹并应用视觉增强，使用Path-Tracing渲染模式提高保真度，随机化背景纹理、光照强度和色温、相机外参参数，将单个轨迹扩展为20个视觉不同的训练样本；第四，训练分层全身策略，高层规划器使用Transformer架构和Flow Matching从文本指令、三视图图像和机器人本体感受器预测32帧未来参考运动命令，低级控制器使用Teleopit将命令转换为43-DoF关节角度，通过课程制的rollout训练增强长时序稳定性，最终在Unitree G1人形机器人上实现25 Hz规划器和50 Hz控制器的零样本部署。

核心创新点在于将遥操作收集与照片级渲染解耦的两阶段设计，使得少量操作时间可以产生大规模视觉多样化的训练集。传统方法要么实时遥操作并渲染（限制了视觉保真度和数据规模），要么离线渲染但缺乏真实遥操作数据。本文第一阶段使用Real-Time渲染模式以低延迟提供操作员反馈，只记录机器人和场景的状态序列，不渲染高保真图像；第二阶段离线重放这些状态，使用Path-Tracing渲染模式生成高保真图像，并随机化纹理、光照和相机外参，将单个轨迹扩展为20个视觉不同的训练样本。这种解耦将遥操作成本与数据集大小分离，操作员时间决定轨迹数量，离线渲染决定数据规模，使得收集50个成功轨迹的速度比真实机器人遥操作快1.15到1.84倍。另一个核心创新是使用参考运动命令而非机器人状态作为本体感受器输入。机器人状态反映低级控制器已执行的轨迹，必然携带跟踪误差和噪声，将规划器条件化于这些信号会让误差累积并反馈到规划中。参考命令则提供一致且无噪声的历史，保持规划器的输入分布在仿真和部署之间相同。课程制rollout训练机制在训练前20%步骤使用ground-truth历史，然后逐渐增加使用自己预测历史的概率（线性增长到0.8），暴露模型于自己的预测误差，保持部署时长时序autoregressive rollout的稳定性。

方法步骤详情

方法的第一步是仿真场景构建。给定真实世界物体的参考图像，首先使用Hunyuan3D生成高分辨率纹理化3D资产。Hunyuan3D的输出只包含网格和纹理贴图，缺乏物理尺度和材料属性。为恢复这些属性，进一步使用Qwen3-VL，这是一个在物体几何、材料和物理属性方面具有强大视觉推理能力的视觉-语言模型。给定参考图像和物体的类别描述，用结构化模板提示它生成对物体物理尺寸和材料类别的合理准确估计。预测的尺寸将归一化网格重新缩放到物理尺寸，材料类别作为索引从预定义表格检索有效密度、摩擦和恢复系数。基于均匀密度假设，从尺寸和密度计算质量和惯性，摩擦和恢复附加到碰撞体。为处理估计误差，所有物理属性在预测值周围随机化。第二步是遥操作轨迹收集。基于生成资产构建仿真场景后，通过基于VR的遥操作收集人形机器人操作轨迹。人类操作员通过VR设备（如PICO 4U）控制仿真中的人形机器人，机器人的头相机流实时传输到头戴设备作为第一人称视角。操作员的运动通过GMR重定向到人形机器人，产生参考全身运动，然后输入到Teleopit，这是一个基于强化学习的开源全身控制器，驱动仿真中的人形机器人执行相应动作。为保持低延迟遥操作，此阶段使用Isaac Sim的Real-Time渲染模式，显著减少渲染开销同时保持足够视觉保真度，使仿真器以高帧率运行。数据收集期间记录两类数据：第一类是机器人全身运动学状态和场景中所有交互刚体的运动学状态，用于第二阶段重放轨迹；第二类是GMR重定向的参考运动，用于训练高层规划器。第三步是可扩展轨迹渲染。收集轨迹后，通过离线重放并随机化视觉条件收集与这些记录轨迹配对的多样化图像观察，构建训练数据集。每个轨迹离线重放并在随机视觉条件下渲染，将单个演示扩展为大量视觉不同样本。摆脱遥操作的实时约束，离线设置使Isaac Sim的Path-Tracing渲染模式可行，产生更高保真度图像。具体随机化背景纹理、环境光照强度和色温、相机外参参数。每个轨迹渲染到20个环境，将单个演示扩展为多样化的训练样本（考虑纹理、光照、相机外参的随机化）。第四步是全身策略学习。高层规划器基于TextOp表示每帧参考运动命令，包含roll和pitch的三角编码、每帧yaw差异、局部帧中的根平移、根高度、关节位置和关节增量。高层规划器是基于Transformer的动作分块策略，使用Flow Matching生成未来运动序列，与低级控制器分层设计耦合。去噪器接受三个输入：文本指令（使用冻结CLIP文本编码器编码）、三视图图像（使用冻结DINOv2视觉编码器编码）、最近2帧的机器人本体感受器（使用MLP编码器编码）。这些特征连接成条件令牌序列，去噪器预测未来32帧的全身参考运动。使用Flow Matching目标训练去噪器，回归线性路径上的常数速度场。推理时，使用Euler求解器通过10个去噪步骤集成学习速度场生成动作。与遥操作一致，低级控制器Teleopit将参考运动转换为29-DoF身体关节角度；结合14-DoF手关节，系统输出43-DoF全身关节角度。课程制rollout训练机制在每训练步骤从同一序列采样4个连续段，第一段使用ground-truth历史，每个后续段以概率prollout重用其前一段的最后2个预测帧。概率在前20%训练步骤保持0，让模型先在干净历史上拟合条件分布，然后线性增长到0.8。通过在训练期间暴露模型于自己的预测误差，此机制保持部署时长时序autoregressive rollout的稳定性。最终在29-DoF Unitree G1人形机器人上部署，配备7-DoF三指灵巧手。除了头部Realsense D435i相机，每个手腕附加额外Realsense D405相机。高层规划器在NVIDIA RTX 4090 GPU上以25 Hz运行，低级控制器以50 Hz执行预测的32步动作块。

技术新颖性

技术新颖性主要体现在四个方面：第一，完全基于仿真数据的人形机器人操作框架。现有工作大多依赖真实机器人遥操作或人类视频数据，本文展示纯仿真数据训练的策略可以零样本部署到真实机器人，并且在相同轨迹预算下等于或优于真实数据。第二，自动化仿真场景构建系统。从单张真实物体照片通过生成式3D模型重建物理可信的仿真资产，包括使用VLM估计物理尺寸和材料属性，自动构建大规模物理合理场景。第三，两阶段遥操作-渲染解耦设计。实时遥操作使用轻量级渲染保证响应性，离线重放使用Path-Tracing渲染保证保真度，将每个轨迹扩展为20个视觉不同的训练样本，实现数据收集效率1.15到1.84倍提升。第四，分层策略设计中的参考运动命令作为本体感受器输入。使用参考命令而非机器人状态消除跟踪误差累积，保持仿真和部署的输入分布一致。课程制rollout训练机制在训练期间暴露模型于自己的预测误差，保持长时序稳定性。实验表明，纹理、光照、相机外参三个随机化因素中光照贡献最大，但三者结合效果最好，达到平均成功率0.83。渲染每个轨迹到15-20个环境时成功率趋于饱和，平衡性能和开销。在真实Unitree G1人形机器人上的实验显示，纯仿真数据训练的策略零样本部署成功率与真实数据相当，在某些任务上更高。仿真和真实数据混合使用在相同总轨迹预算下优于任何单一来源，显示仿真和真实数据的互补性。

**Figure 1**: OASIS collects whole-body demonstrations entirely in simulation and deploys the visuo-motor policy zero-shot on the real Unitree G1 humanoid across diverse loco-manipulation tasks.

**Figure 3**: Overview of OASIS. Our framework consists of four stages. First, we reconstruct physics-ready simulation assets from single-view photos of real objects. Second, demonstration trajectories are collected in simulation via VR teleoperation. Third, these trajectories are replayed with texture, lighting, and camera-extrinsics randomization for visual augmentation. Finally, a hierarchical policy is trained on the augmented data, where a high-level Flow Matching predicts reference motion command from multimodal observations, and a low-level controller tracks them as joint angles in a closed loop.

实验结果

实验在Unitree G1人形机器人上进行，回答三个问题：Q1：OASIS能否实现比真实机器人遥操作更高的数据收集效率？Q2：OASIS数据增强阶段的每个组件如何影响Sim-to-Real迁移？Q3：OASIS的仿真数据相比真实机器人数据对人形机器人操作的有效性如何？对于Q1，测量仿真和真实世界的数据收集效率。使用相同的低级控制器和相同的操作员，在相同任务上收集相同数量的成功轨迹。如表1所示，OASIS在所有任务上收集数据显著快于真实机器人收集，加速比随任务难度增长。由于两个设置通过相同接口驱动相同人形机器人，执行每个任务花费的时间相当；效率差距几乎完全来自每个轨迹之外的开销，这在真实世界中不可避免但在仿真中几乎为零。真实机器人收集中，每次尝试后操作员必须进入工作区并将每个物体重置到初始配置，然后才能开始下一个轨迹，这个开销随物体数量和任务长度增长。仿真中，重置是瞬时且完全自动的。此外，物理交互脆弱，这种脆弱性甚至延伸到被操作物体。在屏幕擦拭任务中，机器人与脆弱显示器频繁接触，真实机器人收集中任何力或时序偏差都有损坏风险——事实上，作者因接触力过大损坏了一台显示器，迫使操作员放慢速度、谨慎操作。仿真中，这些都不是问题：损坏的物体可以简单重置，操作员无需克制。对于Q2，从两个角度检查数据增强组件：每个随机化因素的贡献，以及每个轨迹需要的渲染次数。对于随机化因素，比较禁用所有随机化、每次移除一个因素、完整配置。如表2所示，禁用所有随机化导致策略几乎完全无法迁移，确认随机化不可或缺。在单个组件中，光照贡献最大，因为光照差异是Sim-to-Real视觉差距的最大部分。重要地，完整组合优于每个消融变体，表明这些随机化针对Sim-to-Real差距的互补方面，联合应用最有效。成功率随更多渲染稳步上升，在15-20次左右趋于饱和，超过后收益递减。因此每个轨迹渲染到20个环境以平衡性能和开销。对于Q3，在真实机器人上的操作任务上评估策略，跨越桌面操作、全身提升和跪下桌下擦拭。对于每个任务，比较相同总轨迹数下的三个训练数据来源：OASIS的仿真数据、仅真实机器人、等量混合。如图5所示，仅仿真数据训练的策略的真实机器人成功率与仅真实机器人训练的策略相当，在某些任务上更高。由于两者使用相同轨迹数，这表明OASIS收集的仿真数据在监督质量上媲美真实机器人数据，可以作为有效替代，避免真实机器人收集的高时间和硬件成本。我们将仿真甚至超越真实数据的情况归因于视觉多样性：真实机器人数据在相对固定环境收集，策略在部署条件偏离收集时间时挣扎；而仿真中的大规模随机化重渲染覆盖更丰富视觉条件，产生更强鲁棒性。此外，混合两个来源在相同轨迹预算下优于任何单一来源。由于总数据不变，这个增益不是来自更多数据而是来自它们的互补性：仿真贡献大规模视觉多样化样本用于泛化，真实机器人数据提供仿真无法完全捕获的真实交互和感知特征。总体，纯仿真数据支持高性能真实机器人部署，并与真实数据结合时进一步改进性能，突显OASIS作为可扩展数据源的价值。

**Table 1**: Time taken to collect 50 successful trajectories per task with OASIS versus real-robot teleoperation. OASIS is faster on every task, and the gap is larger on harder ones.

**Table 2**: Ablations on the data-augmentation stage. All numbers are real-robot zero-shot success rates over 10 trials. The Ours column denotes our final configuration, which applies all randomization and renders each trajectory under 20 randomized environments.

**Figure 4**: Real-robot experiments on loco-manipulation tasks across different difficulty levels.

**Figure 5**: Real-world zero-shot success rates of policies trained on simulation data from OASIS, real-robot data, and their equal mixture, using the same total of 50 trajectories per setting.

查看结构化数据

任务	指标	本文	基线	提升
Place Cup in Box	数据收集时间（50个成功轨迹）	15.2分钟	真实机器人遥操作17.5分钟	1.15倍加速
Wipe Monitor	数据收集时间（50个成功轨迹）	19.1分钟	真实机器人遥操作26.8分钟	1.40倍加速
Lift Basket and Place Cup	数据收集时间（50个成功轨迹）	25.2分钟	真实机器人遥操作40.2分钟	1.60倍加速
Kneel and Wipe Under Table	数据收集时间（50个成功轨迹）	28.4分钟	真实机器人遥操作44.8分钟	1.84倍加速
Place Cup in Box	零样本部署成功率（10次试验）	0.80（OASIS完整配置）	真实机器人数据0.90	真实数据略优
Lift Basket and Place Cup	零样本部署成功率（10次试验）	0.70（OASIS完整配置）	真实机器人数据0.70	与真实数据相当
Wipe Monitor	零样本部署成功率（10次试验）	0.80（OASIS完整配置）	真实机器人数据0.80	与真实数据相当
Kneel and Wipe Under Table	零样本部署成功率（10次试验）	1.00（OASIS完整配置）	真实机器人数据0.90	仿真数据优于真实数据
平均成功率（所有任务）	零样本部署成功率	0.83（OASIS完整配置）	真实机器人数据0.83	与真实数据相当

局限与改进

作者承认的第一个局限是增强只随机化视觉外观而不改变轨迹，因为扰动全身状态容易破坏平衡。运动多样性因此受限于操作员演示的内容，物理感知的轨迹增强是自然下一步。作者承认的第二个局限是仿真保真度依赖于自动生成的资产，其几何和物理参数对于视觉复杂物体可能不准确，在接触丰富任务中加宽Sim-to-Real差距。更好的资产重建和物理参数校准可以帮助缩小这个差距。独立观察的局限包括：第一，当前方法使用固定的操作员技能水平，不同操作员的技能差异如何影响数据质量和策略性能不清楚。第二，资产生成依赖于Hunyuan3D和Qwen3-VL的估计准确性，对于复杂或罕见物体，这些模型的估计可能不可靠，需要人工校准或替代方案。第三，实验只在单一机器人平台（Unitree G1）上验证，方法的泛化能力到其他机器人平台（如不同自由度、不同传感器配置）未知。第四，实验任务相对简单（4个任务），更复杂的长时序任务（如多步骤组装、工具使用）是否可行需要进一步验证。第五，评估指标主要是成功率，缺乏对轨迹效率、平滑性、能量消耗等更细致指标的评估。第六，方法依赖于VR设备，操作员的VR熟练程度和学习曲线可能影响数据收集效率。第七，当前方法主要处理静态场景，动态环境（如移动物体、变化光照）的适应性未探索。第八，碰撞处理和安全机制在真实部署中至关重要，论文未详细讨论这些方面。

独立分析的弱点

第一个弱点是运动多样性受限于操作员演示。由于增强只随机化视觉外观而不改变轨迹，策略只能学会操作员演示的运动模式，无法探索更优或更多样的运动解决方案。在复杂任务中，操作员可能无法演示最优策略，导致策略性能受限。改进方向包括：开发物理感知的轨迹增强方法，在不破坏平衡的前提下扰动轨迹状态；使用强化学习在仿真中进一步探索和优化策略，将遥操作数据作为初始化或演示；收集多个操作员的演示，增加运动多样性；设计奖励函数引导RL探索，同时保持与遥操作数据的对齐。第二个弱点是资产生成准确性的局限。对于视觉复杂或罕见的物体，Hunyuan3D生成的网格几何可能不准确，Qwen3-VL估计的物理参数可能有较大误差，这些误差在接触丰富任务中会导致显著的Sim-to-Real差距。改进方向包括：集成多视图重建方法，从多角度照片重建更准确的3D网格；开发专门的物理参数估计模型，使用预训练的物理引擎知识；引入主动学习框架，在真实交互中校正物理参数；使用贝叶斯方法建模参数不确定性，在策略训练中考虑不确定性。第三个弱点是评估范围有限。实验只在单一机器人平台和相对简单的任务上验证，方法的泛化能力未知。改进方向包括：在更多机器人平台上验证，测试方法对不同自由度、传感器配置、动力学特性的适应性；设计更复杂的长时序任务，如多步骤组装、工具使用、多物体协调；评估轨迹效率、平滑性、能量消耗等更细致指标；引入更真实的环境变化，如动态光照、移动物体、人类交互；进行更大规模的A/B测试，统计验证方法的优势。

未来方向

作者提出的未来工作方向包括：物理感知的轨迹增强，在不破坏平衡的前提下扰动全身状态；更好的资产重建和物理参数校准，缩小接触丰富任务的Sim-to-Real差距。基于论文成果可延伸的未来方向包括：将OASIS框架扩展到更多机器人平台（如Boston Dynamics Atlas、Agility Robotics Digit），验证方法跨平台的泛化能力；探索更复杂的长时序任务（如家庭日常任务、工业装配、救援场景），测试方法在真实场景中的适用性；集成更先进的生成模型（如NeRF、3D Gaussian Splatting）提高资产重建保真度；开发在线适应机制，让策略在部署时从真实交互中持续学习；探索仿真-真实协同学习框架，动态平衡仿真和真实数据的收集和利用；研究跨任务迁移学习，让在仿真中学到的知识快速适应新任务；开发工具使用和操纵能力，扩展到更广泛的操作场景；集成语言模型实现更高级的推理和规划能力；探索多机器人协同操作，测试方法在团队任务中的有效性；研究安全机制和碰撞避免，确保真实部署的可靠性；开发数据集和基准，促进Sim-to-Real研究的标准化和可重复性；探索低成本VR遥操作方案，降低数据收集的技术门槛；研究操作员技能差异对数据质量的影响，设计培训和辅助机制；探索自动任务生成和场景编排，进一步自动化数据收集流程；集成触觉传感器和力反馈，提高接触丰富任务的Sim-to-Real迁移性能；研究节能和效率优化，使策略更适用于真实世界部署。

复现评估

论文未明确说明代码和数据的开源情况，这是复现性评估的一个主要限制。从论文描述来看，OASIS依赖多个关键组件：Hunyuan3D（3D生成模型）、Qwen3-VL（视觉-语言模型）、Isaac Sim（仿真器）、GMR（运动重定向器）、Teleopit（全身控制器）、PICO 4U（VR设备）。这些组件大多开源或可公开获取，但具体版本、配置和集成细节未提供。数据方面，论文未公开收集的遥操作轨迹数据、生成的3D资产、训练的策略模型。算力需求方面，高层规划器在NVIDIA RTX 4090 GPU上以25 Hz运行，低级控制器以50 Hz运行，训练算力需求未明确说明。复现难度主要来自：集成多个复杂组件的工程挑战；VR遥操作设置需要专门设备；资产生成流程需要多个大型模型；仿真环境需要大量场景构建和调试；策略训练需要大量计算资源；真实机器人部署需要硬件平台和调试经验。改进复现性的方向包括：开源完整代码和配置；发布资产生成和轨迹收集的详细教程；提供预训练策略模型用于推理；公开小规模数据集用于快速验证；提供Docker镜像或环境配置脚本；详细记录超参数和训练设置；提供与开源仿真器（如MuJoCo、PyBullet）的兼容接口；开发无VR依赖的遥操作替代方案。总体，论文的技术路线清晰但缺乏开源细节，复现需要较强工程能力和资源投入。

OASIS：从仿真数据收集到真实世界人形机器人操作 OASIS: From Simulation Data Collection to Real-World Humanoid Loco-Manipulation