SoMA：面向机器人软体操作的真实到仿真神经模拟器 SoMA: A Real-to-Sim Neural Simulator for Robotic Soft-body Manipulation
基于高斯泼溅的神经模拟器实现机器人操控软体物体的真实到仿真
前置知识
3D Gaussian Splatting (3DGS)
3D高斯泼溅是一种基于高斯基元的三维场景表示与渲染方法。每个高斯泼溅 $g_i = \{x_i, \Sigma_i, m_i, a_i\}$ 编码了空间位置 $x_i \in \mathbb{R}^3$、各向异性协方差矩阵 $\Sigma_i \in \mathbb{R}^{3 \times 3}$、质量 $m_i$ 以及额外物理属性 $a_i$。通过大量高斯基元的叠加渲染，可以高效重建三维场景的几何和外观。相比NeRF，3DGS支持实时渲染且便于显式几何操作，因此非常适合用于需要逐帧更新物体状态的物理模拟任务。本文将3DGS扩展到动态可变形物体的模拟中，使其既承担几何表示的角色，又作为物理动力学的状态载体。
本文的核心创新就是将3DGS从静态重建扩展到动力学模拟，理解3DGS的基本结构是读懂整篇方法的基础
Real-to-Sim (R2S) 真实到仿真
真实到仿真是指从真实世界的观测数据（如RGB视频、深度图等）出发，在虚拟环境中重建物体几何、材质和动力学，使得仿真器能够复现真实世界的行为。R2S的核心挑战在于弥合视觉重建坐标系与机器人运动学坐标系之间的差异，包括尺度、方向和原点的不一致。一个成功的R2S系统需要保证仿真中的物理交互与真实世界行为一致，从而支持数据增强、策略学习等下游任务。
本文的核心定位就是R2S软体模拟器，理解R2S的挑战才能理解本文方法的每个设计选择
Hierarchical Graph Simulator 层次化图模拟器
层次化图模拟器将高斯泼溅按照空间距离递归聚类，形成从细到粗的多层节点结构。最底层是原始高斯基元，高层节点是对其子节点的聚合表示。对于由 $N_i$ 个子节点组成的聚类，聚合质量 $m_{cl} = \sum m_i$、聚合位置 $x_{cl} = \frac{1}{m_{cl}} \sum m_i x_i$。动力学通过图神经网络自顶向下传播：每一层预测潜在运动和变形状态，然后通过学习的变换矩阵 $F_{jk}$ 转移到下层子节点。这种结构既能捕捉全局运动，又能保留局部变形细节。
本文方法的动力学传播完全建立在层次化图结构之上，理解这一结构是理解力驱动动力学模型和多分辨率训练策略的前提
Force-driven Dynamics 力驱动动力学
力驱动动力学是一种将物体运动分解为外力作用结果的建模方式。每个高斯基元或聚类节点受到环境力（重力、支撑力）和机器人交互力的作用，神经网络预测的是由力引起的线速度 $v_i$ 和角速度 $\omega_i$，而非直接预测位置偏移。环境力 $f_i^{env}$ 对所有节点施加重力，对接近支撑面的节点施加额外支撑力；机器人力 $f_i^{rob}$ 通过交互图从机器人控制点传递到高斯基元。总力 $f_i = f_i^{env} + f_i^{rob}$ 决定物体的变形行为。相比纯状态回归，力驱动建模使物理交互更具因果性和可解释性。
力驱动建模是本文区别于GausSim等状态回归方法的核心技术差异，决定了模型的泛化能力和物理一致性
Occlusion-aware Supervision 遮挡感知监督
在机器人操控场景中，可变形物体经常被机械臂末端执行器或自身接触遮挡。传统图像监督会在被遮挡区域引入虚假梯度，导致动力学学习不稳定。遮挡感知监督通过二值物体掩码 $M_t$ 对渲染损失进行选择性计算，仅在可见区域计算像素级误差。具体而言，损失 $\mathcal{L}_{img}^{(t)} = \lambda \| M_t \odot (\hat{I}_t - I_t) \|_2^2 + (1-\lambda) \mathcal{L}_{D\text{-}SSIM}(M_t \odot \hat{I}_t, M_t \odot I_t)$ 仅在掩码区域内求值，避免了不可靠区域的梯度干扰。
遮挡问题是机器人软体操控模拟的核心难点之一，理解遮挡感知监督才能理解本文的混合监督策略为何有效
Multi-resolution Training 多分辨率训练
多分辨率训练是一种在时间和图像两个维度上采用由粗到细策略的训练方法。在时间维度上，第一阶段使用较大的时间步长 $k \cdot dt$ 捕捉全局运动模式，第二阶段使用原始分辨率 $dt$ 的随机子序列进行精细动力学学习。在图像维度上，几何重建使用超分辨率图像以保留结构细节，动力学训练使用原始分辨率以降低计算成本。这种策略有效缓解了误差累积导致的长时域模拟漂移和不稳定问题。
多分辨率训练是本文实现稳定长时域模拟的关键技术手段，直接决定了模型在150帧长序列上的表现
研究动机
可变形物体在机器人操控下的模拟是real-to-sim的核心难题。物体的动力学由环境效应（重力、支撑力）和机器人动作共同驱动，现有的物理模拟器（如基于FEM、MPM的方法）依赖预先定义的物理模型和参数，难以从视觉观测中准确推断这些参数，尤其在机器人驱动交互的场景下，参数辨识更加困难。数据驱动的神经动力学方法（如4D重建和神经模拟器）虽然能从数据中直接学习运动，但主要聚焦于重现观测到的轨迹，缺乏机器人条件化的交互控制，泛化能力有限。具体而言，PhysTwin等可微模拟器受限于简化的物理假设，在遮挡严重的机器人操控场景下表现退化；GausSim等神经模拟器仅基于状态回归预测未来，在复杂交互下出现长时间步累积误差，导致后期帧物体结构严重偏移甚至模拟崩溃。
本文的目标是本文的目标是构建一个统一的神经模拟器SoMA，能够在真实的机器人操控场景中，仅从多视角RGB视频和机器人关节状态出发，实现可变形物体的端到端real-to-sim模拟。具体目标包括：（1）建立机器人关节空间动作与物体动力学之间的因果关系，实现可控的、运动学一致的交互模拟；（2）支持在复杂遮挡和接触模式下稳定地进行长时间域模拟（150帧以上）；（3）泛化到训练中未见过的操控轨迹和接触配置，而非仅仅记忆训练序列。最终目标是为机器人操控提供一个实用的仿真工具，降低真实数据采集成本，支持策略学习和分析。
与已有工作不同的是，本文的独特切入角度在于将物理模拟和神经学习两个长期分离的方向桥接在一起。现有物理模拟器提供一致性但缺乏表达力，神经方法提供表达力但缺乏一致性——本文通过在学习的高斯泼溅表示上直接进行动力学建模，同时施加物理启发的一致性约束，填补了两者之间的空白。具体而言，SoMA有三个独特的设计：（1）通过机器人条件化的R2S映射，将学习的物体动力学锚定到真实的机器人运动学上，这是现有神经模拟器所缺失的；（2）在高斯泼溅层面建模显式的力驱动动力学（环境力+机器人交互力），而非状态回归，使物理交互具有因果性；（3）引入混合监督策略（遮挡感知图像损失+动量一致性正则化），解决了遮挡区域无法获得直接视觉反馈的问题。这些设计使得SoMA能够在遮挡密集、交互复杂的机器人操控场景中实现稳定、可控、可泛化的模拟。
核心方法
SoMA的整体思路可以概括为：将真实世界的机器人操控场景通过高斯泼溅表示映射到统一的仿真空间，然后在该空间中用层次化图网络驱动可变形物体的动力学演化，同时以机器人动作为条件控制交互。直觉上，高斯泼溅不仅是一种几何表示，更可以作为物理粒子——每个泼溅携带位置、质量和物理属性，可以在力的作用下运动和变形。方法的技术路线分为三个阶段：首先，从多视角RGB视频重建物体的初始高斯泼溅表示 $G_0$，并通过机器人运动学将重建坐标系对齐到仿真坐标系；其次，在层次化图结构上建模力驱动的动力学传播，环境力和机器人交互力作用于泼溅节点并通过图网络自顶向下传播；最后，通过多分辨率时间训练和混合监督策略优化模型，实现稳定的长时域模拟。
SoMA的核心创新在于提出在高斯泼溅表示上进行力驱动的交互感知动力学建模这一新范式，这与现有方法有本质区别。与GausSim等状态回归方法不同，SoMA不直接预测下一时刻的泼溅状态，而是预测每个泼溅受到的力，再由力推导速度和位移——这赋予了动力学因果性和物理可解释性。与PhysTwin等物理模拟器不同，SoMA不依赖预先定义的物理方程和参数，而是用图神经网络学习力-运动映射，保留了数据驱动的灵活性。最关键的区别是机器人条件化：SoMA通过交互图将机器人控制点的运动编码为隐式力 $f_i^{rob}$，输入到动力学网络中，使得模拟器能够响应新的操控轨迹。这种设计使得SoMA在面对未见过的动作序列时，仍能产生物理一致的物体行为，而非简单地记忆训练轨迹。
方法步骤详情
SoMA的方法分为以下几个具体步骤：（1）场景初始化（Section 4.2.1）：给定校准相机的多视角RGB图像，首先使用COLMAP或Pi3等方法估计相机位姿，然后通过3DGS重建物体的初始高斯泼溅表示 $G_0$。接着通过安装在机器人末端执行器上的相机，结合URDF模型和正运动学 $T_{ee}^{rob}(t) = FK(q_t)$，将机器人坐标系对齐到仿真坐标系，得到变换 $T_{ee}^{sim}(t) = [sR, t; 0^\top, 1] \cdot T_{ee}^{rob}(t)$，其中 $s$ 是通过参考物体物理尺寸匹配得到的全局尺度因子。（2）层次化图构建：将高斯泼溅按照距离递归聚类为三层结构（约 $[n, n/2, 2]$ 个节点，从细到粗），每层聚类属性通过子节点的质量加权平均计算。（3）力驱动动力学建模（Section 4.2.2）：对于每个泼溅节点 $i$，计算环境力 $f_i^{env}$（重力+支撑力）和机器人交互力 $f_i^{rob} = \Phi_\theta(g_i^{t-1}, \{r_j^t\}_{j \in N(i)}, c_t)$，总力 $f_i = f_i^{env} + f_i^{rob}$。然后通过层次化图网络预测速度 $(v_i, \omega_i) = \psi_\theta(g_i^{t-1}, g_i^{t-2}, f_i)$，自顶向下传播更新所有泼溅状态。（4）多分辨率训练（Section 4.2.3）：第一阶段使用大时间步长 $k \cdot dt$（cloth等数据集 $k=10$，T-shirt $k=5$）捕捉全局运动；第二阶段使用原始分辨率 $dt$ 的随机子序列精细学习。（5）混合监督（Section 4.2.4）：遮挡感知图像损失 $\mathcal{L}_{img}^{(t)}$ 仅在物体可见区域计算；动量一致性正则化 $\mathcal{L}_{mom} = \sum_{l=1}^{L-1} \| m_{cl} \hat{x}_{cl} - \sum_{i \in C_{l-1}} m_i \hat{x}_i \|_2^2$ 在层次间施加物理约束。
技术新颖性
SoMA的技术新颖性体现在三个层面。第一，范式创新：首次提出在高斯泼溅表示上进行机器人条件化的力驱动动力学模拟，填补了物理模拟和神经学习之间的空白（参见Table 4的范式对比）。现有4D重建方法缺乏物理状态和交互建模，世界模型缺乏视角一致性和物理合理性，规则模拟器依赖预定义物理参数，而SoMA同时具备显式物理状态、控制感知动力学、数据+交互驱动一致性。第二，架构创新：将交互图（机器人控制点与高斯基元之间的连接）和层次化图（泼溅聚类的多尺度结构）统一在一个框架中，机器人力通过交互图从控制点传递到泼溅节点，动力学通过层次图从粗到细传播。第三，训练策略创新：多分辨率时间训练（粗到细的时间步长）和混合监督（遮挡感知图像损失+动量一致性正则化）的组合，首次系统解决了高斯泼溅模拟器在长时域机器人操控中的误差累积和遮挡区域无监督信号的问题。
实验结果
本文在四个真实机器人操控数据集（绳子、布料、娃娃、T恤）上进行了全面评估，每个数据集包含30-40条序列，训练/测试比为7:3。核心发现如下：（1）再模拟性能：SoMA在所有数据集和所有指标上全面超越PhysTwin和GausSim。在综合评估中，SoMA的PSNR达到33.51（vs PhysTwin 28.77，GausSim 31.69），SSIM达到0.971（vs 0.947和0.945），LPIPS低至0.055（vs 0.086和0.127），深度指标Abs Rel为0.089（vs 0.102和0.115）。（2）泛化能力：在未见过的操控轨迹上，SoMA的PSNR为32.89，SSIM为0.968，LPIPS为0.062，相比PhysTwin和GausSim分别提升约20%。状态回归方法GausSim在后期帧出现严重漂移，而PhysTwin因real-to-sim失配出现几何伪影。（3）T恤折叠任务：这是最复杂的测试场景，涉及长时域动力学、大变形和频繁自接触。SoMA的PSNR达到27.57（vs PhysTwin 22.85），SSIM为0.896（vs 0.842），LPIPS为0.128（vs 0.198），展示了在复杂真实任务中的实用性。（4）消融实验：混合监督策略最为关键——仅使用图像监督（Img-only）导致泛化性能大幅下降（PSNR从31.49降至29.17）；去除多分辨率训练（w/o MRT）也会导致一致的性能下降（PSNR从31.49降至30.29）。（5）PhysTwin数据集测试：将SoMA应用于PhysTwin数据集，用追踪的手部轨迹替代机器人动作，平均PSNR达到32.640（vs PhysTwin 28.214），SSIM为0.981（vs 0.945），证明了方法的通用性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Resimulation - 综合（cloth/rope/doll平均） | PSNR↑ | 33.51 | PhysTwin 28.77 / GausSim 31.69 | +4.74 vs PhysTwin, +1.82 vs GausSim |
| Resimulation - 综合（cloth/rope/doll平均） | SSIM↑ | 0.971 | PhysTwin 0.947 / GausSim 0.945 | +0.024 vs PhysTwin, +0.026 vs GausSim |
| Resimulation - 综合（cloth/rope/doll平均） | LPIPS↓ | 0.055 | PhysTwin 0.086 / GausSim 0.127 | -0.031 vs PhysTwin, -0.072 vs GausSim |
| Resimulation - 综合（cloth/rope/doll平均） | Abs Rel↓ | 0.089 | PhysTwin 0.102 / GausSim 0.115 | -0.013 vs PhysTwin, -0.026 vs GausSim |
| Generalization - 综合（cloth/rope/doll平均） | PSNR↑ | 32.89 | PhysTwin 26.54 / GausSim 31.29 | +6.35 vs PhysTwin, +1.60 vs GausSim |
| Generalization - 综合（cloth/rope/doll平均） | SSIM↑ | 0.968 | PhysTwin 0.941 / GausSim 0.942 | +0.027 vs PhysTwin, +0.026 vs GausSim |
| Generalization - 综合（cloth/rope/doll平均） | LPIPS↓ | 0.062 | PhysTwin 0.092 / GausSim 0.127 | -0.030 vs PhysTwin, -0.065 vs GausSim |
| T-shirt Folding | PSNR↑ | 27.57 | PhysTwin 22.85 | +4.72 (+20.7%) |
| T-shirt Folding | SSIM↑ | 0.896 | PhysTwin 0.842 | +0.054 |
| T-shirt Folding | LPIPS↓ | 0.128 | PhysTwin 0.198 | -0.070 (-35.4%) |
| Ablation - Generalization (Full vs Img-only) | PSNR↑ | 31.49 (Full Model) | 29.17 (Img-only) | +2.32 (混合监督的关键作用) |
| PhysTwin Dataset - 综合平均 | PSNR↑ | 32.640 | PhysTwin 28.214 | +4.426 |
局限与改进
本文作者承认的局限性包括：（1）评估规模有限——当前仅在四个物体类别（绳子、布料、娃娃、T恤）上验证，虽然结果令人鼓舞，但需要在更大规模、更多样化的物体几何、材质和交互模式上进行验证；（2）性能依赖视觉重建质量——在严重遮挡或超出训练分布的复杂接触模式下，模拟质量可能退化；（3）仿真到真实部署仍需额外验证以确保安全性和可靠性。从独立分析的角度看，还存在以下局限：（1）训练效率较低——第一阶段训练需要约24小时（4张H200 GPU），推理速度约12 FPS，实时性有限；（2）层次化聚类方案是固定的（距离聚类，训练前一次构建），无法自适应调整以适应不同物体的变形程度；（3）仅使用单臂操控验证，未涉及双臂协作等更复杂的操控场景；（4）缺少与其他最新神经模拟方法（如基于diffusion的方法）的对比；（5）物理约束（动量一致性）仅是近似的，可能在极端变形下失效。
独立分析的弱点
独立分析的弱点及改进方向如下：（1）聚类方案的自适应性不足：当前采用固定的距离聚类，节点数约为 $[n, n/2, 2]$，不随物体变形动态调整。改进方向是引入可学习的或基于变形程度的自适应聚类机制，在大变形区域自动增加节点密度。（2）机器人力建模的隐式性：机器人交互力通过图神经网络隐式预测，缺乏显式的接触力学建模（如摩擦力、法向力的分解）。可以引入显式的接触检测模块和摩擦模型，提升接触推理的物理准确性。（3）缺乏不确定性估计：模型直接输出点预测，没有对预测不确定性的量化。在遮挡严重的区域，不确定性估计可以帮助识别不可靠的预测，从而进行选择性重模拟或数据采集。（4）单场景单物体训练：每个物体需要单独训练模型，缺乏跨物体的迁移能力。可以通过预训练大规模基础模型，然后针对特定物体微调，降低数据需求。（5）缺少闭环控制验证：当前仅评估开环模拟精度，未验证模拟器在闭环策略学习中的实际效果。
未来方向
作者提出的未来方向包括：将训练和评估扩展到更大规模、更多样化的数据集（数百个物体实例和更广泛的操控行为谱系），以更好地刻画数据驱动交互感知模拟的泛化极限。基于本文成果可延伸的方向包括：（1）模拟器驱动的策略学习——利用SoMA作为后端仿真器，通过大规模虚拟试验训练机器人操控策略，再迁移到真实世界；（2）多物体交互模拟——将方法扩展到多个可变形物体的交互（如布料包裹物体、绳子缠绕等）；（3）在线适应——在真实操控过程中实时更新模拟器参数，逐步缩小仿真与真实的差距；（4）与视频生成模型的结合——将SoMA的物理一致性约束引入视频世界模型，提升生成视频的物理合理性；（5）双臂和人机协作场景——将框架扩展到多机械臂或人-机器人协作操控可变形物体的场景。
复现评估
复现评估方面，本文的代码和项目页面已公开（city-super.github.io/SoMA），提供了一定的复现基础。数据方面，作者在自采的真实机器人操控数据集上进行评估，数据集包含四个物体类别各30-40条序列，使用ARX-Lift平台和三台Intel RealSense D405 RGB相机采集，30 FPS，分辨率640x480。数据集尚未公开发布，这会影响其他研究者的直接复现。算力方面，训练需要4张NVIDIA H200 GPU，第一阶段约24小时，推理单卡约12 FPS——这对大多数研究机构来说是可接受的，但H200是高端GPU，使用A100或4090可能需要更长时间。复现难度中等偏高：需要准确的相机标定、URDF模型、物体分割掩码（使用GroundingDINO和Grounded-SAM2），以及多视角同步采集系统。层次化聚类参数和网络超参在论文中有详细记录（Table 5），有助于复现。整体而言，代码开源但数据未公开，算力门槛较高，完整的数据采集流程需要硬件投入。
论文图表