SIM1:物理对齐仿真器——可形变世界中的零样本数据规模化引擎 SIM1: Physics-Aligned Simulator as Zero-Shot Data Scaler in Deformable Worlds
面向可形变物体操作的物理对齐真-仿-真数据合成管线。
前置知识
Sim-to-Real (S2R) 迁移
指在仿真器中训练好的策略直接部署到真实机器人上的范式。核心难点在于仿真物理、视觉与真实世界之间存在不可避免的差距(sim-to-real gap),导致策略在真实环境失效。
SIM1 整篇文章就是围绕如何缩小 S2R 差距展开,是理解问题动机的基础。
Real-to-Sim-to-Real (R2S2R) 范式
先从真实场景重建仿真数字孪生(R2S),在仿真中扩展数据后再回到真实机器人部署(S2R)。它把仿真当作真实物理的'镜像'而非凭空捏造的环境。
这是 SIM1 提出的核心方法论,与传统单向 S2R 路径有本质区别。
可形变物体仿真(Deformable Simulation)
针对布料、绳索等形变体的物理仿真方法,常见的有质点弹簧系统、FEM 有限元、PBD 位置动力学和 VBD 顶点块下降等。布料仿真需要在拉伸、弯曲、接触稳定性之间做权衡。
文章指出现有 VBD 求解器在实时刚柔耦合中会产生过度拉伸、接触不稳定等问题,是 SIM1 求解器改进的起点。
扩散模型(Diffusion Model)
通过逐步加噪和去噪过程学习数据分布的生成模型。在机器人轨迹生成中常用条件扩散模型,根据起点、终点、历史等条件合成平滑的动作序列。
SIM1 用扩散强制(Diffusion Forcing)在抓取段之间合成过渡运动,是数据合成的关键技术。
VLA 模仿学习(Vision-Language-Action)
基于视觉-语言-动作联合建模的策略学习方法,使用预训练大模型(本文用 π0 和 π0.5)对机器人动作进行模仿学习。模型通常需要在大量机器人演示上后训练才能适应特定任务。
本文主实验就是在 VLA 模型 π0/π0.5 上对比纯仿真数据 vs 真实数据的训练效果。
URDF 与 3D 资产数字化
URDF(Unified Robot Description Format)是描述机器人运动学、关节限位、视觉网格的标准格式;3D 数字化指用扫描仪(如 EinScan Rigil Pro)对真实物体做高密度点云采集并重建出纹理网格。
SIM1-Scene 阶段依赖这两项技术分别完成机器人和可形变资产的精确数字化,是几何对齐的基础。
研究动机
可形变物体(尤其是服装)操作是机器人领域数据饥渴最严重的子方向:形变、接触、拓扑三者同时演化,所需状态空间远超刚体任务。然而现有真实数据采集方案极度昂贵,需要熟练操作员、专用硬件(如 ARX ACONE 双臂)和大量人工时间。即便投入巨大,视觉-语言-动作(VLA)模型在有限可形变数据上后训练后,泛化能力仍然受限。仿真被视为破局之道,但传统 sim-to-real 管线存在三重问题:第一,几何粗校准或手工资产导致仿真与真实世界几何失配;第二,主流物理引擎(以刚体优化为主)在布料等软体上产生过度拉伸、接触不稳定;第三,行为生成沿用刚体的抓取点+简单 pick-and-place 原语,不适合服装折叠等任务。直接后果是合成数据只能充当预训练信号,关键性能仍依赖真实数据后训练。
本文的目标是本文目标是构建一套仿真数据系统,使其真正成为可形变操作的'主训练源'而非辅助:仅用仿真训练的策略就能在真实机器人上零样本达到与真实数据基线相当甚至更优的表现,且具备显著的分布外泛化能力。具体而言,作者在 π0.5 上设定了 90% 零样本成功率和相对真实数据基线 +50% 的泛化提升两个硬指标,并把'1 条真实演示 ≈ 15 条合成样本'作为数据效率的量化目标,在 π0 上同步设定了 76% 零样本成功率与 +56% 泛化提升的对应目标。次要目标是把仿真管线推广到毛巾翻转、短裤折叠、长袖折叠和褶皱展平等更多可形变任务,证明 R2S2R 范式不局限于单一基准。
与已有工作不同的是,作者提出了'对齐优先仿真'(alignment-first simulation)的独特视角:仿真失败不是因为合成,而在于'未与物理对齐'(ungrounded)。区别于把仿真当'放大器'的传统思路,SIM1 采用真-仿-真(R2S2R)闭环范式,把几何对齐(亚毫米级 3D 扫描+网格后处理)、动力学对齐(基于 AVBD 的形变稳定求解器+行为匹配校准)、运动对齐(解耦交互/移动的轨迹分解+扩散生成+视频判别器过滤)三件事捆绑在一起。这一组合在现有文献中尚未见报道,使仿真首次具备直接生产真实可部署策略的能力。
核心方法
SIM1 是一条端到端真-仿-真管线,直觉上可以理解为'先克隆真实世界,再让克隆体自我繁衍'。第一步是几何对齐:用 3D 扫描仪把服装等可形变资产变成亚毫米精度的纹理网格,把机器人用 URDF 导入仿真,让仿真场景在尺寸、纹理、布局上和现实一一对应。第二步是动力学对齐:在 Newton 仿真器中替换 VBD 求解器为带应变约束的 AVBD,并通过专家操控双臂比对真实/仿真行为来校准 $\Theta=\{\rho, E, \nu, \mu, \eta, \zeta\}$(密度、杨氏模量、泊松比、摩擦、恢复、弛豫)等参数。第三步是运动对齐:把遥操作轨迹切成'交互段'(夹抓姿态)和'移动段'(过渡运动)两类,交互段直接复用并随机重排,移动段用条件扩散模型生成,最后用轻量级视频判别器过滤物理不合理的样本。技术路线是 Scan→Sim→Diffuse→Filter→Render。
核心创新是把'仿真=数据放大器'这一隐喻升级为'仿真=物理对齐的数字孪生'。本质区别于已有方法有三点:(1) 在刚柔耦合实时场景下引入应变约束,让求解器不再是离线优化的玩具;(2) 拒绝 MimicGen 式简单切片,把可形变任务的轨迹合成拆成'姿态池+扩散过渡',避免抓取点检测失效;(3) 显式用判别器对生成轨迹做合理性过滤,把数据合成质量从'看起来像'提升到'物理上合理'。这三件事共同把仿真数据从'预训练语料'变成'可独立训练的高保真监督'。
方法步骤详情
SIM1 流程分三步。步骤一 SIM1-Scene 用 EinScan Rigil Pro 扫描服装,做 Poisson 重建、剔除人台、孔洞填补并重网格,得到亚毫米级纹理 OBJ;机器人导入 URDF 并对齐世界坐标。步骤二 SIM1-Sim 用形变稳定 AVBD 替换 Newton-VBD:边定义应变约束 $C(e) = \|e_i - e_j\| - (1+\xi)l_0 \leq 0$,触发后注入 $E_{\text{strain}} = \frac{1}{2}kC(e)^2 + \lambda C(e)$;参数 $\Theta=\{\rho,E,\nu,\mu,\eta,\zeta\}$ 由专家双臂比对真实/仿真视觉迭代校准。步骤三 SIM1-DataGen 把 200 条轨迹切成交互段和移动段,姿态随机重排,中间用条件扩散生成过渡,经 ResNet-18+Transformer 视频判别器 $s = D(V) > \tau_{\text{disc}}$ 过滤后,Blender 中做 17 桌面+28 布料+90 环境随机化并输出 LeRobot 数据。
技术新颖性
技术新颖性集中在三处:(1) 形变稳定 AVBD 求解器把'应变约束+渐进刚度更新'嵌入 Newton-VBD 迭代,专门解决实时刚柔耦合中拉伸爆炸问题,与 Giles 等的离线优化版 AVBD 相比补齐了在线控制能力;(2) 解耦-合成的轨迹生成范式放弃了 MimicGen 类直接切片,转而把抓取姿态当'原子'、用扩散模型合成过渡,是首批把 diffusion forcing 用于可形变任务数据扩增的工作;(3) 物理参数校准采用行为匹配而非数值优化,承认真实物理参数不可恢复、但行为等价就够用,这种务实的工程哲学在机器人仿真论文中较少被明确阐述。
实验结果
实验分三组回答 RQ1-3。RQ1 中 π0.5 in-domain 真实数据 200 条 97%、仿真生成 10k 条 90%,差距仅 7 个百分点且后者完全零样本;π0 同设定下仿真 76% vs 真实 93%,结论一致。RQ2 域外测试中真实数据几乎全 0%,仿真生成在空间、纹理、光照、视角偏移下分别为 50%、13%、47%、3%(π0.5),对应 +50/+13/+47/+3 个百分点提升。RQ3 数据效率给出 in-domain 拟合曲线真实 $-0.30(\ln N)^2+1.68\ln N-1.37$、仿真生成 $-0.27(\ln N)^2+1.35\ln N-1.04$,饱和等价点约 1:15(纹理 1:5)。消融表 1 显示轨迹分解 0%、加扩散 33%、加形变稳定求解器后达 76%,证明求解器稳定性是策略泛化的关键。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| T 恤折叠 (π0.5 in-domain) | 成功率 (%) | 90 | 97 (real) / 87 (sim-teleop) | 与真实数据 200 条仅差 7 个百分点,零样本 |
| T 恤折叠 (π0 in-domain) | 成功率 (%) | 76 | 93 | 零样本接近真实数据后训练 |
| 空间分布偏移 (π0.5) | 成功率 (%) | 50 | 0 (真实数据) | +50 |
| 纹理分布偏移 (π0.5) | 成功率 (%) | 13 | 0 (真实数据) | +13 |
| 光照分布偏移 (π0.5) | 成功率 (%) | 47 | 0 (真实数据) | +47 |
| 视角分布偏移 (π0.5) | 成功率 (%) | 3 | 0 (真实数据) | +3 (其余模型可至 47) |
| 未见 polo 衫材质泛化 | 真实机器人成功率 (%) | 70 | 20 (真实数据) | +50 |
| 数据效率 (真实演示等价值) | 合成/真实等价比 | 15:1 (in-domain) / 5:1 (纹理) | 1:1 (等同真实) | 仿真生成放大 5-15 倍 |
| 消融 - 解耦轨迹分解 | 通过率 / 平均成功率 (%) | 65 / 0 | Baseline (MimicGen 风格) 0 / 0 | 产生数据但策略无效 |
| 消融 - + 扩散生成 | 通过率 / 平均成功率 (%) | 38 / 33 | + 轨迹分解 65 / 0 | in-domain 47% |
| 消融 - + 形变稳定求解器 (完整 SIM1) | 通过率 / 平均成功率 (%) | 40 / 76 | + 扩散生成 38 / 33 | in-domain 67% (+20),平均 +43 |
局限与改进
作者明确承认的最大限制是材质校准仍依赖专家手工调参,每个新布料资产都要走一遍视觉-参数迭代流程,无法做到完全自动化,这把 SIM1 锁死在'少量资产+大量生成'的场景,难以直接扩展到任意服装类型。其次是从图 7 视角泛化数据看,π0.5 仅 3%、π0 也仅 43%,说明相机视角的随机化并不充分,仿真中的视角增强尚未真正覆盖真实部署中由安装公差带来的视角偏移;这一点和论文结论中'主要瓶颈是视觉域差异'形成呼应。此外,作者只在 T 恤折叠上做了完整真机验证,毛巾翻转、短裤折叠、长袖折叠和褶皱展平等任务仅展示了仿真生成结果(粉色框外为辅助示意),缺乏真实机器人的对照数据,因此对其他任务的可迁移性仍属推断。最后,生成 10k 样本的算力(单卡 RTX 4090 + Blender 渲染)和人工校准成本未做详细披露,难以判断规模化的边际成本。
独立分析的弱点
独立审视可以指出三处可改进空间。第一,应变约束 AVBD 的阈值 $\xi$、$k_{\max}$、$\beta$ 是经验设定,文中未给出敏感性分析,意味着不同服装材质需要重调三组超参;改进方向是引入可学习参数或元学习,让阈值随材料自适应。第二,扩散生成在'交互段'之间的过渡完全靠条件扩散,没有利用物理先验(如末端执行器可达性、避碰),导致偶尔出现不合理的空中轨迹;可以引入可达性约束或轨迹优化作为扩散的后处理。第三,视频判别器 $D(V)$ 仅用单视角头视 RGB 训练,存在视角偏差,且负样本完全来自仿真失败案例,有可能与真实失败模式分布不一致;可以用真实世界失败回放做负样本增强,或换成多视角几何一致性损失。第四,π0 在 in-domain 也只有 76%,相比 π0.5 落后 14 个百分点,文中将其归因于预训练量差异,但缺乏对 π0 后训练配方的独立消融,难以下结论。
未来方向
作者在结尾点明两个方向:一是把材质校准自动化(可能借助材料先验库或可微仿真),二是把任务扩展到更广泛的可形变操作(毛巾、短裤、长袖、褶皱展平)。基于成果还可以延伸出几条值得探索的研究线:(1) 把'1 真实 ≈ 15 仿真'的等价比作为通用度量,跨任务、跨机器人平台建立仿真数据价值评估基准;(2) 把形变稳定求解器推广到液体、绳索、颗粒物等其它可形变/连续体形态,验证 AVBD 应变约束框架的通用性;(3) 引入大模型(VLM)做高层任务规划,把 SIM1 的数据合成能力从单一折叠任务扩展到长时序、组合性的服装整理作业;(4) 研究合成数据对 VLA 预训练阶段的价值,而不仅是后训练,论文目前主要关注后训练场景。
复现评估
复现性整体处于中等偏上水平。代码、数据和主页链接已在摘要中给出(Code|Data|Homepage),作者团队来自上海 AI Lab 且论文形式规范,公开资产的概率较高。实验关键参数都给出了具体数字:1000 条真实轨迹、200 条遥操作仿真种子、10k/2k 生成样本、17 种桌面材质、28 种布料材质、90 种环境组合、17 种材质采样空间,扫描设备型号(EinScan Rigil Pro)、机器人型号(ARX ACONE + Arx X5)、GPU 型号(RTX 4090)、策略基线(π0、π0.5)、评估协议(每配置 30 次试验)都已明示。复现难点集中在三处:(1) 形变稳定 AVBD 求解器需要嵌入到 Newton 仿真器源码中,并对应变阈值 $k_{\max}$、$\beta$ 做材料级调参;(2) Blender 渲染管线、视觉随机化的具体分布需要逆向工程;(3) 真实机器人的视觉校准流程依赖专家人工。需要 1-2 块 RTX 4090 + 机械臂 + 3D 扫描仪,整体复现难度偏高。
论文图表
概览图,展示 SIM1 的真-仿-真闭环:左侧真实场景被数字化,仿真中通过场景生成扩展数据,右侧训练出的策略零样本部署到真实机器人,下方串起'Real to Sim → Sim → Sim to Real'三个阶段并配 Arx ACONE 实物照片。
一张图把论文的核心主张(R2S2R 范式)和最终落地效果(零样本部署)同时呈现,是读者建立第一印象的入口图。