USDCraft：几何接地的铰接三维资产程序化建模 USDCraft: Geometrically Grounded Programmatic Modeling of Articulated 3D Assets for Simulation
预训练LLM编写可执行程序并迭代对照源网格几何，重建仿真就绪的铰接资产
前置知识
铰接对象（Articulated Object）
由多个刚性部件通过关节连接而成的物体，例如带门的微波炉、带抽屉的柜子。关节类型包括旋转关节（revolute）、滑动关节（prismatic）和固定关节（fixed）。铰接资产不仅要有几何，还必须声明每个关节的类型、轴向、原点和运动限位，才能在仿真中被交互式地开合操作。
本文重建和生成的正是这类带关节的可交互资产，论文所有指标（F1、关节角误差 AE、轴位置误差 LE 等）都围绕部件匹配与关节估计展开，不理解铰接结构就无法读懂实验设计。
USD 与 Isaac Sim
USD（Universal Scene Description）是 NVIDIA 的通用场景描述格式，可携带几何、材质、纹理和物理属性；Isaac Sim 是基于 USD 与 PhysX 物理引擎构建的机器人仿真平台。资产若带有正确的碰撞体、质量、摩擦和关节参数，加载后无需修改即可直接仿真。
USDCraft 的最终输出就是可直接加载进 Isaac Sim 的 USD 资产，且物理属性直接以 PhysX 引擎自己的术语编写（如静摩擦 0.40、关节上限 105 度），避免格式转换是其关键设计决策。
程序化建模（Programmatic Modeling）
用一段可执行的程序代码而非网格文件来描述三维物体：部件由参数化实体建模操作（如 CadQuery 的 box、沉孔、倒角）和 SDF 解析基元（圆柱、胶囊加 smooth_union）生成，关节与物理属性是程序中的显式变量。修改一个参数、重新编译即可更新资产。
本文把铰接资产重建形式化为程序编写任务。之所以选择程序表示，正是因为程序暴露了后续反馈需要修改的所有量，检查中发现的几何偏差可以定位为局部代码编辑，而不是重新生成整个资产。
Real-to-Sim-to-Real
机器人学习的一种闭环工作流：先从真实物体重建仿真资产，在仿真环境中大规模采集示教并训练操作策略，再把策略部署回真实物体执行。迁移成败的关键在于仿真资产的几何与物理是否与真实物体足够一致——把手放错位置，策略就会抓错地方。
这是本文的核心应用场景。Table 4 用仿真到实机的成功率掉分（USDCraft 最多掉 10 个百分点，Articraft 掉 60-80 个百分点）直接量化了资产品质对策略迁移的影响。
扩散策略（Diffusion Policy）
一种基于扩散模型的机器人操作模仿学习策略，通过迭代去噪从示教数据中学习生成连续动作序列，是目前操作学习的主流骨干之一，对多模态动作分布有较好表达能力。
本文的真实到仿真到真实实验用它作为下游策略：每个方法-任务组合采集 200 条仿真示教，训练 80 个 epoch、batch size 128，然后在仿真和真实物体上分别测成功率，比较 sim-to-real 掉分。
研究动机
面向真实到仿真的机器人操作学习需要几何忠实、带功能性铰接的交互式资产。现有主流是网格分割路线：Particulate、SIMART、ArtLLM 等方法把静态网格划分成功能部件，再估计控制运动的关节轴和连接关系。这条路线在真实部署中暴露两个硬伤。其一，真实扫描或生成网格常有不完整表面和融合在一起的部件，分割会被破坏，而且划分本身无法补回缺失的几何体，也无法构造出网格里根本不存在的功能性开口。其二，这些方法依赖带部件与关节标注的三维资产做任务特定训练，遇到训练分布之外的真实物体（新类别或新机构）就难以泛化。另一条 agentic 路线（Articraft、Procedura）让 LLM 从图像或文本直接写程序建模，虽能覆盖多样类别且不依赖完整网格，但缺少对真实物体几何的测量，生成的尺寸和部件位置往往与目标实例不符——即使资产在仿真器里能正常运行，几何差异也会让训练出的操作策略无法迁移到真实物体上。
本文的目标是本文的目标是：不经过任何任务特定训练，仅用现成的预训练大语言模型，从源网格加参考图像（可选附加文本请求）重建出可直接用于仿真的铰接资产。具体要求有三条：资产在网格可靠观测到的地方必须与网格几何一致，尺寸和位置都要对得上真实物体；网格缺失的部分要依据参考图像合理补全，比如扫描破洞后的内壁、图像中可见但网格中缺失的把手；资产要携带显式物理属性，包括质量、接触摩擦、关节限位和驱动，编译后无需人工调整即可直接加载进 Isaac Sim 运行。同一个程序化表示还要顺带支持从文本或图像的纯生成工作流，并据此产出包含一万多个资产、覆盖五百多个日常类别的 USDCraft-10k 资产库，服务于大规模策略训练数据的需求。
与已有工作不同的是，本文的独特切入是把铰接资产重建形式化为基于部分几何证据的程序化建模。与纯分割路线不同，程序可以引入源网格从未观测到的部件和连接，天然解决融合部件分离与缺失几何补全；与纯 agentic 路线不同，它第一次把测量到的源几何系统性地喂给 LLM，并贯穿程序构造与修订的全过程。核心洞察是对网格信息的读法问题：渲染图丢失度量尺度和内部结构，原始顶点列表又超出上下文预算，于是作者设计了把网格转成区分观测表面与未知空间的度量文本编码，并在同一表示下重编码候选资产，使偏差能直接映射回具体的程序编辑。这样同时拿到两条路线的长处：测量的几何精度加上程序建模的灵活性，而这一切都建立在无需微调的通用 LLM 之上。
核心方法
USDCraft 的整体思路是让一个现成的预训练 LLM 充当建模智能体，在建模工具集（工具、编写指南、反馈机制）的支撑下，反复执行写程序、编译、对照源几何复核、修订的循环，直到产出仿真就绪的铰接资产。直觉上，LLM 不会直接读网格，所以先把网格翻译成它能读的度量文本；写出的程序是一段可执行代码，编译即得带物理参数的 USD 资产；候选哪里错了，就用与源几何相同的编码方式重新量一遍，把差异定位到具体程序行再改。输入为源网格加参考图像（重建模式），或纯文本、纯图像（生成模式）；输出为含刚性部件、关节（类型、轴、原点、限位）和 PhysX 物理参数的可执行程序。以论文微波炉示例衡量，USDCraft-Astra 重建的把手前置偏移仅 0.64 mm、形状差 3.41 mm，单资产平均耗时约 4.2 分钟、16.7 轮对话；Sol 骨干下为 7.9 分钟、25.4 轮。
核心创新有两个。第一是源几何分析：把源网格表面支持在共享度量坐标系里采样到规则栅格 $S_M$，沿竖直轴序列化为有序轴切片图，并附边界、开口等局部度量摘要；关键在于 $S_M$ 之外的格子一律标记为未知而非空或实心——扫描破洞不等于自由空间，封闭壳内部不等于实心材料，这为 LLM 依据图像与物体功能合理补全留出空间。第二是迭代几何复核：把候选重编码到同一源栅格得 $S_t$，计算覆盖率 $r_t = |S_M \cap S_t|/|S_M|$；$\mathcal{D}^-_t$ 为候选漏掉的已观测表面，属必须修正的错误；$\mathcal{D}^+_t$ 落在未知区域，可能是错误也可能是必要补全，二者区别对待。再用六个正交方向的首表面深度图，把残差 $\delta(u)=d_t(u)-d_M(u)$ 分解为中位偏移 $b$（前后错位）与去偏后残差 90 分位 $e_{\mathrm{profile}}$（形状差异），让 LLM 准确判断改位置还是改形状——示例中把手 $b$ 仅 0.64 mm、$e_{\mathrm{profile}}$ 达 3.41 mm，需修形状而非挪位置。
方法步骤详情
完整流程分七步。第一步图像观察：从参考图像记录部件、连接与运动方式，形成部件计划。第二步源几何分析：输入源网格，输出共享度量坐标系下的轴切片编码与度量摘要（如 $154 \times 60 \times 280$ mm、37 mm 凸起），并自动检测开口、导轨、把手等测量锚点；还可按需做网格检查——选视角渲染源并查询局部边界、点分布与表面朝向。第三步程序编写：用 CadQuery 做尺寸可控的参数化实体建模（box、cutBlind、cskHole、chamfer），用 SDF 基元加 smooth_union 做有机形状，同时编写 PBR 材质、纹理贴花与 PhysX 物理参数（质量 2.42、摩擦 0.40、关节上限 105° 等）。第四步编译：导出碰撞几何与 USD 资产。第五步迭代几何复核：重编码候选到源栅格，报告 $r_t$、$\mathcal{D}^-_t$、$\mathcal{D}^+_t$ 与首表面比较结果。第六步视觉反馈：渲染带材质或分部件颜色的候选，与参考图比对，发现缺失部件、不合理装配和运动时才暴露的干涉。第七步修订程序、重编译、复核受影响几何，循环直至收敛。
技术新颖性
技术新颖性体现在四个层面。表示层面：资产是一段可暴露所有关键量的可执行程序，部件、关节、物理属性都是显式参数，检查中发现的任何偏差都能定位为局部编辑而非重新生成，这与端到端预测网格或关节参数的方法有本质区别。证据层面：源几何分析是首个把网格转成观测与未知二分的度量文本供 LLM 阅读并支持按需查询的编码方案，首表面比较还把三维偏差分解为平移偏移与形状残差两个正交信号，直接指示不同的编辑动作。物理层面：物理属性直接以 Isaac Sim 引擎自己的 PhysX 术语编写，免去通用格式转换步骤，数值遵循从 Isaac Sim 测试结果提炼的编写指南，并保证手操作机构保持被动、沿正常使用序列检查铰接干涉。系统层面：整个框架无需任何任务特定微调，同一套工具在 GPT-5.6 Sol、GPT-6 Astra、Claude Opus 5、Gemini 3.8 Flash 四个模型家族上均有效，F1 分别达到 79.835、84.830、82.014、80.940，证明工具与反馈设计比骨干选择更重要。
实验结果
核心发现按五组实验梳理。① USDCraft-bench（Table 1）：Astra 骨干 F1 84.830%、mIoU 0.784、角误差 6.833° 领跑九项指标；最强基线 Articraft 仅 64.041%，分割类方法不足 36%，Sol 骨干亦有 79.835%。② Lightwheel 243 个对象（Table 2）：F1 86.983%，+G 后 89.765%，超过用原始网格的 Instruct-Particulate（83.400%）。③ 消融（Table 6/7）：工具集贡献最大（F1 74.480→80.925，角误差 21.141°→9.201°），源几何分析次之（→84.030）且不可移除，独立观察智能体反而全面降分。④ Real-to-sim-to-real（Table 4）：Diffusion Policy 训练 80 epoch、batch 128，本文三任务实机成功率 90%/85%/85%、最多掉 10 分；Articraft 掉 60–80 分，Mini Workflow–Astra 抽屉从 100% 跌至 0%。⑤ 生成（Table 5）：本文各维 4.250–4.750 最高且最快（5.6 分钟，Procedura 58.8 分钟），并生成 500+ 类别、10000 资产的 USDCraft-10k。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| USDCraft-bench 铰接资产重建（部件匹配） | F1 (%) | USDCraft–Astra 84.830（USDCraft–Sol 79.835） | 最强基线 Articraft–Astra 64.041；Particulate 33.366；SIMART 35.957；ArtLLM† 19.337 | 较最强基线提升 20.79 个百分点 |
| USDCraft-bench 铰接资产重建（关节估计） | 轴角误差 AE (°) ↓ / 轴位置误差 LE ↓ | 6.833° / 0.044（USDCraft–Astra） | Articraft–Astra 15.106° / 0.092；Particulate 48.280° / 0.244 | 角误差降低 8.27°（约 55%），位置误差降低 52% |
| Lightwheel 人工建模资产重建（243 个对象） | F1 (%) | USDCraft–Astra 86.983；+物体功能引导（+G）89.765 | Instruct-Particulate（使用原始数据集网格）83.400；Articraft–Astra‡ 67.037 | 无引导提升 3.58，+G 后提升 6.37 个百分点 |
| Real-to-sim-to-real 操作（开抽屉 / 按烤面包机 / 开关烤面包机） | 实机成功率 (%)，sim-to-real 掉分 | USDCraft–Astra：90 / 85 / 85，各任务最多掉 10 分 | Articraft–Sol 掉 60–80 分；Mini Workflow–Astra 开抽屉从 100% 跌至 0%；Particulate 仅支持 1 个任务 | sim-to-real 掉分从最高 100 分压缩到最多 10 分 |
| 文本/图像条件资产生成（各 50 个请求） | Sol/high 匿名评审质量分（5 分制）与耗时 | USDCraft–Astra 各维度 4.250–4.750（外观 3.880 最高），平均 5.6 分钟 | Articraft–Sol 外观 3.670、12.0 分钟；Procedura–Sol 结构 3.380、58.8 分钟 | 质量全面领先且速度最快（约为 Articraft 的 47%、Procedura 的 10%） |
| 建模工具集消融（USDCraft-bench，Astra/low） | F1 (%) | 完整 USDCraft 84.830 | Mini Workflow 74.480；逐步加工具集 80.925 → 加源几何分析 84.030 | 完整系统较 Mini Workflow 提升 10.35 个百分点 |
局限与改进
作者明确承认两点局限：细网格结构（如球拍线、购物车线框）仍难以忠实重建；可变形物体仅在标注状态和静息几何下支持，因为柔性体动力学尚未在 Isaac Sim 中验证。我自己的观察还有几点：第一，方法深度绑定前沿闭源 LLM（GPT-5.6 Sol、GPT-6 Astra）与 NVIDIA 生态（USD、Isaac Sim、PhysX），开源与中立性受限；第二，Lightwheel 上整体 Chamfer 不如纯分割方法（USDCraft 重建每个部件会累积微小表面偏差，0.011 对比分割方法的 0.009），说明重建与保面之间存在权衡；第三，USDCraft-bench 的 60 个资产由 USDCraft、Articraft、Procedura 各生成 20 个，用自家系统参与构建基准存在潜在偏置；第四，USDCraft-Claude 单资产耗时 27.5 分钟、59.8 轮对话，成本不可忽视；第五，USDCraft-10k 的质量仅经 LLM 评审核验，缺少大规模人工验证。
独立分析的弱点
独立分析出的弱点及改进方向：其一，对闭源前沿模型的依赖使方法成本高、难以在学术预算内复现，改进方向是蒸馏轴切片编码与复核轨迹来微调开源模型，或让小型模型负责局部代码编辑、大模型只做全局规划。其二，轴切片栅格是固定分辨率的离散化，细薄结构（线框、栅格、线缆）在低分辨率切片中信号极弱，这正对应作者承认的球拍线重建失败，可引入自适应加密或局部八叉树编码。其三，视觉反馈完全依赖 LLM 的视觉推理能力，对纹理相似或对称部件的误判难以自查，Table 7 显示加入独立观察智能体反而降低所有指标，说明多智能体视觉分工尚无成熟方案。其四，物理参数遵循编写指南的默认值而非从真实物体辨识，sim-to-real 中摩擦与质量的偏差仍可能影响高频接触任务，可用在线交互做系统辨识。其五，基准自建自评存在循环性风险，应在第三方公开基准（如 AKB-48、GAPartNet 真实扫描）上做盲评。其六，关节被约束为被动机构，带电机驱动的主动关节与力矩接口尚未覆盖。
未来方向
作者提出的与可延伸的方向：作者侧指出柔性体动力学一旦在 Isaac Sim 中验证，即可扩展到可变形物体的完整建模，这是最直接的下一步；细 lattice 结构则可能借助 SDF 的多尺度表达或程序化线框原语解决。延伸方向包括：把 USDCraft 与在线感知结合，用机器人搭载的深度相机实时扫描并增量修订资产，实现边看边建、边建边验证的闭环；用 USDCraft-10k 作为大规模策略预训练语料，系统研究资产多样性对操作策略泛化能力的因果关系；把物理参数从静态编写指南升级为可微或可辨识的目标，用真实交互数据校准摩擦、质量与关节阻尼；把轴切片编码推广为一种通用的 LLM 可读三维表示，用于非铰接任务如场景重建与家具布局；以及探索建模者与独立评估者的对抗式分工，在保证视觉反馈可靠性的同时降低自评偏差。+G 实验显示纯文本的类别级指导能进一步提升关节精度（角误差从 10.151 降至 4.463 度），暗示领域知识注入还有很大空间。
复现评估
复现评估：论文挂出了 Project Page 但正文未声明代码与基准是否开源；USDCraft-bench 由三套系统生成的资产加 Hunyuan3D 2.1 网格与真实扫描构成，Lightwheel 为公开的 243 个人工建模对象，指标定义（归一化物体坐标系下的 F1、gIoU/mIoU、部件与整体 Chamfer、轴角与位置误差）描述清晰。主要复现障碍有三：一是依赖 GPT-5.6 Sol、GPT-6 Astra、Claude Opus 5、Gemini 3.8 Flash 等闭源模型，API 费用随资产数线性增长，每资产约 17 至 60 轮对话、4 至 28 分钟；二是需要 Isaac Sim、PhysX、USD 导出、CadQuery 与 SDF 工具链及渲染反馈管线，环境搭建较重；三是编写指南、提示词与轴切片分辨率等工程细节未在正文完全披露。总体判断：若代码与提示词开源，复现难度中等偏高；若不开源，则只能做近似复现。
论文图表
总览图，展示 USDCraft 支持的三种工作流：从文本/图像生成铰接资产、从源网格与参考图像重建目标物体、以及用重建资产做真实到仿真再到真实的机器人操作闭环。
一图看懂论文的问题设定与三大能力，是理解全文范围的最佳入口。