PhysX-Omni：面向刚体、可变形与铰接物体的统一仿真就绪物理3D生成框架 PhysX-Omni: Unified Simulation-Ready Physical 3D Generation for Rigid, Deformable, and Articulated Objects

完整流程分四步。第一步全局理解：输入单张完整或遮挡图，VLM用结构化文本推断对象类别、绝对尺度、部件层级（如 $l_0, l_1, \dots, l_n$）及各部件潜在物理属性，输出树形全局表示。第二步局部几何生成（多轮）：对每个部件 $l_i$，VLM以该部件描述为条件生成 $64^3$ 体素下的模板化RLE文本——沿 $z$ 轴切成64张2D掩码，每张线性扫描得到RLE对（如 `Z=10: 2013,6；2072,13;…;2672,3`），指定某些层为模板（如 `Z=9: layer a`），其余层只表达相对模板的残差。第三步物理属性生成：在每个部件几何RLE之后继续输出绝对尺度、材料（密度/杨氏模量 $E$/泊松比 $\nu$）、affordance、运动学（关节类型、轴向）。第四步解码组装：部件级体素送入预训练TRELLIS解码器重建高质量mesh，结合结构化属性输出XML/URDF资产。训练峰值学习率 $\eta = 2\times10^{-5}$，batch 128，序列长16384，64张A100训5 epoch约14天。

技术新颖性集中在四点。第一，首次提出「模板层RLE」显式文本几何表示，相比2D RLE和体素索引列表大幅压缩token同时保留结构，相比VQ-GAN方法（ShapeLLM-Omni）无需专用tokenizer、训练管线更简单。第二，整个生成框架彻底去掉分割模块——PhysX-Anything的mesh分割是性能天花板，本文靠显式结构表示绕开它，使生成的mesh能直接喂给TRELLIS解码无需再分割。第三，把刚体/可变形/铰接三类对象统一到同一套「全局树+部件级RLE+物理属性」文本表示，以往工作每类各搞一套。第四，提出PhysX-Bench首个无ground-truth、基于物理仿真（自由落体、水滴）+VLM的in-the-wild六维评估协议，其中材料属性通过渲染自由落体/入水视频反推杨氏模量与密度，是相当新颖的「行为式」评估思路。

第一，几何表示的压缩效率强依赖切片冗余，对拓扑复杂的薄壳/多孔结构（如网格椅、镂空建筑、毛绒玩具）可能失效——改进方向是引入多方向切片（不只 $z$ 轴）或八叉树式自适应模板，对低冗余区域退化为显式索引。第二，绝对尺度预测在跨数量级物体（昆虫 vs 建筑）上不稳定，Figure 6显示蜜蜂被预测为1.5cm而GT是55.8cm级别——改进方向是在训练时引入物体真实尺寸的对比学习或在输入图像中加入参照物提示。第三，PhysX-Bench用VLM当裁判存在自评偏见风险，且材料评估通过渲染自由落体/水滴视频反推杨氏模量只是定性近似——改进方向是引入真实物理实验测得的材料金标准做小规模校准集，或结合可微物理仿真做更精确的反演。第四，可变形物体的评估在PhysX-Bench六维中并未单独体现，主要靠free-fall可视化（Figure 9），缺乏定量形变指标——改进方向是新增基于FEM或质点弹簧的形变误差度量。第五，训练成本（64张A100×14天）对学术组不友好——改进方向是先冻结VLM只训LoRA、或用更小骨干做蒸馏。

作者提出的方向是引入更大规模3D几何数据集和更强的外观监督，在保持物理一致性的同时进一步提升几何保真度。基于本文成果可延伸的方向包括：把模板化RLE推广到4D（时序可变形）资产，让VLM直接生成动画序列；把PhysX-Bench从静态评估扩展为「生成→仿真→失败检测→重生成」的闭环自我改进系统；与机器人策略学习深度耦合，用生成资产做大规模sim-to-real数据增强；探索把统一框架扩展到场景级和动态环境级（作者在Figure 12已做了场景生成雏形），最终走向物理接地的world generation。另一个有价值的方向是把材料评估中的「行为式反演」做成可微管线，反向给生成模型提供物理一致性梯度。

复现评估中等偏难。有利因素：论文提供了官方主页（physx-omni.github.io）和详细实现细节（Qwen2.5-VL-7B骨干、5 epoch、LR $2\times10^{-5}$、cosine+0.03 warmup、batch 128、序列长16384、TRELLIS解码器），评估benchmark PhysX-Bench基于开源VLM Qwen3.5-122B-A10B可重建，数据集基于公开的PartVerse经人工标注流程构建。不利因素：训练需64张A100 GPU跑约14天，单卡成本对学术组很高；PhysXVerse的物理属性标注依赖GPT预生成+人工核验的human-in-the-loop流程，复现完整数据集需大量人工；TRELLIS解码器、PartVerse、Qwen系列虽开源但版本和权重细节需对齐。建议小规模复现者可只复现推理+PhysX-Bench评估（无需重训），或用LoRA微调在单机8卡上验证模板化RLE的有效性。