SIMART：通过多模态大语言模型将静态网格分解为可仿真的铰接资产 SIMART: Decomposing Monolithic Meshes into Sim-ready Articulated Assets via MLLM

SIMART的完整方法流程包含以下步骤。步骤一：3D几何编码。将输入网格体素化为64×64×64的占用网格，送入3D-Unet编码器压缩为16×16×16×C的潜在特征网格，再通过通道聚合降采样为8×8×8×64的潜在网格。对每个潜在位置进行向量量化：如果对应体素未被占用，直接分配零token $e_{zero}$；如果被占用，则在码本$C \setminus \{e_{zero}\}$中查找最近邻码字$\hat{z}_i = \arg\min_{e_j \in C \setminus \{e_{zero}\}} \|z_i - e_j\|_2$。最终输出仅包含占用体素的稀疏token序列。步骤二：多模态融合与推理。将稀疏几何token、ViT编码的视觉特征token和文本指令token拼接为总长度$L = N_v + N_g + N_t$的序列，送入Qwen3-VL-8B Transformer层进行联合推理。对于URDF生成任务，使用指令'Describe the object with real scale and separate the object to different functional parts with each physical properties'；对于部件定位任务，使用'Generate the part of this object with description: [text]'。MLLM输出混合序列：各部件的体素token和结构化JSON元数据。步骤三：部件网格重建。将MLLM输出的部件体素token通过稀疏VQ-VAE解码器重建为稀疏点云$S_p$。步骤四：表面分割映射。通过基于图的表面分割算法将稀疏点云种子映射到原始高保真网格。首先用高斯核初始化顶点概率分布$P(v, p) \propto \exp\left(-\frac{d(v, S_p)^2}{2\sigma^2}\right)$，其中$d(v, S_p)$是顶点$v$到部件$p$最近种子的距离，$\sigma$是相对于网格包围盒的尺度超参数。然后在网格邻接矩阵上迭代应用图平滑算子，通过多数投票分配最终面片标签。步骤五：URDF组装。将分割后的子网格与MLLM生成的运动学元数据（关节类型、轴方向、原点、极限、材质密度、摩擦系数等）组装为完整的URDF规范。

SIMART的技术新颖性体现在多个维度。首先，稀疏3D VQ-VAE的零token机制是一个巧妙的设计：训练中观察到VQ-VAE自然会涌现2-4个码本条目来表示空白区域（例如实验中发现索引1849的码字功能上等价于空白），SIMART将这一涌现行为形式化，显式保留第0号索引作为专用零token，避免MLLM浪费注意力在无关背景token上。这一设计将token数量从4138降至516，同时保持重建质量（MSE仅$1.84 \times 10^{-5}$）。其次，坐标感知的token化方案$\langle voxel \rangle [xyz] [K]$是首次在MLLM中引入显式3D坐标编码，使得模型能够在变长稀疏序列上执行精确的空间推理，这是密集表示方法无法实现的。第三，将URDF生成和部件定位统一到同一MLLM框架中，通过不同的指令模板控制输出格式，实现了跨任务的知识共享。第四，SIMART-Bench基准的构建引入了AI生成的分布外物体（通过Hunyuan3d-V3.1等模型生成），包含36个统一资产、10+个类别，填补了现有评估基准在几何多样性上的不足。整体而言，SIMART首次证明了稀疏3D表示可以在MLLM框架中同时支持高保真几何理解和精确运动学推理。

SIMART存在以下几个值得深入分析的弱点。第一，稀疏3D VQ-VAE的重建质量与密集表示之间仍有差距。Table 4显示8×8×8稀疏配置的CD为$4.19 \times 10^{-5}$，而16×8×8配置仅为$2.27 \times 10^{-5}$，说明当前的压缩率是以牺牲几何细节为代价的。改进方向可以探索自适应分辨率的稀疏编码，对几何复杂区域（如关节附近）使用更高的体素分辨率，对平坦表面使用更低的分辨率。第二，基于图的表面分割算法（步骤四）使用高斯核将稀疏点云种子映射到网格表面，这一过程对$\sigma$超参数敏感，且在部件边界模糊或网格拓扑复杂时可能产生不准确的分割。可以考虑引入学习的表面分割模块替代手工设计的高斯核。第三，MLLM输出的URDF物理属性（密度、摩擦系数）缺乏物理验证机制，完全依赖模型的'幻觉'式预测。可以引入物理约束损失或与真实物理属性数据库的对齐来提高物理准确性。第四，当前训练数据仅来自PartNet-Mobility和PhysXNet，类别覆盖有限（主要是家具和家用电器），对于工业部件、生物器官等领域的泛化能力未知。第五，单次推理只能处理一个物体，缺乏对场景级多物体铰接的建模能力。

基于论文成果可以延伸出多个有前景的研究方向。作者明确提出利用SIMART作为基础工具生成预验证的铰接预测，加速数据标注循环，创建更大更多样的铰接数据集，形成正反馈循环。除此之外，可以探索以下方向：一是将SIMART与3D生成模型（如Hunyuan3d）串联，实现'文本到3D网格到铰接资产'的端到端流水线，用户只需描述想要的物体即可获得可仿真的资产；二是将生成的铰接资产应用于机器人操作策略学习（如强化学习），利用SIMART批量生成多样化的训练场景，验证sim-to-real的迁移效果；三是扩展到可变形物体（如布料、软体），目前的方法仅处理刚体铰接，柔性物体的物理建模需要不同的表示和推理方式；四是探索实时交互式编辑，让用户通过自然语言指令调整关节参数或部件分割，类似于论文中VR/AR应用的扩展；五是结合大模型的链式推理能力，对复杂物体（如多关节机械臂）进行层次化的铰接结构推断。

论文提供了较为详细的实现信息以支持复现。模型基于Qwen3-VL-8B进行微调，在32块NVIDIA A100 GPU上训练30000步；稀疏3D VQ-VAE在8块A100上进行两阶段训练，每阶段60000步，权重从TRELLIS VAE初始化。训练数据来自PhysXNet和PartNet-Mobility的39600个3D物体，合成的两个指令微调数据集各包含96万QA对。然而，论文未明确说明是否开源代码、模型权重和训练数据。SIMART-Bench基准仅包含36个资产，规模较小但标注过程（P3SAM自动分割+人工精炼+Web UI标注）描述清晰。复现的主要挑战包括：需要32块A100的算力门槛较高；96万QA对的合成流程需要PhysXNet数据访问权限；URDF输出格式的评估脚本未公开；稀疏VQ-VAE的训练细节（学习率、batch size等）在正文中未完整给出，需要查阅附录。总体而言，有足够算力和数据访问的研究者可以基于论文描述进行复现，但完整复现的门槛较高。