ArtLLM：通过 3D 大语言模型生成可动部件资产

用 3D 大语言模型自回归预测关节物体的部件布局与运动学结构，并联合部件生成模型合成高质量可动资产。

前置知识

3D 点云与 Point Transformer v3

点云是物体表面三维坐标的离散采样集合，常含法向信息。Point Transformer v3 是当前最强的点云骨干网络之一，通过向量注意力高效处理大规模点云并提取几何特征。

本文输入是采样自网格的 32768 个表面点，需要 Point Transformer v3 将其编码为特征向量作为 LLM 的视觉 token，是连接几何与语言的桥梁。

URDF（统一机器人描述格式）

URDF 是工业标准 XML 格式，定义连杆、关节（类型、父子连杆、轴向、原点、运动范围）。本文将 URDF 重写为 token 序列，把运动学预测转化为语言建模问题。

理解 URDF 是把握本文核心思路的前提：作者把'预测部件布局与关节参数'等价于'用 LLM 自回归生成一段描述运动学的语言'。

自回归语言建模与离散化

自回归语言模型按顺序逐 token 预测下一 token；为让 LLM 能预测连续值，需把坐标、角度、距离等量化到离散 bin（如把 [-1,1] 分成 128 个区间），把回归转化为分类。

本文对所有几何与运动学参数都做了离散化（bbox 坐标 128 bin/轴、关节角度 48 bin over [-2π,2π]、平移 64 bin over [-2,2]、关节轴 128 项 codebook），是 LLM 能稳定预测数值的关键。

关节类型 Revolute/Continuous/Prismatic/Screw

Revolute 绕固定轴有限旋转、Continuous 绕固定轴无限旋转、Prismatic 沿轴平移、Screw 是螺旋运动。本文支持这四种基本关节，覆盖大多数日常物体的运动学。

理解关节类型有助于明白 Type Acc 指标的内涵，以及作者为何要把 screw joint 合并、删除 fixed joint 等预处理操作。

Farthest Point Sampling（FPS）与 MLP

FPS 是贪心采样，每步选与已选点距离最远点，保证采样空间均匀分布。MLP 即多层全连接网络，常用作跨模态投影器。

FPS 用于构造关节轴离散 codebook（在 Fibonacci 球面补点），MLP 用于把 Point Transformer 特征投影到 LLM 嵌入空间，二者都是本文管线的基础模块。

多任务多阶段 SFT（监督微调）

多任务 SFT 在同一模型上同时训练多个相关任务以共享表征；多阶段训练把训练分成多个阶段，每阶段侧重不同目标（如先训练几何再训练运动学）。

本文提出三任务（Part Layout/Kinematic/End-to-End）和两阶段（先用 P3SAM 初始化训练 Task 1，再联合训练三任务）的训练策略，是其超越基线的关键。

研究动机

在游戏、机器人、仿真等场景中，关节物体（artifacts）——从门、抽屉到复杂机械——是构建可交互数字世界的基石，其功能由部件几何与运动学结构共同决定。然而现有自动化生成方法存在严重局限：基于优化的重建方法（如 NeRF、3DGS）需要在每个物体上做耗时的逐物体联合拟合，速度慢、几何保真度低、且通常只能处理只有单个关节的简单物体；基于检索的方法从固定部件库中拼装资产，导致几何形态重复、难以泛化到新颖对象。近期通用 3D 生成模型（Trellis、Hunyuan3D、3DShape2VecSet 等）虽然能合成高质量网格，但缺乏对底层运动学结构的感知——模型不理解'门应该绕铰链轴旋转'这类物理约束，导致生成的部件几何与机械功能脱节。这种几何与运动的脱节是阻碍可扩展仿真资产生产、机器人 sim-to-real 训练和数字孪生构建的核心瓶颈。

本文的目标是本文目标是构建一个统一框架，从单个点云（可由图像或文本经现成 3D 生成模型得到）出发，自动联合预测物体的部件级几何布局与运动学结构，并合成高质量、仿真就绪的关节资产。具体而言，希望在保持秒级推理速度的同时，在 PartNet-Mobility 数据集 7 个类别、77 个测试物体上全面超越现有 SOTA（URDFormer、SINGAPO、Articulate-Anything），并具备良好的真实世界图像泛化能力，最终可用于机器人 real-to-sim 任务重建。

与已有工作不同的是，与已有方法相比，本文的核心切入角度是'把运动学预测当作语言建模'：首次将 3D 大语言模型（Point Transformer v3 编码器 + Qwen3 0.6B 语言模型）应用于关节资产生成，把 URDF 中的部件包围盒、关节类型、轴向、原点、运动范围全部离散化为 token，由 LLM 自回归生成；同时配套设计了三任务两阶段 SFT 策略、物理约束驱动的运动范围后处理、以及基于 XPart 的部件级几何合成管线，从而同时克服优化方法的速度慢、检索方法的几何单一、以及通用 3D 生成模型缺乏运动学建模这三大缺陷。

核心方法

ArtLLM 的整体思路是'先预测结构，再合成几何'：给定输入点云，先用 3D 大语言模型自回归预测一组描述运动学的 token（即'关节蓝图'），该蓝图同时给出每个部件的 3D 轴对齐包围盒（AABB）和部件之间的连接关系（关节类型、父子连杆、轴向、原点、运动范围）；随后把这个 token 化的蓝图交给现成的部件级生成模型（XPart）作为条件，由它合成每个部件的高保真几何；最后用一个基于物理碰撞检测的后处理模块修正预测的关节范围，避免部件在运动过程中自碰撞。整个流程的直觉是：把'理解一个物体如何动'这个复杂问题拆解成'识别部件在哪 + 推断部件间如何连接'两个子问题，再借助 LLM 的序列建模与语义先验把两者统一在一段离散 token 里。

本文核心创新在于把关节物体的运动学预测转化为语言建模问题（与已有方法的本质区别：URDFormer/SINGAPO 用专门设计的回归头直接输出浮点参数，Articulate-Anything 借助 GPT-4o 直接预测 float 数值——这些都面临数值不稳定、泛化差、对训练数据量敏感的问题）。具体来说有三层本质区别：第一，所有几何和运动学参数都通过精心设计的离散化策略（bbox 坐标 128 bin/轴、关节角度 48 bin over [-2π,2π]、平移 64 bin over [-2,2]、关节轴采用分层 128 项 codebook）变成 LLM 词汇表内的离散 token，使 LLM 能在稳健的语言建模范式下完成原本不擅长的数值回归；第二，把 URDF 重写为结构化文本模板（每个部件用 bbox_id = BBox(...) 描述，每个关节用 joint_id = RevoluteJoint(parent, child, dir, pos, limit) 描述），让 LLM 借其语义先验学习运动学模式；第三，提出三任务两阶段 SFT 策略，先用 P3SAM 初始化的编码器在 Part Layout 任务上预训练几何表征，再联合训练三任务解耦几何理解与运动学推理。

方法步骤详情

（1）输入预处理：对来自图像/文本的初始网格先做水密化（watertight）以保证法向一致，再均匀采样 32768 个表面点及对应法向作为模型输入。（2）跨模态编码：Point Transformer v3 提取点云特征，在最后一层附加位置嵌入以保留空间信息，再通过两层 MLP 投影到 LLM 嵌入空间。（3）自回归生成：以部件为单位，先生成所有部件的 AABB token 序列，遇到分隔 token 后再生成所有关节定义 token（先输出完整部件布局再生成关节，保证结构一致性）。（4）训练阶段一：在 PartNet-Mobility 上仅训练 Task 1（部件布局预测），点编码器用 P3SAM 预训练权重初始化，为几何表征建立强先验。（5）训练阶段二：用阶段一权重初始化编码器与投影器，在 Task 1/2/3 上联合 SFT，Task 2 在给定 GT 布局下预测关节、Task 3 端到端预测部件与关节。（6）部件几何合成：把预测的 AABB 作为 XPart 的条件输入，并通过'将未被任何 AABB 覆盖的输入点按欧氏距离分配给最近 box 并扩展 box'的步骤保证几何完整覆盖。（7）物理约束后处理：对每个预测的旋转关节，沿预测范围旋转子部件并在离散角度上计算与其他静态部件的碰撞体积，其导数尖峰对应首次碰撞角度，用层次搜索精确定位后把该角度设为修正后的运动范围；平移关节同理。（8）数据集：聚合 PartNet-Mobility（2168）、PhysX3D（7672）、Infinite-Mobility（10833），经过去除 20+ 关节物体、固定关节合并、screw joint 合并、坐标系归一化、水密化等预处理，得到 20673 个物体跨 43 类。

技术新颖性

技术新颖性体现在三个方面。第一，'运动学即语言'的范式转换——把 URDF 重写为 token 序列并离散化所有连续参数，是首个把 3D LLM 应用于关节资产生成的工作，相比现有直接回归 float 参数或调用 GPT-4o 的方法，在数值稳定性和对训练数据规模的容忍度上有质变。第二，分层关节轴 codebook 设计：先在 XY/YZ/XZ 平面单位圆上密集采样（因为大多数家用物体的关节轴与坐标轴对齐），再在 Fibonacci 球面上用 FPS 补足 128 项，在轴对齐方向获得密集覆盖的同时保留任意方向表示能力。第三，多任务多阶段 SFT 把几何与运动学解耦——先在 Part Layout 任务上稳定建立几何表征，再联合训练运动学推理，实验证明该策略相对直接多任务训练能显著稳定第二阶段收敛并提升最终精度（消融 D 把 Type Acc 从 0.898 降到 0.890、Joint-Range-IoU 从 0.582 降到 0.511）。

**Figure 2**: Architecture Overview（架构总览）。

**Figure 3**: Physical limit calculation（物理范围计算示意）。

实验结果

在 PartNet-Mobility 7 类共 77 个物体的测试集上，ArtLLM 在所有指标上全面超越 URDFormer、SINGAPO 与 Articulate-Anything（GPT-4o 后端）。具体而言，部件布局 mIoU 达到 0.6884，相对最优基线 SINGAPO*（在本文数据集重训）的 0.4705 提升约 46%；Chamfer Distance 仅 0.028，远优于 URDFormer 的 0.249；Type Acc 0.9084 微幅超过 SINGAPO* 的 0.9065；Joint-Axis-Err 0.1271 相对 SINGAPO* 的 0.2463 降低约 48%，相对 ArtAny 的 0.4529 降低约 72%；Joint-Pivot-Err 0.0801 是所有方法最低；Joint-Range-IoU 0.7398 超过 SINGAPO* 的 0.6184 约 19%；Graph Acc 0.7741 比 SINGAPO* 的 0.6851 提升 13%。推理时间仅 19 秒/物体，比 SINGAPO 的 84 秒快约 4.4 倍，比 ArtAny 的 522 秒快约 27 倍，比 URDFormer 的 183 秒快约 9.6 倍。消融实验（表 3）显示四个组件都至关重要：A 实验直接预测连续参数而非离散 token，IoU 从 0.473 跌到 0.352、Type Acc 从 0.898 跌到 0.823、Joint-Axis-Err 从 0.141 恶化到 0.277；B 去掉多任务训练，Type Acc 显著下降到 0.825、Joint-Range-IoU 下降到 0.510；C 去掉随机缩放与旋转 3D 增强，IoU 下降到 0.412；D 去掉多阶段训练（直接 P3SAM 初始化并联合训练），Type Acc 从 0.898 降到 0.890、Joint-Range-IoU 从 0.582 降到 0.511。物理范围修正（图 5）能有效消除预测范围导致的部件自碰撞。real2sim（图 6）成功复现了三项遥操作任务（关闭笔记本、关闭盒子、移动水桶把手），证明生成资产能保留真实世界运动学行为。

**Table 1**: Curated dataset statistics（数据集统计）。

**Table 2**: Quantitative Comparison（定量对比）。

**Table 3**: Quantitative Ablation（定量消融）。

**Figure 4**: Qualitative Comparison（定性对比）。

**Figure 5**: Physical limit correction qualitative result（物理范围修正定性结果）。

查看结构化数据

任务	指标	本文	基线	提升
PartNet-Mobility 部件布局	mIoU ↑	0.6884	SINGAPO*: 0.4705 / ArtAny: 0.3381 / URDFormer: 0.1225	相对 SINGAPO* 提升约 46%
PartNet-Mobility 几何距离	Chamfer Distance ↓	0.028	SINGAPO*: 0.048 / ArtAny: 0.072 / URDFormer: 0.249	相对 SINGAPO* 降低约 42%
关节类型分类	Type Acc ↑	0.9084	SINGAPO*: 0.9065 / ArtAny: 0.8457 / URDFormer: 0.6068	微幅优于 SINGAPO*，大幅优于 URDFormer（+30 pp）
关节轴向误差	Joint-Axis-Err ↓	0.1271	SINGAPO*: 0.2463 / ArtAny: 0.4529 / URDFormer: 0.7377	相对 SINGAPO* 降低约 48%，相对 ArtAny 降低约 72%
关节原点误差	Joint-Pivot-Err ↓	0.0801	SINGAPO*: 0.1465 / ArtAny: 0.5361 / URDFormer: 0.6095	相对 SINGAPO* 降低约 45%
关节运动范围 IoU	Joint-Range-IoU ↑	0.7398	SINGAPO*: 0.6184 / ArtAny: 0.8653 / URDFormer: 0.7032	相对 SINGAPO* 提升约 19%；ArtAny 借助规则后处理反而更高（0.8653），说明本文方法在范围预测上仍有优化空间
运动学图准确率	Graph Acc ↑	0.7741	SINGAPO*: 0.6851 / ArtAny: 0.6142 / URDFormer: 0.0791	相对 SINGAPO* 提升约 13%
推理速度	Time (s/obj) ↓	19	SINGAPO: 84 / ArtAny: 522 / URDFormer: 183	相对 SINGAPO 快 4.4 倍，相对 ArtAny 快 27 倍

局限与改进

作者明确指出两点局限：第一，训练数据集中在 43 类常见家用物体（柜子、桌子、冰箱、洗衣机、微波炉等），对汽车、机器人等更复杂类别泛化能力不足；第二，框架未联合建模物理属性（如质量、摩擦），影响物理仿真真实性。此外，独立观察下还有几个潜在限制：（1）Joint-Range-IoU 0.7398 虽最佳但低于 ArtAny 的 0.8653，说明仅靠单帧点云预测运动范围仍是难题，物理后处理虽能消除碰撞但可能过度收缩范围；（2）整体精度依赖于第一阶段 XPart 或 Hunyuan3D 等下游几何生成器，其质量上限会传导到最终资产；（3）axis codebook 仅 128 项，分层采样虽密集覆盖轴对齐方向但对任意方向仍有限，可能在非轴对齐铰链上引入离散化误差；（4）bbox 扩展启发式对'点云不属于任何 box 则分配给最近 box'在拓扑复杂的物体上可能不鲁棒；（5）本文把 screw joint 拆为单一类型简化任务，但实际工业场景中可能损失精度。

独立分析的弱点

（1）Joint-Range-IoU 是唯一不如 ArtAny 的指标（0.7398 vs 0.8653）：根本原因是模型只能基于单帧静态点云推断运动范围，缺乏多帧观测或语义先验。改进方向：可借鉴 ArtAny 的规则化后处理 + 用户提示，或引入视频/多视角输入让模型观测关节运动轨迹；也可在训练数据中加入运动范围统计先验（如多数门开角 < 180°）。（2）部件几何质量受 XPart 上限制约：bbox 预测不准确或 XPart 在罕见部件类别上失真都会传导到最终资产。改进方向：把 XPart 替换为更通用的 3D 生成器如 Hunyuan3D 2.5 全部件生成，或在 ArtLLM 输出端加入 bbox 精修网络。（3）类别覆盖局限于 43 类家用物体：PartNet-Mobility + PhysX3D + Infinite-Mobility 主要覆盖家具、电器、容器等。改进方向：可借鉴 Kinematify 这类开放词汇方法从物体描述直接推断运动学，或用大模型合成多样化合成数据。（4）轴向 codebook 离散化瓶颈：分层 codebook 虽密集覆盖轴对齐方向，但 128 项对任意方向的解析精度有限（特别是与坐标轴夹角 30°~60° 时）。改进方向：可改用更高分辨率 codebook 或对轴向也做分层量化（粗粒度分类 + 细粒度回归）。（5）bbox 扩展启发式不可微且依赖最近邻距离，在拓扑复杂的嵌套物体（如带抽屉的柜子）上可能把外层点错误分配给内层 box。改进方向：基于部件语义一致性的扩展（如同一语义标签的点优先分配给同语义 box）。

未来方向

作者提出的未来工作有两个方向：（a）类别扩展——引入开放词汇方法（如 Kinematify），让模型从类别名或自然语言描述直接推断运动学，扩大覆盖到车辆、机器人等复杂类别；（b）物理属性联合建模——在训练数据中加入物理属性标注（质量、摩擦、阻尼等），使模型能预测物理感知参数。基于本文成果还有几条可延伸的方向：（1）多模态输入扩展——把单点云扩展为视频或多视角，让模型观察关节运动轨迹以更准确地预测运动范围；（2）交互式生成——结合用户指令（如'打开角度更小'）调整输出；（3）联合训练几何与运动学——目前 ArtLLM 仅预测结构蓝图，几何由 XPart 独立生成，可探索端到端联合训练；（4）仿真闭环验证——把生成资产直接放入物理仿真器（如 SAPIEN、Isaac Sim），用仿真稳定性作为训练信号进一步优化生成质量；（5）从单一物体到场景——目前方法处理单个关节物体，可扩展到多物体交互场景如打开微波炉取出杯子。

复现评估

代码与项目主页见 https://authoritywang.github.io/artllm，作者声明将开源相关实现。数据集基于公开数据源（PartNet-Mobility、PhysX3D、Infinite-Mobility）聚合 + 预处理，复现需要这三份原始数据 + Infinite-Mobility 的程序化生成流程。训练算力要求较高：完整管线包含（i）20K+ 物体级别的数据预处理（水密化、采样、URDF 解析、归一化），（ii）3D LLM 微调（Point Transformer v3 + Qwen3 0.6B + 两阶段 SFT），估计需要 8 张以上 A100 级 GPU 训练数天。推理侧硬件要求适中，单物体 19 秒在单卡即可完成。复现难度中等偏难：核心创新（运动学即语言、分层轴向 codebook、多任务多阶段训练、物理范围后处理）算法层面描述清晰，但离散化超参（128 bin、48 bin、64 bin、128 codebook）和训练调度细节（学习率、batch size、阶段切换时机）需要仔细调参；下游 XPart 与 Hunyuan3D 的具体版本与依赖也会影响最终结果。

ArtLLM：通过 3D 大语言模型生成可动部件资产 ArtLLM: Generating Articulated Assets via 3D LLM