PhysForge：从单张图像生成物理接地3D资产生成框架 PhysForge: Generating Physics-Grounded 3D Assets for Interactive Virtual World
VLM规划+扩散生成，两阶段生成可交互的物理3D资产
前置知识
3D潜在扩散模型
在压缩后的3D潜空间（如voxel特征集合）上训练扩散过程，先用3D自编码器把mesh/voxel压到潜码，再用去噪网络生成新样本，是TRELLIS等模型的基石。
PhysForge的第二阶段建立在结构化潜空间扩散上，读者需要理解为何几何生成能在潜空间高效进行，才能体会KineVoxel如何'塞进'同一套扩散框架。
视觉语言模型（VLM）
兼具视觉编码器与大语言模型的多模态模型，可接受图像并生成文本。本文使用Qwen2.5-VL并微调其输出特殊token，使其学会'规划'3D结构。
PhysForge第一阶段核心是让VLM扮演'物理建筑师'。理解VLM具备世界知识但缺乏显式3D能力，是看懂'为什么需要解耦'的关键。
关节运动学（kinematics）
描述可活动部件的几何关系，包括父节点、原点$O_i \in \mathbb{R}^3$、轴向$A_i \in \mathbb{R}^3$、运动范围$L_i \in \mathbb{R}^2$等参数，是仿真器驱动物体的接口。
PhysForge的KineVoxel直接编码这些连续值，读者必须知道这些参数的物理含义才能理解KVI机制为何重要。
TRELLIS / OmniPart / PartField
TRELLIS是结构化潜空间3D生成模型；OmniPart是基于TRELLIS的两阶段部件生成框架；PartField是逐体素特征编码器，常用于部件分割。
PhysForge建立在OmniPart的第二阶段框架之上，并把OmniPart和PartField作为主要基线，不了解它们就无法理解本文的相对贡献。
研究动机
现有3D生成方法——无论是基于SDS的DreamFusion派系，还是3D原生潜在扩散如TRELLIS、CLAY——都聚焦于静态几何与纹理，输出的是'空壳'资产。这类资产无法被机器人抓取、推动，也无法被仿真器直接驱动。EmbodiedScan数据显示，工业级仿真需要数百万带物理属性的可交互3D物体，而当前数据集如PartNet-Mobility仅包含数千个有精确运动学的物体，规模差距达两个数量级。更棘手的是，物理属性的标注（材料、质量、关节轴向）目前依赖人工，离散值（如材料分类）尚可批量，但连续参数（如原点坐标、轴方向）在150k规模下几乎不可手工标注。
本文的目标是PhysForge的目标是构建一个端到端的两阶段框架，从单张图像（可选配2D部件掩码）直接生成物理接地（physics-grounded）、部件感知、仿真就绪的3D资产。具体而言，需要同时输出：①全局属性（物体类别、真实世界尺寸、使用场景）；②部件级静态属性（语义标签、材料、质量）；③功能属性（内禀功能如'控制水流'、状态机）；④交互属性（原子affordance库、关节类型与精确参数）。最终让生成的资产可直接放入RoboTwin、Unreal Engine等仿真/游戏环境被机器人或虚拟角色操控。
与已有工作不同的是，本文的核心切入角度是'功能逻辑驱动几何生成'——与PartPacker、OmniPart等仅按视觉边界切分部件的方法不同，PhysForge主张物体的结构应源自其设计意图。例如电视按钮是功能基本单元、柜门与把手需具备不同材料和关节定义。作者将这种洞察实现为两阶段解耦：让VLM承担高层结构与语义规划（它有世界知识但缺显式3D能力），让扩散模型承担精确连续值的合成（它精于拟合分布但缺物理推理），并通过KineVoxel Injection (KVI)机制把运动学参数融入扩散潜空间，从而打破'物理'与'几何'长期割裂的局面。
核心方法
PhysForge采用'规划-生成'解耦范式。第一阶段把单张图像、可选2D掩码、由TRELLIS生成的初始voxel作为输入，喂给一个微调过的Qwen2.5-VL，让它自回归地输出'层级物理蓝图'：部件包围盒、父子关系、关节类型（revolute/prismatic/continuous/fixed）以及文本描述的物理属性。第二阶段以第一阶段的蓝图作为条件，在OmniPart扩散框架基础上引入KineVoxel Injection机制——把每个可动部件的8维运动学向量$P_i = (O_i, A_i, L_i)$独立编码为'运动学体素'$z_{k,i}$，与几何潜码$Z_g$在同一去噪Transformer中协同去噪，并通过损失加权$\lambda_{kine} = 10$强调运动学精度。这种'粗粒度VLM规划 + 细粒度扩散拟合'的解耦，既利用了VLM的常识语义先验，又发挥了扩散模型对连续分布的拟合能力。
本文有三大核心创新。其一是'层级物理蓝图'概念，把规划任务从纯几何包围盒扩展为语义化、物理化的层级结构，并通过在词表中新增66个特殊token（``, ``, ``~``）把3D包围盒量化为6个token序列，使VLM能高效地自回归生成。其二是KineVoxel Injection (KVI)机制——这是与已有方法的本质区别：传统方法要么把运动学作为后处理（如Articulate Anything依赖外部代码模板），要么用单一潜空间同时塞入所有模态导致几何-运动学互相干扰。PhysForge为运动学单独配备轻量级2层MLP编码器$E_{kine}$与解码器$D_{kine}$，并在KineVoxel上叠加关节类型嵌入$E_{type}$，使Transformer可学习到'部件几何 ↔ 关节参数'的复杂相关性。其三是'物理引导消除部件歧义'的协同效应——实验证明，强迫VLM联合预测材质、功能等属性，显著提升了无掩码输入下的部件分解质量。
方法步骤详情
流程分四步。**数据准备**。PhysDB覆盖七大类共150k资产，按holistic/static/functional/interactive四层标注，补充PartNet-Mobility等提供精确运动学真值。**VLM规划器训练**。输入图像$I$、掩码$M$与TRELLIS生成的voxel $V$，先用PartField提取体素特征再3D卷积降采样到512维；图像与掩码走Qwen2.5-VL原生编码器；微调VLM以自回归方式输出每部件6-token包围盒与物理属性。**扩散生成**。将每可动部件$i$的8维向量$P_i=(O_i,A_i,L_i)$经$E_{kine}$映射为KineVoxel潜码，与几何潜码$Z_g$拼接送入中间Transformer后由$D_{kine}$解码。损失$\mathcal{L}=\mathcal{L}_{geo}+\lambda_{kine}\mathcal{L}_{kine}$，$\lambda_{kine}=10$。**推理**。给定图像先由VLM输出蓝图，再以蓝图作为条件迭代去噪生成可仿真资产。
技术新颖性
技术新颖性体现在三个层面。在**数据层面**，PhysDB首创四层物理标注体系，将'holistic-scale + static-material + functional-state-machine + interactive-affordance'纳入统一schema，是首个150k规模的物理接地3D数据集。在**算法层面**，KVI机制是首个把'离散关节类型'与'连续运动学参数'统一进同一扩散潜空间的设计——Articulate Anything、URDFormer等仍把运动学估计作为独立后处理步骤，而PhysForge通过$E_{type}$嵌入让Transformer在去噪过程中就感知关节语义。在**范式层面**，作者证明物理属性预测能反向提升几何规划精度，'PhysForge-bbox (w/o mask)'的Voxel Recall仅67.89%，而完整PhysForge无掩码版本达73.63%——这种'物理促进几何'的协同机制是本文最具启发性的发现，也是与所有纯几何生成工作的根本分野。
实验结果
**实验一：物理属性（PhysXNet）**。PhysForge的CD=9.21击败PhysXGen的9.81；绝对尺度误差从25.83cm降至11.04cm（↓57.3%），affordance误差3.69→1.22，描述相似度0.38→0.87。**实验二：PhysDB**。Function相似度0.83 vs 0.36（+131%），Interaction相似度0.96 vs 0.34（+182%），证明VLM世界知识对'可描述'物理属性具决定性优势。**实验三：部件规划**。PhysForge取得Voxel Recall=77.16%、Voxel IoU=53.74%、BBox IoU=42.95%均SOTA；无掩码版本（73.63/47.66/36.32）超过使用SAM掩码的OmniPart。**实验四：关节参数**。Joint-Axis-Err-5=0.101、Joint-Pivot-Err-5=0.071，相对Articulate Anything的0.608/0.257降低83.4%/72.4%；消融证实$E_{type}$嵌入与运动学子网皆不可省略。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 物理属性生成 (PhysXNet) | Chamfer Distance ↓ | 9.21 | 9.81 (PhysXGen) | ↓6.1% |
| 物理属性生成 (PhysXNet) | 绝对尺度误差 (cm) ↓ | 11.04 | 25.83 (PhysXGen) | ↓57.3% |
| 物理属性生成 (PhysDB) | Function CLIP相似度 ↑ | 0.83 | 0.36 (PhysXGen) | +131% |
| 部件结构规划 (PartObjaverse-Tiny) | Voxel Recall ↑ | 77.16% | 73.79% (OmniPart) | +3.37pp |
| 部件结构规划 (PartObjaverse-Tiny) | Voxel IoU ↑ | 53.74% | 52.92% (OmniPart) | +0.82pp |
| 关节参数生成 | Joint-Axis-Err-5 ↓ | 0.101 | 0.241 (Singapo) | ↓58.1% |
| 关节参数生成 | Joint-Pivot-Err-5 ↓ | 0.071 | 0.153 (Singapo) | ↓53.6% |
| 关节参数生成 | CLIP-Sim ↑ | 0.93 | 0.87 (Articulate Anything) | +6.9% |
局限与改进
**作者承认的局限**：第一，PhysDB放弃了精确数值轴向标注，转而把'类型+近似'留给扩散模型补全，这意味着对极端精密的关节（如多自由度机械臂的连续旋转轴）仍有精度上限。第二，框架假设输入图像清晰且物体占主导，对严重遮挡或杂乱场景鲁棒性未充分评估。第三，扩散阶段无法保证运动学参数严格物理可行（如可能出现关节轴不穿过父部件质心）。**作者额外观察**：从表格4可见，即便完整PhysForge的Joint-Axis-Err-all仍达0.164，说明在全类别（vs 限定类别）测试下关节参数估计仍有约16%的平均误差，距离工业级仿真要求还有差距；此外VLM规划阶段的自回归生成在部件数量>8时延迟显著，单资产规划+生成总耗时可能分钟级，难以实时应用；最后，从生态角度看，目前框架仅支持单物体生成，未演示多物体场景级物理一致的联合生成。
独立分析的弱点
**弱点一：运动学精度的物理一致性**。KineVoxel在潜空间中优化，没有显式的物理约束（如轴必须穿过旋转中心、限位角必须大于0），可能产生'数学上正确但物理上不可执行'的参数。改进方向是引入可微物理仿真器作为末端约束，或在损失中加入关节合法性正则项。**弱点二：VLM与扩散模型的级联误差累积**。若VLM误判了父子关系或关节类型，扩散阶段会以错误类型嵌入为条件，导致运动学完全失真。改进方向是引入双向校验——扩散阶段预测的连续参数回传给VLM进行二次校验，或采用端到端联合训练。**弱点三：数据集规模与标注成本的矛盾**。150k PhysDB虽大，但相比Objaverse全量10M+资产仍仅占1.5%，且四层标注的人工成本极高。改进方向是探索半监督/自监督方法自动推断物理属性，例如利用视频中的物理交互信号反向推断材质与质量。**弱点四：单物体假设**。框架不能直接生成由多物体组成的物理场景（如整间厨房），限制了下游应用范围。
未来方向
**作者指出的方向**：第一，把PhysForge与场景级生成结合，让生成的物体可在保持物理一致性的前提下组合成完整房间或工厂。第二，把KVI机制推广到更多物理模态——不仅是关节，还包括软体形变、流体耦合、断裂等复杂动力学。第三，构建'物理接地资产+视觉-语言-动作（VLA）模型'的闭环，使agent能查询蓝图并执行操作。**基于成果可延伸的方向**：①把两阶段解耦范式推广到4D生成，让VLM先规划时间轴上的运动意图，再让扩散模型生成轨迹；②把KineVoxel Injection的'类型嵌入+连续参数'模式迁移到其他多模态生成（如同时生成几何+语义+声音）；③把PhysDB作为预训练数据，与具身基础模型（如RT-2、π0）联合训练，使机器人内化3D物理常识；④研究'无图像'的纯文本到物理资产生成，扩展应用边界。
复现评估
**代码与数据**：论文提供项目页hku-mmlab.github.io/PhysForge/，PhysDB与基线代码开源状态未明确说明，但作者机构资源充裕，预期会逐步开源。**算力需求**：训练涉及Qwen2.5-VL微调、TRELLIS两阶段扩散与PartField编码——估计至少需要8张A100 80G训练两周以上；推理单资产约需数十秒到数分钟。**复现难度**：中等偏高，主要瓶颈在①PhysDB四层物理标注需要复杂human-in-the-loop流程；②PartNet-Mobility与Infinite-Mobility精确运动学数据预处理；③KineVoxel的66个特殊token对齐；④$E_{kine}/D_{kine}$初始化需谨慎否则运动学参数无法收敛。整体而言方法描述详尽，损失函数$\mathcal{L}=\mathcal{L}_{geo}+\lambda_{kine}\cdot\mathcal{L}_{kine}$与超参$\lambda_{kine}=10$已明确，工程上有望复现。
论文图表
展示了PhysForge从单张输入图像生成的多个高质量资产结果，每个资产通过三种视图呈现：(a) 不同颜色的部件区分几何结构；(b) 文本标签标注每个部件的详细物理属性；(c) 箭头精确标示可动部件的运动学参数（如关节轴）。底部明确指出生成的资产已'准备好构建交互式虚拟世界'。
作为teaser图直观展示PhysForge的核心价值——生成的资产不仅是几何体，更具备可被仿真的物理属性，是理解论文motivation的入口。