可动作世界表征：以统一Transformer学习铰接、蒙皮与软体对象的神经数字孪生

WorldString：统一表征铰接/蒙皮/软体三类可动作对象的隐式神经占据场。

前置知识

可动作对象（Actionable Object）

指具有明确状态变量且能通过外力或关节驱动改变形态的物体，覆盖铰接刚体（如柜门、机械臂）、蒙皮对象（人体、动物、手）与软体（布料、绳、橡皮泥）三类。其状态空间可用低维参数（如关节角、皮肤权重、节点位移）描述。

是本文建模的核心对象类别，决定了方法是否需要支持多类物理形变机制；不懂这一概念就难以理解为什么需要把 FK、LBS、软体 Jacobian 三种公式统一。

正向运动学（Forward Kinematics, FK）

在铰接刚体建模中，给定各关节角 $q\in\mathbb{R}^{d_q}$，通过连杆变换矩阵 $A_i(q_i)\in SE(3)$ 沿运动学树链式相乘得到末端世界坐标 $T_j(q)=\prod_{i\in P(j)}A_i(q_i)$，是把关节状态映射到刚体位形的标准方法。

WorldString 把它改写为 one-hot 凸组合，是全文统一公式的第一个具体实例，不理解 FK 就无法理解 cross-attention 的松弛含义。

线性混合蒙皮（Linear Blend Skinning, LBS）

蒙皮动画经典公式：$\Phi_u(y)=\sum_j w_j(y)T_j(q)T_j(q_0)^{-1}\odot y$，其中 $w_j(y)$ 是固定 skinning 权重，满足 $\sum_j w_j(y)=1$，本质是把骨骼运动加权平均到表面顶点。

是论文统一凸组合框架的第二个实例，理解它才能体会为什么 WorldString 能用同一套 cross-attention 同时处理铰接与蒙皮两类对象。

隐式占据场（Implicit Occupancy Field）

用连续函数 $O:\mathbb{R}^3\to[0,1]$ 表示空间某点是否属于对象表面，相比显式 mesh/voxel 具有分辨率无关、可微、易抽取等优势，是 NeRF、DeepSDF 等工作的代表范式。

WorldString 的最终输出形式即为占据场 $O(x)=\Phi_v(Q(x),Z_{\text{obj}})$，Voxel Transformer 负责从对象嵌入解码到该场，是方法输出端的基石概念。

Cross-Attention 机制

Transformer 中的核心算子：给定 query $q(y)$、key $k_i(u)$、value $v_i$，输出为 $\text{Attn}=\sum_i\text{softmax}_i\langle q,k_i\rangle v_i$，本质是用状态相关权重做凸组合。

WorldString 的核心论点是 cross-attention 是 FK、LBS、软体 Jacobian 的统一松弛版；理解其 softmax 凸组合特性是读懂全文数学创新的关键。

研究动机

物理世界建模是具身智能与机器人学的核心基石，但现有方法在处理可动作对象时存在严重割裂。视频生成模型虽能产出高保真、语义丰富的视频，却缺乏3D一致性与可控性，本质把世界压成像素流。基于 NeRF 或 3D Gaussian Splatting 的动态重建方法虽能给出3D一致的表征，却在接触密集、剧烈形变的交互中泛化能力差，且难以泛化到训练外拓扑。传统物理仿真（FEM、刚体引擎）虽物理严谨，却依赖精细材质参数，难以从视觉反推，sim-to-real 鸿沟巨大。更根本的问题是：人类和机器人接触的一切——从抽屉、机器人手臂到人体、毛绒玩具——都属于铰接刚体、蒙皮物体、软体三类截然不同的可动作对象，而目前没有任何一种方法能在一个统一框架内同时处理这三类对象。

本文的目标是本文的核心目标是构建一个统一、可微分、可从真实观测直接学习的可动作世界表征（Actionable World Representation），使其能作为物理世界模型的基础构件。具体来说，作者希望以对象为基本建模单元，把任意可动作对象的状态 $u\in\mathcal{U}$（如关节位置、皮肤权重后的骨骼姿态、软体位移）映射到该状态下的三维占据场 $\Omega^*$，并显式建模状态转移映射 $\Phi_u:\Omega_0\to\Omega^*$。这一目标要求系统同时具备三个属性：（1）可由点云或 RGB-D 视频直接学得，无需手工 CAD 或 URDF；（2）能在一套架构里统一覆盖铰接、蒙皮、软体三类对象；（3）天然可微，便于未来与策略学习或神经动力学耦合。作者把这一通用架构命名为 WorldString，意指它像一根可拨动的世界之弦。

与已有工作不同的是，本文的独特切入角度是把可动作对象的形式化定义回归到凸组合位移这一最基础的几何语言。作者证明：对铰接对象，正向运动学（FK）可写成每个 link 的 one-hot 凸组合；对蒙皮对象，线性混合蒙皮（LBS）是固定 skinning weight 凸组合；对软体，在 Jacobian 线性化和 FEM 形函数下也可写成凸组合。三类对象的形变 $\Phi_u(y)=y+\sum_i\alpha_i(y;u)v_i(y;u)$ 在数学上同构。这一发现使得 cross-attention 自然成为上述统一公式的松弛版——它用 softmax 学习得到的 $\tilde\alpha_i$ 替代了手工指定的凸组合系数，把三个原本割裂的物理公式用注意力机制统一起来。这是文章区别于 NSDP（仅做 surface deformation prior）和 PhysTwin（仅做软体重建）的根本差异：WorldString 不是某个特定对象类别的重建器，而是对任意可动作对象普遍适用的隐式表征。

核心方法

WorldString 把可动作对象在隐空间显式分解为 canonical 几何、稀疏关键点状态、状态到几何的形变映射，并用纯 Transformer 端到端学习。直觉上像一个可拨弄的橡皮泥：本体 $\omega_0$ 固定，告诉你关键点 $\mathcal{K}$ 在何状态 $u$，就输出对应形变几何 $\Omega^*$。技术上把 $\Phi_u$ 拆为三段：State Transformer $\Phi_s$ 用 cross-attention 把 $\omega_0$ 对接 $\mathcal{K}$ 得局部状态嵌入 $Z_s$；Object Transformer $\Phi_o$ 对 $Z_s$ 做 self-attention 得全局对象嵌入 $Z_{\text{obj}}$；Voxel Transformer $\Phi_v$ 用空间查询 $Q(x)$ 与 $Z_{\text{obj}}$ 做 cross-attention 预测占据概率 $O(x)\in[0,1]$。整个 pipeline 用 BCE 端到端训练，推理时密集查询 voxel grid 即可。

WorldString 与已有方法存在三个本质区别。第一是统一性：传统做法各自处理一类对象——Dr.Robot 用 3DGS + 可微 FK 只擅长铰接，NSDP/HALO 做 handle-driven 形变只擅长蒙皮，PhysTwin 用 FEM 只擅长软体；WorldString 用同一套 cross-attention 把 FK、LBS、软体 Jacobian 三种形式统一松弛为 $\Phi_u(y)=y+\text{Attn}(y;u)$，真正做到一个模型、三类对象。第二是显式状态接口：输入是用户可读的稀疏关键点 $\mathcal{K}$，输出是可直接体素化的占据场，状态可解释、可干预、可外挂 RL 策略。第三是完全端到端可微：仅需 2 层 × 128 维 × 512 分辨率 × 3 关键点的轻量配置即可工作，无需高斯溅射那种复杂光栅化器。

方法步骤详情

方法共五步。(1) canonical 初始化：学习 $\omega_0\in\mathbb{R}^{l_1\times d_1}$ 编码 base state 几何。(2) 关键点编码：从 $P_0$ 用 FPS 选 $K$ 个关键点 $K_0$，跨帧跟踪得序列 $K_t$，承载对象身份与状态 $u$。(3) State Transformer：$\omega_0$ 作 query、$\mathcal{K}$ 作 key/value 做 cross-attention 得 $Z_s=\Phi_s(\omega_0,\mathcal{K})$ 完成局部 grounding。(4) Object Transformer：对 $Z_s$ self-attention 传播形变到全局，得 $Z_{\text{obj}}=\Phi_o(Z_s)$。(5) Voxel Transformer：对 $x$ 用 positional encoding 构造 $Q(x)$，与 $Z_{\text{obj}}$ 做 cross-attention 输出 $O(x)\in[0,1]$，训练随机采样用 BCE，推理在 voxel grid 上穷举查询。真实数据用 Grounded-SAM2 分割、CoTracker 跟踪、TRELLIS 重建 mesh、RoMa 跨序列对齐。

技术新颖性

从新颖性角度看本文有三点值得关注。第一是首次在数学上严格证明 cross-attention 是 FK、LBS 与软体 Jacobian 三种经典形变公式的统一松弛，并给出 $\delta$-net 下的 Lipschitz 误差界 $\sup\|d_u(y)-\tilde d_u(y)\|\le L\delta$，为 Transformer 为什么能建模物理对象提供了理论锚点。第二是把显式结构约束（稀疏关键点）注入到隐式神经占据场，使模型兼具 implicit field 的连续可微性与 parametric model 的可解释性——Interpretability 实验中每个 query token 自动学会专属于某语义部件即明证。第三是端到端真实数据 pipeline：原始 RGB-D 视频无需 CAD/URDF 先验即可学到物理一致的数字孪生，这种流程在现有工作中较少见。额外亮点是展示的结构补全（遮挡区域自动复原）与材质补全（稀疏点云自动填实布料）能力，证明模型真正理解了物理对象。

**Figure 4**: Visualization of object categories.

**Figure 5**: WorldString model pipeline.

**Figure 6**: WorldString model learning from RGB-D video data.

实验结果

实验覆盖 6 类对象 14 个数据集。复杂刚性（Table 1）：Utah Teapot IoU 92.17、F1 95.92 最佳；Bunny IoU 75.38；Armadillo、Lucy 高难度仍达 67.36、70.20。铰接对象（Table 2）：4 个对象 IoU 90.28/77.00/90.17/88.98，较 Optim. NN 47.25、Dr. Robot 57.43 提升 20-40 点；F1 最高 94.83。蒙皮（Table 3）：Male/Female/Horse/Hippo IoU 83.47/87.83/90.54/92.40，较 NSDP 67.41-86.82 全面领先。手部（Table 4）：IoU 96.24、F1 98.08，与 HALO 96.62 差不到 0.5 但更通用。软体（Table 5）：Doll IoU 82.80、F1 90.59 远超 Optim. NN 61.58；Cloth 68.68 vs 41.91；Rope 78.34 vs 79.64 略低。消融（Table 7）：关键点 3→15 把 Arm IoU 从 77.00 提到 83.51；D 从 128→192、L 从 2→3 反降至 68.78、70.95，存在最优容量阈值。

**Table 1**: Results of WorldString rigid shape reconstruction.

**Table 2**: Performance on Articulated Objects.

**Table 3**: Performance on Skinning-based Humans and Animals.

**Table 5**: Performance on Soft Objects.

**Table 6**: Quantitative in-silico gap study evaluating the impact of sensor noise.

**Table 7**: Ablation Study on Robot Arm.

**Figure 7**: Qualitative comparison of geometric fidelity between WorldString and a Gaussian Splatting-based approach (Dr. Robot) on articulated object reconstruction.

**Figure 8**: Qualitative error-map comparison between HALO and WorldString on hand reconstruction.

**Figure 9**: Qualitative visualization of structural completion in our gap study.

**Figure 10**: Visualization of WorldString's robust predictions on real-world cloth sequences.

**Figure 11**: Interpretability of WorldString's latent representation.

查看结构化数据

任务	指标	本文	基线	提升
Articulated Robot 1 Hand (Xhand)	IoU	90.28	Dr. Robot 28.53 / Optim. NN 73.41	+16.87 / +61.75
Articulated Robot 2 Arm (Airbot)	IoU	77.00	Dr. Robot 57.43 / Optim. NN 47.25	+19.57 / +29.75
Articulated Furniture 21 (IKEA)	F1	94.83	Optim. NN 46.65 / NN 85.16	+48.18 / +9.67
Articulated Furniture 09 (IKEA)	IoU	88.98	Optim. NN 38.18 / Dr. Robot 35.84	+50.80 / +53.14
Skinning Male body	IoU	83.47	NSDP 67.41 / Optim. NN 55.64	+16.06 / +27.83
Skinning Female body	IoU	87.83	NSDP 70.13 / Optim. NN 60.35	+17.70 / +27.48
Skinning Horse (SMAL)	IoU	90.54	NSDP 76.25 / Optim. NN 74.85	+14.29 / +15.69
Skinning Hippo (SMAL)	IoU	92.40	NSDP 86.82 / Optim. NN 79.33	+5.58 / +13.07
Hand skeleton	IoU	96.24	HALO 96.62	-0.38 (几乎持平)
Soft Doll	F1	90.59	Optim. NN 75.22 / NN 59.78	+15.37 / +30.81
Soft Cloth	IoU	68.68	Optim. NN 41.91 / NN 46.80	+26.77 / +21.88
Soft Rope	F1	87.85	Optim. NN 88.65	-0.80 (短绳略低)
Rigid Stanford Bunny	IoU	75.38	无直接基线（几何重建基准）	高保真重建
Sim-to-Real Gap Study (Arm)	F1	75.15 (Sim-Sensor) vs 87.01 (Sim-GT)	同一模型两版本对比	传感器噪声导致 -11.86

局限与改进

作者明确指出的局限有两点：其一，模型对任意新对象需重训 canonical embedding 与关键点，缺乏零样本/少样本泛化能力，目前仍属 per-object 模型；其二，sim-to-real gap 在 Sim-Sensor vs Sim-GT 消融中被部分弥合（IoU 77.00 vs 60.20），但真实 RGB-D 噪声与空洞仍是性能天花板，对细长结构（如机械臂指节）易引入系统误差。观察还有三处可改进：推理需密集查询整张 voxel grid，分辨率 512 时计算量随体积三次方增长，难以实时；关键点选择依赖 FPS，对拓扑复杂物体可能漏掉功能关键位置；cross-attention 在 K=3 时对刚性部件表现良好，但 K 极大时 softmax 稀疏性可能弱化物理一致性。论文未深入讨论对未训练物体类别的迁移能力，也未与最新 SOTA 神经仿真器（Spring-Mass、Diffusion-based 物理生成）横向对比。

独立分析的弱点

独立分析下，WorldString 有四个值得关注的弱点。第一，关键点选取完全由 Farthest Point Sampling 驱动，没有纳入语义或功能先验，对铰接关节这种运动学天然边界的位置可能放置不合理；改进方向是引入结合可微运动学发现的层级式关键点采样。第二，voxel grid 的固定分辨率 512 难以适应薄壁大场景对象，输出几何对薄结构（如刀片、桌腿）易出现锯齿；可参考 mip-NeRF 式的多分辨率 hash 编码或稀疏 voxel 表示。第三，三段 Transformer 串联虽然性能强劲但延迟不可忽视，缺少对 mobile/edge 部署的轻量化设计；可考虑 linear attention 或蒸馏到单段 MLP。第四，训练目标仅用 BCE 占据损失，缺少对表面法向、对称性等几何先验的显式约束；增加 Eikonal loss 或 Chamfer loss 可能进一步提升细节质量。

未来方向

作者在结论中明示了三个未来方向：(1) 探索 WorldString 与 RL/IL 策略学习的端到端耦合，因为模型完全可微，可作为可微物理引擎插入策略网络；(2) 拓展到多对象交互场景，让多个 WorldString 实例通过外部力学耦合做联合仿真，构建对象社会；(3) 进一步压缩模型以支持实时控制。基于现有成果可延伸的方向还包括：与神经辐射场结合做占据+外观联合预测（即 NeRF + WorldString）、用 diffusion model 在关键点空间做生成式状态采样以支持反规划、把 WorldString 嵌入到 VLA 模型（如 $\pi_0$、OpenVLA）作为世界模型组件、以及将 interpretability 实验中发现的部件专精 token 用于显式对象分割或多部件编辑。

复现评估

复现评估上，论文项目页 worldstring-iei.github.io 提供官方代码与视频样例，主要超参与训练配置在正文中给出（默认 $L=2$ 层、$D=128$ 维、$R=512$ 分辨率、$K=3$ 关键点/部件，Adam 优化器，BCE 损失）。真实数据采集 pipeline 依赖 Grounded-SAM2、CoTracker、TRELLIS、RoMa 四个第三方大模型，复现难度中等偏高——尤其是 TRELLIS 重建 canonical mesh 对 GPU 显存要求较高。仿真环境基于 PyBullet，铰接对象 URDF 可从公开机器人模型库获取，人体/动物蒙皮数据集作者并未公开标注，Furniture 数据集亦需自行采集。整体而言算法层面易复现，但端到端 pipeline 涉及多模型串联与真实数据采集，工程门槛较高；建议从仿真数据（Sim-GT）入手先验证算法核心，再接入真实 RGB-D pipeline 评估 sim-to-real gap。

可动作世界表征：以统一Transformer学习铰接、蒙皮与软体对象的神经数字孪生 Actionable World Representation