ArtHOI：从视频先验进行4D重建实现关节式人-物交互合成

首个零样本框架：从单目视频重建4D场景，合成物理合理的关节式人-物交互

前置知识

关节式物体（Articulated Object）

由多个刚性部件通过关节连接组成的物体，如门（门框+门板通过铰链连接）、抽屉（柜体+抽屉通过滑轨连接）、微波炉（机身+门通过铰链连接）。与刚性物体不同，关节式物体的各部件可以相对独立运动，运动受关节约束（如铰链只能旋转、滑轨只能平移）。这种结构使得交互合成更加复杂，因为需要同时建模物体部件的运动学和人与物体的接触关系。

本文的核心目标就是处理关节式物体的交互合成，理解这种物体结构是理解论文动机和方法的前提

3D高斯溅射（3D Gaussian Splatting）

一种新兴的3D场景表示方法，用大量3D高斯函数来表示场景。每个高斯有位置、协方差（形状）、颜色和不透明度等属性。通过可微分渲染（将3D高斯投影到2D图像），可以端到端优化这些属性来重建3D场景。相比NeRF，它渲染速度更快且支持显式几何操作，因此本文用它来同时表示人体和物体。

ArtHOI用3D高斯表示人体和物体，通过可微分渲染将2D视频监督转化为3D参数优化，这是整个逆渲染框架的技术基础

SMPL-X人体模型

一个参数化人体模型，用形状参数 $\beta \in \mathbb{R}^{10}$ 控制体型、姿态参数 $\psi(t) \in \mathbb{R}^{J \times 3}$ 控制各关节旋转、平移参数 $\tau(t) \in \mathbb{R}^{3}$ 控制全局位置来表示完整的人体形态。它包含了手部和面部的精细建模，适合建模手与物体的交互。给定一组参数，可以输出对应的3D人体网格。

ArtHOI在Stage II中通过优化SMPL-X参数来合成人体运动，同时利用手部关节位置来定义与物体的接触目标

光流（Optical Flow）

图像中每个像素在相邻帧之间的2D位移向量场，描述了像素在时间维度上的运动信息。光流可以通过点跟踪网络（如CoTracker）从视频中估计得到。在本文中，光流被用作关键的几何线索：运动幅度大的区域对应物体的活动部分（如门板），运动幅度小的区域对应静态部分（如门框）。

光流是本文Flow-based Part Segmentation的核心输入，用于在没有3D标注的情况下识别物体的活动部件和静态部件

逆渲染（Inverse Rendering）

与正向渲染（从3D场景生成2D图像）相反，逆渲染是从2D观测（如图像或视频）推断3D场景的几何、外观和运动参数。在本文中，将扩散模型生成的2D视频视为观测，通过最小化渲染图像与视频之间的差异来优化3D高斯参数和运动参数，从而重建出4D场景。

这是ArtHOI的核心范式——不直接生成3D交互，而是把2D视频当作监督信号，通过逆渲染重建4D场景，从而注入几何先验

研究动机

现有零样本方法在处理人-物交互合成时存在根本性局限。以ZeroHSI为代表的方法将所有物体视为刚性实体，只能处理6D刚性物体操作（如拿起杯子、移动椅子），无法建模部件级关节运动（如打开门、拉开抽屉、打开微波炉）。更关键的是，这些方法通过端到端方式从2D先验生成交互，没有显式的4D几何重建，导致生成的交互物理上不合理、几何上不一致。例如，手可能穿透物体表面，或者物体部件出现不自然的漂移。非零样本方法（如CHOIS、LINGO、TRUMANS）虽然可以处理关节式物体，但需要配对的3D场景和动捕数据进行训练，泛化能力有限。如Table 1所示，目前没有任何现有方法能同时满足：人-物交互、RGB渲染、关节式物体建模、物理约束和零样本泛化这五个能力。

本文的目标是本文的目标是构建首个零样本框架，能够从单目视频先验中合成物理合理的关节式人-物交互。具体来说，给定一个由文本提示通过视频扩散模型生成的视频（如"打开冰箱找东西"），框架需要重建出几何一致、物理合理的4D关节式场景，包括物体部件的精确关节运动和人体与物体的正确接触。框架不应依赖任何3D/4D监督数据，而是将交互合成为4D重建问题，从2D视频中反推出3D信息。

与已有工作不同的是，本文的独特切入点在于：将交互合成问题重新定义为4D重建问题。现有方法试图直接生成3D交互（end-to-end generation），但这种方法在单目设置下存在根本性的运动歧义——图像中的运动到底来自人体移动、物体关节运动还是两者组合，无法区分。本文的洞察是：与其直接生成，不如先用扩散模型生成2D视频作为先验，然后通过逆渲染从这个视频中重建4D场景。这种"生成-重建"范式将显式的几何和运动学先验注入到单目动力学中，通过结构化约束而非数据驱动启发式来消解运动歧义。此外，本文发现光流是识别物体活动部件最可靠的信号——静态区域（如门框）帧间位移近零，活动区域（如门板）随人体运动——这一观察使得无监督部件分割成为可能。

核心方法

ArtHOI的方法可以用一个类比来理解：想象你在看一段视频，有人在打开冰箱。你的大脑自然地理解：冰箱门是活动的，冰箱主体是固定的，人的手抓住了门把手。ArtHOI试图让机器也具备这种能力，但它只能看到2D视频，没有3D信息。方法的核心思路是"先解剖再建模"：首先利用光流将物体分解为活动部件和静态部件（就像把冰箱分为门和箱体），然后用逆渲染分别重建它们的3D几何和运动。技术路线分为两阶段：Stage I专注于物体关节运动重建——确定哪些高斯属于活动部件，哪些属于静态部件，然后优化活动部件的SE(3)变换 $T_d(t) = [R_d(t), t_d(t)]$；Stage II在此基础上优化人体运动——用SMPL-X参数 $\theta(t)$ 驱动人体高斯，确保手部与物体正确接触。这种解耦设计避免了联合优化中人体和物体梯度互相干扰的问题。

ArtHOI最本质的创新是两个设计：第一，基于光流的部件分割（Flow-based Part Segmentation）。现有方法要么需要物体模板，要么需要多视角输入来识别活动部件，而本文观察到光流是单目设置下最可靠的几何信号。通过点跟踪网络估计光流，将运动幅度大于阈值 $\tau_f$ 的区域标记为活动部分，小于阈值的标记为静态部分。然后用SAM生成精确的边界掩码，并通过反投影将2D掩码映射到3D高斯空间。还引入了"准静态绑定"（Quasi-static Binding）来处理铰链点——这些点属于活动区域但运动很小（旋转而非平移），通过距离约束将它们与最近的静态高斯绑定。第二，解耦的两阶段重建。联合优化人体和物体运动会导致梯度冲突：重建损失要求物体跟随视频，接触损失要求手靠近物体，运动学损失要求部件保持刚性约束——这些目标在单目设置下相互耦合。本文的解决方案是先解决物体（Stage I），再优化人体（Stage II）。物体阶段有明确的运动学结构（刚性部件、铰链式运动），人体阶段获得固定的物理参考。这就像先搭建好舞台（物体），再安排演员（人体）。

方法步骤详情

方法完整流程如下：首先，给定文本提示（如"打开冰箱"），使用视频扩散模型KLing生成单目视频 $V = \{I(t)\}_{t=1}^T$。然后进入Stage I：物体关节运动重建。(1) 流动分割：用CoTracker估计视频光流，对物体掩码内的点进行跟踪，根据位移 $\|\Delta p\|_2$ 分类为动态点和静态点。(2) SAM引导掩码：将聚类后的动态/静态点作为提示输入SAM，生成精确的2D二值掩码 $M_d(t)$。(3) 3D反投影：将2D掩码映射到3D高斯，每个像素找到K个最近高斯，通过溅射式累积计算每个高斯的动态/静态得分 $s_d^i$/$s_s^i$，高斯被分配到 $G_d$ 或 $G_s$。(4) 准静态绑定：在动态区域找到运动幅度低于第10百分位的准静态点，与其最近的静态高斯形成绑定对 $E$。(5) 优化：最小化重建损失 $L_{or}$、运动学损失 $L_a$（保持绑定对距离）、跟踪损失 $L_{tr}$（对齐高斯投影与跟踪器输出）和平滑损失 $L_s$，优化活动部件的SE(3)变换 $T_d(t)$。每个迭代200步，学习率 $1.0 \times 10^{-4}$。进入Stage II：人体运动优化。(1) 3D接触关键点推导：识别物体关节活动帧，找到人体掩码与物体轮廓的重叠区域作为接触区域，将SMPL-X手部关节投影到2D，落在接触区域内的关节被保留，然后通过深度信息提升到3D得到接触目标 $K_j(t)$。(2) 优化：最小化重建损失 $L_{hr}$、运动学损失 $L_k$（手部对齐接触目标）、先验损失 $L_p$（正则化到扩散模型估计的姿态）、足部滑动损失 $L_{fs}$、平滑损失 $L_s$ 和碰撞损失 $L_c$（惩罚穿透，阈值 $\delta$）。优化1000步，姿态学习率 $1.0 \times 10^{-3}$。整个流程在单张NVIDIA A6000 GPU上约需30分钟。

技术新颖性

ArtHOI的技术新颖性体现在三个层面。第一，问题定义的范式转变：首次将关节式人-物交互合成为4D重建问题，而非端到端生成问题。这一转变将显式几何推理引入了原本纯数据驱动的框架。第二，流动分割的巧妙应用：虽然光流在3D视觉中被广泛使用，但本文创造性地将其用于识别物体活动部件——无需任何3D标注、物体模板或多视角输入，仅通过运动幅度就能区分门板和门框。准静态绑定更是精细地处理了铰链点这一边界情况。第三，解耦优化策略：与现有方法（如ZeroHSI联合优化人体和物体）不同，本文证明了"先物体后人体"的解耦顺序能显著提升收敛稳定性和结果质量。消融实验显示，联合优化将接触率从75.64%降至61.45%，旋转误差从6.71°升至12.34°。这种设计看似简单，但背后是对单目设置下梯度冲突问题的深刻理解。

**Fig. 1**: ArtHOI从单目视频先验恢复零样本关节式人-物场景几何和动态

实验结果

ArtHOI在多项指标上取得了显著提升，验证了其在关节式人-物交互合成中的优势。在交互质量方面（Table 2），ArtHOI实现了最高的X-CLIP分数0.244（vs. ZeroHSI 0.204, CHOIS 0.111），表明生成的交互与文本描述的语义对齐最好；最低的足部滑动0.31（vs. LINGO 0.43, CHOIS 1.17），说明足部接触更真实；最高的接触率75.64%（vs. ZeroHSI 61.95%, CHOIS 39.72%），证明手与物体的接触更一致；最低的穿透率0.08（vs. ZeroHSI 1.49%），表明物理合理性最佳。值得注意的是，非零样本方法（TRUMANS: 0.84, LINGO: 0.30, CHOIS: 0.64）的平滑度指标反而更低，但这并非因为运动更稳定，而是因为它们与物体的接触较少（接触率仅29.07%-39.72%），缺少复杂的接触动力学导致运动变化小。在关节物体动力学方面（Table 3），ArtHOI的平均旋转误差仅为6.71°，相比D3D-HOI（25.13°）降低73.3%，相比3DADN（21.17°）降低68.3%。最大旋转误差21.41°（vs. D3D-HOI 57.29°），最小旋转误差0.58°（vs. 3DADN 5.62°），全面提升。在刚体物体上（Table 4），ArtHOI同样表现最佳：足部滑动0.28，接触率76.18%，穿透率0.06%。用户研究（Table 5）涉及51名参与者评估20个交互序列，ArtHOI在所有维度上获得最高偏好率：对比TRUMANS整体偏好98.04%，对比CHOIS 95.28%，对比LINGO 91.51%，对比ZeroHSI 89.42%。

查看结构化数据

任务	指标	本文	基线	提升
关节式人-物交互质量	X-CLIP Score ↑	0.244	ZeroHSI 0.204	+19.6%
关节式人-物交互质量	Contact% ↑	75.64%	ZeroHSI 61.95%	+22.1%
关节式人-物交互质量	Penetration% ↓	0.08	ZeroHSI 1.49	-94.6%
关节式人-物交互质量	Foot Sliding ↓	0.31	ZeroHSI 0.44	-29.5%
关节物体动力学	Rot (mean) ↓	6.71°	D3D-HOI 25.13°	-73.3%
关节物体动力学	Rot (max) ↓	21.41°	D3D-HOI 57.29°	-62.6%
刚体物体交互	Contact% ↑	76.18%	ZeroHSI 70.32%	+8.3%
刚体物体交互	Penetration% ↓	0.06	ZeroHSI 1.52	-96.1%
用户研究	Overall Preference vs ZeroHSI ↑	89.42%	ZeroHSI	用户研究

局限与改进

ArtHOI存在几个明显的局限性。首先，当前实验仅聚焦于单部件关节物体（如门、抽屉、微波炉），这些是层次化关节结构的基本单元，但现实世界中许多物体具有多自由度或更复杂的关节结构（如可折叠椅子、机械臂），方法能否扩展到这些场景尚未验证。其次，光学流跟踪存在失败案例：当物体表面纹理不足或包含镜面反射时，CoTracker无法可靠估计光流，导致流动分割失败并传播到后续的关节预测。第三，长期时间一致性是潜在问题：随着序列变长，关节提取的累积误差可能导致结果逐渐偏离物理合理性。第四，方法假设固定相机，运动相机会引入严重的自我运动与物体关节运动的混合，使得运动学恢复变得更加困难。此外，整个流程约需30分钟，虽然对于离线数据生成可行，但难以支持实时应用。最后，方法依赖于视频扩散模型生成的视频质量，如果生成的视频本身存在物理不合理（如手穿透物体），重建阶段可能无法完全纠正。

独立分析的弱点

基于独立分析，ArtHOI存在以下可改进的弱点。第一，光流分割的鲁棒性问题：在低纹理或高反射表面场景下，光流估计不可靠。改进方向是引入深度估计网络作为补充线索，或使用基于学习的部件分割模型（如点云分割）来替代或增强光流方法。第二，单部件假设的局限：方法目前只能处理单个活动部件，无法处理多自由度物体（如同时旋转和伸展的机械臂）。改进方向是将分割扩展到多层级，构建树状关节结构。第三，接触关键点推导的粗糙性：当前方法仅使用手部关节定义接触，忽略了手指与物体的精细接触（如抓住门把手的指尖位置）。可以引入手部姿态估计模型来获取更精细的接触信息。第四，碰撞损失的简单阈值策略：使用固定的穿透阈值 $\delta$ 可能对不同尺度的物体不适用，且只惩罚穿透而不主动推动物体保持接触。可以引入基于SDF的连续碰撞检测来替代离散阈值。第五，对扩散模型质量的依赖：如果视频扩散模型生成的视频存在物理错误，逆渲染阶段可能无法纠正。可以考虑在优化中引入更强的物理先验（如物理模拟器）来约束结果。

未来方向

基于ArtHOI的成果，可以延伸以下研究方向。第一，扩展到多部件层次化关节物体：将流动分割扩展到树状结构，支持如可折叠家具、机械臂等复杂物体。第二，与物理模拟器集成：在逆渲染过程中引入可微分物理模拟（如MuJoCo、Isaac Gym），使重建的4D场景不仅几何一致，还能满足物理定律（重力、摩擦力、碰撞响应）。第三，实时化：通过预训练关节物体分割网络和快速优化策略，将推理时间从30分钟缩短到秒级，支持交互式应用。第四，扩展到可变形物体：当前方法假设刚性部件，未来可探索软体物体（如布料、绳索）的交互合成。第五，机器人策略学习：利用ArtHOI生成大量物理合理的关节物体交互数据，用于训练机器人操作策略，实现仿真到现实的迁移。第六，多视角扩展：利用多视角扩散模型或NeRF改进4D重建质量，特别是在遮挡严重的交互场景中。

复现评估

ArtHOI的复现条件较为友好。代码和项目页面已公开（https://arthoi.github.io/），为复现提供了基础。数据方面，使用了公开数据集ArtGS（关节物体动态）、Replicate场景、XHumans人体和Trellis物体生成，无需私有数据。算力需求方面，单张NVIDIA A6000 GPU即可运行，约30分钟完成一个场景，这在学术环境中是可接受的。关键依赖包括：PyTorch、Adam优化器、CoTracker（点跟踪）、SAM/SAM2（分割）、SMPL-X（人体模型）、KLing（视频扩散模型）。复现难度主要在于：(1) 需要安装多个预训练模型（CoTracker、SAM、SMPL-X），配置较为繁琐；(2) KLing视频扩散模型的质量直接影响最终结果，如果使用其他扩散模型可能需要重新调整超参数；(3) 流动分割的阈值（$\tau_{fd}=5$像素、$\tau_{fs}=2$像素）和准静态点的百分位选择（第10百分位）可能需要根据具体场景调整。总体而言，具备3D视觉和人体建模经验的研究者应该能够在1-2周内完成复现。

ArtHOI：从视频先验进行4D重建实现关节式人-物交互合成 ArtHOI: Articulated Human-Object Interaction Synthesis by 4D Reconstruction from Video Priors