ArtHOI：驯化基础模型实现单目视频下手-铰接物体交互的四维重建 ArtHOI: Taming Foundation Models for Monocular 4D Reconstruction of Hand-Articulated-Object Interactions

步骤一（Data Preprocessing）：对每个RGB帧$I_i$，用SAM2[54]得到object mask $M_i$和human mask，用Video-Depth-Anything[6]估计metric depth $D_i$并用UniDepthV2[51]恢复camera内参$K$；调用DiffuEraser[30]将人手从视频中擦除，得到仅含物体的inpainted video $\mathcal{V}'=\{I'_i\}$，并对$\mathcal{V}'$重新提取mask $M'_i$和depth $D'_i$。步骤二（Canonical Mesh Construction）：选取canonical帧$I'_c$对应的物体图像$I'^c_o$，送入HunYuan3D[26]生成normalized mesh $G_o$。然后执行ASR算法（Algorithm 1）：先调用COARSESCALEESTIMATION——将$D'^c_o$反投影到3D并对normalized mesh做bbox，得到粗scale $s_o^{coarse}$；进入主循环$j=1\dots J$（$J=20$），若$j_{best}<2$则把采样区间$\delta$加倍，从$\mathcal{U}(-\delta, \delta)$采样$\hat{s}_o^c=s_o^{coarse}\cdot\hat{s}$，用FoundationPose[61]对$\hat{s}_o^c G_o$求pose $\hat{T}_o^c$，渲染silhouette $\hat{M}_o^c$并与$M'^c_o$求IoU；保留IoU最高的$(\hat{s}_o^c,\hat{T}_o^c)$，得到metric scaled canonical mesh $G_o^c$。步骤三（Part-wise Motion）：用PartField[36]对$G_o^c$做部件分组，得到$K$个部件。在inpainted video上对每个部件$p_k$采样$Q$个像素，用CoTracker3[23]追踪得到2D轨迹和可见性指标$v^i_{k,q}$，再用$D'_i$反投影为3D轨迹$z^i_{k,q}$。优化每帧的SE(3) $T^i_{p_k}$，最小化tracking loss $\mathcal{L}_{track}=\sum_{j\in S}\sum_{q\in W^i_{k,j}}\|z^j_{k,q}-(T^i_{p_k})^{-1}T^j_{p_k}z^i_{k,q}\|$和smoothness loss $\mathcal{L}_{smooth}=\sum_{i=2}^{N-1}\|\Delta^2 T^i_{p_k}\|^2$，其中$\Delta^2$是二阶时间差分，权重$\lambda_{smooth}=0.01$，500次迭代/帧，Adam优化器，学习率0.02→0.002线性衰减。步骤四（HOI Alignment）：用WiLoR[52]估计每帧MANO参数$(\theta^i_h, T^i_h, \beta_h)$，并对缺失/不可靠帧做SLERP插值。设计三阶段MLLM提示让Qwen-VL-Max[2]输出接触集$\mathcal{C}$和接触指节集$Y_i$，接触loss为$\mathcal{L}_{contact}=\sum_{i\in\mathcal{C}}\sum_{v_t\in T_i}\min_{v_o\in G^i_o}\|v_o-v_t\|^2$。优化分两阶段：第一阶段只优化$s_o^c$使物体对齐到手的metric scale，第二阶段固定$s_o^c$联合优化$\theta^i_h$和$T^i_h$；正则项$\mathcal{L}_{reg}=\lambda_{acc}\|\Delta^2 T^i_h\|^2+\lambda_\theta\sum_i\|\theta^i_h-\theta^{init}_h\|_1$（$\lambda_{acc}=1, \lambda_\theta=50$），总loss为$\mathcal{L}_{hoi}=\mathcal{L}_{contact}+\mathcal{L}_{reg}$，800次迭代。

技术上本文有三点新颖性：(1) ASR算法把HunYuan3D生成的normalized mesh与noisy depth、FoundationPose pose通过silhouette IoU反馈搜索metric scale，自适应扩展采样区间，这比直接用FoundationPose（受限于mesh-depth不一致而IoU仅0.820、SR仅60%）或Any6D（IoU 0.876、SR仅57-78%）都更稳定，三组数据上IoU均提升至0.882以上且SR稳定在100%。(2) MLLM被用作'接触标签生成器'而非'3D坐标回归器'：通过perspective→hand mapping→frame-wise contact三阶段结构化提示，把视觉混淆、左右手镜像、深度不连续等难点逐一约束，使in-the-wild视频接触准确率从mask-intersection heuristic的76%提升到87%，FP从23%降到10%。(3) 在单目设置下联合优化手部MANO参数和铰接物体scale是首创，把Co2从0.972（未对齐）降到0.029，几乎消除了穿模并稳定了接触。

独立分析主要有四点可改进之处：(1) ASR算法的搜索空间目前是1D标量+6D pose的笛卡尔直积，没有利用CAD-aware的形状对称性先验（如对称物体的180°/360°等价pose），可以引入pose symmetry group prior进一步减少搜索步数；(2) Part-wise motion的tracking loss只在两帧之间pairwise构造，没有用全局bundle adjustment思想同时考虑所有$N$帧的循环一致性（loop closure），长序列容易累积漂移，可以借鉴SLAM中的pose graph优化；(3) MLLM接触推理的提示虽然是三阶段，但每阶段是独立调用MLLM，没有让模型记忆上下文，可以探索是否把perspective/hand mapping/contact reasoning融合为单次多轮对话以减少API调用次数和幻觉；(4) WiLoR手部重建对剧烈运动和手-物体严重相互遮挡仍然fail（SLERP插值只是平滑而不是预测），可以引入HaMeR等更鲁棒的hand mesh recovery或在pipeline中检测WiLoR的confidence score并对低置信帧重新调用WiLoR或直接由HOI对齐loss反向优化手部形状。

未来方向有三类：(A) 作者层面可延伸的：将MLLM的接触推理扩展到'操作意图'和'下一步动作预测'，结合physical world model (PhysWorld)生成可执行的机器人演示；把pipeline拆分为online版本（streaming inference），让用户在AR/VR中实时观察自己手操作物体的4D重建。(B) 基于本成果可延伸的：把单目RGB扩展到多目RGB或RGB+LiDAR，进一步提升depth精度；引入neural radiance field或3D Gaussian Splatting替换HunYuan3D生成的mesh以提高细节保真度；将MLLM替换为video-native的多模态大模型（Gemini 2.5、Qwen2-VL）以获得更强的时序推理能力，进一步降低FP。(C) 跨领域应用：将4D HOI重建接入imitation learning框架（参考Being-H0.5的跨embodiment泛化），让机器人通过观看互联网视频学会操作新的铰接物体；构建HOI-aware的3D scene graph用于AR内容生成和人机协作。

复现难度中等偏低。代码层面，作者在项目页https://arthoi-reconstruction.github.io承诺开源（论文未明确日期），但所有依赖的基础模型（Video-Depth-Anything、UniDepthV2、SAM2、DiffuEraser、HunYuan3D、FoundationPose、CoTracker3、PartField、WiLoR、Qwen-VL-Max）均为公开发布模型，权重可下载；算法流程描述详细（Algorithm 1给出了ASR伪代码，公式1-6给出loss定义），超参数全部报告（ASR $J=20, \delta=0.03$；part motion 500 iter/frame，$\lambda_{match}=1.0, \lambda_{smooth}=0.01$；HOI alignment 800 iter，$\lambda_{contact}=1, \lambda_{acc}=1, \lambda_\theta=50.0$）。算力需求是单张NVIDIA A6000 GPU、约1小时处理100帧960×540视频，实验可重复性高。数据层面，作者新发布的ArtHOI-RGBD（5段RealSense视频）和ArtHOI-Wild（8段互联网视频）以及基于Viser[70]的3D标注工具均将开源，RSRD和ARCTIC是公开benchmark。最大的隐性门槛在于：(i) Qwen-VL-Max需要API访问，调用成本和时间不确定；(ii) HunYuan3D对单张图像生成3D mesh的随机性可能导致canonical mesh每次重建略有不同，需要固定seed；(iii) 标注的接触状态和手指标签依赖人工复核，跨实验者一致性需额外验证。