InfiniHand：基于第一视角视频的流式世界坐标系手部运动估计 InfiniHand: Streaming World-Space Hand Motion Estimation from Egocentric Video
流式前馈框架联合估计手部MANO参数与相机轨迹，快速重建世界系手部运动
前置知识
MANO 参数化手部模型
业界标准的可微分统计手部模型。它用 15 个关节的轴角姿态 $\Theta\in\mathbb{R}^{15\times3}$、10 维形状参数 $\beta\in\mathbb{R}^{10}$ 与全局朝向 $\Phi$ 作为低维输入，通过线性混合蒙皮解码出带 21 个关节的 3D 手部网格，把非结构化的手部几何压缩成网络易于回归的参数向量。
本文的全部输出目标（姿态、形状、朝向、根平移）都定义在 MANO 空间中，损失函数、坐标变换与世界系重建均围绕它展开，不懂 MANO 无法理解方法设计与评测协议。
自我中心视频与世界坐标系
egocentric video 是头戴设备拍摄的第一人称视频，相机随人头运动。相机坐标系以当前帧相机为原点，世界坐标系是固定参考系，两者由相机参数 $(\hat{K}_t,\hat{R}_t,\hat{u}_t)$（内参、旋转、平移）联系：世界系手部位置等于相机系手部位置经 cam-to-world 变换得到。
论文的核心命题是解耦手怎么动与相机怎么动，世界系误差（W-MPJPE）同时受手部重建与相机轨迹影响，必须先建立两个坐标系的概念才能读懂动机与实验。
SLAM 与漂移
同步定位与建图（SLAM）从视频流递增地估计相机位姿并构建地图：ORB-SLAM2 用稀疏特征跟踪加关键帧回环，DROID-SLAM 用学习特征与可微稠密光束法平差（Bundle Adjustment）。长序列中逐帧误差不断累积，导致相机轨迹整体偏移，即漂移。
现有世界系手部重建方法（HaWoR、WiLoR-SLAM）都级联 SLAM，其漂移与开销正是本文要消除的痛点；文中的稀疏 BA 后端也直接基于 DROID-SLAM 实现。
流式 3D 基础模型与 GCA 记忆
流式重建模型按窗口处理无限长视频并维护持久记忆。本文骨干 LingBot-Map 的几何上下文注意力（GCA）记忆由三部分组成：锚帧特征 $M_{\text{anchor}}$ 提供共享参考系、近期稠密特征窗口 $W_k$ 保留细粒度局部对应、压缩轨迹记忆 $T_k$ 在稠密特征被淘汰后保存历史上下文。
InfiniHand 的相机头、定位头和重建头都从同一 GCA 特征解码，两阶段训练与 4+16×2 窗口布局完全依附这套记忆机制，是理解架构的前提。
评测指标体系
MPJPE 是 3D 关节平均位置误差（mm）；PA-MPJPE 先做 Procrustes 对齐再算误差，衡量纯姿态质量；W-MPJPE 在世界系不做任何对齐，衡量绝对位置；WA-MPJPE 用整段序列共享的一次对齐衡量轨迹保真度。带 -p 后缀（如 PA-p）表示对漏检的手部施加惩罚项。
论文相机系与世界系的全部定量结论都用这些指标表述，且作者刻意把检测惩罚并入几何指标，混淆定义会读错表格含义。
研究动机
现有世界系手部运动估计普遍采用级联流水线：先检测定位手部，再用相机系重建网络（WiLoR、HaMeR 等）回归 MANO 参数，最后靠 DROID-SLAM 加 Metric3D 估计带度量尺度的相机轨迹，HaWoR 就是典型代表。这种拆分带来三类具体问题。第一，误差跨模块传播累积：检测框抖动、SLAM 轨迹漂移、尺度估计不一致层层叠加，直接污染世界系重建质量。第二，多组件协调的计算与工程开销巨大：HaWoR 整条管线只有 5.48 FPS，Dyn-HaMR 的多阶段优化更是低到 0.81 FPS，无法支撑大规模视频的 3D 标注。第三，主流估计器缺乏大规模无约束自我中心数据的预训练，语料普遍不足 1,000 小时，面对复杂双手交互、快速相机运动和野外场景泛化能力差。而快速高保真的世界系手部重建恰是具身学习的瓶颈——野外视频缺少真值 3D 手姿与相机轨迹，无法直接用于世界动作模型训练与人到机器人的运动迁移。
本文的目标是本文目标是构建端到端的流式前馈框架 InfiniHand，从无标定的第一视角视频一次性联合预测双手位置、MANO 参数（姿态 $\hat{\Theta}\in\mathbb{R}^{15\times3}$、形状 $\hat{\beta}\in\mathbb{R}^{10}$）、全局朝向 $\hat{\Phi}^w$、世界系根平移 $\hat{t}^w$，以及相机内外参轨迹 $\hat{P}_t=(\hat{K}_t,\hat{R}_t,\hat{u}_t)$。路线有三：其一，聚合 ARCTIC、HOT3D、EgoDex 等 9 个公开自我中心数据集约 5,000 小时，配套统一清洗管线；其二，两阶段训练——Stage I 学相机系手部先验，Stage II 做流式世界系联合重建，辅以稀疏 BA 修正长程漂移；其三，精度超越 ViDiHand、HaWoR、WiLoR-SLAM 等 SOTA 的同时把吞吐量提到 11.19 FPS（HaWoR 的 2.04 倍），使野外视频的快速 3D 手部标注在工程上可行。
与已有工作不同的是，本文的独特切入是把世界系手部重建从手部网络与 SLAM 的松散拼接，重构为共享时空表示下的紧耦合建模。作者不自己造轮子，而是直接站在流式 3D 基础模型 LingBot-Map 之上：骨干的 GCA 记忆同时服务相机位姿头与手部头，让全局相机运动与局部手部关节在同一几何特征中显式耦合，这是与 HaWoR 事后级联 DROID-SLAM 的本质区别。第二个差异点是数据规模化与系统性清洗：用 Sapiens 2 估计 2D 关键点，与标注 MANO 关节的投影位置交叉比对，按序列 90 分位关节误差过滤，剔除约 30–40% 噪声样本（EgoDex 问题最突出），再把 9 个异构数据源统一成高质量语料。第三个差异点是两阶段课程：先用 4 帧片段在所有相机系标注上打牢手部先验（300k 步），再用 4+16×2 帧窗口在含轨迹子集上联合优化（100k 步），推理时用二值关键帧池驱动的稀疏 BA 修正累积漂移，兼顾精度与效率。
核心方法
直觉上，世界系手部运动等于手在相机系中的姿态乘以相机在世界系中的轨迹，应由共享骨干同时输出。技术上，InfiniHand 以流式 3D 基础模型 LingBot-Map 为骨干：对每个窗口执行 $(F_k, M_k) = B_{\text{GCA}}(I_k, M_{k-1})$，更新几何特征与 GCA 记忆状态，再从 $F_k$ 并行解码相机头 $H_{\text{cam}}$、定位头 $H_{\text{loc}}$ 与重建头 $H_{\text{rec}}$。训练分两阶段：Stage I 用 DPT 掩码头定位左右手，融合几何与 WiLoR 外观特征回归相机系 MANO，经可微最小二乘投影（LSP）恢复横向平移；Stage II 让手部模块与相机头在流式记忆上联合训练，把手部朝向和平移经 $\text{Rot}(\hat{\Phi}^w)=\hat{R}_t\,\text{Rot}(\hat{\Phi}^c)$、$\hat{t}^w=\hat{R}_t\hat{t}^c+\hat{u}_t$ 变换到锚帧世界系；推理时由稀疏 BA 精修相机位姿，前馈手部预测再转入统一世界系。
核心创新有三。第一，持久时空记忆实现手-相机紧耦合：GCA 记忆 $M_k=(M_{\text{anchor}}, W_k, T_k)$ 中，锚帧特征建立共享参考系，16 帧稠密窗口承载局部对应，轨迹 token 保留历史上下文，让相机运动与手部关节联合演化——这与 HaWoR 事后拼接 SLAM 输出的路线有本质区别。第二，双流手中心特征与 LSP 平移求解：几何 adapter 裁剪重嵌骨干 patch 特征，WiLoR 编码器同步处理 RGB 裁剪块，经 $Z_s^t=\text{Conv}_{1\times1}([G_s^t; A_s^t])$ 融合；横向平移不由网络直接回归，而是固定预测深度 $\hat{t}_z^h$，用可微最小二乘投影 $(\hat{t}_x^h,\hat{t}_y^h)=\arg\min_{a,b}\|\pi(\bar{J}^h)-\hat{p}\|_2^2$ 与 2D 地标对齐求解。第三，二值关键帧池的稀疏 BA：池超过容量 $N$ 时每隔 $K$ 帧选帧送 DROID 后端精修，二次选中的老帧退役，兼顾近期密集观测与历史约束，后台执行不阻塞主预测。
方法步骤详情
流程分四步。第一步数据准备：聚合 ARCTIC、HOT3D、EgoDex 等 9 个公开数据集约 5,000 小时，按 10 FPS 采样；缺标注的源用 3D 关键点拟合 MANO 并渲染掩码生成边界框；Sapiens 2 交叉验证 2D 关键点，按序列 90 分位误差剔除 30–40% 噪声数据。第二步 Stage I（300k 步、batch 64）：DPT 掩码头定位左右手（BCE+Dice 损失），框外扩 1.5 倍裁剪至 256×256；几何 adapter 与 WiLoR 编码器特征融合，MANO 头回归 $(\hat{\Theta},\hat{\beta},\hat{\Phi}^h,\hat{t}_z^h)$，LSP 解出横向平移并变换回相机系。第三步 Stage II（100k 步）：4 锚帧加两个 16 帧窗口；真值/预测框 1:1 混训模拟定位噪声；联合损失覆盖相机位姿与视场角、世界系关节、时序一致性、MANO、2D 地标与掩码七类项。第四步推理：双 worker 流水线重叠特征提取与解码，第三 worker 后台跑 DROID BA 精修位姿，用于世界系转换。
技术新颖性
从架构看，这是首个把 MANO 回归、手部定位与相机轨迹估计统一进流式基础模型加持久记忆框架的工作：LingBot-Map 原本面向场景级流式重建，作者复用其 GCA 记忆与 DPT 深度头初始化，嫁接 WiLoR 编码器作为手部外观专家，形成基础模型迁移加任务头组合的新范式。与 ViDiHand 依赖视频扩散先验的重推理路线不同，InfiniHand 是纯前馈的，配合双 worker 窗口流水线（一个处理下一窗口、一个解码上一窗口）与后台 BA worker，把吞吐做到 11.19 FPS；与 Dyn-HaMR 的多阶段优化相反，本文只在相机轨迹上做轻量稀疏优化，手部始终前馈。数据侧的贡献同样新颖：Sapiens 2 交叉验证、序列级 90 分位误差过滤、30–40% 剔除率的清洗管线，以及相机系（4 帧）到世界系（36 帧）的课程式训练，都是可复用的工程方法论。消融实验证明收益来自联合设计而非单点技巧：去掉 Stage II 联合训练，W-MPJPE 从 59.21 恶化到 185.76 mm；去掉 WiLoR 外观特征，MP-p 从 17.09 翻倍到 33.31 mm。
实验结果
相机系评测（Table 1）：PA-p 四基准全部最低——ARCTIC 7.72 mm 较 ViDiHand 9.82 降 21.4%；EgoDex 7.29 对 17.22 降 57.7%，MP-p 16.43 领先 42.33；HOT3D PA-p 11.10 略优，但 MP-p 25.52、FAcc 0.916 落后 ViDiHand。世界系评测（Table 2）：W-MPJPE 三基准全部最低——ARCTIC 59.21 较 WiLoR-SLAM 65.86 降 10.1%，HOT3D 87.37 较 HaWoR 93.70 降 6.8%，EgoDex 28.77 较 Dyn-HaMR 78.41 降 63.3%，WA-MPJPE 也全面领先。效率：11.19 FPS，对 HaWoR 5.48 加速 2.04 倍。消融（Table 3）：去 WiLoR 特征 MP-p 17.09→33.31，去 BA W-MPJPE 59.21→80.48，去 Stage II W-MPJPE 59.21→185.76，换 HaWoR 掩码 PA-p 7.72→25.50。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 相机系手部重建（ARCTIC） | PA-p (mm) | 7.72 | ViDiHand 9.82 | 降低 21.4% |
| 相机系手部重建（EgoDex） | PA-p (mm) | 7.29 | ViDiHand 17.22 | 降低 57.7%；MP-p 16.43 对 42.33 |
| 相机系手部重建（HOI4D） | PA-p (mm) | 12.11 | ViDiHand 13.96 | 降低 13.3% |
| 世界系手部运动（ARCTIC） | W-MPJPE (mm) | 59.21 | WiLoR-SLAM 65.86 | 降低 10.1% |
| 世界系手部运动（HOT3D） | W-MPJPE (mm) | 87.37 | HaWoR 93.70 | 降低 6.8% |
| 世界系手部运动（EgoDex） | W-MPJPE (mm) | 28.77 | Dyn-HaMR 78.41 | 降低 63.3% |
| 推理吞吐量 | FPS | 11.19 | HaWoR 5.48 | 加速 2.04 倍 |
局限与改进
作者在第五节承认三点局限。其一，尺度恢复：LingBot-Map 骨干缺乏固有度量尺度，需要辅助后处理对齐模型，其误差不可避免地传播到预测手部位置与全局轨迹。其二，数据覆盖：含复杂大幅双手交互与剧烈相机动态的高质量自我中心数据仍然稀缺，限制了向快速视角变化、严重遮挡、手部间歇可见等野外场景的泛化。其三，监督质量：单目管线继承的标注带有时变尺度漂移，训练目标在时间上不一致，即使全局尺度对齐后仍损害长序列轨迹精度与平滑度。我补充几点观察：HOT3D 上 MP-p（25.52 对 ViDiHand 21.51）与 FAcc（0.916 对 0.948）仍然落后，多相机工业级采集场景下的定位短板明显；ARCTIC 世界系 W-MPJPE 相对 WiLoR-SLAM 仅改善 10.1%，远小于 EgoDex 的 63.3%，说明对强 SLAM 基线在同分布数据上优势有限；世界系定量评测全部依赖数据集自带相机真值，Ego4D 只有定性展示，缺乏无真值野外场景的量化验证；掩码头是单点故障，其失效会同时拖垮检测与重建。
独立分析的弱点
第一，度量尺度外置是最结构性的弱点：对齐误差直接进入世界系结果，改进方向是把尺度头内置于流式记忆，例如联合预测每窗口尺度因子并用跨窗口一致性正则，或融合 IMU 与重力先验锚定度量尺度。第二，定位与重建在部分数据集此消彼长：HOT3D 的 FAcc 0.916 落后 ViDiHand 的 0.948，说明鱼眼与多相机机架下的掩码质量不足，可引入多视角一致性监督与鱼眼增广。第三，伪标签的时变尺度漂移污染训练目标，可用 BA 重投影残差或多视图一致性作为自监督信号在线校正 MANO 伪标签。第四，掩码头是系统单点：消融显示换成 HaWoR 掩码后 PA-p 恶化逾三倍（7.72→25.50）、FAcc 跌到 0.700，可让重建头接收框不确定度，并把难例权重回传给定位损失。第五，Stage II 依赖有相机真值的数据子集，野外无轨迹视频无法参与世界系监督，可探索测试时自适应或以模型自身伪标注做自蒸馏，把世界系训练扩展到 Ego4D 级别语料。
未来方向
作者提出的方向集中在缓解尺度漂移、扩充复杂双手交互数据与提升野外泛化。顺着成果还可以延伸：其一，手-物联合建模，把物体 6DoF 轨迹与接触约束纳入世界系优化，直接产出操作策略学习所需的交互演示标注；其二，打通到机器人侧的闭环，把 InfiniHand 输出接入人到机器人的运动迁移与世界动作模型训练（论文引言已点名 EgoWAM、R+X 场景），用下游任务收益反向指导数据清洗；其三，流式记忆与稀疏 BA 的协同可进一步面向在线与边缘设备优化，11.19 FPS 已接近实时，量化与蒸馏后有望部署到手机或眼镜端；其四，时变尺度漂移可用滑动窗口尺度校准，或借已知物体尺寸先验联合估计；其五，Sapiens 2 交叉验证加序列 90 分位过滤的清洗范式可推广到全身姿态、物体网格等伪标签任务，形成通用的 ego 数据质检流水线。
复现评估
论文提供项目页 infinihand.github.io，但正文没有明确承诺开源代码与预训练权重，这是复现的第一风险。数据方面基础较好：ARCTIC、HOT3D、EgoDex、DexYCB、HO3D、H2O-3D 均为公开数据集，但 EgoVerse、EgoLive、Xperience-10M 是 2026 年的新资源，申请与许可存在不确定性；清洗还依赖 Sapiens 2 与 WiLoR 等第三方模型权重。算力门槛高：Stage I 300k 步加 Stage II 100k 步、全局 batch 64、全图 378×518、手部裁剪 256×256，论文未披露 GPU 型号与数量，估计需要多卡长时间训练，个人实验室难以完整复现；部分超参（各损失权重 $\lambda$、BA 池容量 $N$ 与采样间隔 $K$ 的具体取值）未完全列明，需代码补充。综合评估：数据可得性中上、细节披露中等、算力要求高，整体复现难度偏大。务实的路径是先只用 ARCTIC 加 HO3D 等小规模子集复现 Stage I，验证掩码头、LSP 与 MANO 损失管线，再评估是否有资源进入 Stage II。
论文图表
首图用真实帧直观对比：输入第一视角图像上并排展示 WiLoR、HaWoR、ViDiHand 与 InfiniHand 的手部重建结果，右侧延伸到世界系重建（HaWoR 与 InfiniHand 对比 Ground Truth）；下方表格归纳各方法在精度、效率、是否支持世界系输出与 ego 数据量（现有方法 <1,000 小时 vs 本文约 5,000 小时）四个维度的定位。
一图讲清论文卖点与差异化定位：更准（精度列）、更快（效率列）、能输出世界系轨迹、且预训练数据规模大一个数量级，帮助读者先建立全局印象。