EgoXperience：从人类经验中学习世界对齐的自我中心表征 EgoXperience: Learning World-Grounded Egocentric Representations from Human Experience
自动标注引擎+50小时数据+单次前馈模型，在共享米制世界系联合重建相机、深度、双手与物体位姿。
前置知识
自我中心视觉（Egocentric Vision）
指由佩戴在人头部的相机（本文用 HOMIE Gen2 头戴设备）拍摄的第一人称视频。相机随头部快速转动，画面里频繁出现运动模糊与手对物体的遮挡，观察者自身还在房间之间移动。与固定机位不同，图像位置的变化同时混合了相机运动与物体自身运动两种因素，这使得从自我中心视频恢复几何远比普通第三人称视频困难。
本文的问题设定、数据采集方式（头戴 rig）与全部评测基准（HOT3D、H2O、HOI4D 等）都建立在自我中心成像特点之上，不理解"谁在动"这一核心歧义，就无法理解为什么需要联合重建与几何对齐的标注。
MANO 手部参数模型
MANO 是业界标准的参数化三维手网格模型：输入 15 个关节的轴角旋转与若干形状系数，即可输出含 778 个顶点的逼真手网格，左右手各回归一套参数。回归 MANO 参数等价于恢复手的姿态与几何，且形状参数可跨帧共享以保持手型一致，姿态则逐帧独立估计。
EgoX 的手部输出就是双手 MANO 状态；训练中的测地旋转损失、形状 Smooth L1 损失与评测指标 MPJPE 全部作用在 MANO 关键点上，不懂 MANO 就读不懂方法与实验两章。
SLAM 与世界坐标系
SLAM（同步定位与建图）从相机视频流中增量估计相机轨迹。本文用 HOMIE Gen2 的四个标定鱼眼相机做 SLAM 得到每帧位姿，并把所有单帧坐标系下的估计统一变换到以首帧相机为原点的会话级世界坐标系 $W$，使相机、场景、手、物体的标注共享同一个米制参考系。
论文标题中的 world-grounded 即指此：EgoX-Engine 靠 SLAM 轨迹完成标注的世界对齐，EgoX 模型则直接在世界系 $W$ 中预测输出，SLAM 是理解"对齐"二字的关键。
6-DoF 物体位姿
刚体在三维空间中的完整状态由旋转 $R\in SO(3)$ 与平移 $t\in\mathbb{R}^3$ 描述，共 6 个自由度。传统方法通常需要物体 CAD 模型或参考图，通过渲染对比（render & compare）等优化策略求解；ADD、ADD-S 与 AUC-S50 是该任务的标准指标，分别衡量平均距离与对称感知距离。
EgoX 的重要输出之一是被操作物体的逐帧 6-DoF 轨迹，与 FoundationPose、Any6D 等专家模型直接对比，且只需首帧掩码、无需 CAD，这是本文卖点之一。
前馈几何基础模型（DUSt3R/VGGT 一脉）
以 DUSt3R、VGGT、CUT3R、VGGT-Ω 为代表的模型把多视图几何从"逐对匹配+优化"改写为 Transformer 回归问题：一次前向直接输出相机内外参与逐像素点图/深度，无需事后 Bundle Adjustment。VGGT-Ω 进一步用紧凑的场景寄存器 token 降低帧间注意力开销。
EgoX 的骨干正是这条路线的延伸——共享 Transformer、相机/实体 token、寄存器块，其稠密损失也继承自 VGGT-Ω；理解该脉络才能看懂架构设计与主要对比对象。
评测指标：MPJPE / AbsRel / nATE
MPJPE 是手部关键点平均误差（mm）：PA- 版本先做刚体对齐只看姿态，W- 版本在世界系直接度量（同时考察相机与手），WA- 是 Wan/World 对齐变体。AbsRel 是深度相对误差，$\delta_{1.25}$ 为预测深度落在真值 1.25 倍以内的像素占比；nATE 与 RRE 分别度量归一化相机轨迹平移误差与相对旋转误差（度）。
全部实验结论都由这些指标表达；分清 PA/W/WA 与"相机系 vs 世界系"的评测口径，是读懂 Table 3–5 并判断提升来源的前提。
研究动机
从自我中心视频重建人类活动，本质上是要求观察者运动、场景几何与手-物交互在同一个世界里自洽，但现有方法大多只恢复其中一个子集：VGGT-Ω、DA3 Nested 等几何模型只输出相机与深度；HaWoR、WiLoR、MINT、ReViV 等只处理手（或再加相机）；FoundationPose、Any6D 等只做物体位姿。把不同方法的输出拼接起来，必须调和彼此不一致的尺度与坐标系，难以直接服务具身智能下游。而训练统一模型需要相机、场景、手、物体四者联合标注的数据：自我中心视频中频繁的手物遮挡、快速头部运动和运动模糊使标注本身极其困难。现有数据集要么规模太小（H2O 1.1 小时、ARCTIC 2.2 小时、HO-Cap 0.7 小时、HOT3D 13.9 小时），要么依赖标定多相机穹顶或动捕系统，部署与标定成本高、难以跨真实环境规模化；EgoDex（829 小时）、EgoVerse（1362 小时）等大语料虽大，却几乎没有对齐的几何标注；且没有任何数据集同时覆盖单区域操作、跨房间交互与户外移动三种采集设置。
本文的目标是本文的目标是建立"采集—自动标注—统一建模—基准评测"的全栈范式 EgoXperience，把世界对齐的自我中心重建做成可规模化的闭环。具体拆成四件事：其一，构建自动标注引擎 EgoX-Engine，用 SLAM 世界对齐加深度验证的物体跟踪替代昂贵的动捕基础设施，自动产出相机、场景、双手、物体四类几何一致的标注；其二，以任务脚本驱动采集，构建 50 小时、约 540 万帧、101 个刚体物体、270 个任务脚本的 EgoX-Data-6M，覆盖工作台操作、跨房间交互与户外移动操作，并附秒级任务字幕；其三，训练前馈模型 EgoX，输入单目自我中心视频与首帧物体掩码，单次前向联合输出相机内外参、稠密深度、双手 MANO 与物体 6-DoF，全部位于以首帧相机为原点的共享米制世界系；其四，从数据中留出质量受控的 1 小时作为 EgoX-Bench，对四个重建分量做统一联合评测。
与已有工作不同的是，本文的独特切入有三点。第一，标注范式反转：不追求"采集现场装动捕"，而是"先扫描物体、后自动跟踪验证"——物体网格事先在 31 相机穹顶批量扫描，自我中心录制时仅用首帧掩码触发 FoundationPose 跟踪，再以观测深度做几何验证作为质检门槛，SLAM 轨迹负责世界对齐；昂贵环节从"每个采集场地"转移到"每个物体一次"，成本结构完全不同。第二，问题范围：首次把被操作物体的运动纳入与相机、深度、双手同一条单目前馈管线，补齐 MINT、ReViV 等"手+相机"方法留下的空缺，也是首个把户外移动操作纳入联合重建训练的数据。第三，监督设计：提出几何耦合损失，手与物体的预测必须经过预测相机变换到世界系后再与真值比对，梯度同时回传实体头与相机头，让"相机准不准"由"手物放得对不对"直接定义——这是以往模块化流水线做不到的。
核心方法
直觉上，手和物体在图像中的位置同时由相机运动与自身运动决定：只有先知道相机在哪，才说得清手物在哪；反过来，手物落点是否合理又检验相机估计。EgoX 据此采用"共享表征 + 显式组合"设计。技术路线：DINOv3 ViT-L/16 提取图像块特征，为每个视图附加一个相机 token、左右手共 18 个手 token、$N$ 个带首帧掩码描述子的物体 token 和一个尺度 token；24 层、隐维 1024 的 Transformer 中，19 个全局块做全 token 跨视图注意力，5 个寄存器块只在紧凑的寄存器/实体 token 间交互以降耗。解码时相机头输出内外参 $(\hat{K}_t,\hat{R}_t,\hat{\tau}_t)$，深度头输出逐像素深度，手/物体头输出 MANO 状态与物体旋转；实体经 $\mathbf{U}_t(\tilde{u},z)=\hat{R}_t^{\top}\left(z\hat{K}_t^{-1}\tilde{u}-\hat{\tau}_t\right)$ 反投影进以首帧相机为原点的世界系 $W$，再由共享 ScaleHead 的序列级正尺度因子 $\hat{s}$ 统一缩放：$\hat{p}_W=\hat{s}\,\mathbf{U}_t(\tilde{u},z)$，单次前向即得米制一致的相机、深度、双手与物体。
核心创新是把"世界对齐"从流水线后处理变成可学习的前向组合。以往方案把相机估计与实体估计交给独立模块——如 HaWoR 用 WiLoR 加 DROID-SLAM 再做尺度对齐，FoundationPose 输出相机系位姿后再配轨迹——误差在拼接处叠加且互不校正。EgoX 在单一 Transformer 中同时回归相机与实体，并用同一公式把实体变换到世界系：世界系手部关键点由 $\hat{J}^{m}_t=\hat{J}^{m,\mathrm{rel}}_t+\hat{s}\hat{w}^{n}_t$ 合成，其中腕部位置 $\hat{w}$ 本身依赖相机估计；物体旋转以首帧朝向为参考。训练时几何耦合监督 $\mathcal{L}_{coupled}$ 作用在组合后的世界系手物几何上：预测经预测相机变换后与真值比对，梯度穿过相机变换回传，同时修正实体头与相机头。本质区别在于：相机的监督信号不再只来自轨迹真值，还来自"手和物体是否被放到正确的世界位置"，四个重建任务被损失结构物理性地绑在一起。
方法步骤详情
方法分数据引擎、训练、推理三步。第一步 EgoX-Engine 标注：物体建模用 31 相机标定穹顶扫描，SAM 3 提取掩码，MV-SAM3D 重建网格，穹顶内 AprilTag 板提供米制尺度；采集用 HOMIE Gen2 头戴设备，前双目输出米制深度，四个鱼眼相机经 SLAM 得到相机轨迹并定义会话坐标系。标注物体时以首帧掩码锁定目标、指定交互区间，用掩码 RGB 与立体深度估计预扫描模型的初始位姿，FoundationPose 跟踪出相机系 6-DoF 序列，再与观测深度做轮廓/深度一致性验证：通过则经 SLAM 轨迹变换到会话系提交，失败则复用上一可信位姿；手部由双目三角化得关键点，约束 MANO 拟合并加重投影、深度与时间项，形状参数跨帧共享。第二步训练：EgoX-Data-6M 与 HOT3D、HOI4D、H2O、HO-Cap、H2O-3D、DexYCB 统一坐标与尺度约定，合计约 280 小时；先混合真实+合成，再在真实交互源上等比继续；每样本采样 $T\in\{1,\dots,24\}$ 帧，按 $\mathcal{L}=\mathcal{L}_{local}+\mathcal{L}_{dense}+\mathcal{L}_{coupled}+\mathcal{L}_{scale}$ 在可用标注上选择性施加。第三步推理：单目视频加首帧掩码，单次前向输出全部结果。
技术新颖性
新颖性有四层。架构上，EgoX 把 VGGT-Ω 的寄存器降耗思想与实体 token 机制结合：19 层全局注意力负责跨帧几何一致性，5 层寄存器块维护手、物体等实体状态；物体 token 用首帧掩码描述子跨视图关联同一实例，推理时不需要逐帧掩码，优于 Any6D、GigaPose+MegaPose 等需要逐帧掩码的管线。表示上，深度、相机平移、腕部位置、物体原点共享同一个由预测相机定义的世界系组合公式与同一序列级尺度 $\hat{s}$，结构上抑制了模块化方案常见的尺度漂移与坐标系冲突。监督上，除几何耦合损失外，物体旋转采用对称感知损失 $d_{sym}(A,B)=\min_{G\in S_r} d(A,BG)$（$S_r$ 为该物体参考朝向下的对称群），首帧参考朝向则直接监督到单位旋转，化解对称物体旋转的多解问题；缺失标注不算负样本，使部分标注数据集可同场训练。数据上，"扫描-跟踪-验证"闭环以深度一致性为质检门槛，绕开动捕系统，产出首个同时具备跨房间与户外场景、且相机/深度/手/物体标注齐全的公开自我中心数据集（Table 1 中唯一在所有标注列全部打勾者）。
实验结果
在 HOT3D、EgoX-Bench、HOI4D、H2O 四基准、统一 150 帧片段、不给真值相机/尺度的协议下，EgoX 在手、物体、深度全部指标第一。手部（Table 3）：HOT3D 上 W-MPJPE 由 HaWoR 的 56.30mm 降至 38.89mm；EgoX-Bench 上由 WiLoR+SLAM 的 328.81mm 降至 113.24mm（降 65.6%）；HOI4D 42.67mm、H2O 23.95mm。物体 6-DoF（Table 4）：AUC-S50 四榜第一——HOT3D 73.71 对 GigaPose+MegaPose 57.59（+28.0%，对方还需 CAD 与逐帧掩码）、EgoX-Bench 76.59、HOI4D 59.08 对 Any6D 34.61、H2O 80.42。相机与深度（Table 5）：HOI4D nATE 0.0066 对 VGGT-Ω 0.0212（降 68.9%）；深度 AbsRel 四榜全最低，EgoX-Bench 0.0460 对 VGGT-Ω 0.0806（降 42.9%）、对 ReViV 0.3972，$\delta_{1.25}$ 达 97.37%。消融（Table 6/7）：即便给 oracle 尺度，去掉 ScaleHead 后 W-MPJPE 升至 40.67mm、AUC-S50 跌至 60.87；去掉 DepthHead 后恶化至 67.53mm/41.09，说明共享尺度与显式深度都经联合监督反哺手物估计。效率（Table 8）：150 帧 14.6 秒（10.28 FPS），Any6D 需 166.54 秒。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 世界系手部重建（HOT3D） | W-MPJPE (mm) ↓ | 38.89 | 56.30（HaWoR） | 降低 30.9% |
| 世界系手部重建（EgoX-Bench） | W-MPJPE (mm) ↓ | 113.24 | 328.81（WiLoR+SLAM） | 降低 65.6% |
| 相机系物体位姿（HOT3D） | AUC-S50 (%) ↑ | 73.71 | 57.59（GigaPose+MegaPose） | 提升 28.0% |
| 相机系物体位姿（EgoX-Bench） | AUC-S50 (%) ↑ | 76.59 | 59.80（GigaPose+MegaPose） | 提升 28.1% |
| 相机系物体位姿（HOI4D） | AUC-S50 (%) ↑ | 59.08 | 34.61（Any6D，含估计深度/内参/逐帧掩码） | 提升 70.7% |
| 相机轨迹估计（HOI4D） | nATE ↓ | 0.0066 | 0.0212（VGGT-Ω） | 降低 68.9% |
| 米制深度估计（EgoX-Bench） | AbsRel ↓ / δ1.25 (%) ↑ | 0.0460 / 97.37 | 0.0806 / 91.57（VGGT-Ω） | AbsRel 降低 42.9%，δ1.25 提升 5.8 pt |
| 推理效率（150 帧，A800） | FPS ↑ | 10.28（14.60s） | 0.90（Any6D）/ 5.91（HaWoR） | 约为 Any6D 的 11 倍 |
局限与改进
作者承认两点：当前建模假设物体刚体（铰接、可变形物体不在范围内），且只预测物体位姿、不预测物体网格，拿不到训练集之外的新几何。我的补充观察：其一，输入依赖首帧物体掩码，掩码错了整条轨迹都会跟错；其二，EgoX-Engine 的物体标注依赖 FoundationPose 与深度一致性验证，对透明、高反光、弱纹理物体可能大面积失败，数据会系统性偏向"易跟踪"刚体，并传导给模型；其三，EgoX-Bench 与训练集同源（同一 HOMIE Gen2 设备与任务脚本），跨设备、跨环境泛化未验证，自评基准存在同分布偏好；其四，纯相机轨迹上 VGGT-Ω 在 HOT3D（nATE 0.0018 vs 0.0059）与 EgoX-Bench、DA3 Nested 在 H2O 仍占优，说明大范围运动下几何预训练仍有优势；其五，窗口 $T\le 24$ 帧对长时序一致性（物体放下又拿起）如何维持未讨论，模型也无显式时间编码；其六，秒级任务字幕已收集但未用于训练；其七，EgoX-Bench 上 WA-MPJPE 53.81mm 相对 PA 4.64mm 的巨大差距说明全局对齐（相机+尺度）仍是主要误差来源。
独立分析的弱点
弱点一：刚体假设在真实家庭会频繁失效——书、毛巾、食品袋等软/可弯物体既破坏 FoundationPose 的模板跟踪，也违背刚性 6-DoF 输出假设；改进方向是引入类别级或神经场式表示（动态点图、neural atlas），把 6-DoF 推广为逐点轨迹。弱点二：首帧掩码是人工指定的额外条件，真实使用中用户无法"随手拍"；可利用数据中已有的秒级字幕做文本指代目标，训练模型自主锁定目标。弱点三：全序列共享单一尺度 $\hat{s}$，当深度动态范围大（桌面特写切到跨房间远景）时误差被放大，可改为分段或空间变化的尺度场。弱点四：基准中 HOI4D/H2O 是受控桌面、HOT3D 是实验室多相机，真正"跨房间+户外"长序列只有自家 EgoX-Bench，自证较强；应在 Aria Digital Twin、HD-EPIC 等第三方数据补测。弱点五：数据引擎需穹顶扫描每个物体，新物体无法即兴扩展，可用单图 3D 生成网格替代实物扫描作跟踪模板。弱点六：EgoX-Bench 上 WA-MPJPE 53.81mm 距实用门槛（<30mm）有差距，主因是世界系对齐误差，可用测试时 SLAM 融合或更长时序记忆改进。
未来方向
作者明确提出的方向有两个：物体网格预测（从位姿估计升级为完整几何重建）与多视图输入扩展。基于本文成果可自然延伸的方向：其一，用已收集的秒级任务字幕训练几何-语言对齐，实现"按指令定位并重建物体"，服务具身任务规划；其二，把 EgoX 输出的米制世界系手-物轨迹直接作为机器人模仿学习的示范信号，打通"人戴相机演示→机器人策略学习"，这与作者团队 EgoDex、Xperience-10M 的布局一致，数据规模还会继续放大；其三，向可变形/铰接物体扩展，结合 Dynamic Point Maps、D4RT 等逐点跟踪表示；其四，引入 CUT3R 式递归记忆改造为在线/流式版本，服务 AR 实时场景（当前 10.28 FPS 已接近实时门槛）；其五，把 EgoX-Engine 推广为通用标注引擎，去标注 Ego4D、HD-EPIC 等现成大语料，绕过自采数据的规模上限；其六，结合接触与交互力估计（从手物几何推断受力），用于操作技能评估与遥操作验证。
复现评估
复现条件整体友好。开源情况：代码在 GitHub（Ropedia/EgoXperience），数据与模型在 HuggingFace 集合（ropedia-ai/egoxperience2026），含 EgoX-Data-6M、EgoX-Bench 与预训练权重。文档充分：附录 C 给出完整评测协议（四基准统一 150 帧片段、序列级不重叠划分、各基线输入匹配规则、HandFlow 右手镜像协议、VGGT/VGGT-Ω 尺度拟合方式），附录 F 给出架构（24 层、隐维 1024、DINOv3 ViT-L/16 初始化）、全部损失定义、坐标归一化与优化设置（AdamW、warmup+cosine、混合精度、模块级梯度裁剪）。算力：推理单张 A800 即可，150 帧 14.6 秒；训练用约 280 小时数据与 ViT-L 级骨干，论文未披露卡时，估计需多卡 A100 数天。难度分层：用开源数据+代码训练或评测模型属低-中难度；复现数据引擎属高难度——需 HOMIE Gen2 头戴设备、31 相机穹顶与 FoundationPose 部署，普通实验室难以重采数据。总体是开源完整度较好的全栈工作，数据、基准、权重均可直接下载。
论文图表
