MobileEgo Anywhere：基于消费级硬件的长时间跨度第一人称数据开放基础设施 MobileEgo Anywhere: Open Infrastructure for long horizon egocentric data on commodity hardware
用普通iPhone Pro+ARKit收集小时级第一人称视频数据集STERA-10M。
前置知识
视觉-语言-动作模型 (Vision-Language-Action, VLA)
将视觉感知、自然语言理解和机器人动作输出集成在单一模型中的端到端架构。它以多模态大语言模型为骨干,通过统一token空间同时处理图像块、语言指令和动作序列,直接输出控制指令。
本文的所有动机都围绕VLA训练数据短缺展开。Zheng等人在EgoScale上发现log-linear scaling law $L = 0.024 - 0.003 \times \ln(D)$,即验证损失 $L$ 与以小时计的数据量 $D$ 之间近似对数线性关系,意味着要把VLA能力再推一档,需要大约一个数量级以上的数据;MobileEgo Anywhere正是为这一数据缺口给出解决方案。
视觉-惯性里程计 (Visual-Inertial Odometry, VIO)
通过融合相机图像与高频IMU读数估计相机在6自由度下的位姿。ARKit/ARCore都是此类,在手机上以毫秒级延迟输出稳定位姿。本文用ARKit替代COLMAP或ORB-SLAM3,因为后者在小时级长会话上会产生不可接受的累积漂移。
MobileEgo Anywhere最关键的硬件决策就是放弃SfM/SLAM路线、改用ARKit自带的VIO。只有理解了ARKit在消费硬件上能做到的位姿精度(如本文相对ATE < 1%、RPE平移 < 5cm、旋转 RPE < $4°$),才能评估为什么这套方案可以作为VLA训练的位真来源。
MANO手部参数化与WiLoR手部姿态估计
MANO是一种参数化手部模型,用约30维向量描述手部形状与姿态,可生成3D网格。WiLoR是基于此模型在野外图像上手部检测+重建的端到端方法,输出在MANO参数空间中的15个关节角与全局位姿,在第一人称操作任务中对遮挡处理比MediaPipe更鲁棒。
本文的3D手部轨迹正是由WiLoR对每帧RGB图像估计MANO参数,再利用ARKit深度采样、相机外参对齐到世界坐标系,得到跨小时时窗一致的全局3D手部轨迹。要读懂'长期世界坐标一致的手部'这一关键产物,必须先理解MANO参数从像素被'搬到'世界帧的过程。
层次化任务指令 (Hierarchical Task Instructions)
把长时段操作会话拆解成多层语义结构(如session → sub-goal → episode → atomic span),每层具有不同时间尺度与抽象程度的自然语言标注。通常由视觉-语言模型(VLM)先生成短时原子动作标签,再由语言模型按时间分组聚类形成上层结构。
VLA训练需要从'5秒夹取物体'到'整段做饭'的多层级监督信号,而不是仅靠原子动作标签。本文使用DeepSeek V4 Flash为584个会话生成75,857个原子跨度、9,922个episode和2,212个子目标,并通过唯一分配、精确时间戳边界、完整覆盖三个不变性保证标签质量。
类人机器人手部预训练与VITRA-VLA-3B
VITRA是一种基于大规模第一人称视频的视觉-语言-动作预训练框架,其3B参数的VITRA-VLA-3B版本基于MANO手部参数空间直接监督手腕6 DoF与指关节角度。预训练后即可在人类演示数据上学习手部动作,无需先做human-to-robot retargeting。
本文下游验证环节正是用VITRA-VLA-3B在200小时STERA数据上做mid-training,衡量MobileEgo Anywhere数据'是否能用作VLA训练信号'。理解VITRA预测MANO参数空间的设计,才能正确解读手指降幅 −24% 与手腕 −14% 这两个'差异化'消融的意义。
研究动机
VLA模型的快速崛起(代表工作如$π_0$、OpenVLA、RT-2等)使得对大规模第一人称数据集的需求剧增,但现有数据收集基础设施存在两类硬性瓶颈。第一类是时长瓶颈:Ego4D的单个episode上限仅约7小时且大部分远低于此;EgoExo4D最长约42分钟;HOI4D每个clip只有约20秒;ARCTIC平均23秒;EgoDex虽累计829小时但单次演示仅约9秒。这种'短视频+人工标注'的格局无法捕捉复杂机器人任务执行所需的长时间跨时序依赖,而Zheng等在EgoScale工作中给出的对数线性标度律 $L = 0.024 - 0.003 \times \ln(D)$ 明确指出,要把验证损失再降一级,需要大约多一个数量级小时数、跨更多环境的真实数据。第二类是硬件门槛瓶颈:EgoExo4D依赖Meta Project Aria眼镜与同步外置相机(非消费级商用硬件),HOI4D使用Intel RealSense,ARCTIC需动捕设备,HOT3D需Aria+Quest 3,EgoDex仅Apple Vision Pro。
本文的目标是本文的具体目标是发布一个端到端、零准入门槛的长时间跨度第一人称数据采集与处理框架,MobileEgo Anywhere,并开源一个200小时规模的演示数据集。具体而言包含三个交付物:(1)STERA,一个开源的处理流水线,把手机原始传感器数据(RGB-D、IMU、ARKit位姿)转换为VLA可直接消费的3D手部轨迹、原子动作标签与三层语言指令树;(2)一款免费的iOS移动应用,让任意志愿者用语音指令('start'/'stop')触发采集;而动作在更具体维度上,作者希望证明:这套数据是真正'可用作VLA训练信号'的——通过在STERA数据上对VITRA-VLA-3B做10,000步mid-training,在27个未见过的held-out会话上把动作预测损失从0.265降到0.214(下降约19%),并把手腕误差从554mm校正到70mm。
与已有工作不同的是，现有工作的共同盲点是把'长时段连续性'与'消费级硬件'二者择一解决:要么像EgoExo4D在商用不可得硬件上做到几十分钟到一小时,要么像EgoDex在Apple Vision Pro上做到829小时但单次demo只有约9秒。本文独特的切入角度在于直接利用ARKit视觉-惯性融合已成熟到能在iPhone Pro上以亚厘米级漂移维持小时级会话这一事实,从而同时满足两个约束:30分钟以上的单次episode长度×消费级便携硬件×完整的6 DoF位姿+LiDAR深度+MANO手部姿态。与EgoScale等利用Project Aria的工作相比,本文硬件成本低两个数量级;与EgoDex相比,本文把单次演示时长从约9秒拉到最长108分钟;与UMI等手持采集方案相比,本文采用头盔解放双手,采集时无需特殊夹具,且数据是连续视频流而非离散抓取样本。
核心方法
MobileEgo Anywhere的总体思路是'用手机传感器替代整套机器人栈,从硬件到数据一步打通'。技术上分两条主线:采集侧只利用一台LiDAR版的iPhone Pro与一个头盔支架,录像时ARKit在后台做实时视觉-惯性融合,输出6 DoF相机位姿;同时手机以统一的高精度时间戳记录RGB帧、LiDAR深度图与IMU读数,并用语音指令触发开始/停止以确保采集者双手解放。整个原始数据流以MCAP格式日志化。随后处理侧由STERA流水线离线接管:它用WiLoR对RGB每帧估计MANO参数化手部姿态,结合ARKit深度在每帧采样的相机外参,把手部坐标对齐到全局世界系,得到跨小时时窗持续稳定的3D手部轨迹;用一个视觉-语言模型对连续不重叠时间片段生成原子动作标签(强制包含物体修饰与空间介词);最后用一个语言模型把原子标签按时间聚类为episode→sub-goal→session的三层指令树。
本文的核心创新可概括为'一次硬件选择、两项流水线决策'。硬件选择上,放弃传统的COLMAP/ORB-SLAM3等结构化方法,转而直接复用iPhone Pro内置的ARKit VIO——它借助LiDAR与高频IMU融合,在消费硬件上做到了长时稳定、低漂移(本文证明全屋穿越1.5 cm、其余场景 < 1 cm的末端漂移),从而绕过了SfM在小时级轨迹上不可扩展的计算瓶颈,同时没有引入任何额外外设。流水线决策上,第一是在3D手部阶段选用WiLoR+MANO而非MediaPipe,因为前者对第一人称频繁遮挡更鲁棒;第二是在语言标注阶段改'人类标注-审阅'的传统管线为'VLM原子跨度 + LM层次聚类'的两段式自动管线,通过三个不变性(唯一分配、精确时间戳边界、完整覆盖)保证质量。综合下来,这与EgoExo4D(需要Aria+外部多目相机)、HOI4D(实验室加RealSense)、ARCTIC(动捕设备)等工作的本质区别在于:用最少硬件做最长时段、用最廉价的自动化做最具体的语言标签。
方法步骤详情
STERA流水线的具体步骤可拆为四步。第一步是采集与日志化。贡献者把LiDAR版iPhone Pro固定在头盔上,启动app后用语音'start'/'stop'触发/停止采集。ARKit实时做视觉-惯性融合生成6 DoF相机位姿;RGB帧、LiDAR深度图、IMU读数按统一高精度时间戳写入MCAP日志,全模态时间对齐以满足下游3D重建与动作识别的需要。第二步是3D手部轨迹估计。对RGB每帧用WiLoR估计MANO参数化手部姿态(15个关节角+全局位姿),为减少第一人称操作中常见的部分遮挡,WiLoR相对MediaPipe在自遮挡下更稳定;然后在ARKit深度图上采样每个估计关节的深度,叠加相机外参,把MANO相对坐标转换到ARKit全局系,得到跨会话连续一致的3D手部轨迹,直接可作为模仿学习end-effector位真。第三步是原子动作标签生成。
技术新颖性
技术新颖性主要有四点。第一,首次系统证明ARKit VIO在小时级第一人称会话上具有<1 cm末端漂移与<0.1%轨迹长度的相对误差,200小时平均每条session 20.5分钟、最长108分钟,且通过30相机Vicon真值与ArUco重新访标记双重验证,使得消费级手机直接承担'机器人动捕系统'的角色。第二,WiLoR+MANO手部参数化与ARKit深度+外参耦合,得到全局一致的3D手部轨迹;在1.19M帧98个session上做三组无真值质控(骨长稳定性CV≈1.27%、关节角度 > 99.99%落入生物力学极限、手腕速度中位数0.34m/s且无teleportation级跳变),证明'数据集可直接提供end-effector标签'而非仅是视频。第三,两段式自动语言标注管线(VLM原子标注 + LM层次聚类),把人类标注中9.9%的相邻重叠与≤0秒时段缺陷彻底消除,并自然产生4–8×的层次时序尺度分离,是同类数据集(EGO4D、EPIC、EgoExo4D)所不具备的层次结构。
实验结果
实验结果可分四块。第一,表I显示MobileEgo Anywhere是数据集中唯一同时满足'消费级硬件+连续6 DoF位姿+LiDAR深度+MANO手部标注+最长单session超1小时'五项的数据集:200小时、最长108分钟、单条session平均20.5分钟,而EgoExo4D最长仅约42分钟且需Aria+外置相机,EgoDex累计829小时但单demo仅约9秒,其余数据集要么时长有限要么硬件不可得。第二,表II给出ARKit vs 30相机Vicon真值的位姿精度:10条代表运动剖面在149.7–163.7秒、6.9–107.3米轨迹上,ATE RMSE介于0.01–15.0 cm、相对ATE介于0.03–1.47%(其中9/10序列 < 1%)、RPE平移0.01–4.99 cm、RPE旋转0.05–4.17°(9/10 < 4°);唯一例外是快速旋转序列,其指标偏高源于本身高速旋转而非ARKit失效。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VLA mid-training on 200h STERA-10M (27 held-out sessions) | Held-out action-prediction loss (mean, ↓) | 0.214 (start 0.265, step 10,000) | 未训练VITRA-VLA-3B 1.00 (未训练基线直接做inference) | −0.051 (−19%) on mid-trained,−0.786 (−78.6%) on untrained-→-mid-trained reset |
| VLA wrist scale re-calibration | Best-of-10 wrist MPJPE (mm, ↓) | 70 mm(left 84, right 55) | 未训练VITRA-VLA-3B 554 mm(left 605, right 504) | 约−87%(605→84 / 504→55 / 554→70),把预训练模型的尺度失调有效校正到STERA分布 |
| Per-component mid-training loss分解 | Loss降幅(% relative to step 0) | 左手指−24%, 右手指−24%(per-hand), 左手腕−14%, 右手腕−14% | 无明确外部对照,以mid-training step 0为基线 | 降幅主要来自手指灵活性(−24%)而非手腕根方向(−14%),说明STERA标签对手部精细结构信号最强 |
| ARKit位姿—Vicon真值(短期, 10条序列均值) | ATE RMSE (cm) / RPE平移 (cm) / RPE旋转 (°) | ATE ~9–13 cm (绝大多数序列); RPE trans 2–5 cm; RPE rot 0.5–4.2° (9/10 < 4°); 相对ATE < 1% on 9/10 | SfM (COLMAP)在小时级动态场景计算不可行; ORB-SLAM3在动态/弱纹理下累积漂移(作者引用) | 在消费硬件上以<1%相对ATE+<5cm RPE平移+<4°旋转RPE完成小时级位姿跟踪,跨越了传统方案计算/漂移两道门槛 |
| ARKit长时漂移(ArUco重新访标记, 6场景) | 末端漂移 (cm) / 相对轨迹长度 | 末端漂移0.1–1.5 cm(<0.1%轨迹长度); 厨房0.7cm, 全屋1.5cm, 叠衣0.1cm | 对比ORB-SLAM3等, 文献报告几米内漂移不可用(作者未给具体数字) | 全屋穿越最长轨迹下游漂移仍 < 0.1%轨迹长度,在动态家庭场景中达到接近真动捕的水平 |
| 手部运动学质控(98 sessions / 1.19M帧) | 骨长CV中位数 / 屈曲角度越界比例 / 手腕速度 | 骨长CV左1.27%/右1.43%(剔小指末端<1%); 15屈曲角度 > 99.99%落入生物力学极限; 手腕速度中位0.34m/s(左)/0.27m/s(右) | 无可直接对照数据集,但指标 < 1%CV、> 99.99%物理可行是手工标注都难达到的水平 | 为'世界坐标一致、无teleportation、生物可行'的3D手部轨迹提供量化证据 |
| 自动语言标注质控(584 sessions, 与50人标注对比) | 词数 / 修饰词 / 空间词 / 缺陷比例 | 平均7.95词/标签, 2.94修饰词, 1.09空间词, 全5,249标签零缺陷 | 人工标注平均2.94词, 0.09修饰词, 0空间词, 877/8,821(9.9%)相邻对重叠 + 63段≤0秒时段缺陷 | 自动标签词数+171%、修饰数+32×、空间词从零到1.09,并完全消除人标中的时段重叠与零时长缺陷 |
局限与改进
作者在论文中坦承两点核心局限。其一是平台依赖:STERA目前仅支持iPhone Pro,因为它依赖ARKit VIO与LiDAR深度;Android/ARCore精度不足且无LiDAR,如支持'无深度回退模式'将大幅扩展贡献者覆盖。其二,长时热约束:在iPhone Pro上连续采集超过约两小时会触发热降频,虽然加散热片可缓解但在炎热环境下增加部署摩擦。此外,作者明确指出下游验证是开环(只评估held-out手部动作预测,没有闭环机器人rollout),因此证明的是'可训练性'而非'策略级任务成功率'。
独立分析的弱点
从独立分析角度看,本文在以下三方面存在可改进空间。第一是闭环评估缺失:目前只在held-out人类会话上做开环hand-action预测,作者已自承'未做闭环机器人rollout'。一个明显可改进的方向是在ALOHA、Franka Panda或LIBERO等仿真或真机平台上,以Stereo-10M数据集做SFT/RL,测量实际任务成功率vs仅用手部动作预测误差,这样才能完整证明'长时段第一人称数据对机器人策略的迁移收益'。第二是贡献者多样性不足:20个贡献者集中在FPV Labs团队,可能引入年龄、文化、家庭环境偏置。第三是中长尾覆盖不足:虽然9,922个episode+2,212个子目标已覆盖200小时,但具体动作类别分布(图8)仍偏向烹饪+清洁+布置(占近50%),对精细装配、电子维修等需要双手协调更复杂的任务覆盖不足。第四,平台封闭性是结构性弱点:本文硬件仅能在iPhone Pro上运行,因为ARKit是闭源黑盒;用ArUco与Vicon两套外部真值'间接'评估了ARKit但不能深度调试其内部失效模式。
未来方向
作者提出的未来工作包括三方面:(1)把采集扩展到Android/ARCore并支持无深度回退模式,以大幅扩展贡献者基数;(2)用散热附件+更激进的IMU采集策略突破'两小时'热约束;(3)在闭环机器人平台(可能RL微调Pi0或OpenVLA)上验证任务的真实迁移,而不是开环手部预测。基于200小时STERA-10M数据集本身的扩展,我认为有四个值得探索的未来方向。第一,把数据集升级到1,000–10,000小时规模,验证Zheng等人log-linear scaling law $L = 0.024 - 0.003 \times \ln(D)$ 的极限——在1万小时下损失可降到约0.005,但这要求把手机采集贡献者扩展到数千名普通人,需要UGC风格的去中心化标注流水线。第二,把STERA手部轨迹与公开Aria-Everyday、EgoExo4D等做cross-dataset calibration,探索'跨硬件、跨视角的3D手部自我监督预训练'。
复现评估
复现性方面,本文做得相当充分。作者明确开源四件套:(1)采集App在Apple App Store('STERA by FPV Labs', id 6756263398)免费可下;(2)Python处理套件(STERA SDK)发布在GitHub fpv-labs/stera-sdk;(3)200小时数据集发布在HuggingFace fpvlabs/stera-10m;(4)数据可视化平台platform.fpvlabs.ai。代码、数据、工具链三件齐备意味着实验室可以一键复现整个标注流水线并尝试扩展。
论文图表
展示(a)头盔固定iPhone的采集设置,(b)与既有数据集相比本数据集单次episode时长(最长达108分钟)的对比,(c)ARKit视觉-惯性融合产出跨会话连续的6 DoF位姿,用于在世界系生成3D手部轨迹。
这篇图把全文的硬件选择(消费级iPhone)、关键优势(单session一小时级)、技术可行性(ARKit 6 DoF)三件事用一张图同时呈现,是motivation与method间最关键的桥接。
横轴:Ego4D (3,670h, 部分6 DoF, 部分手部, 多来源硬件); EPIC-KITCHENS-100(100h, 无6 DoF); EgoExo4D(1,286h, 完整6 DoF+深度+手部, Aria+外置相机); HOI4D(22.2h, RealSense); HOT3D(13.9h, Aria+Quest 3); ARCTIC(2.1h, 动捕架); Aria Everyday(7.3h, Aria); EgoDex(829h, Apple Vision Pro, 但单demo 9s); MobileEgo Anywhere(200h, 最长108min, 消费iPhone)。
在数据级对比中证明本文是唯一一个'消费硬件+连续6 DoF+手部标注+最长超1小时'四要素同时具备的数据集,是motivation的最强支撑表。
10条代表序列在149.7–163.7秒、6.9–107.3米轨迹上:ATE RMSE 0.01–15.0 cm、相对ATE 0.03–1.47%(9/10 < 1%)、RPE平移0.01–4.99 cm、RPE旋转0.05–4.17°(9/10 < 4°);唯一例外是短自旋序列,因其本身快速旋转导致指标偏高而非ARKit失效。
短期精度核心证据,直接服务于'ARKit作为VLA位真来源在精度上是否足够'这一关键科学问题。
6种环境在session中点与终止点的重新访漂移:厨房动作0.4 cm/0.7 cm, 生活空间0.3 cm/0.4 cm, 全屋活动1.0 cm/1.5 cm, 全屋遍历0.3 cm/0.2 cm, 叠衣0.1 cm/0.1 cm, 涂指甲油0.1 cm/0.1 cm,均低于0.1%轨迹长度。
长时段核心证据,与表II合并回答'ARKit到底能在多长时段内保持亚厘米稳定'。