← 返回 2026-10-02

EgoTools：面向真实世界第一视角视频的工具中心推理 EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos

Shulin Tian, Junsu Kim, Shuai Liu, Hao Li, Yujiao Shen, Sihan Li, Zhe Yang, Yeongon Kim, Feiyu Li, Jialin Wu, Yichi Zhang, Wenhui Wang, Runmao Yao, Yuhao Dong, Zhaoxi Chen, Fangzhou Hong, Antonino Furnari, Jingkang Yang, Hongyuan Zhu, Ziwei Liu 📅 2026-09-30 👍 38 2026-11-11 18:30
具身智能 工具使用推理 第一视角视频理解 视频指令微调 视频问答基准
arXiv HuggingFace PDF

首个工具中心的第一视角视频数据套件与诊断基准，揭示视频大模型的工具推理短板

前置知识

第一视角（Egocentric）视频理解

指以任务执行者头戴相机拍摄的视频，画面中持续出现双手、工具与被操作对象，相机随头部与身体一起运动。与第三视角监控视频相比，它天然呈现手-工具-物体的几何关系和动作的直接后果，是研究人类真实操作行为最自然的数据形态。

EgoTools 的数据采集、标注与基准全部构建在第一视角视频之上，理解这一载体的特性，才能明白为什么工具推理必须在自我中心的几何与视角下进行。

可供性（Affordance）与工具中心推理

可供性指物体对特定行动的功能提示，例如刀刃供切割、宽铲面供托举、细筷可伸入窄口。工具中心推理要求模型回答：为什么选这个工具、能否替换成别的工具、操作如何改变目标物体的状态，即把视觉证据与功能意图、因果后果连接起来的高层推理。

这是本文四条评测轨道中 Affordance & Causality 轨道的核心考察点，也是论文用来区分'识别活动'与'理解工具中介行动'的关键标尺。

视频指令微调（Video Instruction Tuning / SFT）

在视频-文本对上以问答指令形式对多模态大模型做监督微调：输入采样帧序列与问题，训练模型输出答案。本文对 Qwen3-VL-8B-Instruct 的语言模型部分做全参数 SFT，冻结视觉编码器与对齐层，学习率 $2.3\times10^{-6}$，训练 1 个 epoch，共 1,443 步。

论文用 184,679 条 EgoTools 指令数据微调得到 EgoTools-8B，这是验证'数据集提供可学习监督'这一主张的核心实验。

3D 高斯泼溅与 4D 物体跟踪

3DGS 用大量各向异性高斯基元拟合同一场景的多视角图像，可渲染新视角与逐帧深度图；配合相机位姿即可把 2D 分割掩码抬升到三维空间。本文用 SAM2 在时间上传播掩码，VLM 校验语义一致性并在漂移处重新初始化，最终得到长时序 4D 物体轨迹。

基准中 100 道人工核验的空间推理题和 4D 轨迹标注都由该管线生成，是理解 EgoTools 3D 标注来源与空间题目出处的基础。

多选题基准的捷径与偏差控制

选择题基准可能被语言先验攻破：正确答案长度异常、位置偏好、'以上皆是'类选项、题干与答案的词面重叠都会造成虚高分数。本文用 z 分数 $z=(L_{ans}-\mu_{dist})/\sigma_{dist}$ 检查答案长度偏差，$|z|>1.5$ 即触发修复，并用纯文本作答来检验残余的语言捷径。

EgoTools-Bench 的 8 选 1 格式与质控流程是结果可信度的保障，理解这些偏差来源才能正确解读各模型分数的含义。

研究动机

当前多模态视频模型在描述、通用问答等感知类任务上表现很强，但在'以工具为中介'的具身推理上明显不足：判断为什么换工具、工具与目标物体的接触几何、工序进行到哪一步、动作对物体状态造成什么因果变化，都很困难。根源是数据与评测的双重缺失。现有第一视角数据集围绕活动、物体或手-物交互组织，例如 EPIC-KITCHENS 的 100 小时厨房视频、Ego4D 的 3,670 小时素材、Assembly101 的 513 小时装配视频，工具虽常在画面中却从未成为标注的核心单元——动作被标注为'煎蛋'这一层级，而锅铲和平底锅在注释里完全不可见。EgoSchema（5,031 题）、EgoPlan-Bench（4,939 题）等基准也不隔离工具中介推理。论文实验量化了这一缺口：最强的 Qwen3-VL-8B-Instruct 在 EgoSchema 上达 69.0%、EgoThink 上 61.0%，但在工具中心推理上远低于此，说明通用第一视角理解并不自动带来工具推理能力。

本文的目标是本文的目标是建立第一个面向第一视角工具使用的完整资源套件 EgoTools，同时补齐训练监督与诊断评测两块短板。具体包括三件事：其一，构建 EgoTools-Data——约 100 小时（精确为 646 段视频、100.37 小时）覆盖厨房、课堂、科研实验室、维修车间、手工、办公、家务七个领域的真实第一视角录像，配同步音频、361,332 条分层密集字幕、6,519 条工具中心旁白，以及由 3D 高斯泼溅重建与递归 VLM 引导跟踪得到的 3D/4D 几何标注；其二，从严格隔离的 40.34 小时预留池构建 EgoTools-Bench——1,000 道 8 选 1 问答题，覆盖 Affordance & Causality、Perception & Grounding、Procedural Dynamics、Spatial Reasoning 四条轨道；其三，用非基准部分的 184,679 条指令数据微调 Qwen3-VL-8B，验证这些标注是可学习的有效监督而非一次性标注开销。

与已有工作不同的是，本文的独特切入点是把'工具'本身提升为解释活动的基本单位，而不是把工具当作动作标签的附带物。三个具体设计体现这一立场：第一，旁白由执行任务的采集者本人录制，并遵循明确模板——'我正用[某属性的工具]而非[备选工具]对[目标]做[动作]，因为[原因]'——直接给出工具选择、替换与因果理由，例如'用窄筷而非勺子够罐中的果酱，因为勺子太宽伸不进去'，这是以往任何第一视角数据集都没有的监督信号；第二，旁白与关键帧上的 2D 落点绑定，成为长时序 4D 物体跟踪的初始化与语义校验依据，把文本、视觉、几何三方串成闭环；第三，训练池与基准池在源视频级别硬隔离，使微调带来的提升可以归因于对未见视频片段的泛化而非记忆。这一'数据既作诊断、亦即可学习监督'的双重定位是本文区别于纯基准工作的关键。

核心方法

方法的整体思路是：先采集带几何信号的真实第一视角工具使用视频，再用一套'文本+视觉+3D'联动的标注管线把原始录像转化为结构化监督，最后从同一语料切分出互不重叠的训练语料与诊断基准。采集端使用 HOMIE 头戴设备（四个同步鱼眼相机、音频与运动/同步信号），以矫正后的前左视角为规范视图，输出 1024×1024、20 FPS 的单视角视频，覆盖七个工具使用领域，并采用'结构化任务引导'与'开放式自主完成'两种采集模式，兼顾工序完整性与真实变体（自发换工具、失误恢复、机会性替换）。标注端分三路并行：Gemini-3-Flash 流式生成 5 分钟片段-5 秒块-1 分钟-5 分钟四级分层字幕；执行者录制工具中心旁白并在关键帧标注 2D 落点；基于 Holi-Spatial 的 3DGS 重建提供深度，SAM2 结合 VLM 校验做递归长时序跟踪并把掩码抬升为 4D 轨迹。最终产出为 184,679 条指令微调数据与 1,000 道基准问答题。

核心创新是'工具中心'这一标注哲学及其工程实现。与以往把工具埋没在活动描述里的数据集不同，本文让每个标注环节都围绕工具选择、替换、使用意图与因果效果展开：旁白模板强制写出'为什么用它而不用它'；密集字幕按时间层级保留工序推进；3D 跟踪以旁白指定的'焦点工具'为对象。另一个本质区别是递归 VLM 引导的分割框架：SAM2 负责掩码传播，VLM 在后续落点出现时校验跟踪一致性，一旦发现漂移或语义错配就从失败点重新初始化分割，形成'传播-校验-重初始化'的反馈环，从而获得既有几何精度又有长程语义一致性的时空掩码。此外，训练语料与基准在源视频级互斥的设计，使'数据有用'与'基准有区分度'两个主张可以分别验证、互不污染，这解决了过去许多数据集论文中训练评测混淆导致的分数虚高问题。

方法步骤详情

流程分七步。(1) 采集与矫正：HOMIE 四目鱼眼采集，取前左视角矫正为 1024×1024@20FPS 并同步音频。(2) 源视频划分：先划出 40.34 小时基准预留池，保证训练评测零泄漏。(3) 分层字幕：每视频切 5 分钟片段、取 32 帧生成全局字幕，按 5 秒块顺序生成块级字幕（后块以前块为记忆），聚合为 1 分钟与 5 分钟摘要，并用关键帧物体识别做幻觉后检。(4) 旁白与落点：执行者按模板录制工具中心旁白（中/韩统一校正为英文），对焦点工具在关键帧标注 2D 落点。(5) 3D 与跟踪：3DGS 重建并渲染逐帧深度；SAM2 从落点传播掩码，VLM 校验一致性、漂移处重初始化；掩码抬升为 3D 框与 4D 轨迹。(6) 指令数据：从训练池产出 184,679 条样本，按能力打标、过滤并配平答案字母。(7) 基准与质控：人工出题 900 道 + 3D 管线生成并人工核验空间题 100 道；经 22 项标志审计、8 选 1 归一化、反捷径与长度偏差修复；250 题抽样重评与原答案一致性 89.8%、双评一致率 88.4%、94.4% 有唯一最优答案。

技术新颖性

技术新颖性体现在四个层面。数据层面，这是首个以工具为中心单元的第一视角套件：Table 1 的对比矩阵显示，EPIC-KITCHENS、Ego4D、Assembly101、EgoSchema、EgoPlan 等均不同时具备工具中心旁白、旁白联动落点、工具选择/替换标注与物理工具推理基准，而 EgoTools 全部具备。标注方法层面，'旁白驱动+VLM 校验的递归跟踪'把语义先验注入分割传播过程，针对性解决长视频中掩码漂移与目标丢失的老问题。评测设计层面，四轨道诊断结构不是任意划分：输入消融证明 PG 对视觉证据依赖最大（相对纯文本 +13.9 分）、PD 对时序顺序最敏感（乱序掉 3.2 分）、SR 最吃多帧覆盖（单帧掉 11.9 分），说明各轨道确实测量不同能力。质控层面，用 z 分数把答案长度偏差从语料级均值 $\bar{z}\approx+2.21$ 修到 $-0.15$，并以'先修复后删除'的策略保住标注者意图，这种可量化的偏差审计在同类基准工作中少见。

Overview of EgoTools. EgoTools is an egocentric tool-use dataset that spans multiple environments, with dense hierarchical captions and long-sequence 4D object tracking. We also propose EgoTools-Bench, a 1,000-question benchmark spanning diverse real-world environments and reasoning tasks.
Figure 1: Overview of EgoTools. EgoTools is an egocentric tool-use dataset that spans multiple environments, with dense hierarchical captions and long-sequence 4D object tracking. We also propose EgoTools-Bench, a 1,000-question benchmark spanning diverse real-world environments and reasoning tasks.
Textual annotation pipeline. (a) Tool-centric narrations are annotated from grounded egocentric video segments. (b) Benchmark QA pairs are constructed and refined through an annotation interface with MLLM-assisted checking.
Figure 3: Textual annotation pipeline. (a) Tool-centric narrations are annotated from grounded egocentric video segments. (b) Benchmark QA pairs are constructed and refined through an annotation interface with MLLM-assisted checking.
3D annotation pipeline. Raw geometry from the HOMIE device is reconstructed with 3DGS to obtain consistent depth, then combined with tool-centric narrations for recursive VLM-guided object tracking. The resulting masks are lifted to 3D for object boxes and spatial QA generation.
Figure 4: 3D annotation pipeline. Raw geometry from the HOMIE device is reconstructed with 3DGS to obtain consistent depth, then combined with tool-centric narrations for recursive VLM-guided object tracking. The resulting masks are lifted to 3D for object boxes and spatial QA generation.
Composition of the EgoTools-Data instruction-tuning corpus. (a) The inner ring groups the 184,679 examples by what they supervise, and the outer ring gives the corresponding categories. (b) Shares drawn to scale; the four tool-centric categories are nested under their group total.
Figure 5: Composition of the EgoTools-Data instruction-tuning corpus. (a) The inner ring groups the 184,679 examples by what they supervise, and the outer ring gives the corresponding categories. (b) Shares drawn to scale; the four tool-centric categories are nested under their group total.
Canonical-view rectification. Example input views and the rectified first-person frame.
Figure 7: Canonical-view rectification. Example input views and the rectified first-person frame.

实验结果

基准对现有模型极难，且增益确实来自数据。零样本：人类专家 83.2%；最强私有模型 Gemini-3.1-Pro 仅 66.9%，其中 PG 轨道只有 51.7%，比其余轨道低 18-23 分，暴露视觉落地瓶颈；开源指令模型落在 38.9%-50.0%，Qwen3-VL-8B 为 50.0%，远低于其在 EgoSchema 的 69.0% 与 EgoThink 的 61.0%；思维变体不必然更强（Qwen3-VL-8B-Thinking 仅 45.7%）。训练验证：18.5 万条指令数据单阶段 SFT 后升至 60.9%（+10.9），AC +9.3、PG +13.8、PD +11.0，唯 SR 降至 44.4。输入消融：纯文本 42.7% vs 有序 64 帧 51.7%（+9.0），单中帧掉 4.8（SR 掉 11.9），乱序掉 2.4（PD 掉 3.2）。隐式/显式题：Gemini 系显式题高 4.9-7.7 分。错误 Jaccard：Qwen 两变体 0.63，跨家族 0.35-0.38。迁移：EgoThink +3.0、EgoSchema -1.4、EgoPlan -7.1。

Comparison with representative egocentric datasets and benchmarks.
Table 1: Comparison with representative egocentric datasets and benchmarks.
Performance comparison across egocentric video understanding benchmarks.
Table 2: Performance comparison across egocentric video understanding benchmarks.
Training utility of EgoTools-Data. EgoTools-8B is Qwen3-VL-8B-Instruct after a single stage of full supervised fine-tuning on 184,679 EgoTools-derived instruction examples.
Table 3: Training utility of EgoTools-Data. EgoTools-8B is Qwen3-VL-8B-Instruct after a single stage of full supervised fine-tuning on 184,679 EgoTools-derived instruction examples.
Input-evidence ablation on the full 1,000-question EgoTools-Bench.
Table 4: Input-evidence ablation on the full 1,000-question EgoTools-Bench.
Performance on implicit and explicit tool-use questions. Δ denotes Explicit−Implicit.
Table 5: Performance on implicit and explicit tool-use questions. Δ denotes Explicit−Implicit.
EgoTools dataset and benchmark statistics.
Table 8: EgoTools dataset and benchmark statistics.
Domain composition of EgoTools-Data and EgoTools-Bench. The benchmark is not domain-balanced.
Table 9: Domain composition of EgoTools-Data and EgoTools-Bench. The benchmark is not domain-balanced.
Training data by supervised capability.
Table 10: Training data by supervised capability.
Jaccard overlap of model errors on EgoTools-Bench. This highlights shared failure patterns within and across model families.
Figure 6: Jaccard overlap of model errors on EgoTools-Bench. This highlights shared failure patterns within and across model families.
查看结构化数据
任务指标本文基线提升
EgoTools-Bench 整体（8 选 1，随机基线 12.5%） Overall 准确率 EgoTools-8B（微调后）60.9% Qwen3-VL-8B-Instruct 零样本 50.0%；Gemini-3.1-Pro 66.9%；人类专家 83.2% +10.9 个百分点，但仍落后人类 22.3 分
Affordance & Causality（363 题） 准确率 55.4% 微调前 46.1%；人类 82.1% +9.3 分
Perception & Grounding（236 题） 准确率 59.7% 微调前 45.9%；Gemini-3.1-Pro 仅 51.7%；人类 85.2% +13.8 分（提升最大的轨道）
Procedural Dynamics（222 题） 准确率 68.1% 微调前 57.1%；人类 83.3% +11.0 分
Spatial Reasoning（179 题） 准确率 44.4% 微调前 55.4%；人类 82.7% -11.0 分（唯一下降的轨道）
输入消融：有序 64 帧 vs 纯文本（Qwen3-VL-8B） Overall 准确率 51.7% vs 42.7% 同模型、确定性解码；纯文本 42.7%，单中帧 46.9%，乱序 64 帧 49.3% 视觉证据 +9.0 分（PG 贡献最大 +13.9）；多帧覆盖 +4.8；时序顺序 +2.4
EgoThink（跨基准迁移） 宏平均准确率（12 个单图子任务） 64.0% 微调前 61.0% +3.0 分
EgoSchema（跨基准迁移） 准确率（5,031 题全集） 67.6% 微调前 69.0% -1.4 分（轻微代价）
EgoPlan-Bench（跨基准迁移） 准确率（3,343 题验证集） 35.2% 微调前 42.3% -7.1 分（明显下降）

局限与改进

作者承认的局限包括：微调后 Spatial Reasoning 反而下降 11 分，说明现有训练配方教不会空间几何推理；基准领域分布严重长尾，1,000 题中 837 题来自厨房视频，科研实验室仅 99 题、家务仅 4 题，不能按领域做均衡比较；消融中纯文本仍可达 42.7%（远高于 12.5% 随机线），说明部分题目残留可被语言先验利用的线索；落点、旁白音频与 3D 轨迹资产需按批次审核后增量发布，当前只覆盖部分实例；数据采集未走正式 IRB 审查，仅靠知情同意与匿名化保障。我的补充观察：训练与微调验证只在 Qwen3-VL-8B 一个模型家族上进行，增益能否迁移到其他架构未知；人类基线是自由回看视频的条件，与模型固定 64 帧输入不可直接比较，83.2% 的差距可能被高估或低估；PG 轨道仅 236 题，小样本上分数方差较大；消融表 4 的有序帧条件（51.7%）与主表 MP4 协议（50.0%）协议不同，作者也声明二者不可直接比较，读者需要小心；另外旁白以英文统一发布，训练数据未保留多语言形态。

独立分析的弱点

独立分析出的弱点：其一，视觉落地是最大短板，Gemini-3.1-Pro 在 PG 仅 51.7%，说明旗舰模型的帧级感知（相似工具辨识、接触点定位、状态变化检测）仍不可靠，改进方向是把本文已有的落点级监督做成密集检测式训练目标，或引入高分辨率流式编码器；其二，SR 微调后不升反降，提示纯 2D 帧序列加文本监督学不会 3D 几何，可尝试把深度图/点云作为输入模态，或以 4D 轨迹构造几何预训练任务，让模型显式接触空间坐标系；其三，训练混合中只有 37.8%（69,760 条）直接对应四项基准能力，其余为 episode 级与通用 QA，混合比例未做消融，配比优化有明确空间；其四，思维链在隐式题上无优势（Qwen3-VL-8B-Thinking 隐式-显式差 -0.6），说明推理算力换不来视觉证据的缺失，应研究'先定位后推理'的显式证据链范式；其五，SFT 后 EgoPlan 掉 7.1 分，暴露领域微调的能力偏移，可加入通用视频数据回放、LoRA 等参数高效微调或多任务正则来缓解。此外 8 选 1 的人类重评中仍有 5.6% 被标为可能有多个合理答案，题目天然存在模糊边界。

未来方向

未来方向：作者层面明确指出空间推理是当前配方未解决的难题，并计划按审批进度增量发布落点、轨迹与旁白音频资产。基于成果可延伸的研究包括：(1) 把 4D 物体轨迹与渲染深度作为模型输入或中间表征，在显式 3D 表示上训练推理，例如以 3D 框序列替代原始帧序列；(2) 用本文旁白模板大规模自动挖掘网络教学视频中的工具选择与替换事件，扩充实验室、维修等专业领域以纠正厨房偏斜；(3) 把 EgoTools-Bench 从被动问答推进到主动协助——预测下一步该递什么工具，与可穿戴助手和实时指导场景衔接；(4) 以强化学习或过程奖励替代 SFT，针对 PG 类硬负例训练视觉定位能力，并结合隐式题子集做针对性提升；(5) 错误重叠分析（同家族 0.63、跨家族 0.35-0.38）表明不同模型错误互补，可探索多模型集成或以错误图谱驱动的定向数据扩充；(6) 将工具中心问答能力与机器人操作策略连接，验证'理解工具'能否迁移为可执行的抓取与替换行为，打通从视频理解到具身执行的链路。

复现评估

复现条件较好。代码（github.com/Ropedia/EgoTools）、数据（huggingface.co/ropedia-ai/egotools-data）与模型（egotools-8b30）均公开；初始发布含矫正视频、361,332 条字幕、6,519 条旁白、全部 1,000 道题与划分信息，落点/音频/轨迹按隐私审核增量发布，原始鱼眼流不公开。训练需 8 卡 GPU：AdamW、学习率 $2.3\times10^{-6}$、1 epoch、有效批量 128、1,443 步，bfloat16 + DeepSpeed ZeRO-3 + FlashAttention，每视频 64 帧（2 FPS）、最大序列 8,192，8B 规模单节点可承受。评测只需 64 均匀采样帧，协议明确（EgoSchema 全集 5,031 题、EgoPlan 验证集 3,343 题、EgoThink 由 gpt-4o 判分宏平均）。门槛在自建标注管线：3DGS 重建、SAM2+VLM 递归跟踪与人工出题均需工程与人力；若只复用结果则开箱可用，整体难度中等。

论文图表

Benchmark distribution and annotation examples. (a) Distribution of 1,000 QA pairs across four tool-use reasoning tracks and their fine-grained subtracks. (b) Example annotations, including captions, tool-centric narrations, and finalized QA pairs produced through human annotation with MLLM-assisted checking. (c) Word-cloud comparison with EPIC-KITCHENS-100 and Ego4D, showing that EgoTools-Bench is more tool-dense and centered on tools, actions, objects, and state changes.
Figure 2: Benchmark distribution and annotation examples. (a) Distribution of 1,000 QA pairs across four tool-use reasoning tracks and their fine-grained subtracks. (b) Example annotations, including captions, tool-centric narrations, and finalized QA pairs produced through human annotation with MLLM-assisted checking. (c) Word-cloud comparison with EPIC-KITCHENS-100 and Ego4D, showing that EgoTools-Bench is more tool-dense and centered on tools, actions, objects, and state changes.

三联图：(a) 1,000 道题在四条推理轨道（AC 363、PG 236、PD 222、SR 179）及其细分子轨道上的分布；(b) 一个修剪芦笋的完整标注案例，展示密集字幕、工具中心旁白（先试剪刀、因茎太硬换刀）与最终成型的 8 选 1 问答题；(c) 与 EPIC-KITCHENS-100 和 Ego4D 的词云对比，显示 EgoTools-Bench 的词汇更集中在工具、动作、物体与状态变化上。

同时呈现基准的能力分布、标注质量流程示例与'工具密度更高'的定性证据，是理解本文与既有数据集差异的直观材料。

相似论文推荐

Ego2Act：评测第一人称视频生成中的目标导向多步操作 🎯 71.5%
EgoForge：面向目标驱动的第一人称世界模拟器 🎯 68.9%
EgoSteer：从第一人称视频迈向可控灵巧操作的全栈系统 🎯 68.3%
Ego2Web：基于第一视角视频的网页智能体基准测试 🎯 67.8%
MA-EgoQA：面向多个具身智能体的第一人称视频问答基准 🎯 67.5%