你看到我指什么了吗？基于手势的以自我为中心的视频问答 Do You See What I Am Pointing At? Gesture-Based Egocentric Video Question Answering
提出手势意图tokens和EGOPOINTVQA数据集，解决手势指示性视频问答难题
前置知识
指示性表达
指示性表达是语言中的一种重要现象，指那些需要结合上下文或外部信息才能确定指代对象的词语，如this、that、these、those等指示代词，以及here、there等空间指示词。在以自我为中心的视频问答场景中，当用户问这是什么颜色时，如果没有看到用户的手势指向，this的指代对象就无法确定。理解指示性表达需要模型具备三个核心能力：一是识别问题中的指示性词汇，二是解析用户的手势姿态和指向方向，三是将手势指向的视觉区域与指示性词汇正确对应。
本文的核心问题就是让MLLM理解指示性表达。不理解这个概念就无法看懂为什么GPT-4o、Qwen3-VL-32B等强模型在简单的问题上会失败——它们缺乏将手势信号与指示性词汇关联的能力。
以自我为中心的视频
以自我为中心的视频是指从第一人称视角拍摄的视频，通常由头戴式相机、智能眼镜（如Meta Ray-Ban）或AR/VR设备（如Apple Vision Pro）录制。这类视频的特点是摄像机随着佩戴者的头部运动而移动，场景中经常会出现佩戴者的手部动作和操作行为。与第三人称视角视频相比，以自我为中心的视频提供了更自然的人机交互视角，但也带来了独特的挑战：频繁的视角变化、手部遮挡、动态场景以及需要理解佩戴者的意图和注意力焦点。
本文的所有数据都是来自以自我为中心的视频，手势理解问题在这种视角下尤为突出。不熟悉以自我为中心视频的特点，就无法理解为什么传统的第三人称VQA方法无法直接迁移到这个场景。
3D手部关键点
3D手部关键点是指对手部姿态的结构化表示，通常包含21个关键点的3D坐标，覆盖手腕、指关节和指尖等位置。这些坐标点是在相机空间或世界空间中定义的，能够完整描述手部的形状、方向和关节角度。在本文中，作者使用WiLoR模型从每个视频帧中提取3D手部关键点，然后通过一个轻量级的适配器将其编码为单个手意图令。相比于直接使用2D关键点或图像视觉特征，3D关键点提供了更准确的深度信息和手势朝向信息，这对于理解指向行为至关重要。
HINT方法的核心就是将3D手部关键点编码为tokens。如果不了解3D手部关键点的含义和优势，就无法理解为什么这种表示方法比将2D关键点作为文本输入或直接在图像上绘制视觉提示更有效。
多模态大语言模型
多模态大语言模型是能够同时处理和推理多种模态信息（如文本、图像、视频、音频）的大型神经网络模型。典型的MLLM架构包括视觉编码器（如ViT）将图像或视频帧编码为视觉tokens，以及语言模型（如LLaMA、Qwen、InternLM）进行语义理解和推理生成。视觉tokens通常通过视觉投影器（通常是MLP）映射到语言模型的词嵌入空间，然后与文本tokens拼接一起输入到语言模型中。本文评估的基线模型包括GPT-5、GPT-4o、Qwen3-VL、InternVL3、LLaVA-OneVision等。
本文的研究对象就是MLLM，HINT方法是在MLLM架构基础上的改进。不了解MLLM的基本架构和工作原理，就无法理解HINT如何通过在输入序列中交错插入手意图令来增强模型的手势理解能力。
低秩适应
低秩适应是一种高效的参数微调方法，通过在预训练模型的权重矩阵上添加可训练的低秩分解矩阵来实现模型适配。具体来说，对于预训练权重矩阵，LoRA引入两个低秩矩阵A和B，其中r远小于维度大小，使得前向计算变为。训练时只更新A和B，推理时可以将合并回原权重矩阵，因此不增加推理开销。LoRA的参数量仅为全量微调的一小部分，当rank为8时通常不到1%。本文中，作者在训练HINT时只微调LoRA适配器和关键点适配器，冻结骨干网络参数。
本文使用LoRA进行高效微调。了解LoRA的原理有助于理解作者如何在有限的计算资源下训练多个不同规模的模型，并且如何选择不同的LoRA rank和scaling factor作为超参数。
研究动机
现有的多模态大语言模型在理解基于手势的指示性问题上存在严重缺陷。从Figure 1的示例可以看到，即使是最先进的模型如GPT-4o和Qwen3-VL-32B，在面对包含指示性代词的问题时也会给出错误答案。当用户问这两个锅颜色一样吗并用手指向两个黑色锅时，这些模型错误地回答不一样，完全忽略了手势提供的关键线索。这个问题源于两个根本原因：首先是数据层面的缺失，现有MLLM的训练数据集很少包含自然手势和指示性语言同时出现的真实场景，模型几乎没有见过这种模式；其次是架构层面的限制，当前MLLM大多采用全局视觉-文本融合的方式，没有专门的手势编码模块来解析手部位置、指向方向等精细信息，导致无法将指示性代词与实际指向的对象正确关联。实验数据显示，即使是专门针对以自我为中心视频微调的EgoGPT-7B，在Reference任务上也只能达到67.3%的准确率，Temporal任务更是只有46.4%，远低于人类表现。
本文的目标是本文的核心目标是让MLLM能够准确理解以自我为中心视频中的手势指示意图，从而正确回答包含指示性代词的自然语言问题。具体而言，模型需要具备三个能力：一是从视频中检测和解析用户的手势动作，特别是伸展食指的指向行为；二是理解问题中的指示性表达，识别哪些词需要通过手势来确定指代对象；三是将手势的指向与场景中的正确对象进行空间-时间的对齐，生成符合用户意图的答案。为了实现这一目标，作者希望构建一个包含丰富手势信息的以自我为中心视频问答数据集，并设计一种能够显式编码手势信息的模型架构，使其既能保持原有MLLM的通用能力，又能有效利用手势信号解决指示性推理问题。
与已有工作不同的是，本文的独特切入角度是首次系统地研究基于手势的以自我为中心视频问答问题，并提出了完整的解决方案。与现有工作相比，本文的差异化体现在多个方面：首先，EGOPOINTVQA是第一个专门为手势指示性问答设计的数据集，而现有的以自我为中心视频问答数据集主要关注高层活动理解和长期记忆检索，不涉及精细的区域级推理；其次，本文提出的手势意图令牌方法与现有的视觉提示技术有本质区别，后者主要使用人工绘制的标记或2D点击点，而本文是将自然存在的人类手势信号编码为tokens，更符合真实人机交互场景；第三，与利用凝视信息进行语言对齐的工作不同，手势和凝视提供的是互补的注意力信号，手势更适合精确指向特定对象，凝视则更适合表达广泛的关注焦点。本文填补了MLLM在手势理解方面的研究空白，为下一代AR/VR助手和智能眼镜应用提供了关键技术基础。
核心方法
HINT方法的整体思路是在标准MLLM架构的基础上增加一个手势意图编码流，将视频中的手部姿态信息显式地提供给语言模型。直觉上，当用户用手指向某个对象并问这是什么颜色时，模型需要同时理解三股信息流：视觉流展示场景中的所有对象，文本流包含指示性问题，而手势流则明确指出用户关注的是哪个对象。现有的MLLM只有前两股信息流，因此无法确定指示性代词的指代对象。HINT通过并行的视觉编码器和关键点适配器，分别将视频帧和3D手部关键点编码为视觉令牌和手意图令，然后按帧交错插入到输入序列中，这样语言模型就能在生成每个答案令牌时同时考虑当前帧的视觉内容和手部姿态。这种设计使得模型能够学习到手势运动和指向方向与问题-答案对之间的关联，从而实现更精确的指示性表达定位。
HINT的核心创新点在于将3D手部关键点通过轻量级学习型适配器编码为紧凑的手意图令，并将其与视觉令牌交错输入到语言模型中。与直接将关键点坐标转换为文本描述或在图像上绘制视觉提示（如关键点可视化、从指尖绘制箭头）的方法相比，HINT允许模型通过端到端学习自动发现如何最有效地利用手部几何信息。实验结果表明，在Reference任务上，视觉关键点方法只能达到57.1%，指尖箭头方法达到70.2%，将3D关键点以文本形式输入达到68.5-69.0%，而HINT的学习型适配器达到了75.0%。这证明了显式建模3D手部姿态并通过可学习的方式编码其语义信息是最有效的方法。另一个关键设计是手意图令的条件插入策略：只有当手部检测置信度超过阈值时才插入令牌，否则跳过。这种设计使得模型能够自然地处理手势间歇性可见的情况，同时避免引入噪声。
方法步骤详情
HINT方法的完整流程包含四个步骤。第一步是3D手部姿态提取：对于每个视频帧，使用预训练的WiLoR模型估计21个3D手部关键点，同时获得检测置信度。WiLoR是在野外图像上训练的端到端手部定位和重建模型，对遮挡和运动模糊具有鲁棒性。第二步是手意图令编码：首先将21个关键点展平为63维向量，然后通过关键点适配器计算，其中包含线性变换、LayerNorm和GeLU激活函数。第三步是视觉令牌提取：每个视频帧通过视觉编码器（如InternViT）和视觉投影器（MLP）编码为视觉令牌序列。第四步是帧-关键点交错：将手意图令与对应的视觉令牌交错拼接，如果检测置信度低于阈值则不插入手意图令。最终的输入序列包含问题文本令牌、交错的视觉和手意图令、答案令牌。语言模型在生成时通过注意力机制同时关注视觉内容和手部姿态，从而实现手势-语言-视觉的三模态联合推理。
技术新颖性
HINT的技术新颖性体现在多个方面。首先，这是首次将自然存在的人类手势信号作为显式的模态输入到MLLM中，与现有的视觉提示工作形成鲜明对比——后者使用的是人工添加的视觉标记，不是自然交互的一部分。其次，HINT提出的手意图念概念是一种新颖的中间表示，它介于原始传感器数据（3D关键点）和高层语义之间，既保留了精确的几何信息，又允许模型学习到任务相关的抽象特征。第三，帧交错的设计使得模型能够捕捉手势的时间动态，这对于理解时序性问题（如我指的第二个对象是什么）至关重要，实验也证明使用均匀采样的32帧比仅使用关键帧表现更好。最后，HINT的实现非常轻量，手意图念只占总令牌数的不到1%，推理时间仅增加很少，这使得该方法可以容易地集成到现有的MLLM中而不会带来显著的计算开销。
实验结果
实验结果表明，HINT在所有测试的骨干网络上都取得了显著的性能提升。在InternVL3-14B骨干上，HINT在6个任务上的平均准确率达到68.1%，相比基线InternVL3-14B的62.7%提升了5.4个百分点。在核心的Reference任务上，HINT-14B达到73.8%，比基线提高了10.7个百分点。Temporal任务从66.1%提升到69.6%，Attribute任务从58.5%提升到63.4%。对于较小的模型，提升更为明显：InternVL3-8B的Reference任务从66.1%提升到75.0%，Temporal任务从57.5%提升到66.1%，Attribute任务从51.3%提升到61.0%。LLaVA-OneVision-7B也有类似提升，Reference从54.2%到60.7%。对比所有基线模型，HINT-14B是表现最好的开源模型，超过了78B的InternVL3-78B（66.6%）和72B的LLaVA-OneVision-72B（55.3%）。与商业模型相比，HINT-14B的68.1%平均准确率超过了GPT-4o的46.8%，接近GPT-5的62.6%。消融实验揭示了关键发现：仅在EGOPOINTVQA数据上进行监督微调只能带来有限提升，必须结合HINT的架构改进才能获得显著收益。训练数据组合实验表明，合成数据和真实数据的混合使用效果最佳。手部检测置信度阈值的实验显示，阈值在0.5时在保留有效手势信号和过滤噪声之间达到了最佳平衡。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Reference（对象识别） | 准确率（%） | HINT-14B: 73.8 | InternVL3-14B: 63.1 | +10.7pp |
| Temporal（时序推理） | 准确率（%） | HINT-14B: 69.6 | InternVL3-14B: 66.1 | +3.5pp |
| Attribute（属性识别） | 准确率（%） | HINT-14B: 63.4 | InternVL3-14B: 58.5 | +4.9pp |
| 六任务平均 | 准确率（%） | HINT-14B: 68.1 | InternVL3-14B: 62.7 | +5.4pp |
| Reference（对象识别，8B模型） | 准确率（%） | HINT-8B: 75.0 | InternVL3-8B: 66.1 | +8.9pp |
| vs GPT-4o | 六任务平均准确率（%） | HINT-14B: 68.1 | GPT-4o: 46.8 | +21.3pp |
| vs GPT-5 | 六任务平均准确率（%） | HINT-14B: 68.1 | GPT-5: 62.6 | +5.5pp |
局限与改进
本文的方法存在几个局限性。首先是依赖外部手部重建模型的可靠性。HINT使用WiLoR从视频中提取3D手部关键点，当手部被严重遮挡、处于运动模糊状态或超出检测范围时，重建质量会下降，导致手意图念缺失或包含错误信息。从失败案例分析可以看到，unreliable gesture signal是HINT的主要失败模式之一。其次是快速视角漂移问题。当用户头部运动过快时，目标对象可能离开视野，即使手势信号准确，模型也难以将手势与正确对象关联。这是输入信号质量问题而非架构限制，但仍然影响最终性能。第三是数据集的规模限制。虽然EGOPOINTVQA包含4400个视频和18745个问答对，与现有以自我为中心数据集相比仍然较小，这可能导致模型的泛化能力有限。第四是任务范围的局限性。目前数据集只包含6种任务类型，不涉及更复杂的推理（如因果关系、反事实推理）或多轮对话场景。第五是手势类型的限制，当前主要关注伸展食指的指向手势，不包括其他自然手势（如抓取、挥手、比划等）。最后，作者展示的手部移除实验证实，移除手势后性能大幅下降，这既说明了手势的重要性，也暗示模型在没有手势信号时缺乏备用的推理策略。
独立分析的弱点
HINT方法的第一个弱点是在复杂场景下的鲁棒性不足。当场景中存在多个相似对象或目标对象与其他对象特征相近时，仅依靠手部关键点可能不足以精确区分目标。例如，用户指向两个颜色相近的杯子时，细微的指向角度差异可能被噪声掩盖。改进方向是引入更精细的手势表示，如包含手臂姿态、指向射线与场景物体的交点计算，或结合深度信息进行3D空间推理。第二个弱点是手部检测的可靠性问题。WiLoR等模型在极端光照、极端姿态或严重遮挡时性能下降，这会直接影响HINT的效果。改进方向是使用多模型集成或时序平滑滤波，利用手部运动的连续性来弥补单帧检测的不确定性。第三个弱点是缺乏交互式纠错机制。当模型对指代对象理解错误时，无法通过追问来澄清。改进方向是设计多轮对话框架，允许模型主动要求用户重复或澄清手势。第四个弱点是计算开销虽然小但仍然存在。对于实时应用，当前的推理时间可能不够流畅。改进方向是优化关键点提取的效率，如使用更轻量级的手部检测模型或利用早期手部检测结果的时序连续性跳过部分帧的检测。第五个弱点是对动态场景的适应性有限。当场景中对象发生移动或用户在移动时，静态的帧交错策略可能不够。改进方向是引入对象跟踪模块，维护目标对象在时间序列中的身份一致性，并在手势对象对齐时考虑对象的运动轨迹。
未来方向
作者提出并在补充材料中暗示了多个未来研究方向。首先是扩展手势类型和交互模式。当前工作主要关注伸展食指的指向手势，未来可以研究其他自然手势（如抓取、捏取、挥手、比划形状等）以及双手协同动作。这需要收集更多样化的数据集并设计相应的任务类型。其次是结合其他自然信号进行多模态融合。手势与凝视、语音语调、面部表情等信号共同构成人类的非语言交流系统。未来工作可以研究如何将手势信号与凝视信号（如来自眼动追踪设备）结合，利用两者的互补性提高指代消歧的准确性。第三是向真实世界部署迈进。当前评估主要在受控环境下进行，未来需要研究在更复杂、更动态的真实场景中的鲁棒性，如户外强光、快速运动、多人交互等情况。第四是扩展到更复杂的推理任务。当前任务主要涉及对象识别、属性判断、空间关系等基础推理，未来可以研究因果推理、反事实推理以及多步骤任务规划。第五是探索更高效的手势表示学习。当前的关键点适配器是一个相对简单的MLP，未来可以研究使用Transformer或图神经网络来建模手部关键点之间的拓扑关系和动态变化，或使用对比学习学习与任务相关的手势特征。最后是开源和社区贡献。作者承诺将代码、模型和数据集开源，这将为社区提供研究手势理解的基准平台，促进更多创新方法的产生。
复现评估
本文的复现性较好。作者承诺将代码、模型和EGOPOINTVQA数据集开源，这将方便其他研究者复现实验和进行进一步研究。数据集的构建过程详细描述在论文和补充材料中，包括合成数据生成的AI2-THOR设置、真实数据收集的参与者招募、设备配置以及问答对生成的三阶段流程。实验设置非常详细：所有模型处理32均匀采样帧，分辨率根据骨干网络调整，训练使用AdamW优化器、余弦学习率调度、线性预热比例、批大小32、训练一个epoch。超参数选择通过网格搜索确定，LoRA rank和scaling factor的搜索空间为多个组合，学习率搜索空间包含多个值，最终配置在表中总结。评估协议清晰明了：使用多选题准确率，模型通过选择选项字母来回答，输出格式经过标准化处理以提取预测。消融实验和错误分析也提供了丰富的洞察，帮助理解方法的有效性和局限性。唯一的潜在挑战是WiLoR手部重建模型的可用性，但该模型已在CVPR 2025发表并有公开实现。总体而言，按照论文提供的详细信息，其他研究者应该能够复现主要实验结果。
论文图表
Figure 1展示了EGOPOINTVQA数据集的核心概念。左侧部分展示了数据集的两个主要类型：顶部是单对象指认问题（如我应该用这个煮杯面吗），底部是跨帧多对象跟踪问题（如在这些里面，哪个离我更近）。红色圆圈高亮了被指向的对象。右侧部分展示了当前最先进的MLLM在面对包含手势指示的问题时的失败案例：尽管两个锅都是黑色，模型却错误地回答颜色不一样。这张图直观地说明了问题的存在性和挑战性。
这张图对理解论文至关重要，因为它首先通过具体示例展示了什么是手势指示性视频问答任务，其次通过对比模型失败案例和正确答案证明了现有方法的不足，最后通过数据集样例说明了作者提出的解决方案方向。这是整篇论文的问题可视化展示，帮助读者快速抓住核心贡献。
Figure 7展示了基线MLLM和HINT的失败案例可视化。展示了基线MLLM的两种主要失败模式：显著性或中心偏差（模型预测视觉显著或中心位置的对象而非实际指向的对象）和时间混淆（当顺序指向多个对象时，模型混淆了时间顺序）。展示了HINT仍存在的失败模式：不可靠的手势信号（当手部受运动模糊或部分遮挡影响时，3D手部重建噪声大）和快速视角漂移（快速头部运动导致目标对象离开视野）。这些分析帮助理解方法的局限性和未来改进方向。
这个图提供了定性的错误分析，帮助读者理解不同方法的失败模式和原因。这对于理解方法的局限性、设计改进方向以及判断方法在实际应用中的可靠性都非常重要。
Table 12展示了EGOPOINTVQA数据集在合成和真实世界分割上的规模和复杂度统计。Train包含100个视频、640个QA对、平均时长4.61秒、平均对象数22.5个。Train包含4000个视频、18745个QA对、平均时长11.6秒、平均对象数11.6个。Test包含300个视频、672个QA对、平均时长5.05秒、平均对象数16.5个。值得注意的是，真实世界视频的对象密度（平均22.5和16.5个）明显高于合成数据（平均11.6个），这带来了更大的挑战。
这个表格提供了数据集的详细统计信息，包括规模、时长和复杂度。这对于理解数据集的设计和难度非常重要，也说明了为什么真实世界数据比合成数据更具挑战性。
Table 8展示了HINT在现有视频理解基准上的性能，用于验证在EGOPOINTVQA上微调是否损害模型的通用能力。在Video-MME上：InternVL3-8B达到64.2%，HINT-InternVL3-8B达到64.6%。在MVBench上：两者都是73.2%。在EgoSchema上：InternVL3-8B达到67.2%，HINT达到67.1%。在EgoBlind上：InternVL3-8B达到52.8%，HINT达到57.5%。HINT在所有基准上保持相当或更好的性能，证明了微调策略有效地注入了手势理解能力而没有导致灾难性遗忘。
这个表格证明了HINT的泛化能力，说明在手势理解数据集上的微调不会损害模型在通用视频理解任务上的性能。这对于方法的实用价值非常重要，说明HINT可以作为现有MLLM的增强模块而不会牺牲原有能力。