← 返回 2026-05-19

GRASP：通过在多人非言语交互中学习接地社会推理 GRASP: Learning to Ground Social Reasoning in Multi-Person Non-Verbal Interactions

Junho Kim, Xu Cao, Houze Yang, Bikram Boote, Ana Jojic, Fiona Ryan, Bolin Lai, Sangmin Lee, James M. Rehg 📅 2026-05-15 👍 4 2026-07-13 08:36
多模态大模型 强化学习 手势识别 数据集 注视估计 社会推理
arXiv HuggingFace PDF

构建GRASP数据集并提出SGR奖励，使MLLM能基于注视手势进行多人交互推理

前置知识

多模态大语言模型(MLLM)

MLLM指在大型语言模型基础上融合视觉(图像/视频)理解的模型，例如Qwen3-VL、InternVL3.5等。其核心架构为视觉编码器+投影器+LLM三段式，能够处理图文交错的多模态输入并生成自然语言回答。本文的研究对象正是这类模型的社交视频理解能力，因此需要理解MLLM的输入输出范式。

本文针对MLLM在多人社交场景下的失败提出新数据集与新奖励函数，所有实验都在Qwen3-VL、Qwen3.5等MLLM上进行，不理解MLLM就难以把握本文在解决什么问题

注视目标估计(Gaze Target Estimation)

注视目标估计任务是给定人物面部图像，预测其视线在2D图像平面上的归一化坐标 $g_t^i \in [0,1]^2$。本文用GazeAnywhere作为基础估计器，是社会推理的底层感知模块。

GRASP数据集的核心就是基于逐帧注视轨迹构建高阶社会事件(如共同注视、注视跟随)，必须先理解注视点的表示方法才能理解数据集构造

GRPO(Group Relative Policy Optimization)

GRPO是LLM/MLLM推理后训练的强化学习算法。给定问题采样 $K$ 条推理轨迹，用组内归一化优势 $\hat{A}_i = \frac{r_i - \text{mean}}{\text{std}}$ 优化策略。本文SGR建立在GRPO之上。

本文第二阶段训练沿用GRPO的优化目标并改写奖励，理解GRPO的目标函数 $\max \mathbb{E}[\frac{\pi_\theta(y_i|q)}{\pi_{\theta_{old}}(y_i|q)} \hat{A}_i - \beta D_{KL}(\pi_\theta \| \pi_{ref})]$ 才能明白SGR的插入位置和作用机制

指向手势(Deictic Gesture)

Deictic Gesture是一类指代性手势，包括指向(pointing)、展示(showing)、给予(giving)、够取(reaching)四种典型形式。在对话中承担指明话题焦点、引导注意力的功能。本文将之与注视并列为社会交互的两大非言语通道，是GRASP的第二个感知模态。

GRASP的16类QA中有一半涉及手势推理，且SGR奖励的核心是检查推理轨迹是否提及正确参与者，正确识别deictic gesture的发起者与目标人物是奖励生效的前提

Hungarian匹配与身份一致性追踪

Hungarian匹配是多项式时间的最优二分图匹配算法。在GRASP中用于把RetinaFace人脸框关联到SAM 3的人物ID，得到跨帧身份一致的注视轨迹 $\{(i, b_t^i, g_t^i)\}_{t=1}^T$。

本文反复强调identity-consistent gaze trajectory是GRASP的核心资产，没有跨帧ID一致就无法构造谁看向谁的关系型社会事件，SGR奖励中参与者集合的提取依赖于此

研究动机

当前多模态大语言模型在多人社交视频上的推理能力存在严重缺陷，论文Fig. 1的对比案例清晰展示了问题：当问到3.0秒至8.0秒间Person 2指向Person 0时Person 3的视线跟随了谁，Video-R1-7B和VL-Rethinker-7B都给出了错误答案，原因是推理过程依赖场景级语言先验(如指向别人就跟随指向目标)而没有真正去看视线轨迹。现有MLLM有两大局限：(i)能识别画面中的人物动作但无法组织成在时间上对齐的社会事件，导致难以判定谁在看着谁、谁在指向谁、何时发生；(ii)推理不基于细粒度视觉证据，常走语言捷径——GRASP-Bench上Qwen3-VL-8B-Instruct平均仅28.3%(注视)/52.7%(手势)/38.0%(联合)，Qwen3-VL-8B-Thinking(RL基线)也只有28.1/52.7/38.0，反而在Easy难度上更低，说明仅靠通用RL后训练鼓励长推理链无法解决社交理解，反而放大spurious reasoning问题。

本文的目标是本文具体目标包括三层：(1)构建第一个大规模、同时支持高层社会QA和细粒度注视-手势接地的数据集GRASP，包含290K QA对、46K视频、749小时、16类QA分类法，以及1000条人工精选的GRASP-Bench测试集；(2)提出社会接地奖励SGR(Social Grounding Reward)，这是一个直接验证模型推理是否提及正确参与者的轻量奖励信号，引导MLLM在生成答案前先识别交互双方；(3)在Qwen3-VL-8B和Qwen3.5-9B两个开源MLLM上完成两阶段训练(52K SFT warm-up + 238K GRPO with SGR)，并在GRASP-Bench以及MMSI、Online-MMSI、TVQA+三个外部社会推理基准上同时取得提升。

与已有工作不同的是，本文的独特切入角度是参与者级接地——既不是单纯的感知任务(只看眼动/手势本身)，也不是高层QA(只问谁对谁做了什么)，而是把二者显式绑定在结构化社会图(unified social graph)中作为监督信号。现有数据集如GazeFollow、VideoAttentionTarget只关注单模态低级感知，SocialGesture只关注手势分类，TVQA+/MMSI只做高层社会QA但缺乏细粒度接地；现有RL方法如Video-R1、VL-Rethinker只奖励答案正确性和格式规范性，没有显式奖励推理过程是否引用了正确的视觉证据。本文的SGR恰好填补了答案对了但推理没看对这一关键监督空白，通过 $r_{gnd} = (1 + R(P_{pred}, P_{gt})) \cdot P(P_{pred}, P_{gt})$ 同时平衡选择性和覆盖率，惩罚枚举所有可见人物和漏掉关键人物的两种失败模式。

核心方法

GRASP的整体方案由数据集构造流水线和社会接地奖励两大部分组成，二者通过统一社会图(unified social graph)耦合。直觉上，研究者认为社交理解的关键是谁参与了与谁、何时发生的什么事件，因此先把多人视频拆解为ID一致的注视轨迹和deictic手势事件，组合成5类注视事件(mutual gaze、joint attention、gaze following、attention capture、sudden gaze shift)和4类手势(pointing、showing、giving、reaching)，再在时间共现窗口内建立跨模态关联，形成245K事件级的社会图。在此基础上用Gemini作为标注器从结构化事件元数据自动生成16类QA，并通过52K SFT预热让MLLM学会先看gaze/gesture证据再给答案的双标签格式，最后用GRPO + SGR在238K子集上做RL后训练，让模型在生成推理时显式提及正确的参与者集合 $P_{pred}$。

本文核心创新是社会接地奖励SGR，它与已有RL方法(如Video-R1的准确率+格式奖励)的本质区别在于：SGR通过加权F1 $r_{gnd} = (1 + R(P_{pred}, P_{gt})) \cdot P(P_{pred}, P_{gt})$ 直接评估推理过程中提及的参与者集合 $P_{pred}$ 与目标事件参与者集合 $P_{gt}(q)$ 的匹配度，把推理是否看见了正确的人作为可微、可验证的监督信号。这恰好切中了论文Fig. 1揭示的spurious reasoning痛点——Video-R1和VL-Rethinker虽然生成了看起来合理的思维链，但参与者的选择与时间窗口内的真实视线变化不一致；SGR通过奖励机制的偏置，迫使模型在生成答案前先梳理出正确的谁参与了与谁的什么交互。

方法步骤详情

GRASP的流程分数据构造和两阶段训练。数据构造(Section 3.1)：(a)PySceneDetect切分视频；(b)SAM 3+文本people得跨帧人物框；(c)RetinaFace+匈牙利匹配将人脸关联到人物ID，取脸中心作GazeAnywhere的point prompt输出归一化注视点 $g_t^i \in [0,1]^2$；(d)插值后算注视速度和群体收敛得分，定义5类注视事件；(e)手势检测用OCR-like grounding让Gemini识别4类deictic gesture；(f)按时间窗口链接成统一社会图(245K事件)。训练(Section 4.1)：Stage 1用52K子集做SFT warm-up，响应格式化为think/gaze/gesture/answer结构；Stage 2在238K子集上跑GRPO+SGR，$K=8$ rollouts，奖励 $r_i = \sum \lambda \cdot r$ 权重 $(1.0, 0.1, 0.05, 0.2)$，硬件为8×H200 GPU + bfloat16 + DeepSpeed ZeRO-2。

技术新颖性

GRASP的技术新颖性体现在三方面。第一，构造了首个同时支持高层社会QA和细粒度注视-手势接地的290K规模数据集，填补了碎片化监督空白——既不是纯感知，也不是纯推理，而是结构化社会事件 + 接地QA的耦合。第二，提出SGR奖励，把参与者级接地形式化为可验证的精确率-召回率加权组合 $r_{gnd} = (1+R) \cdot P$，既能惩罚枚举所有人(低精确率)又能惩罚漏报关键人物(低召回率)，形式简单但切中要害。第三，社会图(unified social graph)把注视和手势事件按时间共现显式链接，让跨模态联合推理(J1-J4)有可追溯的事件级监督，而不是仅靠端到端文本生成。Tab. 3的消融显示，从GRPO (RFT)切换到SGR (RFT)后Qwen3-VL-8B平均从41.1跃升到50.4，Qwen3.5-9B从44.6跃升到52.6，跳跃幅度显著大于GRPO相对SFT基线的提升(+5.0/+1.6)，证明SGR带来的增益远超通用RL优化本身。

Overview of the GRASP construction pipeline and QA examples.
Figure 2: Overview of the GRASP construction pipeline and QA examples.
GRASP taxonomy and statistics.
Figure 3: GRASP taxonomy and statistics.

实验结果

GRASP-Bench主结果(Tab. 1)：Qwen3-VL-8B+SGR平均50.4%与Gemini 3.1 Pro的50.5%持平，Qwen3.5-9B+SGR达52.6%超越所有基线成新SOTA。注视/手势/联合三类Qwen3.5-9B+SGR分别48.0/64.4/45.6，比Instruct提升+15.2/+5.4/+4.8；J3(eye contact)类目Qwen3-VL-8B+SGR达51.3%，比Thinking的39.5%提升11.8个绝对百分点。跨基准(Tab. 2)：MMSI/Online-MMSI/TVQA+上Qwen3.5-9B+SGR取62.1/56.9/70.9，超过Instruct和Thinking基线。消融(Tab. 3)：Qwen3-VL-8B从SFT(38.3)→GRPO(RFT)(41.1)→SGR(RFT)(50.4)证实SGR才是关键。模型规模(Tab. 4)：Qwen3-VL 2B/4B/8B分别46.2/48.3/50.4。接地精度(Fig. 5)：$\rho = 0.64$ 表明接地精度和准确率正相关。

Evaluation results on GRASP-Bench. We report accuracy for all 16 categories.
Table 1: Evaluation results on GRASP-Bench. We report accuracy for all 16 categories.
Cross-benchmark generalization results on MMSI, Online-MMSI, and TVQA+.
Table 2: Cross-benchmark generalization results on MMSI, Online-MMSI, and TVQA+.
Ablation on reward components for social grounding and their impact on social reasoning performance.
Table 3: Ablation on reward components for social grounding and their impact on social reasoning performance.
Model scaling effects with SGR on GRASP-Bench evaluation.
Table 4: Model scaling effects with SGR on GRASP-Bench evaluation.
Per-category comparison on GRASP-Bench across baselines including SFT, reasoning, GRPO-tuned, and ours.
Figure 4: Per-category comparison on GRASP-Bench across baselines including SFT, reasoning, GRPO-tuned, and ours.
Grounded participant precision—accuracy on GRASP-Bench across various reasoning baselines.
Figure 5: Grounded participant precision—accuracy on GRASP-Bench across various reasoning baselines.
查看结构化数据
任务指标本文基线提升
GRASP-Bench(16类平均) Overall Accuracy Qwen3.5-9B+SGR: 52.6% Qwen3.5-9B-Instruct: 43.0% / Gemini 3.1 Pro: 50.5% +9.6绝对百分点 vs 同基线，超越闭源SOTA
GRASP-Bench注视推理(T1-T6平均) Accuracy Qwen3.5-9B+SGR: 48.0% Qwen3.5-9B-Instruct: 32.8% / Qwen3-VL-8B+SGR: 46.3% +15.2绝对百分点(同基线)，+17.5 vs Qwen3-VL-8B-Instruct的28.3
GRASP-Bench手势推理(G1-G6平均) Accuracy Qwen3.5-9B+SGR: 64.4% Qwen3.5-9B-Instruct: 59.0% / Gemini 3.1 Pro: 67.6% +5.4绝对百分点同基线，已逼近闭源最佳水平
GRASP-Bench联合推理(J1-J4平均) Accuracy Qwen3.5-9B+SGR: 45.6% Qwen3.5-9B-Instruct: 40.8% / Qwen3-VL-8B+SGR: 48.1% +4.8绝对百分点，J3眼接触类目Qwen3-VL-8B+SGR达到51.3%
MMSI跨基准(STI/PCR/MPP平均) Accuracy Qwen3.5-9B+SGR: 62.1% Qwen3.5-9B-Instruct: 61.6% / VL-Rethinker-7B: 56.9% +0.5同基线，+5.2绝对百分点超过最强RL基线
Online-MMSI跨基准(STI/PCR/MPP平均) Accuracy Qwen3.5-9B+SGR: 56.9% Qwen3.5-9B-Instruct: 55.2% / Qwen3-VL-8B+SGR: 56.0% +1.7绝对百分点，零样本迁移验证接地能力可泛化
TVQA+时空接地QA Accuracy Qwen3-VL-8B+SGR: 73.2% Qwen3-VL-8B-Instruct: 71.9% / Qwen3-VL-8B-Thinking: 70.0% +1.3绝对百分点，Thinking模式反而比Instruct低，证实SGR的必要性
SGR奖励消融(Qwen3-VL-8B) GRASP-Bench Avg SGR(RFT): 50.4% GRPO(RFT): 41.1% / SFT: 38.3% +9.3 vs GRPO，确认SGR的增益显著超出通用RL

局限与改进

作者在Section 6和Appendix E坦诚了若干局限：(1)数据集噪声——多人重叠、相机运动剧烈场景下自动生成的事件级标注仍可能出错，被遮挡注视点和多人共指向的手势归因易模糊。(2)SGR仅做参与者级接地而不显式约束时间对齐——模型只要提到正确人物即拿满分，未强制要求何时看向与事件边界一致，Discussion明确指出temporal alignment是future work。(3)模态单一——只覆盖注视和deictic gesture两类非言语通道，对表情、声调、身体朝向、对话轮换未涉及。(4)Reward hacking风险——SGR的参与者提及是字符串级二元判断，模型可能学会先枚举所有可见人物再回答；Fig. 5用气泡大小部分缓解，Appendix C.3的ID-corruption消融证明不存在ID复制捷径。(5)闭源标注器依赖——76K gesture实例均出自Gemini，限制数据集复现性。

独立分析的弱点

独立审视后，本文的弱点主要有四点。第一，SGR的参与者是否被提及是字符串级二元判断，模型可能学会先枚举所有可见人物再回答这种伪接地策略来拿满分奖励；论文Fig. 5用novel participants标记(气泡大小)部分缓解了此担忧，但未给出量化上限。第二，注视事件检测基于GazeAnywhere + 启发式规则，缺乏对相机运动和深度信息的显式建模，在快速推拉镜头下注视点的归一化坐标可能错位，Appendix未做相应消融。第三，两阶段训练流水线较为复杂——52K SFT预热 + 238K GRPO需要至少8张H200连续训练数日，对中小实验室门槛极高，论文未给出任何简化版或开源训练脚本的承诺。第四，J1-J4联合推理的增益明显小于T/G单模态(T类提升17.5个点 vs J类提升4-8个点)，说明SGR的奖励信号在跨模态时序对齐上不够强，可能需要额外的时间锚定奖励。改进方向：可引入时间IoU奖励、对ground-truth event span做soft match、或在reward中加一个跨模态共现惩罚项。

未来方向

作者在Discussion中明确指出的方向是更严格的时序对齐和更丰富的社会线索。我基于此成果可延伸的方向包括：(1)把SGR扩展到第三人称视角的embodied AI场景，验证其是否能让机器人VLA模型在多人物理交互中识别谁递给我什么；(2)把注视和手势与语音模态结合，构建音视频联合的社会接地奖励，让模型在对话场景中识别turn-taking和addressee；(3)把参与者集合匹配推广为更细粒度的事件图匹配，即不仅要求模型提及正确人物，还要求按时间顺序正确复现事件转移 $e_1 \to e_2$；(4)研究SGR对reward hacking的鲁棒性，例如加入提及顺序约束、抑制冗余枚举的负奖励；(5)把GRASP-Bench作为长视频推理的测试平台，探索在24fps+完整视频(而非2fps采样)下SGR是否仍有效；(6)把SGR范式迁移到embodied社会导航任务，让导航智能体在多人物理场景中基于注视判断该走向谁。

复现评估

复现性评估需分三部分看。数据部分：GRASP元数据可从项目页获取(论文声称提供dataset和benchmark)，但视频源含商业电视剧可能存在版权问题无法公开下载，事件检测管线虽使用SAM 3、RetinaFace、GazeAnywhere、Gemini等公开模型/API，具体prompt模板、self-refinement loop停止准则、QA生成prompt在Appendix有详述。代码部分：论文未明确承诺开源训练代码，至少应公开GRASP-Bench评估脚本，两阶段训练脚本细节(尤其reward计算、GRPO配置)仅在Appendix C概述。算力部分：8×H200 GPU + bfloat16 + DeepSpeed ZeRO-2的全量训练对中小实验室门槛极高，仅SFT warm-up(52K)就需要数天，RL阶段(238K, K=8)更多。复现难度评估为高，主要瓶颈：闭源Gemini API可重复性、8卡H200算力成本(估计数万美元)、社会图级联错误传播。建议中小团队优先复现GRASP-Bench评估和SGR奖励计算逻辑，训练部分用LoRA近似。

论文图表

Example from GRASP. Multi-person social reasoning requires grounding subtle non-verbal cues in the correct participants over time. Existing MLLMs often take spurious scene-level shortcuts, whereas ours leverage evidence-aware supervision to reason from the relevant social event.
Figure 1: Example from GRASP. Multi-person social reasoning requires grounding subtle non-verbal cues in the correct participants over time. Existing MLLMs often take spurious scene-level shortcuts, whereas ours leverage evidence-aware supervision to reason from the relevant social event.

展示一个3.0s-8.0s的5人多轮对话案例：问题C4(hard)问Person 2指向Person 0时，Person 3的视线跟随了谁。对比Video-R1-7B(猜Person 2)、VL-Rethinker-7B(猜Person 0)和本文Ours w/ SGR(正确答案Person 1)的推理过程。SGR模型在think内显式列出gaze和gesture块，准确指出3.0-4.0s和6.0-8.0s Person 3的视线跟随Person 1的方向，避开了指向谁就跟随谁的语言先验陷阱。

这是论文最核心的motivation图，直接揭示了spurious reasoning现象和SGR为何必要；任何想理解本文研究价值的读者第一眼就应该看这张图。