SocialOmni：全模态模型中音视频社交互动能力的基准评测 SocialOmni: Benchmarking Audio-Visual Social Interactivity in Omni Models

SocialOmni 的评测流程分为两个主要任务。Task I（Who 感知任务）：给定一个视频片段 $V$ 和音频 $A$，在时间戳 $t$ 处，模型需要从四个候选描述中选出此刻谁在说什么。四个选项通过置换说话人身份和文本内容两个正交轴自动生成——来自 ASR 转录的正确内容可以与正确或错误的说话人配对，反之亦然。每个片段额外标注为一致（画面中的人与声音匹配）或不一致（镜头显示不同的人）。使用 top-1 准确率和宏平均 F1 作为指标。Task II（When+How 生成任务）：给定视频前缀 $V_{\leq t}$ 和对应的音频前缀 $A_{\leq t}$，模型首先回答 When——以 1 秒为步长逐步展示视频，反复询问'候选说话人现在应该说话吗？'，记录模型首次回答 YES 的时间 $\hat{ au}_i$，计算有符号响应偏移 $\Delta au_i = \hat{ au}_i - au_i^{\star}$。根据阈值 $(1, 2, 5)$ 秒将每个预测归入五类：打断（$\Delta au_i < -1$s）、完美（$-1 \leq \Delta au_i \leq 2$s）、延迟（$2 < \Delta au_i \leq 5$s）、太晚（$\Delta au_i > 5$s）或无响应。如果模型决定说话，则进入 How——生成上下文适切的回应 $\hat{s}_i$，由三个独立裁判（GPT-4o、Gemini 2.5 Pro、Qwen3-Omni）在 $\{25, 50, 75, 100\}$ 四级量表上评分，取均值 $?ar{s}_i = ?rac{1}{3}\sum_{k=1}^{3} s_i^{(k)}$。

SocialOmni 的技术新颖性体现在多个层面。首先是任务设计层面的创新：四选一选项设计通过正交置换说话人身份和文本内容，首次实现了视觉定位错误与语音识别错误的解耦诊断，这是此前任何基准都没有做到的。其次是评测协议的创新：双轴评测协议将帧级感知诊断（精度、召回率、F1、一致性差距）与多裁判生成评分（三裁判均值、覆盖率、大差距率）相结合，支持感知-生成解耦分析。第三是鲁棒性探针的创新：通过系统性地构建音视频不一致场景（275 个样本），量化模型在跨模态冲突下的退化程度，一致性差距 $\Delta_{cons}$ 是一个新颖的鲁棒性指标。第四是时间评测的创新：以 1 秒步长的流式评测模拟真实实时接收条件，并通过五类时间分类和精确-召回分析揭示模型的时机决策策略（aggressive vs. conservative），而非仅仅报告单一准确率。最后是 LLM-as-a-Judge 的创新应用：使用三个异构裁判的粗粒度四级评分减少裁判犹豫并提高跨裁判一致性，大差距率 $R_{gap}$ 作为裁判分歧的监控指标。

SocialOmni 的主要弱点包括以下几个方面。第一，生成子集规模过小（209 个实例），虽然论文解释这是为了'控制开放性评估中的方差'，但这导致评测结果的统计置信度有限，尤其是在模型间差距较小时难以做出可靠区分。建议未来工作通过引入更多样的对话场景和更精细的评分粒度来扩大生成子集的规模。第二，论文使用的 LLM-as-a-Judge 协议存在循环论证的风险：GPT-4o 既是被评测模型之一，又是裁判之一，尽管论文声称使用了'固定系统提示和生成设置'来确保公平性，但自评偏差难以完全消除。建议引入不参与评测的裁判模型或增加人类评测比例。第三，When 任务的 1 秒步长在真实对话场景中过于粗糙——人类对话中的轮次转换通常发生在 200-300 毫秒级别，1 秒步长可能掩盖模型在亚秒级时间尺度上的真实能力差异。第四，基准仅涵盖 15 个对话子类别，未能覆盖更具挑战性的场景（如多人同时说话、背景噪音干扰、文化差异导致的对话规范差异）。第五，论文在统计分析方面使用了 95% bootstrap 置信区间，但未进行多重比较校正，在同时比较 12 个模型的多个指标时可能存在假阳性风险。

论文作者提出了几个明确的未来方向。第一，将 SocialOmni 扩展到多轮交互轨迹——当前基准只评估单个对话回合，但真实社交互动中的轮次管理和打断策略会随对话进展而演变。第二，为语用细微场景引入人类评估——当前的 LLM-as-a-Judge 协议可能无法捕捉文化隐含、讽刺、幽默等需要人类判断力的语用现象。第三，将模态覆盖扩展到韵律和手势感知评估——当前基准主要关注语义内容和视觉身份，但真实社交互动中韵律（语调、重音、节奏）和手势（点头、手势、身体姿态）也是关键信号。基于本文成果，可以进一步延伸的研究方向包括：将三维评测框架应用于评估和改进实时语音助手（如 Siri、Alexa）的对话能力；开发专门针对社交互动能力的模型微调方法，利用 SocialOmni 的三维诊断信号作为训练信号；探索跨语言社交互动评测（不同语言文化中的轮次转换规范差异显著）；以及将评测框架扩展到人-机器人交互场景，其中物理化身的存在为 Who-When-How 引入了额外的复杂性。

SocialOmni 在可复现性方面做了较为充分的工作。论文释放了评测所需的核心元数据：视频标识符/URL（在许可允许的范围内）、时间戳 $t$、候选说话人 $X$、对齐的转录段、一致性标签和裁决标志。评测提示模板和裁判提示也已公开。项目主页（github.com/MAC-AutoML/SocialOmni）和数据页面（huggingface.co/datasets/alexisty/SocialOmni）提供了数据和代码的访问途径。然而，复现的挑战包括：首先，基准依赖的视频源可能随时间失效（版权、下架等原因），这会影响长期可复现性；其次，LLM-as-a-Judge 的三个裁判（GPT-4o、Gemini 2.5 Pro、Qwen3-Omni）均为商业或大型开源模型，使用成本较高；第三，评测的 12 个模型中部分使用了商业 API，论文未提供 API 版本号等详细调用参数，可能影响精确复现。总体而言，论文在数据、提示和方法论层面的开放程度较好，但算力门槛和商业 API 依赖可能限制独立研究者的复现能力。