ViMU：面向视频隐喻理解的基准测试 ViMU: Benchmarking Video Metaphorical Understanding
首个无提示视频潜台词理解基准，揭示前沿多模态模型在讽刺、反讽与社会含义上的系统短板
前置知识
多模态大语言模型 (MLLM)
MLLM 指同时处理文本、图像、音频、视频等模态的预训练大模型，典型代表如 GPT-4.1、Claude-3、Gemini-3、Qwen3-VL 等，可对视频内容进行端到端理解、问答与生成。其核心架构通常为视觉/音频编码器 + 投影层 + LLM 解码器。
本文评测 16 个 MLLM 在 ViMU 上的表现，必须理解这些模型是当前视频理解任务的事实标准基线，读者需要明白它们的能力边界与常见失败模式才能读懂 ViMU 的实验结论。
视频问答 (VideoQA)
VideoQA 是给定一段视频与文本问题、要求模型输出答案的任务。常见子任务包括动作识别、时序推理、因果推断等。本文扩展了 VideoQA 的范围，要求模型跨越字面理解去推断隐含意图、修辞手段与社会信号。
ViMU 沿用 VideoQA 框架，但通过严格的 hint-free 设计与结构化标签系统把它推进到隐喻/反讽层。理解 VideoQA 是明白 ViMU 如何在其上做扩展的前提。
修辞机制 (Rhetoric Mechanism)
修辞机制指说话者/创作者用来表达非字面意义的语言或视觉手段，例如反讽 (Irony)、夸张 (Exaggeration)、对比 (Contrast)、戏仿 (Parody)、陷阱切换 (Bait-and-Switch)、反讽死板 (Deadpan) 等。ViMU 将其细分为 5 大类用于多选题标注。
修辞机制是 ViMU 中两个语义维度之一，是衡量模型是否识别创作者手法（how meaning is conveyed）的核心标签。读懂此概念才能理解图 2 中的语义分布与 RMI 任务的评分。
证据接地 (Evidence Grounding)
证据接地指模型在给出判断时能否回指到具体的可观察证据（如某帧画面、可见文本、音频音调、剪辑模式、字幕）。ViMU 的 EG 任务以五元多选题形式要求模型挑出支持其答案的证据来源，避免幻觉式回答。
EG 是 ViMU 四任务中唯一直接测试可解释性的任务，论文图 6 的错误分析 (Exact/Miss-Only/Extra-Only/Mixed) 全部围绕它展开，是把握本文方法论的关键。
研究动机
当前视频理解研究高度集中在字面感知层面——识别物体、动作、时序关系——而人类观看视频时实际理解的远不止这些。一个德国舞台秀女孩的怪舞动作配上《Erika》军歌时，观者会自动联想到纳粹符号；一段卡通牛顿接苹果被切换为人形鸟飞的怪诞画面，潜台词是『因为苹果没砸中牛顿，物理学的进步就此延误』。这些 subtext（潜台词）才是创作者真正想表达的含义，但 MLLM 普遍只能描述字面动作。现有 VideoQA 基准（I-VQA, VRR-QA, MECD+）主要关注隐式的空间/物理/帧间关系，未触及社会文化层面的隐喻；幽默类基准（v-HUB, FunQA）覆盖范围过窄；多选题式评测（如 AVMeme Exam）会通过选项泄露隐含假设，造成 hint leakage。因此系统化、可控且无提示的隐喻视频理解基准一直缺失。
本文的目标是本文目标是构建 ViMU（Video Metaphorical Understanding）这一基准，覆盖 10 余种修辞机制与社会价值信号，囊括 588 个 YouTube/Bilibili/TikTok 视频与 2352 道题，对前沿多模态大模型在四类任务——开放解释 OI、修辞机制识别 RMI、社会价值信号识别 SVI、证据接地 EG——上的潜台词理解能力做系统量化，并通过 hint-free 协议严格控制提示泄露，最终揭示当前最强模型在 50% 整体水平以下的真实表现，定义下一代 MLLM 必须攻克的隐喻能力评估坐标。
与已有工作不同的是，ViMU 的独特切入在于：(1) hint-free 设计——题干绝不透露任何关键证据或解释假设，迫使模型真正『看懂』视频而非利用提示走捷径；(2) 双维度语义标注——同时刻画『如何表达』（修辞机制）与『表达什么社会立场』（社会价值信号），比单一维度的幽默/表情包基准更立体；(3) 显式证据接地——把模型是否能在多模态线索上自证作为独立任务评分，切断『猜对但说不出原因』的可能；(4) 严格的构建协议——经过多轮闭源前沿模型与人类专家迭代校验，过滤掉任何泄露潜台词的题干。
核心方法
ViMU 的方法论可概括为『以严谨的标注协议构建无提示、多维度的视频潜台词理解基准』。技术上分三步：先确立语义双维度（修辞机制 + 社会价值信号）的层次化分类法；再围绕 588 个 YouTube/Bilibili/TikTok 视频，由闭源前沿模型 + 人类专家多轮筛选生成 2352 道四类题；最后用 LLM-as-a-Judge 配合结构化评分细则，对 16 个 MLLM 的开放题答案做盲评，并对多选题用 Exact/Miss-Only/Extra-Only/Mixed 四类错误解构。
核心创新在于『hint-free 约束下的多维隐喻结构化』：与已有 VideoQA 基准相比，ViMU 不是让模型在已知答案类别中做选择（那样选项本身就泄露假设），而是要求模型在不被告知修辞类型、目标群体、证据来源的前提下自行解释视频，再以多选形式标注其是否识别出正确的修辞机制、社会信号和支撑证据。这等于把『理解』与『识别』任务解耦，并让两者互相验证——如果解释对了但证据选错，说明模型在『硬猜』。
方法步骤详情
构建分四阶段。(1) 候选池筛选——从 YouTube/Bilibili/TikTok 抓 500+ 含 subtext 短片，闭源模型初筛 + 人工复审得 588 视频。(2) 语义维度定义——10+ 修辞手段归入 5 大类（字面/直接、反对/不一致、态度/语气、放大/风格化、隐式/编码社会框架），社会价值信号归 5 大类（中性、情感态度、社会评价、规范框架、身份/意识形态），证据源归 5 类（帧、可见文本、剪辑、字幕、音频音调）。(3) 题干生成与 hint-free 校验——每视频生成 4 题（开放解释+修辞识别+社会信号+证据接地），题干严格剥离泄露潜台词的提示词，经多轮模型+人工迭代。(4) 评分——开放题用 LLM-as-a-Judge 配合 rubric；多选题用 Exact/Miss-Only/Extra-Only/Mixed 四类错误分解，再以 Micro-F1 与 Frobenius 距离量化模型对潜台词拓扑的恢复程度。
技术新颖性
技术新颖性体现在三点：第一，把 Roland Barthes 的『二级符号系统』思想工程化，用修辞机制和社会信号双维度形式化描述『潜台词』；第二，引入 hint-free 协议作为基准的硬约束，从数据源头杜绝提示泄露，这是对 AVMeme Exam 等多选基准的范式升级；第三，证据接地任务的设计把『可解释性』量化成可比较的指标（保守度 vs Micro-F1，co-occurrence 矩阵的 Frobenius 距离），让潜台词理解不再只靠主观打分。这三点的组合使 ViMU 在评测协议上比现有基准严格一档。
实验结果
论文在 16 个 MLLM 上做大规模评测后得到四个核心发现。**(1) 整体水平低于 50%**：表现最好的 o4-mini 整体平均分仅 46.91%；最强封闭模型 GPT-5.2 在开放解释 (OE) 与证据接地 (EG) 上达 73.15% 与 67.83%，但修辞机制 (RM) 与社会信号 (SV) 骤降至 16.55% 与 21.15%，字面理解与隐喻理解存在断层。**(2) 强项不可外推**：OE 最强的 GPT-5.2 在 RM/SV 上并非最优，Grok-4.1-Fast（RM 34.91%, SV 28.73%）与 Gemini-3-Flash-Preview（RM 33.63%, SV 28.26%）反而更擅长识别修辞与价值信号。**(3) 系统性偏置普遍**：多数模型在修辞任务中过度预测 A（Literal）、低估 E（隐式/编码），在社会信号任务中过度预测 B（情感态度）、低估 E（身份/意识形态），呈现『用通用/安全标签兜底』的共同倾向。**(4) 家族聚类明显**：PCA 显示 OpenAI、Qwen+Mistral、Gemini 等家族各聚成簇。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 开放解释 (OE) | LLM-as-a-Judge 准确率 (%) | GPT-5.2 73.15% / o4-mini 65.27% / Qwen3-VL-32B 64.09% / Qwen3.5-27B 62.80% | GPT-4.1-nano 50.12% / Claude-3-Haiku 50.41% / Gemma-3-4B 39.43% | GPT-5.2 较最弱基线 Gemma-3-4B 提升 +33.7 个百分点，但最强与最弱封闭模型差距超 23pp，显示前沿模型在字面解释上仍有显著分层 |
| 证据接地 (EG) | Micro-F1 (%) | GPT-5.2 67.83% / Seed-2.0-Lite 66.16% / Grok-4.1-Fast 63.84% / Qwen3.5-27B 60.28% | GPT-4.1-nano 22.31% / GLM-4.5v 23.11% / Gemma-3-4B 25.41% | 最强 GPT-5.2 比最弱 GPT-4.1-nano 高 45.5pp；多数模型偏保守（x<0），即漏选证据是主要失败模式 |
| 修辞机制识别 (RM) | Macro-F1 (%) | Qwen3.5-27B 38.18% / Grok-4.1-Fast 34.91% / Gemini-3-Flash-Preview 33.63% / o4-mini 33.21% | Claude-3-Haiku 2.99% / GPT-4.1-nano 2.32% / GPT-5.4-mini 4.17% | 最强 Qwen3.5-27B 仅 38.18%，整体远低于 50%；闭源模型在该任务上并不显著优于开源模型 |
| 社会价值信号识别 (SV) | Macro-F1 (%) | o4-mini 29.51% / Grok-4.1-Fast 28.73% / Gemini-3-Flash-Preview 28.26% / Qwen3.5-27B 22.40% | Claude-3-Haiku 3.64% / Ministral-14B 6.57% / Gemma-3-4B 7.17% | 最强 o4-mini 不到 30%，所有模型均未跨越 50% 门槛；该任务是 ViMU 中公认最难的任务 |
| All-Avg (四任务平均) | 平均准确率 (%) | o4-mini 46.91% / Grok-4.1-Fast 46.28% / Qwen3.5-27B 45.91% / GPT-5.2 44.67% | GPT-4.1-nano 20.94% / Claude-3-Haiku 22.90% / Gemma-3-4B 23.28% | 无任何模型达到 50% 整体门槛；最强较最弱提升约 26pp |
局限与改进
作者在论文中承认的局限包括：(1) 视频来源以英文 YouTube 与中文 Bilibili/TikTok 为主，对其他语言/文化背景的覆盖有限，可能存在文化偏见；(2) LLM-as-a-Judge 评分受判分模型自身能力影响，存在『评分者偏差』，附录 B 的评分细节虽给出 rubric 但未做跨模型一致性分析；(3) hint-free 协议虽然严格，但不可避免地牺牲了一部分题目多样性，因为太难的题目会被迭代过滤掉，导致基准偏向『中难度』区间。我自己的观察是：(4) 588 个视频的规模对于一个标注严苛的基准来说偏小，可能影响统计显著性，尤其在按子类别（如 Anti Mainstream、Identity/Ideological Signaling）细分时样本不足；(5) 修辞机制和社会信号的 5 大类分组虽然便于多选题设计，但合并粒度可能模糊了『对比 (Contrast)』与『反对/不一致 (Opposition/Incongruity)』等细分子类的差异，限制了细粒度结论的可信度。
独立分析的弱点
独立分析可识别的弱点有四：(1) **文化覆盖偏窄**——视频集中在中英文互联网，改进方向是引入多区域协作标注并显式标注文化背景。(2) **评分依赖单一 LLM-as-a-Judge**——开放题完全依赖判分模型本身，改进方向是引入多模型投票 + 人类专家仲裁的混合评分协议。(3) **多选题选项仍可能泄露先验**——『Implicit/Coded Social Framing』等术语暗示了答案层次，改进方向是选项盲化或 forced-choice 配对比较。(4) **证据源粒度太粗**——5 大类让模型只需『猜类别』，改进方向是引入时间戳级细粒度证据标注。图 8d 用 $\|M_{\text{pred}} - M_{\text{gold}}\|_{F}$ 距离衡量模型对修辞/价值信号共现拓扑的恢复程度，可形式化为 $\mathcal{D}_{F} = \sqrt{\sum_{i,j}(M_{ij}^{\text{pred}} - M_{ij}^{\text{gold}})^{2}}$，是后续可借鉴的几何保真度量。
未来方向
作者明确指出的未来方向包括：把 ViMU 作为 MLLM 微调的诊断工具，针对 RM/SV 的弱点做针对性训练；以及把 hint-free 协议推广到图像/音频基准，构建跨模态的隐喻理解评测矩阵。基于成果可延伸的方向有：(1) 把 ViMU 与文化研究、社会学、传播学结合，研究不同文化群体对同一视频的潜台词解读差异，量化『主观意图-客观解读』分布；(2) 用 ViMU 检验『推理增强』方法（如 Chain-of-Thought、Test-time Compute Scaling）对隐喻理解的边际增益，验证算力换理解的边界；(3) 把 ViMU 拓展到长视频（>10 分钟）或多片段叙事，检验模型在复杂叙事弧线上的潜台词追踪能力；(4) 探索 ViMU 的对抗鲁棒性——人为设计『反例视频』看模型是否会被表面修辞误导。
复现评估
复现性方面：作者在 GitHub 公开了项目页与数据集入口（论文标注 Project Page + GitHub + Dataset），为 16 个 MLLM 的官方实现/官方 API 提供评估脚本，按 zero-shot 协议运行；但完整训练/标注流程未在论文正文详述，需结合附录 A 了解。算力方面，闭源 API 模型仅需 API 费用，开源模型（Ministral-8B/14B, Gemma-3-4B/27B, Qwen3-VL-32B, Qwen3.5-27B）按 32B 量级在单卡 A100/H100 上即可推理，门槛较低。复现难度中等偏难，主要难点不在算力而在：(1) LLM-as-a-Judge 评分的 prompt 工程需要严格对齐论文 rubric；(2) 多轮 hint-free 校验依赖闭源前沿模型的访问权限，普通研究者可能需替换为开源等价模型；(3) 588 个视频的版权与平台可访问性可能随时间变化，需要 snapshot 备份。整体而言，第三方能在不重新标注的前提下复现主实验表格，但想要完整重做标注协议几乎不可行。
论文图表
上半部分展示一个女孩在舞台节目中做怪异舞蹈动作，配《Erika》德军歌曲与狗头贴纸；Surface-Level 仅描述字面动作，Underlying Meaning 指出视频实质是把动作重新解读为纳粹符号的视觉玩笑。下半部分展示卡通牛顿读树下一个苹果被人接走，随后切换到人在田地里挥臂如鸟的怪诞画面；表层是儿童接苹果与飞翔场景，深层则讽刺『因为苹果没砸中牛顿，物理学发展被延误』。
这是论文最具说服力的开篇案例，让读者直观感受『字面 vs 潜台词』的巨大鸿沟，为 ViMU 的必要性提供直觉支撑。
两张 16×5 矩阵：左为修辞机制任务下模型对 A-E 选项的预测偏置，正值表示过度预测、负值表示低估；右为社会价值信号任务的同种矩阵。多数模型在修辞任务中过度预测 A (Literal)、低估 E (Implicit/Coded)；在社会信号任务中过度预测 B (Emotional Attitude)、低估 E (Identity/Ideological)。
这是揭示模型系统性偏置的核心证据，证明『用更通用/安全标签兜底』是 MLLM 的共性失败模式。