MVEB：大规模视频嵌入基准 MVEB: Massive Video Embedding Benchmark
MTEB 系列首个视频嵌入基准，23 任务 × 33 模型，揭示音频贡献取决于数据标注来源。
前置知识
嵌入基准（Embedding Benchmark）
嵌入基准是用于统一比较不同嵌入模型在检索、分类、聚类等下游任务上表现的标准化评测集合。MTEB（Massive Text Embedding Benchmark）最初为文本设计，通过聚合多个任务给出模型综合排名，后续扩展出图像版 MIEB、音频版 MAEB，本文的 MVEB 补齐视频这一模态。
理解 MTEB 生态是阅读本文的基础，因为 MVEB 直接继承其任务定义、评测接口和版本管理协议；同时它解释了为什么作者要构建 184 任务的全集 MVEB+ 并做冗余剪枝为 23 任务的 MVEB。
零样本评估（Zero-shot Evaluation）
指模型在完全不针对下游任务进行微调或参数训练的情况下，直接使用预训练得到的嵌入向量进行评估。所有评测指标（nDCG@10、accuracy、v-measure、max-AP）都由冻结的嵌入向量配合简单的余弦相似度或线性分类器计算得到。
MVEB 强调零样本评测以反映模型的通用表示质量，而非针对单一任务的拟合能力；这同时也是与有监督检索评测的关键区别，对理解本文的排行榜语义至关重要。
多模态对比学习（Multimodal Contrastive Learning）
通过将不同模态（如视频帧、音频波形、文本描述）映射到同一嵌入空间并用 InfoNCE 等损失函数拉近匹配的跨模态对、推开非匹配对，从而学到对齐的表示。X-CLIP、Perception Encoder、eBind、MLLM-Embedding 都属于这一范式。
本文核心发现之一是「对比式嵌入训练阶段是跨模态性能的近必要前提」，若没有这个阶段，生成式 MLLM（如 Qwen2.5-Omni）即使在 MVEB 上也彻底崩溃——理解这个范式才能理解这一结论。
Borda 计数排序（Borda Count Ranking）
一种基于投票的聚合排序方法：把每个任务视为一个「投票者」，按模型在该任务上的表现给出 1 到 N 的名次分，最后把所有任务的分数加总得到综合排名。它不要求任务间可比分数，比简单平均更能容忍不同任务分布。
MVEB 主榜单用 Borda 计数确定综合名次，并同时报告 Borda 名次和算术平均分。理解这点有助于避免对单一指标的过度解读。
研究动机
现有视频评测基准普遍存在两类结构性缺陷。第一类是评测面太窄：VideoEval（12 任务）、UVRB（仅检索 16 数据集）、LoVR（仅 467 段长视频检索单任务）、VidVec（仅 5 个检索基准）都只覆盖下游能力的一个切片，无法判断一个高分模型是真正具备通用视频表示能力，还是只针对某任务过拟合——结果是模型在动作识别上很强却在检索上崩溃，或反之，缺乏跨任务的标准协议。第二类是与 MTEB 生态割裂：MMEB-V2 虽拓展了视频，但只有 4 个类别、几十个任务；MMEB-V3 虽然加入 11 个音频任务，却把音频严格当作独立模态而非与视频联合输入，从未构成「音频+视频」这一联合模态的检索或分类评测。这意味着现有基准既无法系统回答「音频对视频理解的边际贡献到底有多大」这一基础问题，也无法让带不同输入面（无音频编码器 / 仅视频 / 全模态）的模型在同一框架内被公平比较。
本文的目标是本文要交付一个面向视频嵌入模型的统一、可扩展、与 MTEB 生态对齐的评测基准。具体而言，MVEB 要覆盖六大任务族（分类、零样本分类、聚类、Pair 分类、检索、视频问答），从 184 任务的 MVEB+ 全集中剪枝出 23 任务的 MVEB 子集以兼顾评测成本与覆盖度，并额外暴露两个模态受限的子榜单 MVEB(text, video)（19 任务，针对无音频编码器的文本-视频模型）和 MVEB(video)（9 任务，针对纯视频编码器），让受限输入面的模型也能被纳入同一生态。最终通过 33 个模型的横向评测给出可操作的工程结论：什么范式在哪些任务族占优、音频是否真的提升视频理解、帧数与参数规模对最终分数的非线性影响。
与已有工作不同的是，本文的独特切入角度有三处。其一是「模态耦合」：MVEB 系统地把每一个带音轨的数据集都拆成 v 与 va 两个并行变体，分别独立打榜，并用「标注来源」（AV-grounded 还是 V-grounded）来解释音频带来的提升或伤害——这就把音频从「独立模态」变成「可分离、可解释的额外信号」。其二是「评测协议正交于输入面」：用同一份任务池抽出三个不同输入面的子榜单，模型无法参与的部分就跳过评分，避免一刀切的拒绝。其三是「数据集贡献而非静态快照」：MVEB 继承 MTEB 的社区贡献管线，允许以替换数据集、重标注、人类-模型一致性审计的形式持续更新，避免过往视频基准发布即停滞的问题。
核心方法
MVEB 的整体方法是「池化 + 相关性剪枝 + 配对变体」：先把 184 个候选任务全部纳入 MVEB+ 任务池，然后基于跨模型秩相关系数（Spearman ρ > 0.85）剔除冗余任务、对长尾方向（如视频→文本方向）按语义有效性优先保留语义更清晰的方向（保留 T→V 而非 V→T）、并兼顾语言多样性与运行成本，得到 23 任务的 MVEB 子集。这一剪枝过程被论证为「秩保护」的：MVEB 与 MVEB+ 之间的 Pearson r=0.996、Spearman ρ=0.944，且 LCO-Omni-7B 在 MVEB+ 上需 302.7 小时 H100 GPU 时间，而在 MVEB 上仅 31.9 小时，达成 9.5× 加速、相对名次几乎不变。每个有音轨的数据集都被拆成 v 与 va 两个变体分别入库；无法处理音频的模型跳过 va 变体，无法处理视频的模型跳过 video 变体，由此从同一任务池自然生成三个输入面不同的子榜单。评测流程采用 MTEB 共享接口：模型按各自声明的采样配置（如 LCO-Omni-7B 默认 fps=2、max_frames=64，PE-AV 默认 30s 音频截断）解码帧、采样音频、计算冻结嵌入，再交给 MTEB 任务求值器按 nDCG@10 / accuracy / v-measure / max-AP 计算主指标。零样本评估不引入任何微调或池化策略调整，每个模型看到的输入格式就是它训练时的格式。
核心创新点和已有方法的本质区别有三处。第一处是「音频信号的因果解耦」：以往基准要么完全忽略音频，要么把音频当作独立模态（如 MMEB-V3 仅做音频↔文本/图像/视频的跨模态检索），而 MVEB 首次系统地把同一个数据集拆成 v 与 va 两个变体同时打榜，并通过标注来源（AV-grounded vs V-grounded）解释音频是帮助（+0.016）还是伤害（−0.046）模型。第二处是「同一任务池抽三套榜单」：MVEB(text, video) 与 MVEB(video) 不是各自独立构建的小基准，而是从同一 184 任务池里挑出可兼容子集，确保跨榜单比较公平且都能复用 MVEB+ 的全部元数据。第三处是「嵌入范式 × 输入面」的二维定位：通过六类嵌入范式（自监督视频、视频-文本对比、音视频对比、多模态绑定、MLLM-Embedding、生成式 MLLM 当作 embedder）× 三大输入面（a+t+v、t+v、v），把每个模型映射到二维网格上的一个点，从而揭示例如 Qwen3-VL-Embedding 在 t+v 面独占鳌头（rank 1，mean 60.9）、却在 a+t+v 面上完全无法参与评比的非平凡现象。
方法步骤详情
方法步骤完整描述如下。第一步是任务池构建（§3）：从 184 个公开视频数据集中按「领域多样性（动作、社交媒体、情绪、音乐、场景、教学）× 任务多样性（六族）× 模态覆盖（仅视频、视频+文本、视频+音频）× 来源与许可证」四原则筛选，并统一抽帧、ffmpeg 抽取 16 kHz 单声道音频、删除解码失败的样本，每个数据集按上游切分切到测试集。第二步是冗余剪枝（§3）：计算模型排名两两 Spearman 矩阵，对 ρ>0.85 的任务对保留覆盖面更广或运行成本更低的那一个；同时对方向性任务（检索）按「语义有效性」优先保留 T→V 而非 V→T；从语言覆盖与运行成本两个角度进一步过滤，最终得到 23 任务的 MVEB 子集。第三步是配对变体入库（§3.3）：对每个带音轨的数据集，同时生成 v 与 va 两个任务实例，运行打分时让模型只接收视频或视频+音频；带文本的问题嵌入用相应文本编码器、跨模态查询由模型自带融合策略处理。第四步是模型注册（§3.1）：33 个模型按六类范式注册，每类都有明确成员——自监督视频（V-JEPA-2 家族）、视频-文本对比（X-CLIP 家族）、音视频对比（Perception Encoder AV 家族）、多模态绑定（eBind 家族）、MLLM-Embedding（LCO-Embedding-Omni、e5-omni、Tevatron OmniEmbed、BidirLM-Omni-Embedding、UME-R1、OmniEmbed-Nemotron、Qwen3-VL-Embedding、VLM2Vec-V2.0、jina-embeddings-v5-omni）、生成式 MLLM（Qwen2.5-Omni）。第五步是采样协议（§3.2）：每个模型自带声明的 fps、max_frames、采样率、单声道化、音频时长上限；可变长模型（LCO-Omni、Qwen3-VL、PE）默认 fps=2、max_frames=64；定长模型（X-CLIP、eBind、V-JEPA-2）按训练时的帧数采样；评测器全零样本、不调池化层、不引入微调。第六步是评测与排名（§3.4）：每个任务打 main_score（nDCG@10 / accuracy / v-measure / max-AP），跨任务用 Borda 计数聚合排序，并同时报告算术平均分；最终把每个模型同时投影到 MVEB / MVEB(text, video) / MVEB(video) 三个榜单上。第七步是污染审计（§E）：把每个模型声明的训练数据名与 MVEB 任务名做交叉对照，公开「披露零样本比例」，未披露训练集粒度的模型在表格里标 NA 而非乐观的 100%。
技术新颖性
技术新颖性主要体现在评测协议层面而非模型架构。第一是「变体配对评测」设计：通过对 v/va 两个并行变体分别打榜再算差值 Δ=score_va−score_v，把音频对视频理解的贡献从「不可见的设计选择」变成「可在 48 个任务组 ×14 个音频模型上量化的事实」，这是首次在统一协议下做出系统量化。第二是「相关性保护剪枝」：在 MMTEB/MIEB/MAEB 已经验证剪枝可保留名次相关性的基础上，MVEB 把这一原则扩展到视频，并给出 Pearson r=0.996、Spearman ρ=0.944 的实证——为后续大规模多模态基准如何在「评测成本 vs 覆盖面」之间取舍提供了可复用方法。第三是「三榜单同池」结构：MVEB(text, video) 和 MVEB(video) 是从同一 184 任务池抽取的子集，三榜单共享任务定义和评估器代码，避免了 MMEB-V2 与 MMEB-V3 各自维护一套任务导致的横向比较困难。第四是「数据污染披露」：不公开训练集粒度的模型用 NA 而非乐观默认 100%，倒逼社区披露训练数据明细，提升基准可解释性。
实验结果
实验在 33 个公开模型（参数规模从 200M 到 10.7B）×184 任务池 ×23 任务 MVEB 子集上展开，得出六组核心发现。第一是「没有模型通吃」。在 MVEB 全榜单上，LCO-Embedding-Omni-7B（8.9B MLLM-Embedding）以 Borda 第一名、mean 57.6 居首；e5-omni-7B 以 55.0 紧随其后；eBind-full（1.8B 多模态绑定）与 ebind-audio-vision（764M）以 55.5 并列第三。但分类的领跑者是 BidirLM-Omni-2.5B-Embedding（61.2）、检索与零样本分类由 eBind 包揽（62.3 与 61.1）、Pair 分类的冠军是 LCO-Omni-3B（80.7）、聚类冠军是 LCO-Omni-7B（27.3 v-measure）、QA 冠军也是 LCO-Omni-7B（57.0）。第二是「生成式 MLLM 不当 embedder 直接崩溃」。同骨干的 Qwen2.5-Omni-7B（10.7B 生成式 MLLM 直接池化隐状态）仅得 mean 12.8，比同尺寸的 e5-omni-7B（55.0）落后 42 分；e5-omni-3B（48.5）也比 Qwen2.5-Omni-3B（11.4）高 37 分，证明对比式嵌入训练阶段是跨模态性能的近必要前提。第三是「音频贡献取决于标注来源」。在 48 对 v/va 配对任务组 ×14 个音频模型上，AV-grounded 数据集（标签同时参考音频和视觉，如 AudioCaps、MELD 情绪、Music-AVQA）平均 Δ=+0.016；V-grounded 数据集（标签仅由视觉得到，如 Kinetics、HMDB51、SSv2）平均 Δ=−0.046，二者形成稳定的 6 分差；且 V-grounded 的负向幅度是 AV-grounded 正向幅度的近三倍，更准确的解读是「音频会伤害那些不需要它的任务」而非「音频是普遍正向信号」。第四是「MVEB(text, video) 重排榜首」。在该子榜单（19 任务，仅文本-视频模型）上 Qwen3-VL-Embedding-8B 以 mean 60.9 拿下 rank 1、Qwen3-VL-Embedding-2B 以 58.1 拿下 rank 2，超过 MVEB 全榜单冠军 LCO-Omni-7B（56.8 在该子集上），Qwen3-VL 系列更横扫 6 任务族中的 5 个；这说明不同输入面对应的最优模型族不同。第五是「Pareto 前沿」由小模型 eBind-AV（764M, 55.5）延伸到大模型 LCO-Omni-7B（8.9B, 57.6），参数翻 12× 但只换来 2.1 分——训练数据对齐比骨干规模更影响跨模态表现。第六是「帧数收益呈对数衰减」。从单帧跳到 8 帧带来 43.7% 相对提升，但从 32 帧到 64 帧仅 2.2% 绝对提升；因此通用评测把 32 帧作为合理上限即可。不同任务的收益差异极大：Breakfast 分类从 15.88（N=1）涨到 45.35（N=64），VATEX T2VA 从 38.24 涨到 76.03；而 OmniVideoBench QA 仅从 25.85 微涨到 26.68、WorldSense1Min QA 从 28.42 到 30.60——后者要么靠音频/文本上下文就能饱和模型，要么可由单帧代表性静帧解决。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MVEB 主榜单（23 任务综合） | Borda rank / 算术平均分 | LCO-Embedding-Omni-7B 57.6 (rank 1)；e5-omni-7B 55.0；eBind-full / eBind-audio-vision 55.5 (并列 rank 3) | Qwen2.5-Omni-7B（生成式 MLLM，10.7B）作为对照，仅 12.8；同尺寸 e5-omni-7B 55.0 | e5-omni-7B vs Qwen2.5-Omni-7B 同骨干仅换训练目标提升 42.2 分（4.3×） |
| MVEB(text, video) 子榜单（19 任务） | Borda rank / 算术平均分 | Qwen3-VL-Embedding-8B 60.9 (rank 1)；Qwen3-VL-Embedding-2B 58.1 (rank 2) | LCO-Embedding-Omni-7B 在该子集上 56.8，落后 4.1 分 | Qwen3-VL-Embedding-8B 横扫 6 任务族中的 5 族，仅 QA 让位于 LCO-Omni-3B（32.8） |
| 检索（10 任务，8 个方向） | nDCG@10（主榜单 Retr 列均值） | eBind-full / eBind-audio-vision 62.3（rank 1）；e5-omni-7B 59.4；LCO-Omni-7B 58.7 | Qwen2.5-Omni-7B 0.5（生成式 MLLM 跨模态崩溃） | eBind-full 比 Qwen2.5-Omni-7B 高 61.8 分 |
| 视频问答（QA，1 任务） | accuracy | LCO-Embedding-Omni-7B 57.0；LCO-Omni-3B 56.4；e5-omni-3B 45.4 | Perception Encoder AV-large 27.8–30.6（音视频对比范式 2.2B） | LCO-Omni-3B（4.7B）比 PE-AV-large（2.2B）高 25 分以上，体现 MLLM-Embedding 在 QA 上的范式优势 |
| 分类（6 任务） | accuracy（主榜单 Cls 列均值） | BidirLM-Omni-2.5B-Embedding 61.2；LCO-Omni-7B 59.2；e5-omni-7B 54.7 | Qwen3-VL-Embedding-8B 在该子集 56.8（仅文本-视频变体） | BidirLM-Omni-2.5B（2.4B）以更小尺寸赢下分类族第一 |
| 聚类（2 任务） | v-measure | LCO-Embedding-Omni-7B 27.3；e5-omni-7B 21.5 | MELDEmotion AV 任务无模型超过 8.8；MusicAVQA 任务头部模型 38–47 | 聚类是全榜单最难任务族，最强模型也仅 27.3 v-measure，瓶颈在细粒度情绪标签的嵌入几何而非模态缺失 |
| Pair 分类（2 任务） | max-AP（主榜单 Pair 列均值） | LCO-Embedding-Omni-3B 80.7；LCO-Omni-7B 79.6；Perception Encoder AV-large 75.2 | Qwen3-VL-Embedding-2B/8B 在该子集 75.0/74.5 | Pair 分类是头部模型最舒适的任务族，LCO-Omni-3B 以 80.7 创造单项最高均值 |
| 零样本分类（2 任务） | accuracy（主榜单 ZS 列均值） | eBind 61.1；LCO-Omni-7B 55.5；e5-omni-7B 50.2 | Qwen2.5-Omni-7B 16.5；Qwen2.5-Omni-3B 3.8 | eBind 比 Qwen2.5-Omni-7B 高 44.6 分；同骨干 e5-omni-7B 比 Qwen2.5-Omni-7B 高 33.7 分 |
| 音频贡献分析（48 对任务 ×14 音频模型） | Δ = score_va − score_v | AV-grounded 数据集 Δ̄ = +0.016（σ=0.064, N=475）；V-grounded 数据集 Δ̄ = −0.046（σ=0.059, N=195） | V-grounded 负向幅度是 AV-grounded 正向幅度的近 3× | 首次系统量化「标注来源」对音频贡献方向与幅度的预测作用 |
| 测试时帧数扫描（N∈{1,8,16,32,64}，7 任务 ×5 模型） | 任务主分数均值（nDCG@10 / accuracy / v-measure） | 单帧→N=8 相对提升 43.7%；N=32→N=64 绝对仅 2.2% | ebind-full 早期饱和（N=8 时 45.62，N=64 时 46.68）；Breakfast 从 15.88→45.35；VATEX T2VA 从 38.24→76.03 | OmniVideoBench QA 仅 25.85→26.68、WorldSense1Min QA 28.42→30.60，证明收益强烈任务相关 |
局限与改进
作者在「Limitations」章节明确给出四点，叠加上我自己观察可补充两处。模型覆盖层面（作者承认）：33 个公开 checkpoint 只是当前快照；ImageBind、LanguageBind、InternVideo、VideoMAE、V-JEPA-2.1 等有开源权重但缺少 inference API 或版本化 checkpoint，尚未加入；MLLM-Embedding 阵营过密、自监督视频模型过稀。帧与音频预算层面（作者承认）：绝对分数会受每个模型自身训练时的采样配置影响，例如 PE-AV 训练在 30s 音频上限下、LCO-Omni 默认 max_frames=64；尽管 §5.2 的帧扫描分析部分揭示了这种影响，但跨模型对比仍需考虑训练分布差异。数据集覆盖层面（作者承认）：低资源语言代表性不足（仅 AVMeme 跨 16 种语言）、长视频内容（讲座、纪录片）几乎缺失（受运行成本约束）、细粒度领域如体育细类、医学视频、手语视频覆盖稀薄；多个情绪识别数据集存在标注问题（单标签分配给多情绪语句、表面情绪而非讽刺/隐含情绪）。训练数据披露与泄漏层面（作者承认）：15/33 模型有至少一个任务的重叠披露（最坏 65%），7/33 模型不披露训练集粒度（如 Qwen2.5-Omni、Qwen3-VL-Embedding、jina-embeddings-v5-omni、VLM2Vec-V2.0），它们在表里标 NA 而非乐观 100%；这意味着这些模型的 MVEB 分数不能被认证为零样本。标注质量层面（作者承认）：MELDEmotionVideoClustering 等任务存在单标签分配到多情绪语句的问题，附录 L 标注了受影响的拆分供读者按数据集 gate 解读。我额外观察到两点：一是基准对「中长视频（1 分钟以上）」的覆盖薄弱，§5.2 的帧扫描显示 Breakfast（平均 17h 全部时长）和 VATEX（157,615 秒）随帧数陡升，而 WorldSense1Min 和 OmniVideoBench QA 几乎不动——这暗示当前 33 模型在长时序推理上普遍偏弱但被几何掩盖；二是个别模型在 v/va 配对上接近随机（如 jina-embeddings-v5-omni 在 Kinetics 拆分的视频-only score<0.01），导致 §5.1 不得不显式排除它们才能避免基线噪声淹没真实音频贡献。
独立分析的弱点
独立分析的弱点可分三类，每类给出改进方向。第一类是「零样本声明的不对称」：15 个披露训练数据的模型中最大重叠率 65%（即训练集中出现过的 MVEB 任务），而 7 个未披露的模型享受「NA 不扣分」待遇，这造成榜单头部可能正是训练集未充分披露、因而无法排除泄漏嫌疑的模型族。改进方向是引入数据集级训练数据 fingerprinting（如基于嵌入空间近邻的疑似污染检测）替代人工声明。第二类是「聚类任务分数极低」：v-measure 受标签粒度与噪声影响大，最强模型仅 27.3，与 accuracy 系任务 74–81 形成强对比，作者也承认这是相对比较信号而非直接难度度量；但这意味着聚类族对模型差异的区分力弱。改进方向是引入信息检索风格的 B-cubed、F1、ARI 等更鲁棒的聚类指标，并把 MELDEmotion 这种标签本身歧义的任务替换为多标签版本的精细情绪标注。第三类是「生成式 MLLM 当 embedder 的实验设计过简」：Qwen2.5-Omni 仅以最终层隐状态 + 默认池化参与评测，掩盖了诸如中间层探查、prompt 工程、对比式 prefix-tuning 等可能的补救手段。改进方向是增加「少样本 + 线性 probe」「轻量级对比式 adapter」等附加模式，让生成式 MLLM 也有公平的发挥空间。第四类是「帧数扫描的变量控制过窄」：扫描只动帧数，固定音频采样与指令，但实际推理中音频时长、prompt、池化策略、instruction 都会动；§5.2 因此只能回答「帧数本身」的收益曲线。改进方向是把扫描推广到联合扫描 {帧数, 音频时长, 指令开关}。第五类是「模态受限榜单的代表性偏差」：MVEB(text, video) 19 任务和 MVEB(video) 9 任务是从同一池里挑出，但池里本身就偏向 audio+text 任务，因而榜单长度不代表输入面的真实可用任务数。改进方向是在每个模态约束下重新平衡任务分布，或为受限榜单补充专门的 v-only 数据集。
未来方向
作者提出的未来工作集中在三块：一是扩展模型覆盖（ImageBind、LanguageBind、InternVideo、VideoMAE、V-JEPA-2.1 等尚无版本化 checkpoint 的模型），通过 MTEB registry 滚动加入；二是扩展数据集覆盖，瞄准低资源语言、长视频（讲座/纪录片）、细粒度体育、医学视频与手语视频，借助社区贡献管线替换或新增任务；三是用 HUME 风格的人类-模型一致性审计替换有歧义的标注（如 MELDEmotion），并把已 flag 的拆分在新版本中弃用。基于成果可延伸的方向有四：第一，把 v/va 配对评测扩展到 (v, t)、(v, va)、(t, a) 等其他模态对，让「多模态贡献可分离」成为通用协议；第二，把音频贡献结论（标注来源决定音频收益方向）扩展到图像-文本基准、文本-音频基准，构建跨模态统一的「标注来源-模态贡献」理论；第三，在 Borda 计数之上引入基于任务难度的加权（类似 Item Response Theory），让榜单对任务难度差异更稳健；第四，把 Pareto 前沿分析（参数 vs 分数）做成在线动态面板，每次新模型提交自动更新前沿与参数-分数斜率，引导社区关注数据对齐而非单纯堆参数。
复现评估
复现评估整体良好但仍有几处门槛。代码与榜单完全开源：MVEB 与全部 184 任务已发布在 github.com/embeddings-benchmark/mteb，并整合进 MTEB 生态、可与 MTEB/MMTEB/MIEB/MAEB 共享 leaderboard 框架。数据可获得性：数据集均为公开来源，许可证遵循上游，对未提供公共镜像的数据集（如部分需 Kaggle 镜像或上游官方下载）MVEB 只发布任务 wrapper 并链接回原始 release；解码后的帧采样与 16 kHz 单声道音频在 HuggingFace mteb/ 命名空间下发布，不重新托管原始全分辨率视频。算力门槛是主要瓶颈：在单张 H100 上 LCO-Omni-7B 跑 MVEB+ 需要 302.7 小时（约 12.6 天），MVEB 子集降为 31.9 小时（约 1.3 天），但即便 23 任务子集对独立研究者仍显昂贵；eBind-audio-vision 在 MVEB 上需 16.8 小时、Qwen2.5-Omni-7B 在 MVEB 上需 29.4 小时。采样配置的模型级一致性（每模型自带 fps / max_frames / 采样率）降低了二次实现的歧义，但增加了调参负担——附录 G 与 Table 34 列出每个模型的完整声明值。评测器本身的代码与 MTEB 主线共享，但多模态输入路径需要研究者熟悉 PyTorch + transformers + 自定义 audio collator。难度评估：调用已有模型权重（如 LCO-Omni-7B、eBind-full）并按声明采样协议重跑中等难度，重建整个 184 任务池并按 §3 剪枝则需显著工程投入；附录 G 描述了 per-subset 版本化、named experiment scoping、runtime 增量写入等增强可复现性的工程细节。
论文图表
