VidVec：释放视频多模态大语言模型嵌入能力用于视频-文本检索 VidVec: Unlocking Video MLLM Embeddings for Video-Text Retrieval
仅用60K纯文本对微调，从视频MLLM中间层提取嵌入即可达到视频检索SOTA
前置知识
多模态大语言模型（MLLM）
MLLM 是将视觉编码器（如 ViT）、视觉投影层和大语言模型（如 LLaMA）组合在一起的模型架构。视觉输入经编码后转化为一系列视觉 token，与文本 token 一同送入 LLM 进行联合推理。典型的 MLLM 包括 Qwen2-VL、VideoLLaMA3 等，它们通过在大规模图文/视频-文本数据上进行生成式训练，获得了强大的视觉理解和推理能力，但通常不是为嵌入/检索任务设计的。
本文的核心发现正是：虽然 MLLM 原本为生成任务训练，但其内部隐层已包含高质量的视频-文本对齐信息，可以被直接提取用于检索。
双编码器（Dual-Encoder）检索范式
双编码器是图文/视频-文本检索中最经典的架构：分别用一个图像/视频编码器和一个文本编码器将输入映射到同一嵌入空间，然后通过余弦相似度等度量进行检索排序。CLIP、ALIGN 等模型就是这种范式的代表。其优点是推理效率高（可以预先计算所有候选的嵌入），但缺点是两个编码器独立运行，缺乏深层交互。
本文的检索框架基于 MLLM 的单模型嵌入提取，本质上是用一个统一的 MLLM 同时承担视频编码和文本编码的角色，与传统双编码器范式有本质区别。
对比学习（Contrastive Learning）
对比学习通过拉近正样本对（如匹配的视频-文本对）的嵌入距离、推远负样本对的嵌入距离来学习跨模态对齐。常见的损失函数包括 InfoNCE、CLIP 的对称交叉熵以及本文使用的双 Softmax 损失（Dual Softmax Loss, DSL）。DSL 在相似度矩阵的行和列两个方向上分别做 softmax，然后相乘得到匹配权重，强调在两个检索方向上都有高互信度的配对。
本文在微调阶段使用 DSL 作为训练目标，但与传统方法不同，它仅在纯文本数据上使用该损失，不涉及任何视觉数据的对比学习。
LoRA 微调（Low-Rank Adaptation）
LoRA 是一种参数高效微调方法，通过在预训练模型的权重矩阵旁注入低秩分解矩阵（W = W_0 + BA，其中 B 和 A 是低秩矩阵，秩 r 远小于维度 d）来实现微调，只训练新增的低秩参数而保持原始权重不变。LoRA 的优点是参数量极少、训练速度快、不易过拟合。
本文使用 rank=64、alpha=128 的 LoRA 仅微调 LLM 骨干，整个优化过程在 4 张 B200 GPU 上不到 30 分钟即可完成，体现了方法的极高效率。
EOL 提示策略（Explicit One-word Limitation Prompting）
EOL 是一种从生成式 MLLM 中提取嵌入的提示技术，由 LamRA 等工作提出。具体做法是在提示末尾要求模型'用一个词回答'，并在末尾附加一个特殊的 标记，然后取 前一个位置的隐层状态（记为 ）作为该输入的嵌入向量。这种策略迫使模型将所有相关信息压缩到一个 token 的表示中，从而产生紧凑且信息丰富的嵌入。
本文沿用了 EOL 提示策略作为基础嵌入提取方案，但关键创新在于发现不同层提取的嵌入质量差异巨大，中间层的嵌入远优于最终层。
研究动机
当前将 MLLM 用于视频-文本检索面临一个核心矛盾：生成式 MLLM 在视频理解任务（如 VQA、描述生成）上表现优异，但直接将其用于嵌入提取时性能远低于专门的视频基础模型（VFM）。例如，在 MSR-VTT 基准上，直接使用 MLLM 最终层的 token 作为嵌入，Recall@1 仅为 14.3%，而 InternVideo2-6B 可达 55.9%。现有的 MLLM 嵌入方法（如 VLM2Vec-V2）虽然尝试通过大规模视觉-文本对比训练来弥补这一差距，但即便使用了视频-文本对训练，性能仍然低于更早的纯图像 MLLM 嵌入方法。这表明简单地将视觉-文本对比训练套用到 MLLM 上并不能有效解锁其视频检索潜力。同时，已有的 VFM（如 InternVideo2 使用约 1 亿对、VideoPrism 使用约 6 亿对视频-文本数据）训练成本极高，难以快速迭代和部署。
本文的目标是本文的目标是系统性地研究如何从现成的（off-the-shelf）视频 MLLM 中提取高质量的视频-文本嵌入，使其在零样本或极少量训练条件下就能达到甚至超越经过大规模训练的 VFM 和 MLLM 嵌入器。具体而言，作者希望回答三个问题：(1) MLLM 内部哪一层包含最有效的视频-文本对齐信息？(2) 如何利用 MLLM 的语言模型头进行校准评分以增强检索？(3) 仅用纯文本数据进行微调，能否实现与视觉-文本联合训练相当的性能？
与已有工作不同的是，本文的独特切入点有三个层面。首先，作者发现了一个被前人忽视的关键现象：MLLM 的中间层比最终层包含更强的检索相关信号。这一发现来自对 6 种 MLLM 骨干的系统逐层分析，与 LLM 中'中间层嵌入更优'的近期发现（Skean et al., 2025）相呼应，但此前从未被应用于视频 MLLM。其次，作者观察到 MLLM 的语言模型头本身就是一个校准良好的二元相关性评分器——只需提示模型回答 Yes/No 并取 Yes 的概率即可完成精排。最后，也是最核心的创新：作者提出用密集视频描述到短摘要的文本-文本映射来替代视觉-文本对比学习，证明了'用文字描述视频内容然后压缩为摘要'这一过程能够有效模拟视频编码，且仅需 60K 纯文本对即可实现。
核心方法
VidVec 的整体思路可以用一个类比来理解：传统方法像是用海量视频-文本对'手把手'教模型对齐视觉和语言（像请家教一对一辅导），而 VidVec 则是发现这个学生（MLLM）在课堂预训练中已经偷偷学会了大部分知识，只是不知道怎么表达（中间层的隐式对齐）。VidVec 的三步策略就是帮它'表达'出来：第一步，从中间层提取嵌入做粗排（零样本）；第二步，让模型的'大脑'（语言模型头）对候选结果做精排（校准评分）；第三步，用少量纯文本数据进行'内功心法'优化（上下文优化），让模型学会将密集描述压缩为摘要——这一过程隐式地模拟了视频编码。技术路线是：基于 VideoLLaMA3-7B 骨干，首先通过逐层分析确定最优中间层（第 24 层），然后使用 EOL 提示策略提取嵌入，在零样本设置下即可获得强检索性能；再通过语言模型头的 Yes/No 概率进行精排；最后使用 60K 来自 VideoUFO 数据集的密集描述-摘要对，通过 LoRA 微调 LLM 骨干，使用双 Softmax 损失进行训练。
本文最核心的创新是'上下文优化策略'（In-Context Optimization），其本质区别在于：之前的 MLLM 嵌入方法（如 E5-V、LamRA）使用的是 NLI（自然语言推理）风格的文本对（如'一个人在工作'蕴含/矛盾关系），这些文本与视频内容没有直接关联；而 VidVec 使用的是来自 VideoUFO 的密集视频描述到短摘要的映射，这些描述与视频内容紧密对齐——密集描述充当视频的文本代理，短摘要充当紧凑的文本锚点。训练时，密集描述通过 MLLM 编码为嵌入（模拟视频编码路径），短摘要也被编码为嵌入（模拟查询文本路径），两者通过 DSL 损失进行对齐。推理时，视频输入经 MLLM 的视觉编码器后走相同的嵌入路径。这种设计使得纯文本训练能够隐式地让模型学会'压缩视频语义为向量表示'。实验表明，在 MSR-VTT 上，使用视频相关文本对（46.7% R@1）已优于 NLI 文本对（45.0%），而上下文优化进一步提升到 47.7%。
方法步骤详情
VidVec 的完整方法分为三个阶段。阶段一：零样本嵌入提取与粗排。对于视频输入，MLLM 的视觉编码器和投影层将其转化为视觉 token，与文本提示（前缀：'Recover the main subject or subjects, appearance and setting, and main activity in the video' + 'Summarize above video in one word:'）拼接后送入 LLM 骨干。从第 24 层（经逐层分析确定的最优层）提取 token 的隐层状态作为嵌入。对文本查询也做类似处理。通过余弦相似度对所有候选排序，取 top-K（零样本时 K=100）进行精排。阶段二：校准精排。对 top-K 中每个候选，构造一个二元相关性提示：'Does the video match the sentence? Answer with a single word - Yes or No.'，取 Yes/yes 的生成概率作为精排分数，重新排序得到最终结果。阶段三：上下文优化微调。从 VideoUFO 数据集中采样 60K 条数据，每条包含密集视频描述和短摘要。使用 LoRA（rank=64, alpha=128）微调 LLM 骨干的 输出位置，训练目标为 DSL 损失：在相似度矩阵的行和列两个方向分别做 softmax 归一化，得到文本到视频和视频到文本的条件匹配分布，然后相乘得到强调双向高互信配对的匹配权重。整个训练在 4x B200 GPU 上不到 30 分钟完成。推理时，微调后的模型从最终层提取嵌入，可选地与阶段二的精排结合使用。
技术新颖性
VidVec 的技术新颖性体现在三个与现有方法的本质区别上。第一，层选择策略：LamRA、E5-V 等方法均使用最终层的 作为嵌入，而 VidVec 的逐层分析表明 VideoLLaMA3 的第 24 层在零样本检索上远优于最终层（最终层仅 14.3%，中间层可达 42.1%），这一发现首次揭示了视频 MLLM 中间层的检索潜力。第二，精排机制：传统 MLLM 嵌入方法的精排需要训练额外的模块（如 LamRA 训练了额外的点式和列表式精排模块），而 VidVec 直接复用 MLLM 的语言模型头，通过简单的 Yes/No 概率实现零训练精排，且效果显著（MSR-VTT R@1 从 52.5% 提升到 56.2%）。第三，训练范式：E5-V 使用 NLI 数据，VLM2Vec 使用大规模视觉-文本数据（MMEB 数据集），LamRA 使用图文对数据，而 VidVec 仅使用 60K 纯文本数据（密集描述到摘要映射），训练数据量比其他方法少 1-2 个数量级，却达到了更好的性能。
实验结果
VidVec 在四个标准视频-文本检索基准上进行了全面评估，结果令人印象深刻。在零样本设置下（VidVec-ZS，无任何训练），仅通过使用中间层嵌入和校准精排，就在三个基准上超越了所有经过大规模训练的 MLLM 嵌入器：MSR-VTT T2V R@1 达 52.1%（vs. LamRA 48.9%，提升 +3.2%）、VATEX T2V R@1 达 69.1%（vs. LamRA 61.4%，提升 +7.7%）、DiDeMo T2V R@1 达 55.7%（vs. B3 46.7%，提升 +9.0%）。这证明了现成 MLLM 内部已包含高质量的视频-文本对齐信息。经过上下文优化后的 VidVec-O 在所有基准和两个检索方向上均持续超越现有 MLLM 嵌入器：MSR-VTT T2V R@1 52.5%（vs. LamRA 48.9%），MSVD T2V R@1 60.8%（vs. B3 53.8%），VATEX T2V R@1 68.2%（vs. MMRet-v1.5 57.7%），DiDeMo T2V R@1 53.7%（vs. MMRet-v1.5 45.1%）。在 V2T 方向，VidVec-O 在 VATEX 上的 R@1 达 89.6%，比最佳基线 B3（83.1%）高出 +6.5%；在 DiDeMo 上达 56.5%，比最佳基线 LamRA（47.1%）高出 +9.4%。最终的完整模型 VidVec（VidVec-O + 精排）在与 VFM 的对比中也表现优异：MSR-VTT T2V R@1 达 56.2%，超过了 InternVideo2-6B（55.9%，后者使用约 1 亿对视频-文本数据训练），MSVD T2V R@1 达 60.9%（vs. InternVideo2-6B 59.3%），VATEX V2T R@1 达 89.6%（vs. InternVideo2-6B 85.3%，提升 +4.3%）。消融实验表明，在上下文优化策略下，使用密集视频描述对（46.7%）优于 NLI 文本对（45.0%），进一步使用上下文映射（密集描述到摘要）达到 47.7%，加上 DSL 损失后达 48.4%。这一系列结果表明，精心设计的纯文本训练可以媲美甚至超越使用百万级视觉-文本数据训练的方法。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MSR-VTT T2V | Recall@1 | 56.2% | InternVideo2-6B 55.9% | +0.3% |
| MSVD T2V | Recall@1 | 60.9% | InternVideo2-6B 59.3% | +1.6% |
| VATEX T2V | Recall@1 | 70.0% | InternVideo2-6B 71.5% | -1.5% |
| DiDeMo T2V | Recall@1 | 61.8% | InternVideo2-6B 57.9% | +3.9% |
| MSR-VTT V2T | Recall@1 | 54.9% | InternVideo2-6B 53.7% | +1.2% |
| MSVD V2T | Recall@1 | 85.7% | InternVideo2-6B 83.1% | +2.6% |
| VATEX V2T | Recall@1 | 89.6% | InternVideo2-6B 85.3% | +4.3% |
| DiDeMo V2T | Recall@1 | 56.5% | InternVideo2-6B 57.1% | -0.6% |
局限与改进
论文作者在附录中坦承了几个局限性。首先，上下文优化依赖于文本视频描述的质量和覆盖范围，如果描述未能捕捉细粒度视觉细节或长时间依赖关系，优化效果将受限。其次，精排阶段需要对 top-K 候选进行 K 次前向传播，带来了额外的计算开销，当 K 值较大时可能成为瓶颈。此外，精排仅使用简单的逐对二元评分，探索更高级的精排策略是未来方向。从独立观察来看，还有几个值得关注的问题：(1) 本文的评估基准（MSR-VTT、MSVD、VATEX、DiDeMo）均为短视频数据集（大多 10-60 秒），对长视频检索能力未做验证；(2) ActivityNet 结果因 VideoLLaMA3 训练数据可能包含该数据集而被排除在主文之外，这暗示了数据泄露风险；(3) 所有实验基于 VideoLLaMA3-7B，对其他骨干的泛化性仅在消融中用 Qwen2-VL 做了初步验证（差距仅 0.2%），但缺乏更大规模模型的实验。
独立分析的弱点
尽管 VidVec 取得了出色的结果，但从工程和学术角度仍有几个值得关注的弱点。第一，对密集视频描述质量的强依赖：上下文优化的效果上限取决于密集描述能否准确、完整地反映视频内容。在实际应用中，自动密集描述生成可能遗漏关键视觉信息（如快速运动、背景细节），建议未来探索多粒度描述融合或引入视觉引导的描述修正机制。第二，精排的计算成本：当候选池较大（如百万级）时，top-K=100 的精排需要 100 次前向传播，延迟不可忽略。可以考虑引入蒸馏机制将精排能力压缩到嵌入模型本身，或设计轻量级的近似精排模块。第三，仅在 7B 规模模型上验证：随着 14B、70B 规模 MLLM 的涌现，更大模型的中间层可能包含更丰富的对齐信息，但逐层搜索的计算成本也会显著增加。建议设计自适应层选择策略（如基于注意力熵或嵌入秩的选择准则）。第四，短视频偏置：所有主实验在 10-60 秒的短视频上进行，对长视频（数分钟到数小时）的检索能力未知，而长视频正是实际应用中的主要场景。可以探索分段编码+层次化聚合的策略。
未来方向
基于本文的发现，有几个有前景的研究方向。作者提到探索更高级的精排策略是一个自然延伸，例如可以引入列表式（listwise）精排或基于 MLLM 生成的推理链进行精排。更广泛地，'中间层嵌入更优'这一发现在本文仅用于视频检索，但很可能推广到其他跨模态任务（如图文检索、视觉问答中的嵌入检索、多模态 RAG 等）。上下文优化中'密集描述到摘要'的映射思想也可以扩展到其他模态——例如音频描述到文字摘要、3D 点云描述到结构化摘要等。此外，本文的方法可以与 B3（智能批次挖掘）、UniME-V2（MLLM-as-a-judge 软标签）等互补技术结合，可能产生进一步的性能提升。最后，将本文的零样本方案应用于真实的大规模视频搜索引擎，探索在数百万候选上的检索效率和效果，是一个有价值的应用方向。
复现评估
从复现角度来看，VidVec 具有较高的可复现性。模型基于开源的 VideoLLaMA3-7B 骨干，微调使用开源的 PEFT 库实现 LoRA。训练数据来自公开的 VideoUFO 数据集（109 万条中采样 60K），无需自行收集或标注数据。训练计算需求极低：4 张 B200 GPU、不到 30 分钟、单 epoch，这使得大多数研究团队都能负担。评估使用的四个基准（MSR-VTT、MSVD、VATEX、DiDeMo）均为公开标准数据集，评估协议与 VFM 社区一致。零样本变体（VidVec-ZS）甚至不需要任何训练，仅需选择合适的中间层。论文未提及代码是否开源，但从描述来看，核心实现逻辑（中间层提取 + EOL 提示 + 双 Softmax 训练 + Yes/No 精排）并不复杂，复现难度适中。需要注意的细节包括：视频采样率（2 FPS）、最大帧数（180）、双 Softmax 的温度系数需在验证集上调优。
论文图表
