VEDJE：面向可扩展视频-文本检索的视频高效判别式联合编码器 VEDJE: Video-Efficient Discriminative Joint Encoder for Scalable Video-Text Retrieval
离线把视频压缩成可复用的帧索引特征缓存，33M 轻量联合编码器在线重排，实现高精度低开销视频检索。
前置知识
双编码器与联合编码器
双编码器（dual-encoder）把视频和文本各自独立编码成一个向量，用内积算相似度，索引可以离线建好、查询飞快，但两模态从未互相看到对方的表示。联合编码器（joint encoder / cross-encoder）把两模态的 token 拼在一起过同一个 Transformer，靠自注意力做跨模态交互，判断力更强但每个查询-视频对都要跑一遍完整模型。
VEDJE 的全部设计围绕一个问题：如何保住联合编码器的判断力，同时把昂贵的视觉编码移出查询路径。理解这两种架构的权衡才能看懂它为什么把缓存+轻量联合编码器作为答案。
两阶段检索（召回+重排）
大规模检索的标准管线：第一阶段用便宜的双编码器在全部索引上召回 top-$N_c$ 个候选（本文默认 $N_c{=}20$）并给出粗分 $\rho(q,v)$；第二阶段用更强的模型只对这少量候选精细打分并重排。第二阶段的质量上限受第一阶段召回约束，且其算力直接落在查询延迟上。
VEDJE 就是第二阶段重排器，它还把第一阶段分数 $\rho(q,v)$ 作为残差先验嵌入联合表示，理解两阶段的分工才能明白这个融合设计。
学习查询压缩（Perceiver 式压缩器）
用少量可学习的查询向量（latent queries）对一个很长的输入序列（如一帧 256 个 patch 特征）做交叉注意，输出固定数量的摘要 token。压缩后的 token 数与输入长度解耦，是 Perceiver、Q-Former（BLIP-2）等模型的核心机制。
VEDJE 的缓存压缩器 $C_\eta$ 正是一个 2 层 Transformer 解码器，用 $M$ 个可学习查询把每帧的 $P{=}256$ 个 patch 特征压成 $M$ 个缓存 token，这是全方法的地基。
未来特征变化预测（future-delta）
一种自监督辅助目标：训练时让一个小预测器从当前帧的压缩表示去回归未来帧特征与当前帧特征之差 $\Delta_{t,h} = X_{t+h} - X_t$。因为做了减法，两帧相同的静态内容被抵消，目标只剩变化成分（动作、状态、镜头运动），相当于无标注的运动监督。预测器只在训练期存在，部署时丢弃。
这是 VEDJE 区别于单纯压缩缓存的第二个创新：它让有限的缓存 token 优先编码时间动态信息，论文证明在 16-token 极限预算下带来 +1.9 T2V R@1。
Recall@K（R@K）
检索指标：正确答案排在返回列表前 $K$ 位内的查询比例。视频-文本检索同时报告文本搜视频（T2V）和视频搜文本（V2T）两个方向，R@1 即第一名就命中的比例，是最严格的标准。百分点差指两个百分数之差。
论文所有结论都以 R@1 增益表述（如 MSR-VTT 上 56.2→59.8），且区分 T2V/V2T 两个方向的表现差异，读懂数字需先掌握这一指标体系。
研究动机
大规模视频搜索普遍采用两阶段架构：第一阶段用 CLIP 式双编码器（CLIP4Clip、X-CLIP、VideoPrism 等）对全库独立编码、内积召回候选，第二阶段验证每个候选是否真正匹配查询。难点在于第二阶段要区分的是“场景相似但动作、状态变化或具体时刻不同”的视频，必须做细粒度跨模态交互。联合重排器在图像检索上已成熟（BLIP 系列），但直接搬到视频会遇到三重代价：视频需采样多帧，存储的视觉特征和联合打分的序列长度都随采样帧数线性膨胀；在线重新编码每个候选视频会带来严重延迟；而最新的多模态大模型（MLLM）重排器如 LamRA、CaRe-DPO 虽然表达力强，却把约 7.6B 参数的解码器直接放在查询路径上——相比之下 CLIP 类系统的查询路径只有约 63M 的文本塔。另一方面，双编码器在查询到来之前就把视频表示固定死了，永远没有 token 级跨模态交互，精度受限。查询路径上“要么便宜但粗糙、要么准但昂贵”的矛盾是本文要解决的核心问题。
本文的目标是本文的具体目标是：把视觉编码器彻底移出查询路径，为视频构建一个可部署的缓存式联合重排器。具体而言，离线对每个视频只运行一次冻结视觉编码器，写出一个紧凑的、按帧索引的特征缓存；在线用一个仅约 33M 参数的轻量联合编码器（MiniLM-L12）读取缓存与查询文本做联合打分，并叠加第一阶段分数作为先验。这个缓存有一个关键约束：它必须在未来查询未知之前建好，因此必须为可能问到的对象、动作、时间关系都保留证据，同时要小到能以索引规模存储——目标是把每视频缓存压到 48 KiB（64 token）甚至 12 KiB（16 token），比完整帧+patch 表示（6.02 MiB）小百倍以上。量化验收标准是在 MSR-VTT、MSVD、DiDeMo、ActivityNet 四个基准上，对匹配的第一阶段检索器在 T2V/V2T 两个方向都取得 R@1 提升，且完整查询延迟只增加约 1.5 毫秒。
与已有工作不同的是，最接近的工作 EDJE（ICLR 2026）已为静态图像建立了“离线压缩视觉 token 进缓存 + 在线轻量联合编码器”的完整配方，但视频缓存有本质不同：必须在查询未知前覆盖整段采样序列的时间动态。VEDJE 的独特切入角度有三点。第一，它把视频缓存设计显式分解为两个正交决策——帧内如何压缩、帧间如何组织——并选择“帧内压缩、帧间保留独立 token 组”的方案，用受控实验证明在同等存储下缓存结构本身就贡献 2.0 个 R@1 点，这是以往池化式做法忽略的维度。第二，引入 future-delta 特征变化预测作为训练期辅助监督：减法 $\Delta_{t,h}=X_{t+h}-X_t$ 天然抵消静态成分，无标注地迫使缓存编码动态信息，且预测器训练后丢弃、查询路径零开销。第三，把第一阶段分数作为残差先验嵌入联合表示空间，让粗排序信息与细粒度联合证据互补。整个工作把“缓存的组织方式与训练信号”同“检索精度”系统地连接起来，而非简单堆模型。
核心方法
直觉上，VEDJE 把“查询来了再看视频”改写成“索引时把每个视频的证据写成压缩卡片，查询来了只读卡片”，分三块实现（Figure 2）。(A) 离线索引：冻结视觉编码器 $g_\phi$（VideoPrism-Base，16 帧）对每个视频编码一次，得到帧索引 patch 特征 $X_t \in \mathbb{R}^{P \times d_v}$（$P{=}256$，$d_v{=}768$）；2 层 Transformer 解码器 $C_\eta$ 用 $M$ 个可学习查询交叉注意每帧特征，输出 $Z_t = C_\eta(Q_0; X_t W_{kv})$（$d_\ell{=}384$），按时间拼成缓存 $Z(v)=[Z_1;\ldots;Z_T]$。(B) 训练期：四损失等权 $\mathcal{L}=\mathcal{L}_{vtm}+\mathcal{L}_{vtc}+\mathcal{L}_{mlm}+\mathcal{L}_{delta}$，其中 future-delta 头 $F_\omega$ 从 $Z_t$ 回归帧间变化 $\Delta_{t,h}=X_{t+h}-X_t$，训练后丢弃。(C) 在线重排：33M MiniLM 对 [文本 token; 缓存 token] 自注意力得 $c(q,v)$，叠加嵌入的阶段 1 分数后过打分头输出 $s_\theta$。视觉 backbone 只离线运行，查询路径无视觉计算。
核心创新有两点，且都与已有方法有本质区别。第一，帧索引缓存（frame-indexed cache）：压缩只发生在帧内（每帧 $P{=}256$ 个 patch 压成 $M$ 个 token），而帧与帧的 token 组保持独立、按采样时间有序拼接。这与把整段视频池化成单个全局向量（存储小但时序信息坍缩）或存储全部 patch（昂贵）都不同——联合编码器通过自己的可学习位置嵌入能看到每个采样时刻的独立证据，缓存 token 数 $TM$ 还与 backbone 的 patch 数 $P$ 解耦。消融实验证明这不是细节：同等 64-token 预算下，分离帧组（54.0 R@1）比注意力池化（52.0）高 2.0 点。第二，future-delta 特征变化监督：训练时轻量预测器 $F_\omega$ 从缓存 $Z_t$ 预测 $\hat{\Delta}_{t,h}$ 去逼近 $\Delta_{t,h} = X_{t+h} - X_t$。因为减去了 $X_t$，目标里只剩帧间变化成分，等价于强迫缓存优先保留时间动态；且由于 $g_\phi$ 冻结，$\Delta$ 是固定回归目标，梯度只更新压缩器和预测器，预测器部署时丢弃、推理零开销。这与 EDJE（单图像、无时间维）相比是真正的范式扩展：视频缓存在查询未知前就要为“未来可能的动作类问题”存证据，这两项设计正是回答这一挑战的方案。
方法步骤详情
第一步离线索引：采样 $T{=}16$ 帧，冻结 backbone 输出 $X_t$，按 $Z_t = C_\eta(Q_0; X_t W_{kv})$ 每帧压出 $M$ 个 token 并存储 $Z(v)$；默认 $TM{=}64$（48 KiB/视频），紧凑配置 $M{=}1$ 得 16 token（12 KiB）。第二步训练：四损失等权——$\mathcal{L}_{vtm}$（候选分数 softmax 交叉熵）、$\mathcal{L}_{vtc}$（对称 InfoNCE，logit scale 20）、$\mathcal{L}_{mlm}$（缓存 token 在上下文中预测被遮文本）、$\mathcal{L}_{delta}$（合法对 $\Omega$ 上的均方误差，默认 $\mathcal{H}{=}\{3\}$）；AdamW、warmup 到 $3\times10^{-4}$、batch 64、4 epoch，单张 L40S 约 16–24 小时。第三步在线召回：查询经阶段 1 检索 top-$N_c$（默认 20）候选及粗分 $\rho(q,v)$，只读取被召回候选的缓存，I/O 随候选数而非语料规模增长。第四步联合打分：文本 token（上限 64）与 $Z(v)$ 拼接后过联合编码器得 $c(q,v)$，残差相加嵌入的阶段 1 分数 $\tilde{c}=c(q,v)+e_\rho(\rho(q,v))$，再过打分头 $h_\psi$ 得 $s_\theta$ 并按其排序。辅助头已丢弃，视觉编码不在查询路径上。
技术新颖性
技术新颖性体现在四个层面。架构层面：VEDJE 是首个把“缓存式判别联合编码”从图像扩展到视频的工作，保持视觉 backbone 与查询路径完全解耦——不同于 CrossTVR（查询时仍要对选定视觉 token 做交叉注意）和 MLLM 重排器（7.6B 解码器上查询路径），也不同于 Video-ColBERT 等 late interaction 方法（缓存多 token 但查询与缓存从不共享联合编码器）。监督层面：future-delta 是一种免标注、免推理开销的自监督信号，不需要任何运动标注，且实验证明优于两种替代目标——当前帧重建（T2V R@1 54.6 vs 54.2）和绝对未来特征预测（54.6 vs 52.8），说明“变化”这一目标形式本身有效，而非任意辅助任务都行。融合层面：把阶段 1 分数作为表征空间中的残差先验（先加嵌入再过非线性打分头），消融显示 prior-only 50.1、joint-only 43.8、全模型 54.6，证明粗排序证据与细粒度联合证据高度互补、缺一不可。效率层面：64-token 缓存比完整 VideoPrism 帧+patch 表示（6.02 MiB）小 128.5 倍；重排器仅 33M，换 BERT-base（110M）反而使 T2V R@1 下降 1.7 点，说明该框架下小模型+好缓存结构胜过大模型。整体在线参数 143M/157M，与达到相近精度的 MLLM 系统（约 7.6B，约为其 49 倍）形成鲜明的帕累托对比。
![VEDJE pipeline. (A) Offline indexing: compression of frame-indexed features yields the ordered cache Z(v) = [Z1; ...; ZT]. (B) Training only: a future-delta head Fω predicts feature changes from Zt and is discarded after training. (C) Online reranking: a 33M joint encoder processes (q, Z(v)); the embedded stage-1 score is added to its output before the nonlinear score head.](/papers/2610.11850/images/figure_2.jpg)
实验结果
(1) 主结果（Table 1b）：MSR-VTT 上 T2V R@1 对 VideoPrism 阶段 1 从 50.1→54.6（+4.5）、V2T 49.8→54.6（+4.8）；对零样本 VideoCLIP-XL 50.1→56.5、49.9→57.1（+6.4/+7.2）；对微调 VideoCLIP-XL 仍 56.2→59.8、55.1→58.8（+3.6/+3.7），证明增益不依赖阶段 1 偏弱；PE-Core-B +6.3/+6.6。(2) 跨数据集（Table 12）：VCLIP-ZS 阶段 1 下 DiDeMo +8.9、ActivityNet +5.2、MSVD +4.9（T2V）全正；VP 阶段 1 在这三个数据集仅 +0.3~+1.8。(3) 缓存预算（Table 3）：64→16 token 时 T2V 仅降 0.2、V2T 降 1.5；L_delta 的 T2V 增益随预算收紧从 +0.6 升至 +1.9。(4) 缓存结构（Table 4）：均值池化 51.7、注意力池化 52.0、分离帧组 54.0，加 L_delta 后 54.6。(5) 打分规则（Table 5）：同缓存下联合编码器 54.6 vs MaxSim 51.9；先验消融 50.1/43.8/54.6 证明两路信息互补。(6) 成本（Table 6）：20 候选完整查询 5.79 ms（阶段 1 约 4.3 ms）；100 候选时 16-token 6.33 vs 7.83 ms。(7) CLIP 对照（Table 2）：冻结 CLIP B/16 达 49.8/49.6 vs 微调 CLIP 的 EERCF 49.9/47.8；EERCF 的 B/32 候选 42.8→49.1，反超其发表值 47.8。(8) 附带：单帧 EDJE 式缓存仅 29.6；FP8 量化无损、FP4 掉 0.4；换 110M BERT-base 反而降 1.7 点（52.9）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MSR-VTT 文本搜视频（微调 VideoCLIP-XL 阶段1） | T2V R@1 (%) | 59.8 | 56.2 | +3.6 |
| MSR-VTT 文本搜视频（VideoPrism 阶段1） | T2V R@1 (%) | 54.6 | 50.1 | +4.5 |
| MSR-VTT 视频搜文本（零样本 VideoCLIP-XL 阶段1） | V2T R@1 (%) | 57.1 | 49.9 | +7.2 |
| DiDeMo 文本搜视频（零样本 VideoCLIP-XL 阶段1） | T2V R@1 (%) | 56.6 | 47.7 | +8.9 |
| MSR-VTT 冻结 CLIP ViT-B/16 对照 | V2T R@1 (%) | 49.6 | 47.8（微调 CLIP 的 EERCF） | +1.8 |
| MSR-VTT（EERCF 发布 B/32 候选，Nc=50） | T2V R@1 (%) | 49.1 | 42.8（重排前）/ 47.8（EERCF 发表值） | +6.3 / +1.3 |
| MSR-VTT 完整查询延迟（VP 阶段1，20 候选，64 token） | 端到端延迟 (ms) | 5.79 | ≈4.3（仅阶段1） | 仅增加约 1.5 ms |
| MSR-VTT 每视频缓存存储 | BF16 张量负载 | 48 KiB（64 token）/ 12 KiB（16 token） | 6.02 MiB（完整帧+patch 表示） | 缩小 128.5 倍 / 512 倍 |
局限与改进
作者承认的局限：缓存查询盲——$Z(v)$ 写死后服务所有未来查询，无法按查询选择性读取或扩展；缓存绑定固定 backbone 与压缩器，任一更新需全库重建索引；两阶段未联合训练；四个基准均为英文 caption 与网络视频，未验证多语言检索。我自己的观察：(1) “12 KiB 几乎无损”只对 T2V 成立，16-token 下 V2T 掉 1.5 点（54.6→53.1），双向检索产品不能无脑压缩；(2) 与最强 MLLM 重排器仍有精度差距——CaRe-DPO 64.1 vs VEDJE 59.8，其优势在效率-精度权衡而非绝对精度；(3) VP 阶段 1 在 MSVD/DiDeMo/ActivityNet 的 V2T 增益仅 +0.3/+0.6/+0.4，接近种子噪声（SD 0.1~0.2），收益集中在 MSR-VTT 与弱阶段 1 场景；(4) 重排器依赖阶段 1 分数先验，线上换检索器或分数分布漂移需重训；(5) horizon $h{=}3$ 仅在 MSR-VTT 交叉验证选出，且 $h{=}2$ 时 T2V（53.8）反而低于无辅助基线（54.0），该监督对超参敏感；(6) 延迟测量限于单卡 L40S、batch=1，高并发生产行为未验证。
独立分析的弱点
独立分析以下几点弱点。第一，查询盲缓存在细节性查询上证据不足：每帧仅 4 个 token（极限 1 个）难以覆盖画面中所有对象和空间关系，“左下角的人在做什么”这类空间性查询可能没有对应证据，改进方向是分层缓存——粗 token 常驻、按需解码的细 patch 索引做第二跳读取。第二，缓存与 backbone/压缩器强耦合，升级视觉编码器意味着全库重编码与重写，对亿级语料代价巨大，改进方向是缓存蒸馏迁移或研究压缩器的跨 backbone 复用。第三，V2T 方向要求新视频查询先编码并建缓存，冷启动视频无法即时可检索，改进方向是流式增量缓存更新与近似缓存。第四，训练依赖成对的视频-文本数据，压缩器对域外视频（医疗、监控等）的泛化未验证，改进方向是域自适应的压缩器微调或无监督适配。第五，残差先验使重排器与特定阶段 1 绑定，多检索器并存时要维护多套重排器，改进方向是对阶段 1 分数做归一化/校准以提升先验可移植性。第六，极端压缩下每帧单 token 削弱时间细粒度区分能力，DiDeMo 上 VP 增益仅 +1.1 可能与此相关，值得按视频时长自适应分配 token 数。
未来方向
作者明确提出的方向：查询时的选择性缓存读取或扩展（cache 扩容）；第一、二阶段的联合训练闭环；多语言视频检索评测。基于本文成果可自然延伸的方向：(1) 把 future-delta 推广到多 horizon 组合或特征方向预测（预测变化的方向/幅度分离），进一步压榨 $M{=}1$ 场景；(2) 缓存量化与向量索引结合——论文已示 FP8 无损、FP4 仅掉 0.4 R@1，与乘积量化结合可把每视频压到字节级，支撑十亿级语料（推算一千万视频 64-token BF16 约 0.492 TB）；(3) 同一缓存复用到时刻定位（moment retrieval）、多轮会话检索等下游任务；(4) 构建“三级级联”：双编码器召回 → VEDJE 廉价重排 → MLLM 只对 top-2/3 的不确定候选精细判断，兼取效率与 CaRe-DPO 级精度；(5) 缓存的可编辑性——视频新增片段时局部重编码而非重建整条缓存；(6) 理论层面解释为何减法目标优于重建目标，可尝试从信息瓶颈或因果干预视角给出分析，并研究 horizon 的自适应选择。
复现评估
复现条件相当友好。论文承诺代码发布（正文以 § 链接占位），Algorithm 1 给出完整的索引与重排伪代码，附录 A.2–A.5 详列架构（各组件维度、层数、头数）、优化超参、缓存量化方案、算力与资产来源。所有 backbone 公开可得：VideoPrism 用 HuggingFace 镜像 MHRDYN7/videoprism-base-f16r288（Apache 2.0），MiniLM 用 microsoft/MiniLM-L12-H384-uncased（MIT），四个数据集均为公开标准基准与官方划分。算力门槛低：训练与索引只需一张 48GB L40S，默认配置 4 个 epoch、batch 64、16–24 小时；全部实验（含种子重复与附录消融）估计 850–900 GPU 小时，单个实验室单卡即可复现主结果。主要风险点：(1) 结果对随机种子有轻微敏感性，需遵循论文的三种子统计协议（如 MSR-VTT VP 配置 54.6±0.1）；(2) 对照用的微调 VideoCLIP-XL 阶段 1（复现 56.2 vs 原论文 57.0）需自行复刻其微调流程，细节不在本文范围内；(3) horizon 选择依赖 MSR-VTT 训练集交叉验证，迁移到其他数据集可能需要重新选择。总体评估：复现难度中等偏低，工程量主要在数据管线搭建而非算力。
论文图表
散点图：横轴为查询时在线模型参数量（63M 到 7.6B，对数尺度），纵轴为 MSR-VTT 文搜视频 R@1。CLIP4Clip、X-CLIP 等双编码系统在 63–110M 区间但 R@1 低于 52；LamRA 复现与 CaRe-DPO 达到 59.7/64.1 却需要 7.6B 参数的基础解码器；VEDJE 仅用约 157M 在线参数达到 59.8。
这张图一图道尽论文的定位：VEDJE 把“轻量系统”和“联合重排精度”这对矛盾在精度-参数平面上打通，直观展示了它相对 MLLM 重排器约 49 倍的参数优势，是理解论文动机和卖点的前提。