CAST：建模视觉状态转换的一致视频检索方法 CAST: Modeling Visual State Transitions for Consistent Video Retrieval

完整流程分训练和推理两阶段。训练阶段：（1）用frozen backbone（如CLIP ViT-B/32）抽取文本embedding $f_t(q_t)$ 和3帧均匀采样mean-pooled视频embedding $v_c$；（2）构造滑动窗口样本，对每个step $t$ 取最长 $L=5$ 的preceding clips作为 $H_t$；（3）mining batch negatives，含同batch其他sample的 $v^+$ 作为in-batch positives以及每个sample额外的state/identity negatives；（4）两条路径并行计算，Path 1将 $[f_t(q_t); v_{t-1}] \in \mathbb{R}^{2d}$ 送入两层MLP得到 $\Delta_{cond}$；Path 2以 $f_t(q_t) \in \mathbb{R}^d$ 为Q、$H_t \in \mathbb{R}^{L \times d}$ 为K/V做multi-head attention，attention output经MLP投影为 $\Delta_{ctx}$；（5）加和 $\Delta = \Delta_{cond} + \Delta_{ctx}$，预测 $\hat{v}_t = \phi(v_{t-1} + \Delta)$，其中 $\phi$ 为L2归一化；（6）计算三类loss，$L_{batch}$（公式6标准InfoNCE over batch）、$L_{state}$（公式7分母仅含state negatives）、$L_{ident}$（公式8分母仅含identity negatives），按 $L = L_{batch} + 5.0 L_{state} + 1.0 L_{ident}$ 组合；（7）AdamW优化，lr=1e-4、weight decay=1e-3、batch size=512，YouCook2/COIN/CrossTask分别训练30/20/50 epochs。推理阶段：（1）Gallery一次性预索引frozen video embeddings $v_c$；（2）对每个新query在线计算 $\hat{v}_t$；（3）计算三个score $A=\text{sim}(t_q, v_c)$、$B=\text{sim}(v_{t-1}, v_c)$、$C=\text{sim}(\hat{v}_t, v_c)$；（4）Ensemble $S = A + w_v B + w_p C$，$w_v, w_p$ 在validation split上搜索后固定；（5）在candidate pool $C = \{v_{gt}\} \cup N_{state} \cup N_{identity} \cup N_{easy}$（共10 candidates）内按 $S$ 排序输出top-1。

技术新颖性体现在四个层面。（1）任务层面——首次formalize Consistent Video Retrieval (CVR)，区别于标准text-to-video retrieval的 $P(v \mid q)$，新任务定义为 $P(v \mid H_t, q_t)$，并配套构建带三类hard negatives的诊断基准，根本性弥补了MSR-VTT/MSVD/DiDeMo-style benchmark无法捕捉一致性错误的缺陷；（2）建模层面——首次将procedural step显式建模为latent state transition $\Delta$，与视频理解领域已有的discrete state discovery（Isola et al. 2015、Souček et al. 2022）相比，连续embedding空间内的残差预测避免了vocabulary粒度瓶颈，且对fine-grained yet incoherent states（如"pre-slicing"vs"post-slicing"）具备更强区分能力；（3）架构层面——双路径设计 $\Delta = \Delta_{cond} + \Delta_{ctx}$ 巧妙将"即时状态变化"和"长程上下文消歧"解耦，cross-attention over history让模型可学习式地关注相关步骤而非smoothing all history；（4）训练目标层面——type-aware contrastive loss将state negatives和identity negatives放在独立的denominator，避免identity negatives因semantic overlap高而在标准InfoNCE中dominate梯度；$\lambda_s = 5.0 > \lambda_i = 1.0$ 显式编码了"state discrimination优先于identity preservation"的prior，因为后者已被residual connection通过 $v_{t-1}$ 自动保证。

独立分析的弱点（按严重性排序）：（1）Ensemble权重 $w_v, w_p$ 需per-dataset per-backbone grid search，缺乏可解释的选择规则，部署到新数据集时调参成本高——改进方向是学一个meta-network预测权重或通过ablation证明存在稳健的default ratio；（2）双路径加法 $\Delta = \Delta_{cond} + \Delta_{ctx}$ 是手工选择，可能不最优——可学习门控 $g \odot \Delta_{cond} + (1-g) \odot \Delta_{ctx}$，$g$ 由 $f_t(q_t), v_{t-1}, H_t$ 共同决定，让模型自适应平衡两条路径的贡献；（3）Loss权值 $\lambda_s=5.0, \lambda_i=1.0$ 是固定超参，对小数据集或domain shift可能over-weight state discrimination——可改为uncertainty-based自动加权（Kendall et al. multi-task learning），或对state negatives数量做课程式调度；（4）Type-aware contrastive独立优化state/identity loss但忽略了state negatives与identity negatives间的orthogonality假设未必成立——可加入互斥约束或shared negative pool进行对比；（5）Hard negative mining仅3+3+3+1规模，未评估scaling到20+20+1时是否仍保持优势，更大的候选池更接近真实检索场景；（6）Path 2 cross-attention在 $L=5$ 已显式，扩到 $L=20$ 时计算开销线性增加但收益饱和——可改为sparse attention、perceiver-style latent attention或learned retrieval over history；（7）Inference时 $\hat{v}_t$ 需online forward，无法预计算，对大规模gallery + low-latency场景是瓶颈——可蒸馏成轻量predictor或预计算多个 $\hat{v}_t$ for top-K histories；（8）Adapter参数选择（hidden dim、head数、layer数）未给出sensitivity分析，新数据集部署时缺乏先验。

作者在§5和Conclusion中提出的方向：（1）分层记忆hierarchical memory捕获更长程依赖，例如short-term buffer (L=5) + long-term summary module，将每k步压缩为abstract state token；（2）更结构化的正则化分离state transition与identity cues，例如正交约束 $\Delta \perp v_{t-1}$、auxiliary head预测discrete state token、或contrastive loss显式拉远future state与anchor state。基于成果可延伸的方向：（3）扩展到open-domain视频（电影、vlog），构造非程序性的State Negatives (scene change、identity shift) 和Identity Negatives，验证generalization边界；（4）与video generation联合训练，让generator的output本身就optimize for $\hat{v}_t$ compatibility而非仅靠post-hoc reranking，形成end-to-end可优化系统；（5）应用到具体下游如instructional video QA、装配指导、自动教学反馈等领域；（6）探索更高效的adapter架构（如LoRA、IA³）替代MLP-based dual-path以降低参数和延迟；（7）把CVR benchmark推广到multi-modal retrieval (text + audio + visual) 评估音频线索能否帮助消歧state；（8）研究CVR与video moment retrieval、temporal grounding的结合，把"找下一片段"扩展为"找任意时刻的片段"。

复现评估整体良好但有缺口。（1）数据集——YouCook2 (官方train/val split, 414 videos, 3179 step-clips, 2765 queries)、COIN (官方train/test, 2134 videos, 6241 clips, 4107 queries)、CrossTask (video-disjoint 80/20 with seed 42, 509 videos, 2731 clips, 2222 queries) 均为公开数据集，详细mining规则见Appendix B / Table 9；（2）训练超参明确——AdamW (lr=1e-4, wd=1e-3)、batch=512、epochs=30/20/50 (YouCook2/COIN/CrossTask)、loss weights $\lambda_s=5.0, \lambda_i=1.0$、context window $L=5$、温度 $\tau$ 标准设定、3帧uniform sampling + mean-pooling；（3）Backbone checkpoints——Appendix A列出InternVideo2-1B、VideoPrism-B、GME-Qwen2-VL-2B、Qwen3-VL-Embedding-2B的具体HuggingFace/官方repo，CLIP用OpenAI ViT-B/32；（4）未在正文/footnote发现公开code repo链接，hard negative mining、ensemble coefficient search、type-aware loss需自行实现，难度中等；（5）算力——单backbone 30/20/50 epochs of batch=512 on video任务，单卡A100级别可在数小时内完成，跨5个backbone总成本约几十到几百A100-hours；（6）Human study部分涉及Veo API调用成本不可忽视。综合评估：超参和数据集细节充分，第三方可基于公开backbone checkpoints和标准数据集实现核心算法，但缺code release需自行实现benchmark construction和training pipeline，复现门槛中等。