OmniShotCut：基于镜头查询 Transformer 的整体关系式镜头边界检测 OmniShotCut: Holistic Relational Shot Boundary Detection with Shot-Query Transformer

方法分四步。第一步素材清洗：对约 250 万视频按分辨率、FPS（10/25）、时长（≤1 min）粗筛，采样帧 DINO 嵌入的 cosine 相似度低于 $\varepsilon_{sim}$ 处截断；用 CoTracker3 跟踪得到运动强度评分。第二步 SSL 聚类：复用 first-frame DINO embedding 做语义去重（≥ $\varepsilon_{dup}$）后 hierarchical K-means，75% 合成从同簇取样。第三步过渡合成：程序化生成 9 大类过渡，并对 hard cut 强制 25% 视频包含连续密集硬切。第四步 Shot Query Transformer：输入 100 帧 96×128 视频，ResNet18 加 3D 位置嵌入送入 3 层 encoder；24 个 shot query 在 6 层 decoder 做 self-attention + cross-attention；每个 query 输出三个 MLP 头，range head 预测结束帧离散索引（100 类），intra 8 类 softmax，inter 3 类 softmax。

技术新颖性体现在三方面。其一，结构上首次把 SBD 形式化为「intra-relation + inter-relation」集合预测任务，给出 8+3 标签体系，Fig. 2 把 wipe、slide、doorway、zoom、sudden jump 这些被 TransNetV2/AutoShot 忽略的过渡全部纳入；其二是离散分类损失替代 L1+GIoU 回归，Tab. 2a 显示 Classification 版本比 L1+1D GIoU 在 sudden jump 上从 0.717 涨到 0.759、range F1 从 0.857 涨到 0.881；其三是合成策略上用 SSL 聚类（同簇 75% 概率取样）构造「语义相近但非相同」的过渡对，Tab. 2b 显示去掉 SSL 后 transition IoU 从 0.644 掉到 0.551；强制 25% 连续密集硬切也贡献明显（Tab. 2c，去掉后 sudden jump 从 0.759 暴跌到 0.509）。整套流水线把 transition IoU 从基线 0.18–0.25 拉到 0.644。

独立分析三个可改进的弱点。第一个弱点是离散分类头在训练时把 end-frame 当成 100 类分类问题，这种设定让模型与训练 clip 长度强耦合；当前 24 个 query × 100 帧的设计虽然可以通过滑动窗口应对长视频，但 query 跨窗口的一致性（同一镜头被切到两个窗口时，intra/inter 关系如何保持稳定）没有给出明确方案；改进方向是引入相对位移编码或时序对比损失，使 query 在长序列上具有可拼接性。第二个弱点是 benchmark 与训练集虽然来源不重叠，但合成过渡的视觉风格仍偏向程序化生成的几何/亮度型过渡，对现代视频里大量出现的语义化过渡（如叙事性匹配剪辑）覆盖不足；改进方向是引入视频编辑模板库或基于扩散模型的过渡生成器作为额外监督来源。第三个弱点是模型没有显式的置信度输出，与 benchmark 的「标签置信度」不对称；可以在每个 query 头后加一个质量分支，估计 intra/inter 标签的可信度，便于下游按需过滤低置信镜头。

作者提出了两个明确方向：一是引入电影级艺术过渡模板库以扩展合成数据的多样性；二是继续探索纯合成监督在 SBD 上的极限。基于成果还可以延伸几条线：(1) 把 shot query 与 scene query 级联，做镜头→场景的层次化分割，因为论文已显示镜头边界精度足以支撑 MovieNet 等场景分割 pipeline；(2) 把 intra-relation 8 类扩展为开放词汇或细粒度子类型，结合视觉-语言模型对罕见过渡做零样本识别；(3) 用 OmniShotCut 的精确过渡区间重新标注公开视频数据集（如 Panda-70M），配合视频 VAE 训练，验证 sudden jump 过滤对视频生成质量的实际收益；(4) 将 24 个固定 query 换成基于输入长度动态分配的可变 query 数量，降低长视频上的冗余计算；(5) 把 intra + inter + range 统一为一个多任务图结构，用 GNN 在镜头级别上做后处理，进一步提升一致性。

复现性总体较好但仍有门槛。代码与 benchmark 是否开源文中未明说（论文表示将开源但写作时未给出链接），需在作者主页确认。论文提供了详尽实现细节：8 张 A100、50 epoch、batch size 64、ResNet18（11.17M）+ Transformer 共 34.49M、3 层 encoder + 6 层 decoder、24 shot query、训练分辨率 96×128、采样 100 帧、ResNet lr=$1\times 10^{-5}$、Transformer lr=$1\times 10^{-4}$，在线增强含翻转、色彩抖动、模糊、高斯/泊松噪声、压缩伪影。合成流水线依赖 DINOv3 + CoTracker3 + hierarchical K-means，需处理 250 万视频与 9 大类程序化过渡，复现至少需要 8 张 A100 与数 TB 存储。评测采用 Cosmos ShotBench 默认 2 帧容差，sudden jump 用 0 容差。整体复现门槛在「前沿研究级」，建议先复现 Tab. 2a 的 loss 改动，再扩展到全量训练。