Tempo：小型视觉-语言模型是长视频理解的智能压缩器 Small Vision-Language Models are Smart Compressors for Long Video Understanding

步骤分四步。第一步，问题形式化：把视频 $V$ 切分为 $N$ 段 $S_1, ..., S_N$（每段8帧），目标是在全局视觉预算 $B_\text{max}$ 内将每段压缩为 $k_i \in [k_\text{min}, k_\text{max}]$ 个query-conditioned memory token。第二步，局部压缩：每段构造单causal序列 [system prompt, 视觉token $X_i$, query $Q$, memory token $M$]，$M$ 共 $k_\text{max}=128$ 个可学习槽位；SVLM在该序列上做一次前向，$M$ 最后一层隐状态构成压缩表示 $H_i$。第三步，路由与截断：在system prompt中追加二分类指令，用冻结LM head的'yes'与'no'词向量差与 $h_\text{rel}^i$ 做sigmoid得 $s_i$；归一化 $\hat{s}_i$ 后算 $k_i^\text{ideal} = k_\text{min} + \lfloor (k_\text{max} - k_\text{min}) \hat{s}_i \rfloor$；若 $\sum k_i^\text{ideal} \le B_\text{max}$ 直接采用，否则按 $\hat{s}_i / \sum_j \hat{s}_j$ 分配剩余预算 $B_\text{res} = B_\text{max} - N k_\text{min}$；离散化后做头截断 $H_\text{ATA}^i = H_i[1:k_i]$。第四步，全局解码：把各段压缩表示投影到LLM嵌入空间并按时间顺序拼上显式时间戳标签 (如 $$)，输入LLM自回归解码得最终答案；训练损失为auto-regressive cross-entropy $\mathcal{L}_{AR} = -\sum_{t} \log p_\theta(a_t \mid a_{<t}, Q, \{\tilde H_i\})$，无任何辅助压缩损失或路由正则化。

技术新颖性归纳为四点。第一，把'压缩'重新定义为'端到端可微的跨模态蒸馏'，首次用'把query拼进SVLM输入、用causal attention下的memory token作为蒸馏载体'的设计统一长视频消减与查询感知分配。第二，'logit差'做zero-shot相关度打分极其实用：利用LM head已学好的'yes/no'语义对查询相关度，无需任何router训练或外部reranker，达到与Qwen3-VL Reranker相当甚至更好的效果（MLVU 75.2 vs 75.4, Video-MME 67.7 vs 67.2），同时节省一整次前向。第三，'最小时间锚点 $k_\text{min}=4$' 设计巧妙：消融E显示它对LongVideoBench从63.9提升到65.1（+1.2），证明维持低分辨率时间线比硬剪枝更重要，'不连续的时间线'会破坏全局因果追踪。第四，'semantic front-loading'从假设变成可工程化截断策略：消融C显示Dynamic Head Truncation在四基准上一致打败Tail Truncation (65.1 vs 61.9, 75.2 vs 73.4, 67.7 vs 64.8, 52.3 vs 50.5)，并以O(1)开销打败O(N^2)的Token Merging。

独立审视有以下弱点值得改进。第一，ATA两阶段分配在严格预算下退化为'按比例分配剩余预算'，缺乏'按段间互补性'的优化视角。改进方向是引入次模函数或Gumbel-Top-K让段间选择对答案生成总增益最大化。第二，semantic front-loading虽被ablation验证，论文未深入分析'为什么front-load'——是causal attention位置偏置、训练目标 (next-token) 还是token初始化顺序导致的？改进方向是做position-aware消融：交换memory token位置或重排训练时$Q$与$M$的顺序。第三，$k_\text{min}=4$ 是魔法数字，消融E只比较了0和4，缺少对8/16/32的扫描。改进方向是按段长或视频总长自适应 $k_\text{min}$，视频越长 $k_\text{min}$ 越大以维持时间线分辨率。第四，'less is more' (4K > 8K) 现象只在Video-MME Long与LVBench观察到，论文未给出任务粒度解释。第五，缺少对不同SVLM backbone的swap实验，无法判断'zero-shot相关度先验'的通用性。

作者在第6节提出三条未来方向，本节进一步延伸。(1) 后训练放大相关度先验：用RL直接优化路由策略对最终答案准确率的奖励，比SFT更不易引入启发式偏置；具体可考虑GRPO或DPO，将ATA的logit差作为policy、Tempo的答案准确率作为reward。(2) 自回归压缩：让SVLM自己决定何时停止生成memory token，类比reasoning model的thinking budget；具体可借鉴Early-Exit Transformer或Universal Transformer思路，在段内对memory token做halting prediction。(3) 多轮对话的分层路由：维护一个query-agnostic的低分辨率全局context cache (如每段2 token)，多轮对话中只对需要细节的段按需升级为高分辨率，避免每轮重做整段视频压缩。(4) 把ATA的logit差推广到长文档QA、3D点云理解等跨模态任务，把'按需展开'作为通用稀疏注意力框架。(5) 把'前馈单次跨模态蒸馏'与reasoning model结合，形成两阶段test-time compute scaling。(6) 探索Tempo在流式视频 (live stream) 上的应用：每段压缩后立即写入向量库，query到来时只需路由+拼接，可做实时视频问答。

复现评估分四方面。开源情况：论文声明会公开代码 (GitHub: FeiElysia/Tempo) 与项目主页，但截至论文时间点仓库尚未发布，完整复现需基于附录C超参自行实现。数据可获得性：训练数据继承自VideoChat-Flash与LLaVA-OneVision-1.5的公开curation，Stage 0使用LCS-558K；所用Qwen3-VL-2B-Instruct与Qwen3-LM-4B均开源，外部依赖充分。算力需求：Stage 0用32张H100 80GB，Stage 1-3扩展到64张H100，混合精度bf16 + FSDP + gradient checkpointing；端到端100k步、batch size 32-256、AdamW + cosine schedule + 3% warmup，总训练量约5000-10000 H100小时。复现难度：技术栈涉及Qwen3-VL内部attention mask修改、logit-based relevance extraction的SVLM前向hook、跨模态蒸馏端到端训练、lmms-eval评测流水线等四类工程门槛；复现Table 2所有消融 (A-E) 需跑15-20个变体，每变体在64张H100上数天。综合看，公开代码后可较容易复现主表数字，但消融级别完整复现需相当算力与工程投入。