选择、压缩、再投资：长视频多模态大模型视觉令牌分配的受控研究 Select, Compress, Reinvest: A Controlled Study of Visual-Token Allocation in Long-Video MLLMs
受控实验分离帧选择、空间压缩与预算再投资三种决策，证明查询相关帧选择是最大增益杠杆。
前置知识
视觉令牌预算 (Visual-Token Budget)
多模态大模型将每帧图像经视觉编码器切分为若干令牌后送入语言模型，令牌数量直接决定显存占用、推理延迟与上下文窗口消耗。按每秒一帧解码，十分钟视频有600帧、一小时有3600帧，任何系统都只能在固定令牌预算内保留极少数帧。帧数与每帧分辨率共同消耗这份预算：帧越多、每帧越清晰，总令牌数越大。
本文的三个干预——选择哪些帧、每帧压缩多少、把省下的预算再投到哪里——全部围绕这份有限预算的分配展开，理解预算约束是读懂全文的前提。
查询感知帧选择 (Query-aware Frame Selection)
在给定用户问题后，用打分器（如CLIP类对比编码器）计算每个候选帧与问题的相关性，再按某种子集规则选出$k$个帧，替代均匀等间隔采样。规则通常还需权衡时间线覆盖度与帧间多样性，背后是最大边际相关性（MMR）、行列式点过程（DPP）、预算多臂老虎机等经典子集选择方法。
本文的核心问题就是：在打分器、帧预算、答题模型全部固定时，哪条选择规则能提供最有用的证据——这正是论文受控比较的对象。
正交匹配追踪 (OMP, Orthogonal Matching Pursuit)
1993年提出的贪心稀疏逼近算法：每步选取与当前残差最相关的原子 $b_r = \arg\max_{i \notin B_{r-1}} e_i^\top q_{r-1}$，再从查询中投影减去已选原子张成的空间 $q_r = q_0 - \mathrm{Proj}_{\mathrm{span}\{e_j: j \in B_r\}}(q_0)$，使后续选择不再重复已覆盖的方向。原用于信号的稀疏重构。
论文把这个零调参、无任何视频专属组件的老算法当作标尺，用来衡量近年专用选择器的增益究竟来自子集规则本身，还是来自打分器与流水线。
模态间隙 (Modality Gap)
对比学习训练的图文编码器中，图像嵌入与文本嵌入各自聚成分离的锥形区域，跨模态余弦相似度系统性偏低。本文实测：LongVideoBench-600s视频内帧间平均余弦为0.714，而文本查询与帧的平均余弦仅0.175（标准差0.022），即查询几乎正交于帧字典的主方向。
模态间隙解释了为什么OMP的残差不按信号处理理论收缩——8次选择后残差范数仍为初始值的0.967——这直接颠覆了'OMP在做稀疏重构'的直觉解读，是论文机制分析的关键。
McNemar检验与TOST等价检验
McNemar检验针对同一批问题在两种策略下的配对正误结果做精确双侧检验，判断差异是否显著，是配对设计的正确选择。TOST（双单侧检验）则用于证明两种方法'等价'：要求90%置信区间完全落入预设等价边界（如±3个百分点）内，避免把'没测出显著差异'误读成'没有差异'。
论文所有结论都建立在配对McNemar检验上，而'压缩几乎无损'这一关键论断必须靠TOST等价区间而非简单的 $p>0.05$ 来支撑，这是理解其结论强度的钥匙。
研究动机
长视频语言模型无法看完整段视频：按每秒一帧解码，十分钟片段是600张图像，一小时是3600张，而系统通常只保留极小的固定切片——有的用8帧，有的用32或64帧。默认规则仍是不看问题的均匀采样。近年大量查询感知选择器（AKS、FOCUS、MDP3、LDDR、Q-Frame、DAFS等）报告了可观的端到端增益，但这些方法同时改变了打分器、提示词边界、分辨率策略和答题模型：一个选择器可能因为自带更好的编码器而显得强，一个动态分辨率系统可能因为塞进更多帧而非分配得好。跨论文比较两个数字，实际是在比较两个实验而非两个想法，无法回答'固定其他条件后，哪条选择规则真正提供最有用的证据'这一更窄但更根本的问题。
本文的目标是本文要把视觉令牌分配拆成三个可分离的决策并逐一测量：Select（固定帧数与分辨率，只换时间戳）、Compress（固定时间戳，只缩每帧空间预算）、Reinvest（把压缩省下的预算换成更多时间戳而非更清晰的帧）。每个比较都是同一问题在两种输入策略下各答一次的配对实验，用McNemar检验把差异归因到单一决策；再用打分器替换（LongCLIP换SigLIP）和答题器替换（InternVL3-2B/8B、GPT-5-mini）检验排序稳健性；并用两个忠实实现同一已发布规则的评测框架，量化框架间分歧的幅度。
与已有工作不同的是，本文的独特切入有三点。第一，它不提出新选择器，而是把'分配'当作三个单变量干预做受控分解，站在所有联合分配系统（Q-Frame、LDDR、DAFS、AdaAlloc）的上游提问。第二，中心规则刻意选用1993年、未调参、无视频专属组件的正交匹配追踪（OMP）：现成规则没有可向这些基准拟合的超参数，它与专用选择器的差距就纯粹反映受控比较本身，也因此成为测量'新方法的增益有多少来自子集规则、多少来自打分器与流水线'的标尺。第三，论文不只报阳性结果，还用TOST等价检验给'压缩无损'设界、公开自己AKS基线移植bug（99.5%帧被替换、准确率只动0.07分）的诊断过程，把评估方法学本身作为核心贡献。
核心方法
直觉上，'选哪些帧'应该比'每帧多少像素'和'总共几帧'更值得优化，但必须逐变量验证。技术路线是一个配对受控协议：每个基准问题在两种输入策略下各回答一次，其余一切固定。视频按1fps解码，候选帧与问题主干（stem，不含选项）用LongCLIP各编码一次并缓存，六条训练免费选择规则（均匀采样、余弦top-k、AKS、FOCUS*、OMP、LDDR-select）读同一份分数缓存，在 $k=8$ 下选出时间戳后交给Qwen3-VL-8B答题（lmms-eval，贪心解码，字幕关闭）。三个干预依次为：换时间戳（帧数与分辨率不动）、换每帧空间预算（时间戳不动，压缩到平均约53%空间占比的D@53方案）、把省下的令牌换成16个压缩帧对比8个全分辨率帧（经逐视频令牌审计确认成本不高于原方案，比值0.984–0.996）。第四个对照把LongCLIP换成SigLIP-so400m，检验排序是否依赖编码器。
核心创新是'单变量配对干预'的实验设计加上'现成算法标尺'。与把所有组件一起换的端到端比较不同，这里每个准确率差异都可归因于单一决策。OMP作为标尺的意义在于它没有可拟合的超参数，每步只做两件事——选与残差最相关的方向 $b_r = \arg\max_{i \notin B_{r-1}} e_i^\top q_{r-1}$，再抹掉已覆盖方向 $q_r = q_0 - \mathrm{Proj}_{\mathrm{span}\{e_j: j \in B_r\}}(q_0)$。另一个关键设计是选项永不进入选择（只用问题stem打分），论文实测了这个保守约定的代价：融合问题与选项的查询在600s箱上比stem高3.88分（p=.033），而用另一段视频的无关选项构造查询竟能恢复56%的增益（.6529 vs .6311），说明这部分提升来自提示边界本身而非选项语义，因此跨论文比较中提示边界是值2–4分的未控轴。
方法步骤详情
第一步，构建证据池：视频按1fps解码，所有候选帧用LongCLIP的stem分支编码，$L_2$归一化后缓存嵌入与相似度，保证没有任何规则享有更好的编码器。第二步，选择：六条规则在 $k=8$ 下各选一组时间戳——均匀采样、余弦top-k、AKS（递归划分时间线，此处为BLIP-ITM打分被替换的复现）、FOCUS*（重放其发布的时间片段bandit调度但喂入密集LongCLIP分数）、OMP（贪心正交匹配追踪）、LDDR-select（仅其stage-1线性DPP选择器）。第三步，答题与统计：Qwen3-VL-8B经lmms-eval贪心解码作答，配对精确McNemar检验比较正误；等价性声明用TOST的90%置信区间。第四步，压缩干预：时间戳固定，在进入处理器前自行缩放（关闭Qwen内部smart-resize），主方案D@53目标平均空间占比约0.53；对照包括同均值平分方案（检验调度形状是否重要）和LDDR stage-2 Group-DPP重要性的重构。第五步，再投资干预：$k=16$ 帧加约50%每帧上限，用复现Qwen smart-resize规则的脚本逐视频实测令牌数，确认16帧臂只消耗8帧全分辨率臂0.996/0.984倍的令牌。第六步，稳健性与机制分析：SigLIP替换打分器、InternVL3-2B/8B与GPT-5-mini替换答题器、15/60/600/3600秒时长分层、残差几何诊断、失败审计与附录C的变体扫描。
技术新颖性
技术新颖性不在算法而在测量方法学。其一，配对设计+McNemar/TOST的组合在帧选择文献中罕见——多数论文只比较绝对准确率。其二，'OMP标尺'揭示了一个令人不安的事实：无调参的1993年算法在三个基准上全面领先AKS、FOCUS*和top-k，与专用LDDR-select差距不足1分，说明近年选择器的增益更多来自打分器与流水线而非子集规则本身。其三，残差几何诊断直接检验并否定了'OMP在做稀疏重构'的经典解释：查询几乎正交于帧嵌入锥（跨模态余弦均值0.175 vs 帧间0.714），第一次选择就移除了OMP所能移除的全部查询质量的85.6%，8次选择后残差范数仍停在初始的0.967——OMP真正起作用的是相关性加去相关。其四，跨臂重叠检查（两条目标不同的规则选中98.5%相同帧即警报）是可推广的实现错误检测手段，论文用它抓住了自己AKS移植中静默复制top-k的bug。
实验结果
选择是最大的杠杆。Table 2中OMP在 $k=8$ 下相对均匀采样分别提升5.69分（LongVideoBench .6223 vs .5654）、5.85分（Video-MME .6222 vs .5637，p=5.1×10⁻¹⁰）、11.81分（LVBench .4635 vs .3454，p=9.5×10⁻¹⁷）；唯一的追赶者是LDDR-select，三基准差距都不足1分。帧数替代最直接：3600s视频上8帧OMP（.5461）胜16帧均匀采样（.4770）6.9分（p=.0011），600s上16帧OMP（.6578）胜32帧均匀（.6044）5.3分（p=.018）——一半的答题器令牌换来更好的答案。增益是'池超预算'的阈值效应而非时长梯度：15s箱上三规则完全同分（.7249），600s箱+7.8（p=.0022）、3600s箱+7.5（p=5.9×10⁻⁴），之后不再增长。压缩近乎免费：时间戳固定、空间预算减半，三个Qwen基准最大变化仅0.44分，池化长视频上+0.72分、90%CI[−0.60,+2.03]落入±3分等价界（TOST p=.0022）但差±2一步（p=.054）；InternVL3-8B把24块tile砍到8也只动−0.10分。再投资才把免费变成收益：8全分辨率帧换16压缩帧（实测令牌比0.984–0.996），LongVideoBench+2.24、池化长箱+2.36（p=.0346）、LVBench+3.04（p=.0009）、Video-MME+1.56、GPT-5-mini+2.39（p=.039）。稳健性：换SigLIP打分器换掉67–84%的选中帧但排序不变；换InternVL3后选择增益在LVBench复现（8B +10.14，p=1.2×10⁻¹³）但在Video-MME 8B中长箱消失（+0.11）。诊断性发现同样重要：AKS移植bug使99.5%的帧被替换而LVBench准确率只动0.07分；两个忠实实现同一规则的框架结果相差0.07–3.74分。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 长视频QA选择器对比 @k=8（LongVideoBench，n=1337，Qwen3-VL-8B） | 准确率 | OMP .6223；最强专用规则LDDR-select .6320 | 均匀采样 .5654；top-k .6028；AKS .5916；FOCUS* .5819 | OMP较均匀采样+5.69分，较top-k+1.95分；与LDDR-select仅差0.97分 |
| 长视频QA选择器对比 @k=8（Video-MME，n=2700） | 准确率 | OMP .6222 | 均匀采样 .5637（top-k仅.5704） | +5.85分（p=5.1×10⁻¹⁰）；top-k较均匀仅+0.67分，规则间差距（5.18分）远大于'是否查询感知' |
| 超长视频QA选择器对比 @k=8（LVBench，n=1549） | 准确率 | OMP .4635 | 均匀采样 .3454（top-k .4319） | +11.81分（p=9.5×10⁻¹⁷），三基准中最大；均匀到top-k的跨度8.65分小于规则间差距 |
| 帧数替代实验（LVB 3600s箱，n=564） | 准确率 | OMP-8帧 .5461 | 均匀-16帧 .4770（600s箱：OMP-16 .6578 vs 均匀-32 .6044） | +6.9分（p=.0011）；600s箱+5.3分（p=.018）——答题器视觉令牌减半仍显著胜出 |
| 固定时间戳空间压缩（D@53约减半，Qwen3-VL-8B三基准） | 准确率变化 | 最大变化0.44分；池化LVB长箱+0.72（90%CI[−0.60,+2.03]） | 8帧全分辨率臂 | TOST通过±3分等价界（p=.0022）但差±2一步（p=.054）；InternVL3-8B三倍tile削减仅−0.10分 |
| 令牌再投资：8帧全分辨率 → 16帧压缩 | 准确率 | LVB .6447 / 池化长箱 .6055 / LVBench .4939 / Video-MME .6378 / GPT-5-mini-LVBench .5139 | 8帧全分辨率（.6223/.5820/.4635/.6222/.4900） | +2.24 / +2.36（p=.0346）/ +3.04（p=.0009）/ +1.56 / +2.39（p=.039）分；实测令牌比0.984–0.996，胜者还更便宜 |
| 答题器迁移（InternVL3，相同OMP与均匀时间戳、相同tile预算） | OMP−均匀 准确率差（百分点） | 2B：V-MME短/中/长+6.00/+3.33/+4.22，LVBench+9.04，LVB+4.71；8B：LVBench+10.14，LVB+6.51 | 同帧数均匀采样 | 选择增益跨模型族、跨规模复现；例外是V-MME 8B中长箱（+0.33/+0.11，不显著） |
局限与改进
作者坦承的边界：FOCUS*只是把已发布的调度重放在密集LongCLIP分数上，并非原预算ITM流水线；LDDR-select仅是stage-1，其stage-2对照也是论文重构而非作者代码，两行都不能当原方法的复现读。等价边界（±2/±3/±4分）是看完数据后选的，回答的是'这个样本能过多窄的界'而非'效应是否落在独立论证的界内'，检验也未做多重校正；Video-MME压缩无配对检验，LVBench小差异只是描述性的。机制证据（残差几何）来自冻结LongCLIP stem、主要在600s箱，换编码器虽保排序但两个编码器同为对比式目标，ITM头或MLLM注意力打分器仍可能重排表格。失败审计是失败条件化的目视抽样、无盲评、无对照组，不能估计总体失败率。规则集窄于对标的Chen et al.表（未跑MDP3、Q-Frame，因为在作者的确切单元格上无法验证移植）。字幕全程关闭使字幕锚定问题对所有视觉选择器同样困难。部分次要结果在第二个计算环境（L40S/PyTorch 2.6）测得，绝对数值不可跨环境混表。我的补充观察：单一独立作者、基准均为多项选择式QA，对开放生成任务的适用性未验证；阈值效应意味着结论对'池大小/预算比'高度敏感，而实际部署中的池构造方式（是否1fps、是否场景预切分）本身未受控。
独立分析的弱点
其一，OMP后期选择漂向'视觉上独特但不相关'的内容：失败审计中20/41（600s）与35/52（3600s）个受检案例出现离题新颖性——无关章节、标题卡、暗转场消耗了8个名额中的多个；而序列与跨场景类问题又暴露镜像失败：密集top-k聚集于一个相关时刻、漏掉另一个必需场景。出路是带相关性下限的多样性（relevance floor）加事件边界约束，论文仅在附录C做了初步变体扫描且无一显著超过OMP。其二，stem-only打分这个保守约定本身值2–4分，虽然错误选项对照说明融合查询的增益主要来自提示边界而非选项语义，但生产系统是否应把选项或问题改写纳入打分仍值得系统研究。其三，再投资的OMP特异性未证实：均匀采样下8→16帧也有+1.13（p=.3673），OMP下+2.56，交互1.43分（p=.2614），检验力不足以区分'OMP专属'与'均匀也行'。其四，选择增益在15s箱严格为零、60s箱不显著，价值完全依赖'池远大于预算'的场景，但缺少控制时长的截断实验把池大小从时长中分离。其五，容量×基准交互未解决：InternVL3-8B对 demonstrably 不同的帧在V-MME中长箱无感（+0.11，p=1.000）却在LVBench+10.14，无法区分是容量还是基准特性所致。改进方向：把重叠检查与残差轨迹纳入标准评测工具链，用预注册边界做确证性等价复现。
未来方向
作者点明的方向：带相关性下限的探索式选择（只在合理证据区域内铺开时间覆盖）、事件边界约束、模态间隙更小的打分器（ITM头、MLLM注意力、跨模态投影校正）；联合分配系统（Q-Frame、LDDR、DAFS、AdaAlloc）应同时报告时间戳、分辨率、帧数三个分离干预而非单一端到端数字；提出新选择规则的论文应在自家分数上先跑一个经典追踪/贪心基线。基于本文成果可自然延伸的：用残差相关轨迹做廉价预检——第8次选择后残差与所选帧的相关已降到.004，可据此判断一个新打分器还有多少查询信号可供榨取，再决定是否投入全套评测；把'池超预算才开启'的阈值效应形式化为按池/预算比自适应切换选择器与小视频直接均匀采样的策略；设计控制时长的截断实验分离池大小与时长两个混淆变量；把TOST等价检验推广为视频MLLM消融实验的标配，避免把噪声当稳定；在开放生成、字幕依赖任务上重验三分量结论；对残差几何与再投资收益做正式的中介效应检验（目前两者只是共现测量）。
复现评估
复现条件相当好。代码、选择器实现、分析脚本、每条规则每个预算的选中帧索引、以及许可允许的逐题预测都开源在 https://github.com/codeprakhar25/omp-keyframe-sampling，包含打分器替换流水线、融合查询实验臂、构建Table 7的脚本和预注册文档；基准视频与API密钥不随代码分发，需自行下载LongVideoBench（n=1337）、Video-MME（n=2700）、LVBench（n=1549）。算力方面：主实验用RTX PRO 4500 GPU（PyTorch 2.11/CUDA 13.0），次要结果在L40S（PyTorch 2.6）；选择器本身只需过一遍LongCLIP编码且嵌入可缓存，主要开销是用Qwen3-VL-8B跑约5586道题的三基准以及InternVL3迁移实验，单张48GB级显卡即可胜任，GPT-5-mini对照需要API。难度中等：工程量主要在1fps解码全基准视频的存储与吞吐、lmms-eval环境搭建、Qwen smart-resize规则的逐视频令牌审计复现；统计部分（精确McNemar、TOST）有现成实现。注意两点：两个计算环境的绝对数值不可混入同一张表（作者只在环境内做配对比较）；若自己移植已发表方法，务必先跑跨臂重叠检查——论文的AKS bug正是靠它而非准确率发现的。
论文图表