GridProbe：长视频VLM的自适应测试时计算后验探针方法

用K×K网格行/列后验探针在答案空间挑帧，按分布形状自适应每题算力

前置知识

视觉语言模型（VLM）

能同时处理图像/视频帧与自然语言并输出文本的模型，如 Qwen3-VL、LLaVA-Video、InternVL3.5 等。长视频VLM 需要把数千帧压缩到一次前向传播中，注意力成本随序列长度近似二次增长。

本文针对长视频VLM的推理瓶颈提出新方案，必须理解VLM如何处理视频帧及其注意力/FFN计算结构才能体会 GridProbe 的动机。

编码器空间（encoder space）选择

在CLIP/SigLIP等独立视觉-语言编码器的共享表示空间计算帧-查询相似度作为相关性分数，代表方法包括 MDP3、Frame-Voyager、FOCUS 等。分数上限由对比预训练的表征能力决定，对否定、跨帧计数等推理密集型查询易失效。

GridProbe 的核心创新是跳出这一范式，在VLM自己的答案空间打分；理解这一对照才能体会本文贡献的本质。

后验概率与探针置信度

VLM在给定帧子集 $S$ 与查询 $q$ 时对答案空间 $Y$ 的条件分布 $p_\theta(y|S,q)$。本文定义探针置信度 $c(S,q)=\max_{y\in Y} p_\theta(y|S,q)$，衡量模型对单一答案的把握程度，高置信意味着子集含足够证据。

这是 GridProbe 取代编码器空间相似度的新打分信号，是论文最核心的新概念，所有后续设计都围绕它展开。

测试时计算（test-time compute）

推理阶段根据输入难度自适应调整计算量以提升质量或节省成本。文本域已有思维链、自一致性、搜索式解码；视频域常用LLM智能体做多步调度，但带来编排开销与控制流复杂度。

GridProbe 提出一种非迭代、固定调度、无需智能体编排的闭式自适应计算机制，是文章主线索之一。

Pareto支配（Pareto dominance）

在多目标（如精度 vs 算力）权衡中，方案A在所有目标上不逊于B且至少一项优于B，则A Pareto支配B。本文用此评估精度-算力曲线的优劣。

论文反复使用 Pareto 主导来论证 GridProbe 优于单次前向基线，需理解才能正确解读 Table 1 与 Figure 1 的卖点。

注意力与FFN的计算复杂度

自注意力对序列长度 $N$ 是 $O(N^2)$，FFN 对 token 数线性 $O(N)$。当前规模下FFN主导，但随序列增长注意力占比快速上升，因此减少输入 token 数是压低算力的最有效手段。

GridProbe 的 sub-quadratic 收益来自把 $N=K^2$ 帧压到 $M_{eff}\ll K^2$ 帧，必须理解输入token数与算力的关系。

研究动机

长视频VLM的主流做法是把数千帧一次性送入单个前向传播。例如 Qwen3-VL-2B 在 2048 帧时单帧被压到约 240 个视觉 token，相比 64 帧设置下的 2960 token/帧整整低一个数量级；这意味着每帧细节被大幅牺牲以换取时序覆盖。再加上注意力随序列长度近似二次增长，即使有 256K token 上下文也无法负担密集采样+密集注意力，这一结构瓶颈在 InternVL3.5、LLaVA-Video 等模型上同样存在。常用的缓解是训练免费的帧选择（MDP3、CLIP-matching、SigLIP打分、FOCUS）和学习型选择（Frame-Voyager、HFS），但它们都共享一个范式：用一个独立于QA模型的视觉-语言编码器在共享表示空间算相似度。MDP3 自己的定性分析也承认该范式在否定（"which is NOT true"）、跨帧计数、整体摘要等推理密集型查询上失效，因为对比预训练并未把这些推理能力编码进表征空间。此外，所有先前方法都预设一个固定预算 $M$，对定位型问题浪费算力、对整体型问题又丢弃必要上下文，形成不可避免的权衡。

本文的目标是本文目标是为长视频VLM设计一种训练免费、无需智能体编排的推理新范式，使选择信号真正来自QA模型自身的答案空间推理能力，而非外部编码器的相似度；同时让每题预算 $M_{eff}$ 根据问题难度自适应变化，既能匹敌或超越单次前向的精度，又能显著降低TFLOPs。最终希望在小算力选择器+大QA的组合下实现对2B单次基线的Pareto支配，且不需任何重训练。

与已有工作不同的是，已有三条线索各自留有空白：(1) 编码器空间选择减少输入量但脱离了QA模型的推理链；(2) 多模态帧评分（如FRAG）搬到模型空间却仍是逐帧打分、且固定 $M$；(3) 智能体式自适应推理（VideoAtlas、VideoAgent、AVUA）通过多步LLM调度做到按题算力，但引入编排开销、控制流复杂度和逐题规划成本。本文指出三类方法共同缺失的是：一种固定调度、训练免费、能在QA模型自身答案空间打分、能捕获跨帧推理、并能用闭式规则决定每题预算的机制——GridProbe 正是填补这一组合性空白的方案。

核心方法

直觉上，与其问"哪个外部编码器认为这帧与查询相关"，不如直接问"VLM在只看这些帧时有多大把握给出答案"。GridProbe 把候选帧池排成 $K\times K$ 网格，对每一行（共 $K$ 帧的局部连续片段）做一次轻量前向、读出峰值后验置信度 $c^{row}_r$，对每一列（共 $K$ 帧的全局周期采样）做一次同样的探针、读出 $c^{col}_c$。两者的外积 $M[r,c]=c^{row}_r\cdot c^{col}_c$ 即为该单元对应帧的"问题条件化重要性"。由于 $2K$ 次探针每次只看到 $K$ 帧，单次成本远低于全 $K^2$ 帧的巨型前向。随后用重要性分布的偏度+峰度组成的闭式统计量 $\sigma(M)$ 推断问题难度，自适应算出 $M_{eff}$，最后只在 top-$M_{eff}$ 帧上跑一次全分辨率的聚焦前向。整个流程固定调度、无智能体、无重训练，且允许选择器和QA模型解耦。

核心创新是把"打分"从编码器相似度搬到VLM自己的答案空间后验，并把"每题预算"从固定的 $M$ 升级为由重要性分布形状驱动的自适应 $M_{eff}$。与MDP3/CLIP等编码器空间方法相比，GridProbe 继承了QA模型完整的推理能力，能原生处理否定、跨帧计数、整体摘要等推理密集型查询；与FRAG等逐帧多模态评分相比，GridProbe 用行+列因子分解以 $2K$ 次轻量前向恢复整张单元级重要性图，无需 $K^2$ 次逐帧前向；与VideoAtlas等智能体方法相比，GridProbe 没有迭代、没有规划步骤，是固定调度的闭式计算。"Redundancy Principle"进一步把稀疏高峰和冗余高峰两种形态统一在 $|\text{skew}|$ 之下，都路由到较小的 $M_{eff}$，把"均匀分布"留给真正算力饥渴的整体型问题。

方法步骤详情

步骤一（采样与栅格化）：从视频 $V=\{f_0,\dots,f_{n-1}\}$ 均匀采样 $K^2$ 帧，按行列下标排列成 $K\times K$ 概念栅格。第 $(r,c)$ 单元对应帧 $f_{rK+c}$。步骤二（行/列探针）：定义行子集 $S^{row}_r=\{f_{rK+j}\}_{j=0}^{K-1}$（局部时序覆盖）与列子集 $S^{col}_c=\{f_{c+jK}\}_{j=0}^{K-1}$（步长 $K$ 的全局周期覆盖），用同一冻结VLM以低分辨率（如 $224\times 224$）跑 $2K$ 次前向，每次读出探针置信度 $c^{row}_r=\max_y p_\theta(y|S^{row}_r,q)$ 与 $c^{col}_c=\max_y p_\theta(y|S^{col}_c,q)$。步骤三（重要性图）：按 $M[r,c]=c^{row}_r\cdot c^{col}_c$ 算外积，每个单元仅在行/列都自信时被赋予高权重。步骤四（自适应 $M_{eff}$）：用 $\sigma(M)=\text{skew}(M)+0.5\cdot\max(0,\text{kurt}_{ex}(M))$ 描述分布形状，然后 $M_{eff}=K^2/(1+\gamma_0 K \sigma(M))$，$\gamma_0=0.25$。$\sigma=0$ 的均匀图回退到全池（等价单次基线）；单点热图则 $M_{eff}\to 1$。步骤五（聚焦前向）：取出 $M$ 中最大的 $M_{eff}$ 个单元对应的帧集合 $S^\star$，按时序顺序送入冻结VLM做一次全分辨率前向，取 $\arg\max_y p_\theta(y|S^\star,q)$ 作为最终答案。

技术新颖性

技术上三个层面较新：(1) 答案空间打分：将选择信号定义在 $p_\theta(\cdot|S,q)$ 的峰值而非编码器余弦相似度，从根本上改变了信号来源；峰值后验既反映"帧是否相关"也反映"模型能否给出明确答案"。 (2) 行+列因子分解：把 $K^2$ 单元的重要性恢复从 $K^2$ 次逐帧前向压缩到 $2K$ 次轴级前向，且每轴天然整合局部或全局时序上下文。 (3) 形状驱动的自适应预算：把"重要性分布形状→问题难度→每题算力"用单一闭式统计量 $\sigma$ 串起来，并用 $|\text{skew}|$ 的绝对值统一稀疏高峰和冗余高峰两种几何不同的"少帧即可"情形。整体计算复杂度为 $O(N^{1.5}+M_{eff})$，sub-quadratic；且允许选择器与QA模型解耦，使小选择器+大QA在Pareto意义上严格优于2B单次前向。形式新颖性在于把"自适应测试时计算"从智能体多步编排，降到一次行探针+一次列探针+一次聚焦前向的固定三阶段流水线。

实验结果

在Video-MME-v2（8选项MCQ，3200题）和LongVideoBench（带字幕）上的主结果（Table 1）显示：(1) 同模型GP-2B在V2上以 $21.53\%$ Avg Acc 对基线 $23.16\%$，代价 $-1.63$pp，换得 $245$ vs $820$ TFLOPs，即 $3.36\times$ 算力缩减；在LVB上 $57.3\%$ vs $56.4\%$ 反而 $+0.9$pp，仅用 $0.35\times$ 算力，Pareto主导2B基线。GP-4B/8B呈类似规律。 (2) 跨模型GP-2B→8B在V2上达到 $26.72\%$ Avg Acc 比2B基线 $+3.56$pp，仅 $0.83\times$ 算力；GP-2B→4B在LVB上 $+4.0$pp Overall 仅 $0.52\times$ 算力，长视频（3600秒）bin更是 $+4.5$pp，是论文最关键的卖点。 (3) 消融Table 2显示在固定 $M=8$ 时GridProbe与MDP3在V2上几乎打平（$20.12\%$ vs $20.09\%$ Avg Acc），但在LVB上GridProbe Overall $+3.6$pp、长视频bin $+2.4$pp，而MDP3反而比"不选择"基线低 $-4.9$pp，编码器空间在长视频上"非最优，而是有害"。 (4) Table 3显示自适应 $M$ 相比固定 $M=8$ 在V2上 $+0.90$ NL/$+1.41$ Acc，在LVB上 $+4.1$ Long/$+2.7$ Overall，且两者算力几乎相等，说明形状驱动分配的纯贡献。 (5) Figure 4显示 $M_{eff}$ 曲线与2B基线精度曲线在 $\text{skew}(M)$ 上呈镜像关系：双尾（稀疏高峰与冗余高峰）→小 $M_{eff}$ 且基线精度高（$28\text{–}32\%$），中部（接近均匀）→接近 $K^2$ 覆盖且基线精度低（$\sim 21\%$）；问题难度的CV为 $0.78$，是固定输入基线 $0.018$ 的 $44$ 倍，是自适应测试时计算的明确信号。 (6) Figure 5在三个Video-MME-v2实例上演示同一机制将 $M_{eff}$ 从 $5$（具体定位）拉到 $140$（整体），MDP3则两种都失败。 (7) 消融Table 4显示小选择器+大QA是单向Pareto改进，反向（大选择器+小QA）反而退化（$2B\to 26.25\%$ 优于 $8B\to 24.75\%$），因为大选择器挑出的帧对它自己有用但与小QA需求错位。 (8) Table 5显示聚焦前向按时序而非按重要性降序排列可省 $-1.25$pp，因为VLM训练时就读时序位置编码。 (9) Table 6的图像拼接变体把 $M_{eff}$ 帧拼成 $\lceil\sqrt{M_{eff}}\rceil\times\lceil\sqrt{M_{eff}}\rceil$ 的 $2048\times 2048$ 单图，仅用两阶段 $0.29\times$ 算力换 $-1.16$pp Acc，是极致算力受限场景的可选工作点。

**Table 1**: Main results on Video-MME-v2 (no subtitles) and LongVideoBench at K=12

**Table 2**: Selector quality at fixed M=8, 2B QA

**Table 3**: Adaptive M vs fixed M=8 within GridProbe, 2B QA

**Table 4**: Selector-size ablation on V2 (n=400)

**Table 5**: Frame-order ablation on V2 (n=400)

**Table 6**: Collated single-image variant vs the standard Meff-frame two-stage, V2 n=1800

**Figure 1**: VMME-V2 Pareto across QA model sizes / Compute reduction across K at fixed 2B QA

**Figure 4**: GridProbe's adaptive Meff (blue) and the 2B baseline accuracy (red), smoothed across signed skew(M) on V2 (K=12, n=3200)

**Figure 5**: Three Video-MME-v2 queries exercise three distribution-shape regimes

查看结构化数据

任务	指标	本文	基线	提升
Video-MME-v2 视觉问答（无字幕，3200题）	Non-Lin / Avg Accuracy / TFLOPs	GP-2B→8B: NL 11.70 / Acc 26.72 / 677 TFLOPs；GP-2B→4B: 10.76 / 25.22 / 399	Qwen3-VL-2B单次: NL 9.45 / Acc 23.16 / 820 TFLOPs	GP-2B→8B 在V2上 +3.56pp Avg Acc 配 0.83× 算力；GP-2B→4B 在 0.49× 算力下实现 +2.06pp
LongVideoBench（含字幕，含3600秒bin）	Long-bin Accuracy / Overall Accuracy / TFLOPs	GP-2B→4B: 54.3 / 60.4 / 452；GP-2B→8B: 52.0 / 59.7 / 735	Qwen3-VL-2B单次: 49.8 / 56.4 / 868	GP-2B→4B 在Overall上 +4.0pp 配 0.52× 算力，3600秒bin上 +4.5pp；GP-2B→8B +3.3pp 配 0.85× 算力
同模型GP-2B效率曲线（V2）	Avg Acc / TFLOPs	GP-2B: 21.53 / 245	Qwen3-VL-2B单次: 23.16 / 820	以 -1.63pp Acc 换 3.36× 算力缩减；LVB上反而 +0.9pp 仅 0.35× 算力
选择器质量（M=8固定）	V2 NL/Acc 与 LVB Long/Ov	GP-2B M=8: 7.49 / 20.12 (V2)；47.3 / 54.6 (LVB)	+MDP3: 7.38 / 20.09 (V2)；44.9 / 51.0 (LVB)	V2上几乎打平；LVB上 +2.4 Long / +3.6 Overall，而MDP3在LVB上比不选择基线还低 -4.9pp
自适应vs固定M（GP-2B）	V2 NL/Acc 与 LVB Long/Ov	M=AUTO: 8.39 / 21.53 (V2)；51.4 / 57.3 (LVB)	M=8: 7.49 / 20.12 (V2)；47.3 / 54.6 (LVB)	在几乎同等算力下 V2 +0.90 NL / +1.41 Acc；LVB +4.1 Long / +2.7 Overall
图像拼接极致效率变体	Avg Acc / TFLOPs (V2 n=1800)	Collated 1张 √Meff×√Meff 图: 20.11 / 66.6	Baseline no-selection: 23.10 / 819.6；Two-stage: 21.27 / 232.2	相对Two-stage仅 0.29× 算力换 -1.16pp

局限与改进

作者明确承认四点：(1) TFLOPs收益在聚焦前向主导时最显著，遇到大提示（如LVB的 700-1000 个字幕token每探针都要重处理）或 $K<10$ 的小栅格（此时 $2K$ 次探针本身占比过大）时收益打折。 (2) 跨模型流水线要求选择器和QA同时驻留显存，把成本从算力转向host memory。 (3) 探针置信度 $\max_y p_\theta(y|S,q)$ 只在有限答案空间（如多选 $|Y|=4$）有意义，推广到开放问答非平凡。 (4) 重要性分布统计只用了偏度和超额峰度两个四阶以下矩，未尝试注意力幅值、检索分数等其他信号。我的额外观察：(a) 全部实验只用 Qwen3-VL 系列（2B/4B/8B），未在其他VLM上验证泛化性。 (b) $K=12$ 是几乎唯一披露的超参，对不同视频长度/采样率的最优 $K$ 是否稳定存疑。 (c) 形状统计量 $\sigma$ 是经验设计的闭式规则，缺乏理论保证与跨域迁移证据。 (d) 跨模型组合在 2B→4B 上比 2B→8B 在某些指标更优，作者并未给出"小QA+中QA"是否更普适的解释。 (e) $K=12$ 下每帧采样是均匀的，对高度动态视频（如体育、监控）可能漏掉关键事件。

独立分析的弱点

(1) 探针的离散答案空间假设：当任务从4选项MCQ扩展到开放描述或长答案生成时，$\max_y p_\theta(y|S,q)$ 不再有界且无意义；可改进为对有限答案候选集合枚举、或对生成式答案用长度归一化对数概率、或用评分模型。 (2) $K=12$ 是经验固定：$K$ 大则探针分辨率高但探针成本变贵，$K$ 小则 $2K$ 次探针本身占比过大；可让 $K$ 随视频长度 $n$ 自适应（$K\propto \sqrt{n}$ 之类），或用 $\gamma_0$ 动态化。 (3) 选择器和QA解耦的代价是显存翻倍：在消费级GPU上几乎不可行；可改进为按需加载/卸载、或共享部分层。 (4) 行+列因子分解对 $K\times K$ 栅格结构的假设较强：若视频帧率极不均匀或事件集中，行"局部覆盖"与列"全局覆盖"的互补性可能失效；可改用多尺度或多分辨率栅格。 (5) 形状统计量仅用偏度+峰度，对多峰分布不敏感；可扩展为模态数、熵、或拟合混合高斯等更丰富描述。 (6) 重要性图 $M[r,c]=c^{row}_r\cdot c^{col}_c$ 把"局部+全局"简单相乘，可能低估某些"只在一种上下文中显著"的帧；可考虑 max-pooling 或可学习融合。 (7) 端到端推理延迟未明确报告，$2K$ 次低分辨率前向+1次全分辨率前向的串行调度在小batch下未必比单次巨型前向快，可能限制实际部署。

未来方向

作者在第6节给出三个自然方向：(a) 让 $\gamma_0$ 随视频长度或候选池密度自适应；(b) 把形状统计量扩展到注意力幅值、检索分数等其它重要性信号；(c) 将闭式规则推广到开放式QA。基于本文成果还可以延伸：(d) 把答案空间后验探针与RLHF/DPO对齐结合，让选择器学会挑对QA最有用的帧；(e) 在行/列探针上叠加时间维度扩展为"时空栅格"，把视频压缩到时空token；(f) 用GridProbe的重要性图作为帧选择蒸馏的教师信号，端到端训练一个轻量选择器取代低分辨率探针，进一步压缩延迟；(g) 与智能体方法（VideoAtlas等）正交融合，用GridProbe挑选的 top-$M_{eff}$ 帧作为智能体重采样的候选池；(h) 把形状自适应规则拓展到多模态长上下文（如长文档+表格）。

复现评估

作者在论文与脚注中提供了代码仓库 https://www.github.com/mohammad2012191/GridProbe；实验基于公开的Video-MME-v2与LongVideoBench，使用Qwen3-VL-Instruct开源权重（2B/4B/8B），未对模型做任何微调；算力方面论文致谢KAUST Ibex超算，意味着使用了不小的GPU资源，单卡消费级硬件难以复现 $K=12$ 下跨模型对照实验；主要超参（$K=12$、$\gamma_0=0.25$、探针分辨率 $224\times 224$、聚焦前向不裁分辨率）都已明确给出。复现难度中等偏上：管线清晰，但跨模型显存管理与并行调度细节需要仔细处理，且需复现多个消融实验才能完整重现Table 1-6的所有数据点。

GridProbe：长视频VLM的自适应测试时计算后验探针方法 GridProbe: Posterior-Probing for Adaptive Test-Time Compute in Long-Video VLMs