AdaptToken：基于熵的自适应Token选择用于MLLM长视频理解

用响应熵作为全局信号，自适应选择token并支持早停

前置知识

多模态大语言模型(MLLM)

MLLM是扩展了视觉、音频等多模态输入能力的大语言模型，典型架构包括视觉编码器将图像或视频特征映射到语言嵌入空间，然后由LLM骨干网络处理多模态token序列。由于视频内容冗余，会产生大量视觉token，快速耗尽上下文长度并带来巨大内存和计算开销。

本文的方法直接应用于MLLM架构，需要在理解MLLM的注意力机制和跨模态交互基础上，才能把握如何提取视觉token的跨模态注意力用于重要性评分。

信息熵

信息熵H(P) = -sum(P(i) * log P(i))衡量概率分布的不确定性，熵越高表示分布越均匀、模型越不确定。在语言模型中，可以用生成token的概率分布计算响应熵，低熵意味着模型对答案更确定，说明输入包含更多与任务相关的证据。

AdaptToken的核心创新就是用MLLM的响应熵作为帧组相关性的全局信号，理解熵如何反映模型确定性是理解该方法工作原理的基础。

交叉模态注意力

交叉模态注意力是Transformer架构中不同模态之间交互的机制，例如用文本查询去关注视觉key。通过聚合注意力头并在文本查询间取最大值，可以得到每个视觉token对所有文本查询的重要性评分，用于token选择。

AdaptToken利用MLLM层的交叉模态注意力计算组内token重要性，这是评估token对文本提示相关性的关键技术。

研究动机

现有长视频理解方法面临两个核心问题。帧级别方法如CLIP视觉编码器或学习帧选择器虽然能筛选相关帧，但选中的帧仍可能包含大量背景或不相关区域，稀释有用信号并损害性能。Token级别方法如基于跨模态注意力的压缩虽然粒度更细，但存在两个挑战：一是token重要性通常在单个帧或短片段内计算，缺乏全局标准来分配不同远距离片段的token；二是选择器通常仍需处理所有采样帧，当MLLM可以用更少片段准确回答时，造成不必要计算。例如在VideoMME和MLVU等基准上，现有方法在面对超过两小时的长视频时，往往无法有效处理极端长输入。

本文的目标是本文的目标是提出一个无需训练、适用于多种基础MLLM的长视频token选择框架，能够全局估计token重要性，实现跨远距离片段的token预算分配，并决定何时停止处理额外视频帧，在保持准确性的同时大幅提升推理效率。

与已有工作不同的是，本文的独特切入角度是将模型确定性估计从文本LLM扩展到多模态LLM，创造性地用MLLM的响应熵作为帧组相关性的训练免费全局信号，这与现有方法依赖的局部重要性评分或二值丢弃决策形成本质区别。通过熵信号实现全局token预算分配和早停机制，这种方法在无需训练的情况下实现了跨片段的全局token选择。

核心方法

AdaptToken的整体思路是将长视频分割为多个帧组，通过两阶段策略选择信息丰富的视觉token。直觉是，如果MLLM对某个帧组的回答更确定即响应熵更低，说明该帧组包含更多与提示相关的证据，应该分配更多token预算。具体技术路线包括：组内用跨模态注意力计算token重要性；组间用响应熵作为相关性信号进行全局token分配；用位置感知的全局token删除提升多样性和覆盖范围；当模型收集到足够证据时触发早停。这样AdaptToken能够在固定内存和上下文长度预算下，处理极长视频并持续受益于更多输入。

核心创新点在于用MLLM的响应熵作为帧组相关性的全局信号，这与已有方法的本质区别在于：现有方法要么在单个帧或片段内计算token重要性缺乏全局比较，要么基于预设规则或简单注意力进行选择；而AdaptToken将不确定性估计从文本LLM扩展到多模态场景，用响应确定性量化帧组与提示的相关性，基于Softmax分配全局token预算，实现了训练无关的全局token选择。基于同一熵信号的早停机制进一步，当多个帧组熵低于阈值时跳过剩余片段，这在之前的工作中几乎没有被探索过。

方法步骤详情

AdaptToken方法的完整步骤如下：(1)视频分组：给定N帧视频以固定FPS采样，按特定公式分割为最多K帧的组，确保每组跨越整个视频但时间偏移不同。(2)组内推理：对每个帧组，用MLLM视觉编码器提取视觉token特征，与文本token一起输入MLLM解码器，在同一个前向传播中计算组确定性和token提示相关性。(3)全局token分配：设定整体token预算，基于确定性分数用Softmax分配组级预算，选择每组内top的视觉token。(4)全局token删除：计算token特征对的余弦相似度矩阵和时间相似度项，合并后迭代删除最相似的token。(5)早停判断：如果启用早停且确定性超过阈值，计数器加1，当计数器达到设定值时跳过剩余组。(6)最终推理：将剩余token按时间顺序聚合，再次输入MLLM得到最终响应。

技术新颖性

技术新颖性体现在三个方面：首次将响应熵作为MLLM视频理解的帧组相关性全局信号，无需额外训练即可实现跨片段的token重要性比较，这在长视频领域是创新性应用；提出基于同一熵信号的早停机制，在收集到足够证据时主动停止处理，这在现有帧或token选择方法中很少被探索；位置感知的全局token删除通过结合特征相似度和时间相似度，在保证相关性的同时提升多样性和时间覆盖，这在冗余去除上是新颖设计。消融实验显示，从基线InternVL2.5 64帧到增加分组token选择，再到加入全局token选择，最后加入全局删除，每个组件都带来渐进式提升，验证了设计合理性。

**Fig. 2**: Overall pipeline of AdaptToken. AdaptToken processes long videos by dividing them into frame groups and selecting informative tokens within each group based on group relevance estimated from response entropy. It progressively gathers evidence across groups and stops processing once sufficient information has been collected.

**Fig. 3**: Needle-in-a-Haystack experiments based on InternVL2.5 8B. Response entropy distributions for correct vs. incorrect predictions under varying numbers of input frames, with and without needles.

**Fig. 4**: Real-data entropy experiments on based on InternVL2.5 8B. Response-entropy distributions for correct vs. incorrect predictions on real-world benchmarks (VideoMME and MLVU).

**Fig. 5**: Visualization of AdaptToken token selection. Two frame groups are presented side by side. For each clip, we first estimate intra-group token relevance via cross-modal attention (heatmaps in the second row), and group-level relevance via response entropy, which measures the model's answer confidence. Based on these signals, we perform global-aware token selection, adaptively allocating a larger token budget to groups that are more relevant to the text prompt (colored masks in the third row).

**Algorithm 1**: AdaptToken for Token Selection

实验结果

论文在四个长视频基准上展示了AdaptToken的优越性。在Qwen2.5-VL 7B上，相比基线，AdaptToken在VideoMME、MLVU、LongVideoBench、LVBench上分别达到70.5、76.8、65.2、54.8，平均提升6.7，超越了所有对比方法如FlexSelect、AdaReTAKE、SeViCES等。在InternVL2.5 8B上，从基线提升到68.3、74.1、63.7、52.1，平均提升5.6。这证明熵信号引导的全局token选择在极端长视频上尤其有效，LVBench和MLVU经常超过两小时。在Qwen2.5-VL 72B上验证了可扩展性，平均提升5.7。AdaptToken-Lite早停版本将推理时间减少约50%，例如VideoMME从17.8秒到8.6秒，而准确性平均仅下降0.7。消融实验显示，仅增加帧数并不能一致提升，说明不同帧组贡献不均，而全局token选择显著优于分组选择。在10K帧极端输入下，AdaptToken保持甚至提升性能。

**Table 1**: Comprehensive evaluation across long-video benchmarks. Results are grouped by model family. Best performance within each block is shown in bold.

**Table 2**: Accuracy and inference-time comparison between AdaptToken and AdaptToken-Lite. Qwen2.5-VL 7B is used as the base MLLM. AdaptToken-Lite achieves comparable accuracy while reducing average inference time by approximately 50%.

**Table 3**: Additive ablation study of AdaptToken components. TS denotes token selection and TR denotes token removal. InternVL2.5 8B is used as the base MLLM. The final configuration (f) corresponds to the full AdaptToken.

**Table 4**: AdaptToken with more input frames. Qwen2.5-VL 7B is used as the base MLLM. AdaptToken maintains strong performance as the number of input frames increases, demonstrating robustness to extremely long video inputs (up to 10K frames).

**Table 5**: Comparison of certainty measures. AdaptToken achieves comparable performance when paired with different self-certainty scores. Qwen2.5-VL 7B is used as the base MLLM.

**Table 6**: Comparison to different voting methods. AdaptToken aggregates tokens from different frame groups in a global-aware manner and obtains better performance over the voting methods (i.e. majority voting, borda voting and weighted voting).

**Fig. 1**: We propose AdaptToken, a flexible and efficient token selection strategy for long video understanding. Compared with state-of-the-art frame/token selection methods on several challenging long-video benchmarks, AdaptToken consistently delivers improved performance.

查看结构化数据

任务	指标	本文	基线	提升
VideoMME	准确率	70.5	65.4	+5.1
VideoMME	准确率(InternVL2.5)	68.3	64.2	+4.1
MLVU	准确率	76.8	70.2	+6.6
MLVU	准确率(InternVL2.5)	74.1	68.9	+5.2
LongVideoBench	准确率	65.2	59.5	+5.7
LongVideoBench	准确率(InternVL2.5)	63.7	59.5	+4.2
LVBench	准确率	54.8	45.3	+9.5
LVBench	准确率(InternVL2.5)	52.1	43.4	+8.7

局限与改进

作者在论文中提到的一些局限性包括：早停阈值和停止条件是基于实验经验设定的，虽然在不同基准和MLLM上表现稳健，但可能需要针对特定场景调整。消融实验测试了不同超参数设置，表明方法对超参数选择具有一定鲁棒性。从观察来看，AdaptToken依赖于MLLM层的跨模态注意力质量，如果基础MLLM在跨模态对齐上表现较差，可能影响token重要性评分的准确性。此外，帧分组策略虽然简单有效，但固定分组可能不适应所有视频内容特性，例如某些关键信息可能跨多个组，被分散后难以充分捕获。方法在极端长输入上的性能提升有限，说明对于某些任务，证据可以从相对较少的帧中检索，更多帧的边际收益递减。

独立分析的弱点

独立分析的弱点包括：对熵阈值的敏感性，虽然0.75在广泛实验中表现良好，但在某些特定领域或任务类型中，最优阈值可能不同，需要额外的调参工作。改进方向可以引入自适应阈值机制，根据历史响应分布动态调整。帧分组的局限性，当前固定步长的分组策略无法自适应视频内容变化，例如动作密集场景需要更细粒度采样，而静态场景可以合并。改进方向可以是学习基于内容复杂度的自适应分组，或使用聚类算法自动发现语义一致的片段。跨模态注意力的层级依赖，token重要性评分依赖于选定的MLLM层级，论文通过实验选择，但不同任务可能需要不同层级的特征。改进可以是多层级注意力融合，或学习任务相关的层级权重。内存开销的优化空间，虽然AdaptToken减少了最终输入的token数，但组内推理阶段仍需处理所有帧组的完整特征，这在大规模视频上仍有内存压力。

未来方向

作者提出的未来工作方向包括：改进帧分组和遍历策略以实现更好的早停性能，探索跨模态注意力之外更有效的组内token相关性评分方法。基于论文成果可延伸的研究方向：扩展到其他模态，AdaptToken的熵信号框架可以自然扩展到音频、文本等多模态长序列处理，例如长对话、音频流理解等。动态token预算，当前预算是固定的，可以研究根据任务复杂度和响应熵动态调整总预算，在简单任务上进一步加速。端到端学习，虽然当前方法无需训练是优势，但可以探索将熵信号作为监督信号，微调MLLM或专门的token选择器，进一步提升性能。多任务协同，研究多个相关任务之间的token选择协同，共享已选择的token以减少重复计算。实时应用，将AdaptToken集成到实时视频分析系统，实现流式处理和在线token选择。

复现评估

复现性评估：论文提供了项目页面，但文中未明确说明代码开源状态。实验在LMMS-Eval框架下进行，使用公开基准VideoMME、MLVU、LongVideoBench、LVBench，这些都是标准可获取的数据集。基础MLLM如InternVL2.5、Qwen2.5-VL、Qwen3-VL都是开源模型，可以公开获取。算力需求方面，论文提到在Qwen3-VL 8B上，AdaptToken需要41GB GPU内存和40.7秒每样本，而基线需要96GB和58.5秒，表明至少需要40到96GB的GPU内存，这对大多数研究团队来说是可及的。算法描述清晰，提供了详细的数学公式和算法伪代码，关键超参数都有明确说明如温度参数、删除率、停止阈值、停止条件等。整体来看，论文提供了足够的实现细节，代码开源后应该能够较容易复现。

AdaptToken：基于熵的自适应Token选择用于MLLM长视频理解 AdaptToken: Entropy-based Adaptive Token Selection for MLLM Long Video Understanding