ResAdapt：自适应分辨率的高效多模态推理框架 ResAdapt: Adaptive Resolution for Efficient Multimodal Reasoning
通过输入侧自适应分辨率分配，在消除90%视觉token的同时保持或超越基线性能
前置知识
多模态大语言模型（MLLM）
MLLM是能够同时处理文本、图像、视频等多种模态输入的大语言模型。在视频理解任务中，MLLM首先通过视觉编码器（如ViT）将视频帧转换为视觉token序列，然后与文本token一起输入到语言模型中进行推理。视觉token的数量直接决定了计算复杂度，因为Transformer的注意力机制对token数量是二次复杂度的。
理解MLLM的架构和计算瓶颈是理解本文核心问题的基础——视觉token过多导致计算成本过高。
视觉token效率
视觉token效率指在保持模型性能的前提下，减少视觉编码器输出的token数量。现有方法主要在三个层面优化：模型侧（编码后剪枝/合并token）、输出侧（迭代检索/放大）、输入侧（本文的分辨率调整）。输入侧方法在编码前就控制像素输入量，避免了后续的计算浪费。
本文的核心创新就是在输入侧进行视觉预算分配，这是理解ResAdapt与现有方法本质区别的关键。
上下文老虎机（Contextual Bandit）
上下文老虎机是一种强化学习框架，智能体根据当前上下文（状态）选择一个动作，获得即时奖励，但不需要考虑长期回报。在本文中，上下文是视频帧和查询，动作是每帧的分辨率分配，奖励是回答质量与视觉成本的权衡。这种框架适合单步决策问题，比完整的MDP更简单高效。
ResAdapt将预编码分配问题形式化为上下文老虎机，这是方法论的基础框架。
PPO（近端策略优化）
PPO是一种流行的策略梯度强化学习算法，通过裁剪（clipping）机制限制策略更新的幅度，确保训练稳定性。在多模态推理中，PPO用于优化语言模型的回答质量。本文的CAPO扩展了PPO，引入了不对称的成本感知奖励塑形。
理解PPO是理解CAPO训练机制的基础，CAPO在PPO基础上增加了成本感知和不对称奖励设计。
Beta分布
Beta分布是定义在(0,1)区间的连续概率分布，由两个形状参数α和β控制。在本文中，Beta分布用于参数化每帧的分辨率分配策略，因为分辨率缩放因子需要在(0,1)范围内连续变化。Beta分布的有界支持使得分配自然满足约束条件。
Beta分布是Allocator架构的核心组件，理解它有助于理解分辨率分配是如何从概率分布中采样的。
研究动机
在视频理解任务中，MLLM需要同时处理高空间分辨率（看清细节）和长时间上下文（理解完整情节），但这两个需求在计算上是矛盾的。视觉token数量随像素量呈二次增长，导致同时扩展分辨率和帧数在计算上不可行。现有方法主要在两个层面干预，但都存在根本缺陷：模型侧方法（如ToMe、VisionZip）在视觉编码后才压缩token，此时已经支付了完整的计算成本，而且压缩后的不规则token布局会破坏优化的注意力内核（如FlashAttention、vLLM）的兼容性；输出侧方法（如迭代检索）通过多轮交互逐步放大关键区域，但每轮检索都需要单独的模型调用，引入了显著的延迟，而且初始的粗略视图经常无法触发正确的细化。实验表明，在25%保留率下，模型侧方法在时间定位任务上将Charades-STA mIoU从47.3大幅下降到25.7-26.6，性能损失超过45%。
本文的目标是本文的目标是提出一种新的效率优化范式——输入侧适应，在视觉编码之前就优化像素输入量。具体目标包括：在消除超过90%视觉token的同时，保持或超越未压缩基线的性能；将节省的空间预算重新投资到时间覆盖，在相同计算量下处理16倍以上的帧数；在复杂长视频推理任务上获得超过15%的相对性能增益。这些目标旨在从根本上解决空间分辨率与时间覆盖之间的权衡问题。
与已有工作不同的是，本文的独特切入角度是干预点本身是问题。现有方法都接受编码器的全分辨率输入作为固定成本，然后尝试在下游恢复效率。ResAdapt则认为，高效系统应该首先优化编码器接收的像素量。这种输入侧适应框架具有几个关键优势：首先，它在计算发生之前就减少成本，而不是事后压缩；其次，它保持了骨干网络的原生token接口，完全兼容FlashAttention、vLLM等优化推理引擎；最后，通过学习查询感知的分配策略，可以针对不同问题动态调整每帧的分辨率。这种视角将预编码分配形式化为上下文老虎机问题，通过强化学习从任务奖励中学习内容自适应的主动感知策略。
核心方法
ResAdapt的核心思想可以类比为智能摄像师：面对一个长视频和一个具体问题，智能摄像师不会对每一帧都进行高清拍摄，而是根据问题内容和视频内容，动态决定哪些帧需要高清、哪些帧可以低清。技术上，ResAdapt包含三个关键组件：一个轻量级的查询感知分配器（Allocator）预测每帧的分辨率缩放因子；一个视觉预算算子（如双线性缩放）实现分辨率调整；以及一个成本感知策略优化算法（CAPO）训练整个流程。在推理时，Allocator接收粗略的视觉特征和查询，输出每帧的分配向量，然后对视频帧进行缩放，最后由骨干网络在单次调用中处理整个序列。在训练时，骨干网络的rollout反馈更新Allocator，CAPO通过不对称奖励塑形稳定准确率-成本权衡。
ResAdapt与现有方法的本质区别在于干预时机和优化目标。模型侧方法在编码后压缩token，输出侧方法在推理后迭代检索，而ResAdapt在编码前就优化像素输入量。这种输入侧适应的核心创新是：将预编码分配形式化为上下文老虎机问题，通过强化学习从任务奖励中学习内容自适应的分配策略。具体来说，CAPO引入了动态成本枢轴和不对称奖励塑形：对正确回答给予适度的成本节省奖励，对错误回答给予更强的成本浪费惩罚。这种不对称设计防止了策略崩溃到最低预算——这是直接成本惩罚的常见失败模式。此外，时间相似性正则化器强制在视觉冗余的相邻帧之间进行差异化分配，打破了均匀分配的对称性。整个框架是算子无关的，可以实现为分辨率调整、帧选择或其他预编码预算控制。
方法步骤详情
ResAdapt的方法流程包含以下关键步骤：首先，在推理阶段，每帧ft通过冻结的轻量级视觉编码器提取特征，查询q单独编码，两者都投影到共享维度D。然后，一个浅层Transformer解码器在时间维度上进行自注意力，同时与查询进行门控交叉注意力，产生每帧的隐藏状态ht。接着，基于ht参数化Beta分布Beta(αt, βt)，采样得到潜在动作at，通过仿射映射st = smin + at*(smax - smin)得到分配因子st，其中smin < 1 < smax允许下采样和选择性上采样。最后，视觉预算算子（双线性缩放）应用于每帧：ft' = R(ft, st)，骨干网络处理变换后的输入。在训练阶段，对每个提示x，Allocator采样M个分配轨迹s1:M；每个变换输入x'(m)从骨干网络采样N个响应rollout。CAPO计算每个rollout的优势Am,n，作为两个策略的共享学习信号。Allocator使用聚合优势ACAPOm进行逐帧PPO代理更新，骨干网络使用标准token级PPO代理更新。两个目标完全解耦，可以独立冻结或激活。
技术新颖性
ResAdapt的技术新颖性体现在几个方面：第一，将预编码分配形式化为上下文老虎机问题，这是首次将输入侧适应与强化学习结合用于视频MLLM效率优化。第二，CAPO的动态成本枢轴设计，通过插值组均值和固定目标预算，既提供了状态感知的局部基线，又持续引导策略朝向全局压缩目标。第三，不对称奖励塑形防止策略崩溃，对正确回答的适度奖励和对错误回答的强烈惩罚形成了稳定的学习信号。第四，时间相似性正则化器解决了视觉冗余邻居的对称性问题，强制差异化分配。第五，整个框架是算子无关的，学习到的分配策略可以零样本迁移到帧选择等其他算子。与现有慢-快管线（使用查询无关的启发式或固定分辨率层级）相比，ResAdapt直接从任务奖励学习查询感知的连续分配策略。
实验结果
ResAdapt在多个基准上实现了卓越的效率-准确率权衡。在视频QA任务上，以Qwen2.5-VL-7B为例，在32帧、约10%保留率下，ResAdapt在VideoMMMU上达到45.7%，显著优于ToMe（39.2%）、VisionZip（39.1%）、FlashVid（39.4%）和FixedScale（44.3%），同时在VideoMME上保持竞争力（59.4% vs 基线62.0%）。这种优势在推理密集型基准上最为明显，验证了输入侧分配选择性保留了多步推理所需的稀疏视觉证据。在时间定位任务上，优势更加显著：在Charades-STA上，ResAdapt在16.2%保留率下达到mIoU 35.6%，而基线方法在25-31%保留率下只有25.7-26.6%。在Qwen3-VL-8B上的迁移实验验证了跨架构泛化能力，在VideoMMMU上达到56.1%（11.4%保留率）。空间节省可以直接转化为时间覆盖：在22.9%保留率下，128帧的ResAdapt在VideoMMMU上达到51.1%，超过了未压缩128帧模型的47.9%。延迟分析显示，在128帧、28.2%保留率下，端到端延迟降低59.5%，其中生成时间降低78.2%。学习到的策略展现出涌现的主动感知能力，自主将视觉预算集中在信息密集的帧上。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VideoMMMU（视频推理） | 准确率 | 45.7% | 39.2%（ToMe） | 提升6.5个百分点 |
| VideoMMMU（视频推理） | 准确率 | 45.7% | 39.1%（VisionZip） | 提升6.6个百分点 |
| VideoMMMU（视频推理） | 准确率 | 45.7% | 44.3%（FixedScale） | 提升1.4个百分点 |
| Charades-STA（时间定位） | mIoU | 35.6% | 26.0%（ToMe） | 提升9.6个百分点 |
| Charades-STA（时间定位） | mIoU | 35.6% | 26.6%（FlashVid） | 提升9.0个百分点 |
| 端到端延迟（128帧） | 延迟降低 | 59.5% | 0%（基线） | 降低59.5% |
| 生成时间（128帧） | 时间降低 | 78.2% | 0%（基线） | 降低78.2% |
局限与改进
ResAdapt存在几个重要局限性。首先，当前的分配机制是开环的：一旦模型提交了分辨率预算，就无法在推理过程中动态修订这个决策。这意味着如果相关证据出现在分配器未预料到的位置，可能会被遗漏。其次，空间调整的具体实例化（双线性缩放）在非视频模态上的迁移不均匀，在文本密集型图像任务上性能下降。第三，虽然ResAdapt保留了大部分原本正确的预测，但当相关线索在简单背景上短暂出现时，仍可能错过决定性证据。第四，Allocator本身引入了额外的计算开销，在短序列或高保留率下可能无法抵消节省的成本。实验表明，在16帧、76.3%保留率下，端到端延迟反而增加9.2%。第五，当前实验主要基于Qwen系列模型，对其他架构的泛化能力需要进一步验证。
独立分析的弱点
从独立分析的角度，ResAdapt存在几个可以改进的弱点。第一，开环分配机制限制了适应性，改进方向是引入闭环反馈，允许中间骨干网络状态触发选择性重新编码，将静态预算预测转变为完全自适应、推理感知的分配范式。第二，Beta分布参数化可能不是最优选择，因为它假设每帧独立，没有显式建模帧间依赖。可以考虑使用序列模型（如LSTM或Transformer）直接预测分配序列。第三，当前的训练需要大量rollout，计算成本较高。可以探索更高效的off-policy方法或模仿学习来降低训练成本。第四，时间相似性正则化器依赖于余弦相似度阈值，这个阈值需要手动调整，可以设计自适应阈值机制。第五，对图像任务的迁移不佳，可以设计模态特定的分配策略或引入多模态联合训练。
未来方向
基于ResAdapt的成果，未来研究可以从以下几个方向展开：第一，闭环自适应分配，允许推理过程中根据中间结果动态调整后续帧的分辨率，这是作者明确提出的下一个关键前沿。第二，将输入侧适应与模型侧压缩方法结合，实现多层次的效率优化。第三，扩展到更多模态和任务，如3D理解、多视频对比等。第四，探索更细粒度的分配，如空间区域自适应（对图像的不同区域分配不同分辨率）。第五，研究分配策略的可解释性，理解模型学到了什么样的重要性概念。第六，将CAPO推广到其他需要成本-质量权衡的强化学习场景，如代码生成、工具调用等。第七，探索在线学习，使分配策略能够随着部署环境自适应。
复现评估
从复现评估角度看，ResAdapt具有较好的可复现性。论文提供了完整的代码仓库（https://github.com/Xnhyacinth/ResAdapt）和项目页面（https://xnhyacinth.github.io/projects/ResAdapt）。训练使用Qwen2.5-VL-7B-Instruct作为骨干网络，Allocator基于SmolVLM架构，这些都是公开可用的模型。实验在多个标准基准上进行，包括VideoMME、LongVideoBench、MMVU、MLVU、VideoMMMU、LVBench、Charades-STA、ActivityNet等，数据集都是公开的。训练使用GRPO风格的循环，超参数在附录中详细报告。主要算力需求是训练Allocator和可选的骨干网络微调，推理时Allocator开销较小（约1-5 TFLOPs）。整体复现难度中等，主要挑战在于强化学习训练的稳定性和超参数调优。
论文图表
