AdaptMMBench：面向自适应多模态推理的模式选择与推理过程基准测试 AdaptMMBench: Benchmarking Adaptive Multimodal Reasoning for Mode Selection and Reasoning Process
提出首个评估VLM自适应推理模式选择能力的基准，揭示准确率与模式选择能力解耦现象
前置知识
工具增强视觉推理（Tool-Augmented Visual Reasoning）
这是一种让视觉语言模型（VLM）主动使用视觉工具（如区域放大zoom-in、对比度增强、旋转校正等）来获取更多视觉信息的推理范式。与传统的「先看一眼再用文字推理」不同，工具增强推理让模型能够像人一样反复查看图片的细节区域，通过多轮交互逐步获取解决问题所需的信息。例如，当需要识别图片中某个小字标签时，模型可以先定位该区域，再对该区域进行放大查看。
本文的核心研究对象就是模型在何时应该调用这些视觉工具、何时应该直接用文字推理的自适应决策能力，理解工具增强推理范式是理解本文的前提。
自适应多模态推理（Adaptive Multimodal Reasoning）
自适应推理是指模型能够根据任务的难度和自身的能力边界，动态选择最合适的推理模式：对于简单任务直接使用文本推理，对于需要精细视觉信息的复杂任务则主动调用视觉工具。这种能力本质上是一种「元认知」——模型需要评估「我当前掌握的信息是否足以解决这个问题」，从而决定是否需要额外的视觉操作。自适应推理的核心目标是在保证准确率的同时，避免不必要的计算开销。
本文提出的基准测试专门针对这种自适应能力进行评估，将其与一般性的推理能力分离开来，这是本文最重要的创新点之一。
Matthews相关系数（MCC）
MCC是一种用于评估二分类模型质量的统计指标，定义为 $MCC = \frac{TP \cdot TN - FP \cdot FN}{\sqrt{(TP+FP)(TP+FN)(TN+FP)(TN+FN)} + \epsilon}$，取值范围为[-1, 1]。与准确率、F1分数等指标相比，MCC在类别不平衡的情况下仍能给出可靠的评估——当正负样本比例悬殊时，准确率可能因多数类主导而虚高，但MCC能反映模型在两类样本上的真实表现。MCC=1表示完美预测，0表示随机水平，-1表示完全相反。
本文采用MCC来评估模式选择的合理性，因为不同模型的「需要工具」和「不需要工具」样本比例差异很大，简单的准确率指标会导致评估偏差，MCC能更公平地衡量模型的元认知校准能力。
关键步骤覆盖率（Key Step Coverage）
这是本文提出的推理过程质量评估指标。对于每个测试样本，人类标注者会标注出从问题到答案的关键推理步骤序列 $K = \{k_1, ..., k_m\}$。关键步骤覆盖率衡量模型的推理链覆盖了多少比例的关键步骤，定义为 $K_{Coverage} = \frac{1}{|K|} \sum_{j=1}^{|K|} \mathbb{I}[k_j \in \{s_1, ..., s_n\}]$。该指标不要求步骤严格匹配，允许合理的逻辑跳跃和压缩，关注的是推理是否「走过」了解题的关键路径。
这个指标帮助评估推理过程的逻辑完整性——即使模型给出了正确答案，如果推理过程中跳过了关键步骤，其推理质量仍然值得怀疑。
工具执行有效性（Tool Execution Effectiveness）
该指标评估每次工具调用是否语义上合理且执行无误。具体来说，它检查每个工具调用是否与对应的推理步骤意图一致、参数是否正确、输出是否满足推理需求。评估由GPT-5作为判断器完成，对每个工具调用输出二元判断（有效/无效）。工具执行有效性 = 有效调用次数 / 总调用次数。
即使模型选择了正确的推理模式（该用工具时用了工具），工具的具体执行质量也直接影响最终结果。这个指标揭示了模型在「执行层面」的能力差异。
研究动机
当前的视觉语言模型评估体系存在一个根本性缺陷：它们依赖静态难度标签和粗糙的统计指标，无法捕捉自适应多模态推理的动态特性。具体来说，现有基准测试（如MME-CoT、VisualProbe等）将所有任务视为同等难度，用最终准确率或token数量作为效率代理指标，这导致两个严重问题。第一，它们无法区分「模型知道何时该用工具」和「模型碰巧答对了」——一个模型可能对所有任务都调用工具从而获得高准确率，但这种行为在实际应用中会造成大量不必要的计算开销。第二，现有评估忽略了推理过程质量，两个模型即使最终答案相同，其推理路径的逻辑严谨性可能天差地别。例如，Omni-AutoThink尝试通过预定义难度级别下的「思考率」来量化自适应性，但预定义的难度级别无法跨模型通用——同一个任务对弱模型来说可能需要工具，对强模型来说可能文本推理就够了。
本文的目标是本文的目标是构建一个系统性的基准测试AdaptMMBench，能够从三个维度全面评估VLM的自适应多模态推理能力：（1）模式选择合理性——模型能否正确判断何时需要视觉工具、何时不需要；（2）推理过程质量——模型的推理链是否逻辑连贯、工具调用是否有效；（3）计算效率——推理所需的token数量、步骤数和工具调用频率。该基准包含1420个样本，覆盖真实世界、OCR、GUI、知识和数学五个领域，每个领域都包含纯文本可解和必须使用视觉工具两类任务。
与已有工作不同的是，本文的独特切入点在于将「自适应能力」从「一般推理能力」中解耦出来进行独立评估。这是此前文献中被忽视的关键区分。已有工作如VTBench、InSight-o3等虽然也关注视觉推理，但它们的评估重点是「模型用了工具后能不能做对」，而非「模型是否知道该不该用工具」。本文提出了模型特定的难度评估方案——一个任务的「难度」不是绝对的，而是相对于被评估模型的能力而言的。这种动态难度识别方法使得评估能够公平地适用于不同规模、不同架构的模型，避免了静态难度标签带来的评估偏差。
核心方法
AdaptMMBench的评估方法可以类比为一场「驾驶考试」：不仅要考察学员最终能否到达目的地（准确率），还要考察学员在什么时候该加速、什么时候该刹车（模式选择），以及驾驶操作是否规范（推理过程质量）。技术路线上，本文构建了一个包含三种评估模式的框架：文本推理模式（Text-Reasoning Mode）作为基线，仅使用文本推理；自适应推理模式（Adaptive Reasoning Mode）让模型自由选择是否调用工具；Oracle视觉模式（Oracle-Visual Mode）直接提供金标准视觉证据作为上界估计。通过比较这三种模式下的表现，可以精确分离出自适应决策能力、推理执行能力和视觉获取能力各自的贡献。
本文最核心的创新是提出了模型特定（model-specific）的难度评估机制。与以往将样本标记为「简单/中等/困难」的静态方法不同，AdaptMMBench通过比较同一模型在「文本推理模式」和「自适应推理模式」下的表现，动态地将每个样本分类为「工具冗余」（Tool-Redundant，文本推理即可解决）或「工具必需」（Tool-Required，必须使用视觉工具）。这种分类是模型特定的——同一个任务对GPT-5来说可能是工具冗余的，但对一个7B模型来说可能是工具必需的。这种设计的本质区别在于：它不是在评判「任务有多难」，而是在评判「模型是否具备正确的元认知能力」。配合MCC指标，即使在工具冗余和工具必需样本比例不平衡的情况下，也能给出公平的评估。
方法步骤详情
评估流程包含以下步骤：（1）数据构建阶段，从现有基准中收集原始数据，标注者提供关键区域的边界框标注 $E$，通过预定义变换（旋转、对比度调整等）生成需要视觉工具的样本，使用GPT-5生成关键推理步骤 $K$ 并由人工验证，最终形成五元组 $(I, Q, A, E, K)$；（2）模式选择评估阶段，让模型分别在文本推理模式和自适应推理模式下作答，根据文本推理结果确定每个样本的「工具需求」标签，构建混淆矩阵（TP=工具必需且调用了工具，FP=工具冗余但调用了工具，TN=工具冗余且未调用工具，FN=工具必需但未调用工具），计算MCC；（3）推理过程评估阶段，对模型的推理轨迹 $R = \{(s_1, t_1), (s_2, t_2), ..., s_n\}$ 进行三个维度的评估：关键步骤覆盖率由GPT-5判断推理链是否覆盖了标注的关键步骤，工具执行有效性由GPT-5判断每次工具调用是否语义正确且执行无误，效率指标统计token数量、推理步数和工具使用频率；（4）准确率评估阶段，报告三种推理模式下各领域的准确率，分析自适应推理相对于文本推理的提升以及与Oracle视觉模式之间的差距。
技术新颖性
AdaptMMBench在技术新颖性上有三个显著区别于已有工作的方面。首先，与Omni-AutoThink等使用预定义难度级别的方法不同，本文的难度评估是模型特定的且完全数据驱动的——不需要人工预标注难度，而是通过模型自身的表现来动态确定。其次，与只关注最终准确率的基准不同，本文将模式选择（元认知能力）和推理过程质量（执行能力）作为独立的评估维度，首次实现了对自适应推理能力的精细解耦。第三，本文引入的MCC指标解决了已有评估中类别不平衡导致的偏差问题——当一个模型倾向于对所有任务都调用工具（如Deepeyes v2）或几乎不调用工具（如Thyme仅3%的样本使用工具）时，简单的准确率指标会掩盖这种不平衡行为，但MCC能够敏锐地捕捉到这种模式选择的失衡。
实验结果
实验结果揭示了几个重要发现。首先，模式选择能力与最终准确率之间存在较弱的相关性。AdaptVision的准确率相对较低（整体自适应准确率53.31%），但其MCC达到0.17，超过了所有基于Qwen2.5-VL-7B训练的模型。这说明一个模型可能答对很多题，但并不知道什么时候该用工具；反之亦然。其次，模型规模的提升确实能改善模式选择能力——在Qwen3-VL家族中，8B模型MCC为0.06，32B为0.14，235B提升到0.26，呈现清晰的scaling趋势。第三，闭源大模型在模式选择上表现最佳：GPT-5的MCC最高达到0.41，Gemini-3-Pro为0.24。第四，自适应推理相对于纯文本推理能持续提升准确率，但与Oracle视觉推理之间存在显著差距——GPT-5从自适应模式的78.69%提升到Oracle模式的88.69%，说明当前性能主要受限于不完美的工具调用而非推理能力本身。第五，关键步骤覆盖率与准确率高度相关，Qwen3-VL-235B在关键步骤覆盖上表现最佳（84.83%），而工具执行有效性在不同模型间差异巨大——Qwen3-VL-8B的工具有效性高达91.62%，但Deepeyes仅为50.99%。第六，token使用量与步骤数或工具调用次数并不正相关——Thyme使用最少的步骤和工具调用，却消耗了比PyVision更多的token。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 模式选择（MCC） | MCC | GPT-5: 0.41 | Qwen3-VL-235B: 0.26 | GPT-5比最佳开源模型高57.7% |
| 整体自适应准确率 | Accuracy (%) | GPT-5: 78.69, Gemini-3-Pro: 86.31 | Qwen3-VL-235B: 75.00 | GPT-5比最佳开源模型高3.69个百分点 |
| 关键步骤覆盖率 | Coverage (%) | Qwen3-VL-235B: 84.83 | PixelReasoner: 76.02 | 提升8.81个百分点 |
| 工具执行有效性 | Effectiveness (%) | Qwen3-VL-8B: 91.62 | Deepeyes: 50.99 | 提升40.63个百分点 |
局限与改进
本文存在以下局限性。首先，推理过程评估仅适用于开源模型，因为闭源模型（GPT-5、Gemini-3-Pro）的中间推理步骤不可访问，这导致对最强大模型的过程质量评估缺失。其次，Oracle视觉模式的评估依赖于标注质量——虽然论文报告Oracle准确率高达90.08%证明标注可靠性，但仍存在约10%的误差空间。第三，工具执行有效性评估使用GPT-5作为判断器，这引入了对单一模型的依赖，可能存在系统性偏差。第四，自动生成辅助线任务的评估显示，当前开源模型在自适应推理下几乎没有提升甚至有所下降（如Thyme从21.67%到21.67%），这反映了生成式视觉工具在现有模型中的缺失，但也意味着基准在这部分任务上的区分度有限。第五，数据集中工具冗余和工具必需样本的比例（约24%和70%加上6%无法解决）是通过Qwen2.5-VL-7B和Qwen3-VL-235B确定的，这种选择可能引入了对特定模型家族的偏向。
独立分析的弱点
从独立分析角度看，本文存在以下几个值得关注的弱点。第一，MCC评估的公平性问题：虽然MCC能处理类别不平衡，但工具冗余和工具必需的标签是基于单次文本推理结果确定的，这存在随机性——同一个模型在不同prompt变体下可能给出不同答案。论文虽报告仅0.02的样本存在不一致，但这个数字是在「文本推理模式」和「自适应模式下的文本推理」之间比较的，而非多次独立运行之间的稳定性。建议引入多次采样取多数票的机制来提高标签稳定性。第二，过程评估的可扩展性问题：关键步骤覆盖率和工具执行有效性都依赖GPT-5作为评估器，这不仅增加了评估成本，还引入了模型偏见。未来可以考虑训练专门的小型评估模型或使用规则-based的自动化检查。第三，工具集的局限性：当前仅评估了zoom-in、旋转、对比度调整等基础视觉操作，缺少对更复杂工具（如OCR专用工具、图表解析工具、代码执行工具）的评估，而这些在实际应用中非常重要。第四，领域覆盖不均：GUI和真实世界各占约21%，但Web相关仅占5.3%，且缺少视频、3D场景等新兴多模态领域的评估。
未来方向
基于本文的成果，有几个有前景的研究方向。首先，可以将自适应推理评估扩展到视频理解领域——视频中存在更多需要「反复查看」的场景（如运动分析、事件检测），自适应帧选择和时间定位能力的评估将非常有价值。其次，可以探索基于强化学习的自适应策略优化——既然MCC能够量化模式选择的合理性，就可以将其作为奖励信号来训练模型学习更好的自适应策略。第三，可以构建更大规模的自适应推理数据集，特别是加入需要生成式工具（如辅助线绘制、图表修改）的任务，这对当前开源模型来说是明显的能力瓶颈。第四，可以将评估框架扩展到多轮对话场景，考察模型在交互式推理中的自适应能力——例如用户逐步提供提示时，模型能否动态调整其工具使用策略。第五，可以研究自适应能力与模型其他能力（如规划、反思）的关系，探索元认知能力是否可以通过特定的训练方法（如思维链训练、自我反思训练）来系统性提升。
复现评估
从复现评估来看，本文的复现难度中等。数据集方面，AdaptMMBench包含1420个样本，数据量相对可控，且论文提供了详细的标注流程描述和质量控制方法。但目前论文未明确说明数据集是否已公开发布，也未提供项目页面的直接下载链接（项目页面为 https://adaptmmbench.github.io/2026）。评估代码方面，论文引用了各模型的官方代码库，但未提供统一的评估脚本。算力需求方面，评估闭源模型（GPT-5、Gemini-3-Pro）需要API访问权限和相应费用，评估开源模型中的235B级别需要多卡GPU环境（至少4×A100或同等配置），而8B模型可在单卡上运行。过程评估部分需要调用GPT-5 API进行关键步骤匹配和工具有效性判断，这会产生额外的API费用。总体来说，复现核心实验结果（准确率、MCC）是可行的，但完整复现过程评估需要较多工程投入。
论文图表
