← 返回 2026-01-28

AdaReasoner：面向迭代视觉推理的动态工具编排 AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning

Mingyang Song, Haoyu Sun, Jiawei Gu, Linjie Li, Luxin Xu, Ranjay Krishna, Yu Cheng 📅 2026-01-26 👍 48 2026-07-13 08:35
多模态推理 工具增强 强化学习 自适应学习 视觉推理
arXiv HuggingFace PDF

通过强化学习训练多模态模型自适应选择和编排视觉工具，实现复杂推理任务的突破性性能。

前置知识

多模态大语言模型 (MLLMs)

多模态大语言模型是指能够同时处理文本、图像等多种模态信息的大型预训练模型。这些模型通常基于Transformer架构，通过大规模图文数据预训练获得跨模态理解能力。代表性的模型包括GPT-5、Claude 4 Sonnet、Qwen2.5-VL系列等。MLLMs在视觉问答、图像描述等任务上表现出色，但在需要精确视觉感知和多步推理的任务上仍存在局限性。理解MLLMs的基本架构——包括视觉编码器、语言模型主干、多模态投影器等组件——以及它们在感知精度和推理深度上的固有限制，是理解本文动机的前提。本文的核心思路正是通过外部工具来弥补这些固有缺陷。

本文的研究对象就是MLLMs，理解其基本架构和能力边界是理解本文动机的前提。

Group Relative Policy Optimization (GRPO)

GRPO是一种强化学习算法，最初由DeepSeek-R1提出，通过在一组候选轨迹之间进行相对比较来优化策略性能。对于每个初始状态，策略生成N条完整轨迹，计算每条轨迹的奖励，然后通过组内标准化计算优势值。策略更新使用裁剪的代理目标函数，防止过大的策略更新。与PPO不同，GRPO不需要单独的Critic网络，而是直接利用组内统计量来估计优势，这使得训练更加高效。GRPO在LLM推理任务中已经证明了其有效性。

本文的Tool-GRPO是GRPO的扩展，专门针对多轮工具调用场景设计，理解GRPO的基本原理是理解本文技术创新的基础。

工具增强推理 (Tool-Augmented Reasoning)

工具增强推理是指让语言模型在推理过程中调用外部工具来辅助完成任务的范式。工具可以是简单的计算器、搜索引擎，也可以是复杂的专家模型（如目标检测器、路径规划算法等）。模型需要学习三个核心能力：何时调用工具（判断当前是否需要外部帮助）、调用哪个工具（在多个候选工具中选择最相关的）、如何解读工具返回的结果（将工具输出整合到推理链中）。这种范式让模型能够弥补自身在精确感知、复杂计算等方面的不足。

本文的核心创新就是让模型学会自适应地选择和编排多种视觉工具，理解工具增强推理的基本框架是理解本文贡献的前提。

冷启动 (Cold Start)

在强化学习语境下，冷启动是指在使用RL训练之前，先通过监督微调（SFT）让模型获得基本的任务能力和工具使用能力。这个阶段通常使用高质量的人工设计或合成的轨迹数据，让模型学习工具的正确调用格式和基本的推理模式。冷启动为后续的RL探索提供了一个良好的初始化，避免模型从零开始探索导致的低效学习。在本文中，冷启动数据包含精心设计的多轮工具交互轨迹，涵盖感知、规划、验证等不同推理阶段。

本文的训练流程分为两个阶段：Tool Cold Start (TC) 和 Tool GRPO (TG)，TC阶段的质量直接影响最终性能。

自适应学习 (Adaptive Learning)

自适应学习是本文提出的一种泛化增强策略，通过两个层面的随机化来防止模型过拟合：token级随机化将工具名称和参数名称替换为完全随机的字母数字字符串（如将GetWeather替换为Func_X7a2），迫使模型从描述中推断功能；语义级改写使用Gemini 2.5 Flash改写工具和参数的描述，改变句法结构和词汇选择但保持原始功能含义。这种方法迫使模型从工具的功能描述中推断其用途，而不是依赖表面的词汇匹配。

这是本文的关键技术创新之一，使得模型能够在零样本条件下适应全新的工具定义。

研究动机

当前多模态大语言模型在视觉推理任务中面临的核心问题是缺乏自适应的工具使用能力。早期基于SFT和提示的方法（如LLaVA-Plus、CogCoM）依赖于固定的、预定义的工具调用模式，无法自主决定何时使用工具、使用哪个工具以及如何组合多个工具。近期基于强化学习的方法（如DeepEyes、PixelReasoner）虽然通过裁剪搜索策略提升了感知推理能力，但通常局限于单工具轨迹或固定的交互循环。具体来说，这些方法存在三个关键缺陷：首先，它们不具备自适应规划和协调多种工具的能力，无法将使用什么工具、何时使用、如何组合作为多模态推理的核心组成部分；其次，由于没有为适应性而设计，这些方法的工具使用策略往往很脆弱，在面对未见过的工具或新的任务分布时泛化能力有限；最后，现有方法无法动态调节工具使用频率，要么过度依赖工具，要么完全不使用工具。这些局限性在实际任务中表现明显：例如在VSP任务中，基线模型的性能仅为25-28%，而引入工具增强后可以提升到85%以上。

本文的目标是本文的具体目标是开发一个能够将工具使用作为通用推理技能来学习的多模态模型家族——AdaReasoner。这个模型需要实现三个核心能力：第一，自适应地选择有益的工具，抑制无关的工具——例如在VSP导航任务中主动采用A*路径规划工具，而在验证任务中学会忽略该工具；第二，根据任务需求和中间结果动态调节工具使用频率——例如在导航任务中维持POINT工具的高频调用（约3.2次/样本），而在验证任务中保持低频调用（约1.0次/样本）；第三，将工具规划能力泛化到未见过的工具定义和新的任务分布——例如在仅用Jigsaw数据训练后，能够将工具规划能力迁移到VSP和WebQA等未见过的任务。最终目标是通过有效的工具编排，将模型的主要性能瓶颈从内在模型规模转移到工具效用上，使得7B参数的小模型能够超越GPT-5等强大的商业模型。

与已有工作不同的是，本文的独特切入角度是将工具使用视为一种通用的推理技能，而不是特定于工具或特定于任务的行为。与现有方法的本质区别在于：第一，本文不是简单地教模型如何使用某个特定工具（如DeepEyes只教裁剪搜索），而是教模型如何根据任务上下文和中间结果推断工具效用，从而实现对多种工具的灵活编排；第二，本文不是通过监督学习强制模型遵循固定的工具调用模式（如CogCoM的链式操纵），而是通过强化学习让模型自主发现最优的工具编排策略，这使得模型能够发展出超越人类设计的创新性工具使用模式；第三，本文通过自适应学习机制（随机化工具名称和语义改写描述）专门训练模型的泛化能力，使其能够零样本适应全新的工具，这在工具增强推理领域是首创。这种范式转变意味着模型学习的是如何规划工具使用的能力，而不是如何使用特定工具的知识。

核心方法

AdaReasoner的整体方法思路可以概括为：首先通过高质量的轨迹数据让模型学会基本的工具使用模式，然后通过强化学习进一步优化工具规划策略，同时通过自适应学习机制增强泛化能力。具体来说，框架包含三个核心组件：第一，数据整理管道（Tool Cold Start, TC），通过设计抽象的问题解决蓝图（如VSP的感知-规划-验证逻辑、Jigsaw的迭代试错过程、GUIQA的焦点-提取策略），然后程序化执行工具调用并生成链式思维推理，构建高质量的多轮工具交互轨迹。数据中还特意包含了反思回溯和工具失败的场景，以增强模型的鲁棒性。第二，Tool-GRPO强化学习算法（TG），将GRPO框架扩展到多轮工具规划场景，通过多轮奖励累积和自适应工具奖励确保RL训练的有效性。第三，自适应学习机制（ADL），通过随机化工具名称和参数名称（token级随机化），以及语义改写工具描述（语义级改写），防止模型过拟合到特定的工具标识符，提升泛化能力。整个训练流程分为两个阶段：先用TC数据进行监督微调，再用TG进行强化学习优化。

本文的核心创新点在于将工具使用作为通用推理技能来学习，而不是作为特定于工具的行为。与已有方法的本质区别体现在三个方面：首先，在奖励设计上，本文提出了自适应奖励机制——当最终预测正确时给予完整奖励（无论是否使用工具），鼓励简洁推理而不进行不必要的工具调用；当预测错误时则根据工具使用质量给予部分奖励，支持有价值的工具推理同时惩罚无根据的猜测。这种非对称设计将工具视为不确定性下的备用机制而非强制步骤，使模型发展出更鲁棒的决策策略。其次，在训练策略上，本文通过自适应学习（随机化标识符和语义改写）专门训练模型的泛化能力，使模型能够从工具描述中推断功能，而不是依赖表面词汇匹配。最后，在工具编排上，本文让模型学会动态调节工具使用频率——在VSP导航任务中维持高频调用（约3.2次/样本），而在验证任务中保持低频调用（约1.0次/样本），展现出细粒度的适应性行为。

方法步骤详情

AdaReasoner的方法包含以下关键步骤：第一步是数据整理，为每个任务设计抽象的问题解决蓝图（如VSP的感知-规划-验证逻辑，Jigsaw的迭代试错过程），然后程序化执行工具调用获取真实输入输出，最后用Gemini 2.5 Flash生成链式思维推理。数据中还特意设计了反思回溯场景（模型必须验证自己的假设并从中间失败中回溯）和工具失败场景（工具返回错误结果时模型需回退到自身能力）。第二步是Tool Cold Start（TC），使用这些高质量轨迹进行全参数监督微调。第三步是Tool GRPO（TG），对每个初始状态采样N条轨迹，计算总奖励R_total = R_format乘以(lambda_tool乘以R_tool + lambda_acc乘以R_acc)，其中格式奖励R_format确保输出结构正确（所有步骤都正确格式化才为1），工具奖励Rtool采用分层评分（0-4分：结构正确得1分、工具名有效得2分、参数名正确得2-3分、参数内容有效得3-4分），准确度奖励Racc仅基于最终答案正确性（正确为4，错误为0）。第四步是自适应学习，在TC和TG阶段都启用，通过token级随机化（将标识符替换为随机字符串如Func_X7a2）和语义级改写（用Gemini 2.5 Flash保持语义但改变句法结构）增强泛化。

技术新颖性

本文的技术新颖性主要体现在以下几个方面：首先，提出了Tool-GRPO框架，将GRPO扩展到多轮工具规划场景，这是首次在强化学习框架中同时处理多轮工具调用和长程规划。具体来说，通过多轮奖励累积（Rtool是所有工具调用轮次的平均分）和自适应奖励设计，使RL训练能够有效处理复杂的多步工具交互。其次，设计了自适应奖励机制，通过非对称的奖励结构鼓励模型在不确定时使用工具作为备用策略，而不是强制要求使用工具——这与传统的工具使用即奖励的设计形成鲜明对比。第三，提出了自适应学习方法，通过随机化标识符和语义改写描述来训练模型的泛化能力，这种方法在工具增强推理领域是首创，使得模型能够在零样本条件下适应全新的工具定义。第四，发现了冷启动阶段的双刃剑效应——对于结构化任务（VSP、Jigsaw）SFT提供决定性优势（TC+TG比TG单独高出+24.93点），但对于开放性任务（GUIQA/WebMMU）SFT可能限制探索自由度（TG单独为72.97 vs TC+TG为68.16），这一发现对工具增强智能体的训练策略设计具有重要指导意义。

AdaReasoner performs adaptive and generalized tool-using.
Figure 1: AdaReasoner performs adaptive and generalized tool-using.
An overview of our AdaReasoner framework.
Figure 2: An overview of our AdaReasoner framework.
An example of a multi-turn cold-start trajectory for the Jigsaw task.
Figure 6: An example of a multi-turn cold-start trajectory for the Jigsaw task.

实验结果

本文的核心发现可以从三个维度进行分析。首先，在工具增强的有效性方面，TC + TG的组合在7B模型上实现了平均+38.66%的性能提升，将VSP任务从基线的28.09%提升到97.64%，显著超越了传统优化方法如任务特定SFT（46.64%）和Direct GRPO（30.18%）。这表明工具增强是一种远比传统优化更有效的策略。其次，在规模限制的突破方面，工具增强使得3B和7B模型都达到了近乎完美的准确率（94.7%和97.6%），而基线性能存在显著差异且较低（26.73%和28.09%），这表明主要性能瓶颈已从模型规模转移到了工具质量上。第三，在超越商业模型方面，AdaReasoner 7B在8个基准上的平均性能达到76.49%，超越GPT-5的68.56%和Claude 4 Sonnet的66.09%。在VSP任务上达到78.36%（对比GPT-5的55.64%），在Jigsaw任务上达到88.60%（对比GPT-5的80.10%）。此外，模型展现出三种自适应行为：学会采用有益工具（VSP导航分数从44.83提升到96.33，A*工具成功调用率94.5%）、学会丢弃无关工具（验证任务中A*工具调用频率降至零）、学会调节工具使用频率（导航任务中POINT工具调用频率约3.2次/样本，验证任务中约1.0次/样本）。在工具使用统计方面，AdaReasoner在Jigsaw上达到3.54次调用/样本和98.50%的执行成功率，在V*上达到1.47次调用/样本，展现了高水平的工具使用能力。

Visual tools integrated within AdaReasoner.
Table 1: Visual tools integrated within AdaReasoner.
Comparison of the Effects of Tool Cold-Start (TC) and Tool-GRPO (TG) under a Single-Task Fine-Tuning Setting.
Table 2: Comparison of the Effects of Tool Cold-Start (TC) and Tool-GRPO (TG) under a Single-Task Fine-Tuning Setting.
Ablation study on adaptive tool usage.
Table 3: Ablation study on adaptive tool usage.
Impact of Different Experimental Settings on Model Generalization Performance.
Table 4: Impact of Different Experimental Settings on Model Generalization Performance.
Tool usage statistics on Jigsaw and Vstar.
Table 6: Tool usage statistics on Jigsaw and Vstar.
Our AdaReasoner-7B demonstrates advanced capabilities for multi-turn, tool-assisted reasoning and reflection.
Figure 4: Our AdaReasoner-7B demonstrates advanced capabilities for multi-turn, tool-assisted reasoning and reflection.
Overcoming scale-based limitations with tool augmentation.
Figure 10: Overcoming scale-based limitations with tool augmentation.
查看结构化数据
任务指标本文基线提升
Visual Spatial Planning (VSP) Accuracy (%) 78.36 28.09 (Qwen2.5-VL 7B基线) +50.27
Visual Spatial Planning Out-of-distribution (VSPO) Accuracy (%) 71.08 25.39 (Qwen2.5-VL 7B基线) +45.69
Jigsaw (COCO) Accuracy (%) 88.60 45.70 (Qwen2.5-VL 7B基线) +42.90
Jigsaw (BLINK) Accuracy (%) 88.00 52.67 (Qwen2.5-VL 7B基线) +35.33
GUIChat Accuracy (%) 73.91 68.09 (Qwen2.5-VL 7B基线) +5.82
WebMMU (Agentic Action) Act. Score 72.15 67.48 (Qwen2.5-VL 7B基线) +4.67
HRBench Accuracy (%) 69.12 63.62 (Qwen2.5-VL 7B基线) +5.50
V* (Visual Search) Accuracy (%) 70.68 63.35 (Qwen2.5-VL 7B基线) +7.33

局限与改进

尽管AdaReasoner取得了显著的性能提升，但仍存在一些局限性。首先，在开放性任务（如GUIQA的WebMMU基准）上，工具增强带来的改进相对有限（仅+3.46%对比VSP的+50.27%），这表明对于缺乏确定性工具的开放性任务，当前的工具规划方法仍有改进空间。其次，虽然自适应学习方法显著提升了泛化能力，但在面对完全新的任务分布时（如从Jigsaw泛化到VSP），性能仍然存在明显差距（78.91%对比完整训练的97.64%），说明跨任务泛化仍是挑战。第三，作者也承认推理时的工具适应性仍不够稳定——例如在推理时引入A*工具虽然能提升导航性能（从44.83到62.33），但可能降低验证性能（从94.20到80.00），需要通过RL进一步稳定化。从独立观察来看，当前方法主要在结构化视觉推理任务上表现优异（VSP、Jigsaw），对于更复杂的现实世界场景（如长视频理解、多轮对话中的工具使用、需要动态发现新工具的场景）的适用性还需进一步验证。此外，模型的训练依赖于Gemini 2.5 Flash生成的合成轨迹，可能与真实世界的工具使用场景存在分布差异。

独立分析的弱点

基于对论文的深入分析，我识别出以下几个主要弱点及其改进方向。首先，当前的工具集相对固定且有限（仅7个工具：POINT、DRAW2DPATH、ASTAR、DETECTBLACKAREA、INSERTIMAGE、CROP、OCR），这限制了模型在更复杂场景中的应用。改进方向可以是开发动态工具发现和集成机制，让模型能够自动识别和使用新出现的工具，或设计工具注册协议让新工具可以即插即用。其次，自适应学习虽然提升了泛化能力，但仅在token级和语义级进行了随机化，没有考虑工具之间的组合关系和依赖关系。可以引入工具图谱或工具本体来建模工具间的语义关系，让模型理解工具之间的协同和替代关系。第三，当前的奖励设计主要关注最终答案正确性和工具调用格式，对于推理过程的质量（如工具使用的效率、推理路径的简洁性、不必要的工具调用次数）缺乏细粒度评估。可以引入过程奖励模型来优化中间推理步骤，或设计效率奖励鼓励更简洁的推理路径。第四，模型的训练数据主要来自合成轨迹（由Gemini 2.5 Flash生成），可能与真实世界的工具使用场景存在分布差异。可以引入更多真实世界的工具交互数据或通过人机协作收集高质量轨迹。

未来方向

本文作者指出了几个未来研究方向，包括探索更多类型的视觉工具（如视频分析工具、3D理解工具）、研究更复杂的工具编排策略、以及将方法扩展到视频理解等更广泛的多模态任务。基于本文的成果，还可以延伸出以下研究方向：第一，研究工具使用的元学习能力，让模型能够从少量示例中快速学会使用新工具，实现真正的few-shot工具适应；第二，探索多智能体协作的工具编排，让多个模型分工合作完成复杂任务，例如一个模型负责感知、另一个负责规划、第三个负责验证；第三，研究工具使用的可解释性，让模型能够解释为什么选择某个工具以及如何解读工具结果，提升用户对模型决策的信任；第四，将工具规划能力与记忆机制结合，实现长期的工具使用策略优化，让模型能够从历史工具使用经验中学习；第五，研究工具使用的安全性，确保模型不会被恶意工具误导或利用，特别是在开放工具生态中。

复现评估

本文的复现性评估相对较好。首先，作者提供了完整的代码仓库（https://github.com/ssmisya/AdaReasoner）和模型数据（https://huggingface.co/AdaReasoner2026），这大大降低了复现门槛。其次，论文详细描述了训练配置和超参数（如Table 7和Table 8所示），包括学习率（SFT阶段1e-5，RL阶段1e-6）、批大小（SFT阶段effective batch size 2，RL阶段32）、训练轮数（SFT 3 epochs）、工具调用最大轮数（10轮）等关键信息。第三，实验使用了公开的基准测试（VSP、Jigsaw、BLINK、GUIChat、WebMMU等），便于其他研究者进行对比。然而，复现仍面临一些挑战：训练需要8个GPU的计算资源（使用FSDP ZeRO-3策略），对于资源有限的研究者可能构成障碍；数据整理过程依赖于Gemini 2.5 Flash生成链式思维推理，这需要API访问权限；此外，工具服务器的实现细节（如MCP-like服务架构）可能需要额外的工程工作。总体而言，对于具备一定计算资源和工程能力的研究团队，本文是可复现的。

论文图表

Figure 3: Trend for tool calling frequencies for ASTAR, POINT, and DRAW2DPATH during RL.

该图展示了在RL训练过程中（横轴为训练步数0-200），三种工具（ASTAR、POINT、DRAW2DPATH）的调用频率变化趋势（纵轴为每次样本的调用次数）。暖色曲线代表VSP导航任务，冷色曲线代表VSP验证任务，分别在3B和7B模型上展示。(a)显示ASTAR工具在导航任务中调用频率逐渐增加并稳定在1.0次以上/样本，而在验证任务中逐渐降至零；(b)显示POINT工具在导航任务中维持高频调用（约3.2次/样本），在验证任务中保持低频调用（约1.0次/样本）；(c)显示DRAW2DPATH工具的调用模式类似。

这张图定量地展示了模型的三种自适应行为（采用有益工具、丢弃无关工具、调节工具使用频率），是理解模型如何学习工具使用策略的关键证据。

Figure 5: An example of a multi-turn cold-start trajectory for the VSP task.

该图展示了VSP导航任务的多轮冷启动轨迹示例，包含6个详细步骤：Step1用Point工具定位起点（Elf），Step2定位终点（Gift），Step3定位所有冰洞位置，Step4使用Draw2DPath工具验证初次尝试的路径，Step5发现路径错误后重新规划并用Draw2DPath验证新路径，Step6分析确认路径正确后输出最终答案。每个步骤都展示了完整的思考-工具调用-工具返回-推理过程。

这张图展示了冷启动数据的具体格式和质量，是理解数据整理管道的关键。

Figure 7: An example of a multi-turn cold-start trajectory for a GUI-QA task.

该图展示了GUIQA任务的多轮冷启动轨迹示例，展示了焦点-提取策略：用户询问是否可以从网页下载某论文，Step1分析后使用Crop工具裁剪包含永久链接文本的区域，Step2对裁剪区域使用OCR工具提取文字，Step3基于OCR结果分析并回答问题。这展示了工具之间的协同工作方式——Crop为OCR创造了更好的输入条件。

这张图展示了工具之间的协同使用模式，是理解工具组合策略的关键。

Table 5: Main results on visual reasoning, WebQA, and general VQA tasks.

该表格展示了主要实验结果，比较了AdaReasoner与闭源模型（GPT-5平均68.56%、Claude 4 Sonnet平均66.09%、Gemini 2.5 Flash平均65.54%）、开源模型（Qwen2.5-VL 7B平均51.80%、32B平均62.53%、72B平均68.76%）、以及其他工具规划模型（DeepEyes平均48.88%、PixelReasoner平均50.87%）的性能。AdaReasoner 7B在8个基准上的平均性能达到76.49%，大幅超越GPT-5的68.56%。

这个表格提供了全面的性能对比，是评估本文贡献的核心证据，展示了开源小模型通过工具增强可以超越商业大模型。

Table 10: From Perception to Reasoning: Impact of our POINT tool.

该表格展示了感知工具对推理的影响。左侧比较了Qwen2.5-VL模型和专用POINT工具在起始点定位准确率上的差异：POINT工具达到100.0%准确率，而Qwen 3B仅2.47%、7B为47.01%。右侧展示了零样本推理性能：在VSP验证任务中，提供POINT工具的坐标输出作为上下文可以将32B模型推理性能从53.12%提升到87.87%（+34.75点），72B模型从52.34%提升到87.53%（+35.19点）。

这个表格揭示了工具增强有效的根本原因——专家感知工具弥补了MLLMs的视觉缺陷，是理解为什么视觉工具有帮助的关键证据。