← 返回 2026-01-07

MindWatcher：迈向更智能的多模态工具集成推理 MindWatcher: Toward Smarter Multimodal Tool-Integrated Reasoning

Jiawei Chen, Xintian Shen, Lihao Zheng, Zhenwei Shao, Hongyuan Zhang, Pengfei Yu, Xudong Rao, Ning Mao, Xiaobo Liu, Lian Wen, Chaoqun Du, Feng Gu, Wei He, Qizhen Li, Shanshan Li, Zide Liu, Jing Luo, Lifu Mu, Xuhao Pan, Chang Ren, Haoyi Sun, Qian Wang, Wei Wang, Hongfu Yang, Jiqing Zhan, Chunpeng Zhou, Zheng Zhou, Hao Ma, Tao Wei, Pan Zhou, Wei Chen 📅 2025-12-29 👍 42 2026-07-13 08:35

MWE-Bench ReAct范式多模态智能体工具集成推理强化学习

arXiv HuggingFace PDF

提出MindWatcher，一个能自主规划、调用多模态工具的智能体，通过持续RL训练和改进的GRPO算法实现SOTA工具推理性能。

前置知识

Tool-Integrated Reasoning (TIR)

工具集成推理是一种让大模型自主选择和调用外部工具（如搜索、代码解释器、图像处理）来扩展其问题解决能力的范式。模型通过生成中间思考、调用工具并根据环境反馈迭代决策，形成动态的多步推理链。其核心是让模型同时承担规划和执行角色，实现端到端的开放世界任务解决。

本文研究的正是基于TIR范式的智能体，理解TIR对于把握MindWatcher的工作机制和训练方法至关重要。

ReAct范式

ReAct（Reasoning + Acting）是一种让LLM显式生成中间思考，然后采取行动（如工具调用），再基于观察继续推理的交互范式。它将思维链推理与行动结合，使模型能够在决策过程中观察环境反馈并进行自我纠正，形成一个循环：思考-行动-观察-再思考。

MindWatcher采用ReAct范式作为其核心交互模式，理解ReAct有助于理解模型如何在推理与工具调用之间灵活切换。

GRPO (Group Relative Policy Optimization)

GRPO是一种强化学习算法，通过在组内计算相对优势来优化策略。它在同一组采样轨迹间归一化奖励，降低对绝对奖励尺度的依赖。本文进一步提出了Step-wise Normalized GRPO，引入动作步数归一化和token长度归一化，确保每个推理步骤得到平衡监督。

这是MindWatcher的核心训练算法，直接影响模型工具调用和推理策略的学习效果。

研究动机

现有TIR智能体存在三大关键局限。从应用角度看，大多数TIR智能体专注于文本任务，尤其是检索驱动的推理，仅有少数工作引入视觉能力，且大多仅依赖图像搜索工具，无法直接操作图像或进行细粒度的跨模态推理，这严重限制了其在多模态任务上的表现。从训练方法角度看，TIR智能体在数据、算法和训练框架三方面面临挑战：高质量的多工具、多步交互轨迹难以手工构建；基于SFT的训练常导致模型“模仿”而非真正学习策略，在简单问题上过度冗余调用工具，在通用基准上性能大幅下降；现有训练框架缺乏对思考、工具调用和后续推理交错过程的细粒度监督。从工具生态角度看，许多核心检索能力（尤其是视觉检索）依赖昂贵的外部API，频繁调用的高成本限制了TIR智能体在本地或企业环境中的实际部署。

本文的目标是本文旨在构建一个能够自主规划和执行、支持多模态感知、具备鲁棒工具协调能力的TIR智能体。通过引入交错思维范式和多模态CoT机制，使智能体能够在推理的任何阶段灵活切换内部思考和外部工具调用。避免传统SFT的缺点，采用持续强化学习策略在真实和离线环境中训练，开发自动化数据构建管道降低数据生成成本。装备全面的多模态工具套件和大规模本地视觉语料库，并构建新的多模态基准MWE-Bench来系统评估智能体性能。

与已有工作不同的是，本文的独特切入点在于：首先，在训练方法上放弃了主流SFT范式，采用纯强化学习策略，并提出了Step-wise Normalized GRPO算法来解决传统GRPO在多步工具调用场景下的优化不平衡问题。其次，在多模态能力上，引入了“thinking with images”的推理范式，将图像相关操作嵌入推理链，实现了区域级视觉感知和更精准的跨模态检索。此外，构建了大规模、高质量、低成本的本地视觉检索数据库MWRD，覆盖8大类别、50k检索实体、300k+图像，精度超过99%，突破了对外部昂贵API的依赖。最后，设计了支持异步工具调用的RL训练流水线，显著提升了学习效率和硬件利用率。

核心方法

MindWatcher将TIR过程建模为马尔可夫决策过程（MDP）。给定初始用户提示s0，智能体通过与环境的交互生成一个交错的动作和工具观察序列：Y = {a0, obs0, a1, obs1, ..., obsn-1, an}。每个动作aj通过思考过程和工具调用执行，产生观察obsj，附加到上下文中成为下一状态的一部分。智能体持续迭代该过程，直到生成包含最终答案的动作an。MindWatcher通过自回归生成循环实现这个MDP，在每个步骤t，策略πθ(at|st)基于完整历史st。与传统方法中动作严格是物理工具调用不同，MindWatcher定义了统一的动作空间A = Athought ∪ Atool，通过<\think>和<\tool_call>标签将思考和工具调用序列化，使模型能在单个解码序列中交错生成推理和行动。MindWatcher进一步引入多模态CoT机制，允许智能体通过在推理链中嵌入依赖图像的操作来“用图像思考”。

MindWatcher的核心创新在于三方面：一是Step-wise Normalized GRPO算法，在传统GRPO基础上引入双重归一化机制——动作步数归一化（1/ni）确保每个轨迹无论包含多少个“思考和工具调用”循环都得到平等权重，token长度归一化（1/|aj|）在每个“思考和工具调用”回合内平均损失，确保对每个推理步骤的平衡监督。二是混合奖励函数，包含结果准确性奖励（Racc）、格式奖励（Rfmt）和幻觉工具调用惩罚（Rhalluc），其中Rhalluc通过惩罚模型调用次数与环境响应次数的差值，强制执行严格的“回合制”协议。三是大规模本地视觉检索数据库MWRD的构建，通过专家人工筛选和知识分类，确保视觉搜索图像数据库的精度超过99%，覆盖8大类别，为模型提供低成本、高质量的视觉检索能力。

方法步骤详情

方法步骤的完整描述如下：1）输入处理：接收用户查询和可能的图像输入，初始状态s0包含查询内容。2）循环推理-行动：在每个步骤t，策略模型基于当前状态st决定下一步动作at，动作可以是思考过程（<\think>标签内）或工具调用（<\tool_call>标签内）。3）工具执行：如果是工具调用，系统异步执行相应工具（图像裁放/缩放、对象定位与视觉搜索、外部文本检索、网页内容提取或本地代码解释器）。4）观察集成：工具执行结果作为观察obsj被附加到上下文中，形成新的状态st+1。5）奖励计算：每个轨迹完成后，使用混合奖励函数计算奖励，包括LLM-as-Judge评估的结果准确性、正则表达式验证的格式正确性，以及幻觉工具调用惩罚。6）策略优化：使用Step-wise Normalized GRPO算法优化策略，通过双重归一化确保每个推理步骤得到平衡监督。7）输出生成：当模型决定给出最终答案时，在<\answer>标签内生成响应，结束整个推理过程。

技术新颖性

技术新颖性体现在：首先，Step-wise Normalized GRPO算法首次提出在agent RL场景下对每个动作片段进行归一化优化，解决了传统GRPO在多步工具调用场景下优化不平衡的问题。其次，混合奖励函数中的幻觉工具调用惩罚机制，首次将工具调用与环境响应的一致性纳入奖励，强制执行严格的回合制协议。第三，构建的大规模本地视觉检索数据库MWRD，通过专家人工筛选和知识分类，实现了超过99%的检索精度，突破了对外部昂贵API的依赖，为低成本多模态智能体训练提供了可能。最后，在系统架构上设计的支持异步工具调用的RL训练流水线，采用同步步进控制但异步工具执行的混合架构，最大化硬件利用率并显著减少实际rollout时间。

**Figure 2**: The Working Paradigm of MindWatcher

**Figure 5**: Step-wise Synchronous Sampling Framework of MindWatcher

实验结果

实验结果揭示了几个关键发现。在MWE-Bench上，MindWatcher-32B实现了75.35的全局得分，超越了GPT-5 mini（69.91）和Gemini 2.5 Flash（66.65），在车辆、动物、植物和人物四个领域达到最高准确率。从直接推理到ReAct/Agent范式的转换带来了显著性能提升，Qwen3-VL 32B在获得工具能力后得分翻了近三倍，GPT-5 mini在体育领域的得分从13.38跃升至80.28。蒸馏的MindWatcher-2B、3B、4B模型展现出与Qwen3-VL 32B基线相当的性能，证明了强大的工具调用能力可以有效缓解小参数模型的知识缺口。在开源基准上，MindWatcher-32B在MMSearch上达到SOTA性能（58.82），在SimpleVQA上超越下一代Qwen3-VL-32B基模型，在纯文本WebWalkerQA基准上保持竞争性。分析发现了工具容量对智能体最终性能的决定性影响，不同搜索引擎的性能差异可高达42.86%。更重要的是，实验揭示了agent RL中的“基因继承”现象：虽然MindWatcher在工具调用和推理熟练度上显著超越其基础模型Qwen2.5-VL-32B，但在长程推理和多模态处理能力上无法突破基础模型的根本性能约束，agent RL作为策略优化者本质上仍与基础模型能力耦合。

**Table 1**: Results on the MindWatcher-Evaluation Benchmark

**Table 2**: Results on the Open-sourced Benchmarks

**Table 3**: Comparison Results of the Distilled Models and their Base Models

**Table 4**: Results on different search engines

**Figure 1**: MWE-Bench Performance of MindWatcher

**Figure 3**: Benchmark Performance Comparison

**Figure 4**: Comparison of Tool-use Behavior and Performance Distribution

**Figure 6**: MindWatcher-2B vs Qwen3-VL 2B Thinking

**Figure 7**: MindWatcher-3B vs Qwen2.5-VL-3B

查看结构化数据

任务	指标	本文	基线	提升
MWE-Bench Overall	Avg. Score	75.35	GPT-5 mini (69.91)	+5.44
MWE-Bench Sports	Score	46.48	GPT-5 mini (80.28)	-33.80 (worse)
MWE-Bench Animal	Score	86.04	Qwen3-VL 32B (28.21)	+57.83
MMSearch	Score	58.82	Doubao-Seed-1.6-vision (58.37)	+0.45
SimpleVQA Avg.	Score	32.32	Qwen3-VL 32B (28.91)	+3.41
WebWalkerQA Avg.	Score	33.38	Qwen3-VL 32B (36.47)	-3.09 (worse)

局限与改进

作者承认的局限性包括：工具生态的有效性高度依赖特定领域和查询语言，不存在普遍“更优”的搜索引擎；基准评估需要考虑工具引起的方差以确保对模型内在推理能力的公平评估；在体育领域，MindWatcher-32B的性能（46.48）显著低于GPT-5 mini（80.28），表明在特定任务类型上仍有改进空间。此外，本文的观察表明，agent RL无法完全突破基础模型在长程推理和多模态处理上的根本性能约束，存在“基因继承”现象。基础模型的世界知识分布不均，当工具不足以解决查询时，模型内部世界知识成为下游基准指标的决定因素，这使得基准结果可能不仅反映模型的TIR能力，还与基础模型的内部世界知识耦合，增加了隔离和准确评估模型内在TIR能力的难度。

独立分析的弱点

独立分析的弱点包括：首先，在体育领域性能显著落后于GPT-5 mini，可能是因为体育数据的时效性和特殊性，需要更强的时间敏感性和领域专业知识。改进方向可以是增强时间锚定机制和领域特定的检索策略。其次，工具调用的决策边界对模型性能影响巨大，GPT-5 mini在无需工具调用的情况下仍有15.17%的样本，但准确率仅51.2%，存在“盲目自信”问题。MindWatcher需要更精确的工具调用触发机制。第三，基础模型的“基因继承”现象表明，agent RL无法完全弥补基础模型在长程推理和多模态处理上的缺陷，需要从基础模型层面提升认知能力。最后，工具生态的有效性波动性很大，不同搜索引擎在相同查询上的性能差异可达42.86%，需要构建更鲁棒、不依赖特定工具环境的评估基准。

未来方向

未来研究方向包括：进一步探索agent RL中的“基因继承”现象，研究如何更好地分离基础模型能力和agent策略优化；构建更鲁棒的评估基准，考虑工具引起的方差，确保对模型内在推理能力的公平评估；增强工具调用的决策边界机制，提高模型对何时需要工具的自我认知；探索更高效的训练策略，结合在线和离线RL的优势，降低训练成本和复杂性；扩展工具生态系统，支持更多类型的多模态工具和更复杂的跨模态推理任务；研究长程历史记忆维护和动态工具上下文管理等关键挑战；探索训练自由工具调用能力的路径，减少对预设工具列表的依赖。

复现评估

复现评估方面，论文承诺开源智能体推理框架、MWE-Bench基准、三个从MindWatcher 32B蒸馏的小规模智能体模型（2B、3B和4B）及相关资源。代码已公开在GitHub（https://github.com/TIMMY-CHAN/MindWatcher），数据集在Hugging Face（https://huggingface.co/datasets/Lost-Cloud/MWE-Bench）。训练数据包括1,639个基于私有图像的VQA样本、2,949个从公共新闻来源的样本、5,000个开源领域样本和约20,000个离线RL训练样本。模型基于Qwen2.5-VL-32B进行训练，蒸馏模型基于Qwen3-VL-2B、Qwen2.5-VL-3B和Qwen3-VL-4B。实验采样温度为0.7，top-p为0.95，主要评估指标为pass@1，使用LLM-as-Judges方法评估正确性。论文详细描述了训练基础设施、算法实现和数据构建流程，为复现提供了充分信息。

论文图表

Figure 8: MindWatcher-4B vs Qwen3-VL 4B Thinking

该图展示了MindWatcher-4B与其基础模型Qwen3-VL 4B Thinking的工具使用行为和性能分布对比。在三个蒸馏模型中，SFT前后工具调用轮次的分布波动不一致，缺乏RL调优的MindWatcher-32B中观察到的稳定行为对齐。

这张图对理解论文重要因为它进一步验证了agent SFT场景下的行为不稳定性和“基因继承”现象：虽然行为波动性更大，但准确率趋势仍表现出与agent RL相似的同步下降趋势，强化了基础模型能力约束的存在。