SenseNova-MARS：通过强化学习赋能多模态智能体推理与搜索 SenseNova-MARS: Empowering Multimodal Agentic Reasoning and Search via Reinforcement Learning

SenseNova-MARS的方法步骤包括训练和推理两个完整流程。训练阶段分为两个步骤：第一步是冷启动SFT，从三个主要数据源构造约3000个高质量多轮交互轨迹样本。数据挖掘阶段合并FVQA训练集（4849个样本）、Pixel-Reasoner预热语料库（7850个样本）和专家标注的多模态QA对，使用Qwen2.5-VL-7B-Instruct进行8次rollout标记困难样本（模型回答正确次数小于等于1），然后用Gemini-2.5-Flash合成完整的工具调用解决方案轨迹，最后用GPT-4o验证格式合规性、逻辑连贯性和答案合理性。SFT阶段学习率为1乘以10的负5次方，训练3个epoch，只微调语言模型，冻结视觉编码器和多模态投影器。第二步是RL训练，使用FVQA剩余样本（3695个）、DeepEyes-4K（4000个）和Visual-Probe（5729个）的混合数据集，采用BN-GSPO算法优化。RL阶段全局批次大小为128，学习率为1乘以10的负6次方，KL系数为1乘以10的负4次方，采用Clip-Higher策略。单条训练轨迹最多允许T等于10轮交互，每轮最多生成8192个token，整个轨迹累积限制32768个token。推理阶段的步骤如下：接收自然语言查询q和初始图像I0，在每轮t，模型观察完整交互历史，生成思考步骤，然后选择四个动作之一：执行文本搜索（使用Serper Search API查询网页文本）、执行图像搜索（使用Serper Image Search API进行反向图像搜索）、使用图像裁剪工具（通过边界框坐标和图像索引裁剪图像聚焦局部）、或产生最终答案。工具输出被添加到交互历史中形成不断演化的轨迹，当模型认为信息足够时输出最终答案，整个过程结束。

SenseNova-MARS的技术新颖性体现在多个维度。在算法层面，BN-GSPO算法针对多工具轨迹训练的挑战，创新性地引入了两阶段归一化机制。与标准GSPO相比，BN-GSPO首先应用GSPO的组级标准化计算组归一化奖励，然后在整个优化mini-batch上归一化。这种两阶段归一化有效纠正了同一批次中不同提示词的不一致尺度和方差，提高了训练稳定性。实验表明，BN-GSPO在MMSearch上达到56.72分，在V* Bench上达到79.05分，证明了其有效性。在工具整合层面，本文是首个通过端到端RL训练的、统一使用搜索型和感知型工具的多模态智能体VLM。与MMSearch-R1（仅文本加图像搜索）和DeepEyes（仅图像裁剪）相比，SenseNova-MARS能够在知识检索和精细视觉分析之间动态平衡，在HR-MMSearch上达到54.43分，比仅使用搜索工具的模型提高显著。在数据构建层面，HR-MMSearch基准使用四阶段流水线（大规模图像爬取、过滤、人工标注、严格质量检查），从路透社、美联社、CNBC三家国际新闻媒体爬取2025年的4K分辨率图像，确保图像不太可能出现在VLM预训练数据中。三位标注员（学士学位）将图像分配到八个高影响力领域，手工制作知识密集型问题，针对占据图像面积小于5%的小物体或文本区域。另外三位专家（至少硕士学位）交叉验证305个图像-问题对。根据Qwen2.5-VL-7B-Instruct在pass@8协议下的表现，将188个模型8次rollout全部失败的问题标记为Hard（通常需要3个或更多工具调用，其中17个需要协调使用所有三种工具），117个问题标记为Easy（通常需要1到2个工具调用），难度分布为60% Hard和40% Easy。

独立分析发现，SenseNova-MARS存在几个可以改进的弱点。第一个弱点是对检索结果的语义理解不够精细，容易在相似概念之间产生混淆。改进方向是增强推理模块对检索结果的判别能力，例如引入显式的实体消歧步骤，在推理过程中验证检索信息与问题实体之间的语义匹配度。第二个弱点是跨模态对齐不足，特别是在工具参数生成阶段，模型难以将视觉实体准确转换为文本搜索查询。改进方向是引入视觉-文本对齐的专门训练信号，例如使用对比学习增强视觉实体到文本查询的映射能力，或者在工具调用前增加实体识别和验证步骤。第三个弱点是工具调用效率虽然通过RL训练有所提升，但在复杂任务上仍可能存在冗余调用。改进方向是引入工具调用成本感知的奖励机制，在奖励函数中加入对工具调用次数的惩罚，鼓励模型更高效地使用工具。第四个弱点是训练数据分布的平衡问题，实验表明仅使用专门数据会导致过度专业化。改进方向是设计更智能的课程学习策略，从简单任务逐步过渡到需要多工具协调的复杂任务，确保模型学习到平衡的多工具策略。第五个弱点是文本搜索流水线无法处理JavaScript渲染的网页，限制了信息获取的完整性。改进方向是集成无头浏览器技术来渲染JavaScript，或者在训练和推理阶段统一使用更强的网页解析方案。

未来研究方向可以从多个维度延伸。作者提出的方向包括扩展工具集以支持更多类型的工具，如代码执行工具、视频处理工具、3D模型分析工具等，使智能体能够处理更广泛的多模态任务。基于本文成果，可以延伸的方向包括：第一，探索更复杂的任务设置，如多模态多跳推理、长链推理、多智能体协作等，在这些设置下研究工具调用的策略和协调机制。第二，研究更高效的RL算法，特别是针对多工具、多模态场景的策略优化方法，例如引入层次化RL让模型学习高层规划和低层工具调用，或者使用离线RL减少在线交互成本。第三，提升模型的元认知能力，让模型能够判断何时需要调用工具、何时已有足够信息、何时需要重新规划，这种自我反思能力可以进一步提升推理效率和准确性。第四，构建更大规模、更多样化的基准测试，特别是针对特定领域（如医学影像、遥感图像、工业检测）的高分辨率、知识密集型任务，这些领域的专业性和复杂性为多模态智能体提供了新的挑战。第五，研究工具调用与长期记忆的结合，让智能体能够积累和复用过往的工具调用经验，形成个性化的知识库和策略库，这种终身学习能力可以显著提升智能体在复杂任务上的表现。第六，探索多模态智能体的可解释性和可控性，让人类能够理解智能体的工具调用决策过程，并在必要时进行干预和引导，这对于安全关键的应用场景尤为重要。

SenseNova-MARS的可复现性评估较为积极。代码、模型和数据集将全部开源，代码库可在GitHub获取，模型可在Hugging Face下载。这种开源策略大大降低了复现门槛。数据方面，训练数据包括FVQA（4849个样本）、DeepEyes-4K（4000个样本）、Visual-Probe（5729个样本）和Pixel-Reasoner语料库（7850个样本），这些数据集都有公开的获取途径。新构建的HR-MMSearch基准包含305个4K图像和手工标注的问题，虽然具体发布形式待确认，但作者明确表示将发布数据集。算力需求方面，SenseNova-MARS提供了7B、8B、32B三个规模的模型，研究者可以根据自身算力条件选择合适的规模。RL训练阶段使用全局批次大小128、学习率1乘以10的负6次方、最多10轮交互、每轮最多8192个token、整个轨迹最多32768个token，这些配置都相对适中。文本搜索在训练阶段使用本地Wikipedia知识库（20250901 dump文件），避免了实时网络搜索的高成本，这使得训练过程更容易复现。然而，一些细节可能影响完全复现：图像搜索和文本搜索使用了Serper API，研究者需要自行申请API密钥；奖励模型使用Qwen2.5-VL-72B-Instruct作为LLM-as-a-judge，需要部署大模型；评估使用GPT-4o进行判断，也需要API访问权限。总体而言，SenseNova-MARS的可复现性在开源模型中属于较好水平，虽然API依赖和算力需求可能对部分研究者构成障碍，但核心算法、数据和代码的完全开源为社区复现和改进提供了坚实基础。