面向长视界代理多模态搜索

提出基于文件视觉表示的多模态深度搜索框架，解决长视界交互中的上下文爆炸问题

前置知识

多模态大语言模型

能够同时理解和生成文本、图像等多种模态内容的深度学习模型。这类模型通常通过视觉编码器将图像转换为特征表示，再与文本特征融合，实现跨模态理解和推理。代表性的模型包括 GPT-4V、Qwen-VL 等。

本文的核心工作是构建多模态搜索代理，需要理解多模态大语言模型的基本架构和工作原理，才能理解为什么多模态输入会导致上下文爆炸问题。

检索增强生成（RAG）

通过从外部知识库检索相关文档片段来增强大语言模型生成能力的范式。它通过嵌入向量相似度匹配从静态数据库中检索信息，然后将检索到的内容作为上下文输入模型，从而克服模型知识边界限制。

本文的深度搜索代理是 RAG 范式的延伸，但增加了主动搜索和多轮迭代推理能力。理解 RAG 有助于对比本文方法与传统检索方法的区别。

深度搜索代理

能够主动调用搜索引擎、浏览网页、迭代收集事实证据来解决复杂问题的智能系统。与传统搜索系统不同，深度搜索代理通常进行长视界的迭代推理和证据积累过程，逐步推进到最终解决方案。

本文直接构建在深度搜索框架之上，需要理解其基本原理和工作流程，才能理解多模态扩展带来的挑战。

上下文窗口管理

在长对话或长任务中控制输入模型上下文长度以避免超出模型容量限制的技术。常见的策略包括摘要压缩、滑动窗口、重要性采样等。对于多模态内容，还需要考虑图像等高 token 成本元素的存储和加载策略。

本文的核心贡献就是解决多模态上下文爆炸问题，理解上下文窗口管理的基本挑战和现有方法，才能理解本文基于文件表示方法的创新之处。

研究动机

现有多模态搜索代理在处理长视界任务时面临严重的上下文爆炸问题。由于图像、视频等多模态输入的高 token 成本，随着交互轮次增加，模型上下文窗口会被快速填满。例如，在 MM-BrowseComp 和 MMSearch-Plus 等具有挑战性的基准测试中，成功解决一个查询可能需要数十轮甚至上百轮的交互。现有的上下文压缩和摘要方法主要针对文本设计，难以直接迁移到多模态场景。因为多模态输入具有根本不同的数据格式和表示方式，不能简单地视为文本压缩问题。实践中，很多系统采用启发式方法直接丢弃中间图像数据，但这种策略可能导致重要视觉信号的丢失，特别是在需要追溯之前看到的图像证据时。这种在保留完整性和控制上下文长度之间的权衡，是制约多模态搜索代理扩展到长视界场景的核心瓶颈。

本文的目标是本文的核心目标是设计一个能够有效处理和管理长视界多模态搜索过程中累积的多模态上下文的框架。具体而言，作者希望开发一种机制，既能在长视界交互中避免上下文爆炸，又能保留所有视觉资产以供未来访问，确保信息的完整性。同时，作者还希望通过构建专门的数据集和训练流程，提升模型在复杂跨模态多跳推理任务中的性能。实验目标是让模型能够在保持视觉感知精度的同时，扩展到 100 轮以上的长视界交互，并在 MM-BrowseComp、MMSearch-Plus 等具有挑战性的基准测试上达到开源模型的最先进水平。

与已有工作不同的是，本文的独特切入角度是借鉴了 planning-with-files 范式的思想，将多模态信息从上下文中卸载并存储为外部文件。与现有方法要么直接加载图像导致上下文爆炸、要么丢弃图像导致信息丢失不同，本文提出了一种渐进式的按需加载策略。这种设计模拟了人类信息获取的范式：我们不会在记忆中维护每个检索到文档的高分辨率视觉细节，而是记住信息的位置，并在需要时渐进式加载。此外，本文还针对长视界多模态搜索的特殊需求，设计了专门的数据合成管道，生成需要跨模态多跳推理的查询，填补了现有数据集在这一方向的空白。这种从表示机制、工具设计到数据训练的端到端创新，构成了本文的独特贡献。

核心方法

LMM-Searcher 框架的核心思想是将感知与推理解耦，通过基于文件的视觉表示机制实现长视界多模态搜索。具体而言，框架将所有视觉资产存储在外部文件系统中，并映射到唯一的文本标识符。这些轻量级的文本代理可以高效地在上下文中维护，当需要细粒度视觉检查时，代理可以通过专用工具主动检索相应的图像。这种设计使得代理可以在数十轮交互中维护大量的搜索历史，而不会受到视觉 token 膨胀的影响，成功将轻量级的长视界推理与繁重的视觉感知解耦。整个框架由文件系统、扩展的代理工具接口和渐进式多模态搜索工作流三个核心组件构成。

本文的核心创新点是基于文件的视觉表示机制与扩展的代理工具接口的结合。与现有方法将图像直接加载到上下文中导致快速上下文膨胀的设计不同，本文将所有视觉资产存储在外部文件系统中，用轻量级的 UIDs 作为代理。这种设计的本质区别在于实现了感知与推理的解耦：推理阶段只需要维护轻量级的 UIDs，感知阶段通过按需加载获取详细的视觉内容。另一个关键创新是设计了专门的 fetch-image 工具，它充当 UID 空间和视觉空间之间的桥梁，使得代理能够在需要时主动检索和检查特定的视觉内容。这种渐进式加载策略确保了繁重的感知严格按需发生，既避免了上下文爆炸，又保证了信息的完整性。此外，本文还开发了一个专门的数据合成管道，生成需要跨模态多跳推理的查询，这是对现有数据集的重要补充。

方法步骤详情

LMM-Searcher 的工作流程可以分为三个主要步骤。首先，在多模态搜索过程中，当代理调用搜索工具或浏览工具时，环境的原始输出是包含文本和原始图像的交错文档。在文档进入代理上下文之前，框架作为拦截中间件自动索引其中的所有视觉项，将它们永久保存到文件系统，并通过用对应的 UIDs 替换所有原始图像来序列化文档。因此，代理只接收到搜索结果的轻量级表示。其次，当代理识别到需要细粒度感知某个文本中提到的特定图像时，它会自主使用 UID 调用 fetch-image 工具。该工具从外部文件系统检索对应 UID 的图像并将其提供给模型进行详细检查。如果视觉推理需要更细的感知和操作，代理会触发视觉处理工具，这些工具对底层图像应用视觉变换，生成新的视觉资产，上传到文件系统并分配新的标识符。最后，通过这三个步骤的循环，代理可以在长视界交互中逐步收集证据、进行推理，最终解决复杂的多模态查询。

技术新颖性

本文的技术新颖性体现在多个方面。首先，基于文件的视觉表示机制是多模态搜索代理领域的首次系统应用，它从根本上解决了多模态上下文爆炸问题。其次，扩展的代理工具接口实现了渐进式加载范式，与传统方法的急切加载设计形成鲜明对比。第三，数据合成管道通过多跳知识图谱构建和模糊化，生成需要复杂跨模态推理的查询，填补了现有数据集的空白。从训练角度，本文还创新性地将多模态模型与具有强语言搜索能力的模型进行参数插值融合，通过参数插值公式将语言搜索能力迁移到多模态场景。这种端到端的创新，从表示机制、工具设计、数据合成到模型融合，构成了完整的技术新颖性。

**Figure 1**: An illustration of LMM-Searcher

**Figure 2**: The webpage returned to the agent

**Figure 3**: Overview of automated Visual Question-Answer data synthesis pipeline

实验结果

在四个多模态搜索基准测试上的实验表明，LMM-Searcher 方法在长视界多模态搜索任务上取得了显著成果。在具有挑战性的 MM-BrowseComp 基准上，标准 30 轮设置下达到 22.3 的成功率，在启用 100 轮长视界交互和上下文管理策略后提升到 30.1。在 MMSearch-Plus 基准上，同样从 30 轮的 32.9 提升到 100 轮的 34.8。在 VisBrowse-Bench 上，从 42.0 提升到 48.3，在 MMSearch 上从 71.0 提升到 72.3。与基线方法的比较显示，本文方法在所有基准上都达到了开源模型的最先进水平。框架泛化性实验表明，当应用相同的基线模型时，本文框架显著优于之前的框架。例如，基于 Seed-1.8，本文框架在 MMSearch-Plus 上达到 46.7，比之前框架提高了 35.7%。工具消融实验显示，移除 fetch-image 工具会导致 Seed-1.8 在所有基准上的性能下降，其中 VisBrowse 基准从 58.0 下降到 48.5，表明该基准严重依赖从网页获取图像信息。交互缩放实验显示，本文模型持续受益于增加的交互轮次，虽然不同任务的改进幅度不同，表明不同任务需要不同的推理深度。数据消融实验显示，添加本文合成的查询在 MMBC 和 VisBrowse 上带来额外改进，最终在所有基准上达到最佳平均性能。

**Table 2**: The performance comparison between our model and baseline methods

**Table 3**: Performance comparison among different frameworks

**Figure 4**: Tool call distribution of the training data

**Figure 5**: Interactive scaling results

查看结构化数据

任务	指标	本文	基线	提升
MM-BrowseComp	Success Rate	30.1 (100 turns)	REDSearcher-MM-30B: 23.5	+6.6 (28.1%)
MMSearch-Plus	Success Rate	34.8 (100 turns)	REDSearcher-MM-30B: 26.6	+8.2 (30.8%)
VisBrowse-Bench	Success Rate	48.3 (100 turns)	Vision-DeepResearch-30B: 未报告	SOTA 开源模型
MMSearch	Success Rate	72.3 (100 turns)	REDSearcher-MM-30B: 72.9	-0.6 (相当性能)

局限与改进

作者在论文中承认了一些局限性。首先，虽然本文方法在长视界交互上取得了进展，但在某些基准上的提升幅度仍然有限，特别是在 MMSearch 基准上性能与基线方法相当。这可能表明该基准主要依赖搜索引擎结果而不需要代理访问网页。其次，模型合并策略虽然有效，但作者承认对参数插值比例的选择缺乏严格的消融研究，将此工作留待未来研究。从我的观察来看，本文方法的另一个潜在局限性是对外部文件系统的依赖，在实际部署中可能需要考虑存储成本和访问延迟。此外，虽然本文提出了数据合成管道，但合成数据的质量和多样性仍然取决于教师模型的能力，可能存在一定的偏差。最后，本文主要在学术基准上评估，在真实世界应用中的泛化能力仍需进一步验证。

独立分析的弱点

本文方法存在几个可以改进的弱点。首先，虽然基于文件的表示解决了上下文爆炸问题，但在需要频繁访问多个历史图像的场景下，fetch-image 工具的调用开销可能成为性能瓶颈。可以通过实现智能缓存机制或预测预加载来缓解这一问题。其次，本文的数据合成管道虽然生成了复杂查询，但主要依赖于强教师模型 Seed-1.8 进行轨迹 rollout，这可能限制数据的多样性和新颖性。可以考虑引入更多样的教师模型或者开发自动难度调节机制。第三，模型合并策略采用了简单的线性插值，可能无法充分利用两个模型的互补能力。可以考虑更先进的模型合并技术，如基于任务特定的权重分配或非线性融合方法。最后，本文的评估主要关注成功率和交互轮数，缺乏对计算效率和资源消耗的系统分析，这对于实际部署非常重要。

未来方向

作者提出了几个未来研究方向。首先，对模型合并策略进行更严格的消融研究，探索不同的参数插值比例和更复杂的融合方法。其次，扩展方法到更多模态，如视频、音频等，进一步验证框架的泛化性。基于本文成果，可以延伸的研究方向包括：开发更智能的上下文管理策略，如基于注意力的重要性预测来决定哪些视觉资产应该优先加载；探索自监督学习来增强代理的长视界规划和记忆能力；将方法应用到更广泛的领域，如科学文献检索、电子商务等实际场景；研究多代理协作的多模态搜索，让不同专长的代理协同解决复杂查询；开发可解释性工具，帮助理解代理的决策过程和关键证据来源。

复现评估

本文的复现情况总体良好。作者承诺代码将在 GitHub 上开源，这为社区复现提供了基础。数据方面，本文使用了多个开源数据集和自合成数据，总计 12736 个训练样本。虽然合成数据的生成管道在论文中有详细描述，但完全复现可能需要访问特定的网页内容和服务。模型训练基于 LLaMA-Factory 框架，训练 3 个 epoch，全局批大小 64，学习率为 1 乘以 10 的负 5 次方，这些超参数设置清晰明确。评估时最大长度设置为 128K，最大轮数标准设置为 30 和 100。算力方面，训练 30B 规模的模型需要相当大的 GPU 资源，这可能对独立研究者构成挑战。总体而言，论文提供了足够的技术细节和开源承诺，复现难度中等，主要门槛在于算力资源。

面向长视界代理多模态搜索 Towards Long-horizon Agentic Multimodal Search