Gen-Searcher：通过强化学习训练智能体搜索以增强图像生成 Gen-Searcher: Reinforcing Agentic Search for Image Generation
首个用强化学习训练多跳搜索智能体，为知识密集型图像生成收集外部知识与视觉参考
前置知识
Agentic RL（智能体强化学习）
智能体强化学习是一种训练大语言模型（LLM）或多模态模型在长时序任务中自主调用工具、与环境交互的范式。与传统 RLHF 只优化单轮回复不同，agentic RL 让模型在多轮轨迹中学习何时搜索、搜索什么、如何整合证据。典型算法包括 GRPO（Group Relative Policy Optimization），它通过对同一 query 采样多个输出，用组内相对奖励计算优势函数来更新策略，避免了需要单独训练 critic 模型的开销。
Gen-Searcher 的核心创新就在于用 agentic RL 训练图像生成的搜索智能体，理解 GRPO 和多轮工具调用的 RL 范式是读懂本文方法的关键。
RAG（检索增强生成）
RAG（Retrieval-Augmented Generation）是一种将外部知识检索与生成模型结合的范式。传统 RAG 流程是：给定用户查询，从向量数据库中检索最相关的文档片段，拼接到 prompt 中再交给生成模型。这种方法在文本生成中已广泛应用，但在图像生成中仍处于早期阶段，且传统 RAG 的单轮浅层检索难以处理需要多步推理的复杂查询。
Gen-Searcher 可以看作是 RAG 在图像生成领域的深度升级——从单轮相似度检索升级为多轮深度搜索，理解传统 RAG 的局限性有助于理解本文的动机。
多跳搜索（Multi-hop Search）
多跳搜索指解决一个查询需要经过多个推理步骤、从多个不同来源逐步收集信息的过程。例如要生成「2024年普利兹克建筑奖得主在其横滨工作室的肖像」，模型需要先搜索该奖项得主是谁，再搜索其外貌特征、工作室细节、代表作品等，每一步都依赖前一步的结果。这与单跳搜索（直接查询就能获得答案）形成对比。
Gen-Searcher 的设计初衷就是处理这类多跳搜索场景，论文中的数据构造和评估基准都围绕多跳搜索需求展开。
K-Score 评估指标
K-Score 是本文提出的用于评估搜索增强图像生成质量的综合指标。它使用 GPT-4.1 作为评判模型，从四个维度打分：faithfulness（场景结构是否忠实于 prompt，权重 0.1）、visual_correctness（关键视觉属性是否正确，权重 0.4）、text_accuracy（图像中文字是否正确，权重 0.4）、aesthetics（视觉美感，权重 0.1）。每个维度采用 {0, 0.5, 1} 三级离散评分，最终加权平均得到 K-Score。
K-Score 是本文评估的核心指标，理解其设计逻辑和权重分配（重视视觉正确性和文字准确性而非美学）才能正确解读实验结果。
SFT + RL 两阶段训练
两阶段训练是当前大模型对齐的常见范式。第一阶段 SFT（Supervised Fine-Tuning）用高质量标注数据进行监督微调，让模型学习基本的任务格式和工具调用能力；第二阶段 RL（Reinforcement Learning）通过奖励信号进一步优化模型的决策策略。在 Gen-Searcher 中，SFT 阶段让模型学会基本的多轮搜索流程，RL 阶段则让模型学会更高效的搜索策略和更好的证据整合方式。
理解两阶段训练的分工（SFT 学格式、RL 学策略）是理解 Gen-Searcher 训练方案的基础，也是理解消融实验结果的关键。
研究动机
当前主流的文本到图像生成模型（如 FLUX、Qwen-Image、Stable Diffusion 等）虽然能生成高保真度的逼真图像，但它们本质上受限于预训练时固化的参数知识。在真实世界中，大量图像生成场景需要外部知识支撑：比如生成「2024年普利兹克建筑奖得主在其横滨工作室的肖像照」，模型需要知道获奖者是谁、长什么样、工作室的细节；又如生成「鸣潮1.4版本首个五星共鸣者在90级时显示基础HP和入门技能」的游戏截图，需要精确的游戏数据。这些信息要么不在模型参数中，要么已经过时。现有少数支持搜索的商业模型（如 Nano Banana Pro）仅限于文本搜索，不检索视觉参考图像，导致生成的视觉细节经常出错。而传统 RAG 方法依赖静态数据库的单轮浅层检索，无法应对需要多步推理、多来源整合的复杂查询。目前尚无工作探索如何训练一个搜索智能体来专门服务于图像生成任务。
本文的目标是本文的目标是训练第一个多模态深度搜索智能体 Gen-Searcher，使其能够针对知识密集型的图像生成需求，自主执行多跳网络搜索和推理，收集所需的文本知识和参考图像，最终生成有据可依的高质量图像。具体而言，Gen-Searcher 需要在推理时自动规划搜索步骤、发出搜索查询、分析返回的文本和图像信息、决定是否继续搜索或终止，最终输出一个包含完整信息的搜索增强 prompt 和一组参考图像，交给下游图像生成器合成最终图像。
与已有工作不同的是，Gen-Searcher 抓住了一个被现有工作忽视的关键问题：图像生成中的搜索不仅是文本知识的获取，更需要视觉参考的检索。现有搜索增强的图像生成方案要么只做文本搜索（如 Nano Banana Pro），要么只做单轮数据库检索（传统 RAG），都没有将「多跳深度搜索 + 文本知识 + 视觉参考」三者统一到一个端到端训练的智能体框架中。此外，本文首次将 agentic RL 引入图像生成的搜索场景，通过双奖励反馈机制解决了开源图像生成器不稳定导致的奖励信号噪声问题，这是一个独特的技术切入点。
核心方法
Gen-Searcher 的核心思路可以类比为一个「AI 研究助理」：当你需要生成一张涉及特定知识的图片时，它不会直接凭记忆画，而是先像研究助理一样上网搜索相关资料、收集参考图片、整理信息，然后写一份详细的「生成说明书」交给画师（图像生成器）。技术路线上，整个系统分为三个部分：（1）数据构造流水线——自动构造搜索密集型的训练数据和评估基准；（2）两阶段训练——先用 SFT 教会模型基本的搜索和工具调用能力，再用 agentic RL 优化搜索策略；（3）双奖励反馈——同时用文本奖励和图像奖励来稳定 RL 训练。推理时，Gen-Searcher 接收用户的文本 prompt，通过多轮搜索（文本搜索、图像搜索、网页浏览）收集信息，最终输出搜索增强的 prompt 和参考图像，交给固定的图像生成器生成最终图片。
Gen-Searcher 最核心的创新在于两个方面。第一，它是首个将 agentic RL 应用于图像生成搜索场景的工作。与 prompt-based workflow（手动设计搜索流程、不训练）不同，Gen-Searcher 让模型通过 RL 自主学习何时搜索、搜索什么、如何整合证据，从而获得更优的搜索策略。第二，本文提出了双奖励反馈机制来解决一个独特难题：开源图像生成器（如 Qwen-Image）能力有限且输出方差大，即使搜索到了正确信息，也可能生成质量差的图片，导致纯图像奖励信号噪声极大。因此，除了图像奖励 $R_{image}$（K-Score），本文额外引入文本奖励 $R_{text}$（评估搜索到的信息是否充分正确），最终奖励为 $R = (1-\alpha)R_{image} + \alpha R_{text}$，其中 $\alpha = 0.5$。这个设计让奖励信号更稳定、更有信息量，文本奖励监督信息收集质量，图像奖励对齐最终生成效果。
方法步骤详情
Gen-Searcher 的方法包含数据构造和模型训练两大步骤。数据构造分四步：（1）文本 prompt 构造——用 Gemini 3 Pro 通过 prompt 工程在约 20 个类别（动漫、建筑、物理、化学、名人、海报等）生成多跳搜索密集型 prompt，同时将已有深度研究 QA 数据集转换为图像生成导向的 prompt；（2）智能体轨迹生成——用 Gemini 3 Pro 配合搜索工具（search 文本搜索、image_search 图像搜索、browse 网页浏览）在多轮交互中执行搜索、浏览和推理，产生搜索增强 prompt 和参考图像；（3）真实图像合成——用 Nano Banana Pro 根据搜索增强 prompt 合成 ground truth 图像；（4）数据过滤——用 Seed1.8 从多维度（是否需要搜索、内容正确性、忠实度、美学、文字渲染、安全性）评分并结合规则过滤，得到约 17K 高质量样本。模型训练分两步：（1）SFT 阶段用 Gen-Searcher-SFT-10k 训练 Qwen3-VL-8B-Instruct 学习基本的多轮工具调用能力；（2）RL 阶段用 Gen-Searcher-RL-6k 和 GRPO 算法进行强化学习，使用双奖励反馈优化搜索策略。推理时，模型接收原始 prompt，通过最多 10 轮交互产生最终搜索增强 prompt 和参考图像，交给图像生成器合成图片。
技术新颖性
Gen-Searcher 在技术上的新颖性体现在多个层面。首先，它是第一个将「搜索智能体」与「图像生成」端到端结合的工作——此前的搜索增强图像生成要么是 prompt-based workflow（不训练），要么是传统 RAG（单轮浅层检索），都没有训练一个能够自主规划多跳搜索的智能体。其次，本文提出了专门为图像生成场景设计的双奖励反馈机制，巧妙地解决了下游图像生成器不稳定带来的 RL 训练难题——这个问题在文本生成的 agentic RL 中不存在，因为文本任务的奖励通常可以直接评估最终输出质量。第三，本文构建了一个完整的数据工程流水线，从 prompt 构造到轨迹生成到图像合成到质量过滤，形成了一个闭环的数据生产系统，这在搜索增强图像生成领域是首次。第四，KnowGen 基准的设计（630 个人工验证样本、20+ 类别、多跳搜索需求、四维评估）填补了该领域缺乏专门评估基准的空白。
实验结果
Gen-Searcher 在两个基准上都展示了显著的性能提升。在 KnowGen 基准上，Gen-Searcher-8B + Qwen-Image 将 K-Score 从 14.98 提升到 31.52，提升 16.54 个百分点。更值得注意的是其跨生成器的迁移能力：虽然训练时使用 Qwen-Image 作为 rollout 生成器，但推理时直接应用于 Seedream 4.5 获得 47.29 分（从 31.01 提升 16.28），应用于 Nano Banana Pro 获得 53.30 分（从 50.38 提升 2.92），达到了所有方法的最佳成绩。在 WISE 基准上，Gen-Searcher + Qwen-Image 从 0.62 提升到 0.77（提升 0.15），尤其在 Chemistry 类别上从 0.40 跃升到 0.75。消融实验表明：prompt-based workflow 将 Qwen-Image 从 14.98 提升到 22.91，SFT 进一步提升到 28.15，完整 RL 训练达到 31.52。去掉文本奖励降至 29.59，去掉图像奖励降至 29.36，验证了双奖励设计的必要性。参数分析显示 $\alpha$ 在 0.3-0.6 范围内性能稳定。值得注意的是，即使在 KnowGen 上，开源模型（Qwen-Image、FLUX、HunyuanImage-3.0）仅达到 9-15 分，而商业模型（Nano Banana Pro 50.38、GPT-Image-1.5 44.97）大幅领先，说明该基准确实具有很高的挑战性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| KnowGen（科学与知识 + 流行文化与新闻） | K-Score | 31.52（+Qwen-Image） | 14.98（Qwen-Image 原始） | +16.54 |
| KnowGen | K-Score | 47.29（+Seedream 4.5） | 31.01（Seedream 4.5 原始） | +16.28 |
| KnowGen | K-Score | 53.30（+Nano Banana Pro） | 50.38（Nano Banana Pro 原始） | +2.92 |
| WISE | Overall Score | 0.77（+Qwen-Image） | 0.62（Qwen-Image 原始） | +0.15 |
| WISE Chemistry | Score | 0.75 | 0.40（Qwen-Image） | +0.35 |
| KnowGen（消融：SFT only） | K-Score | 28.15 | 22.91（workflow） | +5.24 |
局限与改进
论文和实验中暴露出若干局限性。首先，Gen-Searcher 的最终效果仍然强依赖下游图像生成器的能力——即使搜索到了正确信息，开源生成器（如 Qwen-Image）仍可能因多主体一致性差、文字渲染能力弱等问题生成不准确的图像。论文中 Figure 6 的第四行展示了这样的案例：搜索内容正确但生成失败。其次，KnowGen 基准上所有开源模型的表现都很差（9-15 分），与商业模型（44-53 分）差距巨大，说明该领域仍处于非常早期的阶段。第三，Gen-Searcher 在美学维度上有时会出现轻微下降，可能是因为需要整合多个参考图像的信息影响了构图的美观性。第四，文本奖励 $R_{text}$ 使用 GPT-4.1 作为评判模型，引入了对闭源模型的依赖，且评判标准可能存在偏差。第五，训练过程需要大量算力：8 张 H800 用于 SFT/RL，16 张 H800 用于 rollout 图像生成，8 张 H800 用于摘要模型，总计约 32 张 H800 训练一天。
独立分析的弱点
从独立分析的角度，Gen-Searcher 存在以下弱点。第一，搜索效率问题：当前模型最多进行 10 轮交互，每轮最多返回 5 张图像，最大上下文 36K tokens，这意味着对于复杂的多跳查询，模型可能无法在限制内收集到足够信息。一个可能的改进方向是引入自适应搜索深度控制——根据查询复杂度动态调整搜索轮数和资源分配。第二，图像搜索质量依赖 image_search 工具的返回质量，但论文未详细讨论该工具的实现和局限。如果搜索返回的参考图像本身不准确，会直接影响生成质量。改进方向可以是引入图像质量评估模块对搜索结果进行预筛选。第三，Gen-Searcher 仅在 8B 参数量的模型上训练，更大的模型（如 30B、72B）可能具有更强的推理和规划能力，值得探索模型规模的影响。第四，双奖励中 $\alpha = 0.5$ 是固定值，但不同类型的查询（如文字密集型 vs. 视觉密集型）可能需要不同的奖励权重，自适应 $\alpha$ 可能进一步提升性能。第五，当前评估完全依赖 GPT-4.1 作为评判模型，存在评估偏差风险，引入人工评估或其他评判模型的交叉验证会更可靠。
未来方向
基于 Gen-Searcher 的成果，未来研究可以从多个方向延伸。首先是将搜索智能体扩展到视频生成领域——知识密集型的视频生成同样需要外部知识支撑，且时间维度的搜索（了解事件发展过程）会带来新的挑战。其次是探索端到端训练：当前 Gen-Searcher 的图像生成器是固定的，如果能将搜索智能体和图像生成器联合训练，可能进一步提升整体效果。第三是支持更多模态的搜索输入——当前仅支持文本和图像搜索，未来可以加入视频片段搜索、3D 模型搜索等。第四是构建更大规模、更多样化的训练数据——当前 17K 样本的规模相对有限，扩展到百万级可能带来质的飞跃。第五是探索在线 RL 训练：当前使用离线数据集进行 RL，如果能让智能体在真实网络环境中进行在线搜索和学习，可能获得更强的泛化能力。最后，将 Gen-Searcher 的技术应用到其他需要知识增强的视觉任务（如图像编辑、图像描述、视觉问答）也值得探索。
复现评估
Gen-Searcher 在开源方面做得很好：论文声明完全开源代码、数据和模型。训练数据包括 Gen-Searcher-SFT-10k 和 Gen-Searcher-RL-6k，评估基准 KnowGen 包含 630 个人工验证样本。然而，复现存在一定门槛：数据构造依赖 Gemini 3 Pro 和 Nano Banana Pro 两个闭源商业模型，Seed1.8 用于数据质量评分也是闭源的。训练需要约 32 张 NVIDIA H800 GPU（8 张用于 SFT/RL，16 张用于 rollout 图像生成，8 张用于摘要模型），训练时间约一天。基础模型 Qwen3-VL-8B-Instruct 和 Qwen-Image 是开源的。对于资源有限的研究者，可以直接使用开源的 Gen-Searcher-8B 模型进行推理，而无需从头训练。总体而言，完全复现数据构造流水线需要商业 API 访问权限和大量算力，但使用预训练模型和评估基准的门槛较低。
论文图表
展示了多个由 Gen-Searcher 生成的高质量图像示例，涵盖不同类型的知识密集型场景，包括地标建筑、名人肖像、动漫角色等。每张图像都展示了搜索增强后的精确视觉细节。
直观展示了 Gen-Searcher 的生成能力和应用范围，让读者对论文要解决的问题和预期效果有第一印象。
对比了传统图像生成范式（直接从 prompt 生成，可能因缺乏知识而产生错误的文本和视觉特征）和 Gen-Searcher 范式（先进行多跳深度搜索，收集正确的文本知识和视觉参考，再生成正确的图像）。通过一个游戏相关 prompt 的例子说明了差异。
清晰展示了 Gen-Searcher 的核心价值主张——为什么需要搜索增强的图像生成，以及它与传统方法的本质区别。